Spaces:
Running
Running
|
Download README.md from XLRoboticsLab-XiaZhi/README: direct link, hf CLI and curl.
- Browser
- Download file 5 kB
-
https://huggingface.co/spaces/XLRoboticsLab-XiaZhi/README/resolve/main/README.md
- Command line
-
hf download hf://spaces/XLRoboticsLab-XiaZhi/README/README.md
-
curl -L -o README.md https://huggingface.co/spaces/XLRoboticsLab-XiaZhi/README/resolve/main/README.md
5 kB
| title: XiaZhi-2026 | |
| emoji: 🤖 | |
| colorFrom: blue | |
| colorTo: purple | |
| sdk: static | |
| pinned: false | |
| <div style="text-align:center; padding:1.5rem;"> | |
| <h1 style="margin-bottom:0.5rem;">🤖 霞智 2026 · XiaZhi-2026</h1> | |
| <p style="font-size:1.05rem;">具身智能清洁机器人 · 端到端策略研究<br> | |
| <b>霞智科技 × 上海交通大学</b></p> | |
| </div> | |
| ## 🔗 代码仓库 | |
| **GitHub**:[LxRoboticsLab/XiaZhi-2026](https://github.com/LxRoboticsLab/XiaZhi-2026) | |
| 包含任务定义(3 类常规任务 + 3 类差异化任务)、硬件与传感器配置、数据采集流程、模块化基线架构、VLA / WAM / RL 训练方案、以及 2+1 跨场景泛化评测方案。 | |
| ## 📌 项目简介 | |
| 利用现有模块化清洁机器人系统采集的数据,学习可复用的端到端策略。在三种常规任务基础上,引入三种差异化任务(如隔间门启闭、冲水按钮按压、马桶清洁),探索 **VLA**、**世界动作模型(WAM)** 与 **强化学习(RL)** 的结合,并验证 **"2+1" 跨场景泛化**能力。 | |
| ## 🗂 数据集 | |
| | 数据集 | 任务 | 格式 | | |
| |:---|:---|:---| | |
| | [JIANGJIAYING-OpenDoor-25ep](https://huggingface.co/datasets/XLRoboticsLab-XiaZhi/JIANGJIAYING-OpenDoor-25ep) | 移动机械臂进入厕所隔间 | LeRobot v3.0 | | |
| | [toilet-cleaning-data](https://huggingface.co/datasets/XLRoboticsLab-XiaZhi/toilet-cleaning-data) | 马桶清洁(π05 关节 bundle) | 原始 tar 包 | | |
| | [button_push_dataset](https://huggingface.co/datasets/XLRoboticsLab-XiaZhi/button_push_dataset) | 按压马桶冲水按钮 | LeRobot v3.0 | | |
| 以上三个源数据集均为私有: | |
| - `JIANGJIAYING-OpenDoor-25ep`:25 个 episode,3 路相机(`topdown` / `front` / `wrist`),约 808 MiB、147 个文件,根目录子文件夹 `opendoor_25ep_trimmed/`。 | |
| - `button_push_dataset`:20 个 episode,2,591 帧,30 fps,相机 `cam_front` / `cam_top` / `cam_wrist`;其元数据中 `robot_type` 为空。 | |
| - `toilet-cleaning-data`:7.3 GB tar 包 `pi05_toilet_joint_bundle_20260919.tar.gz`,它不是一个裸数据集,而是一个 bundle,内含两部分:openpi π0.5 的 JAX/Orbax checkpoint(`models/openpi_pi05_toilet_joint_bs32_30k_20260919/`,约 5.9 GiB)与一个 LeRobot v3.0 数据集(`datasets/pi05_toilet_20260907/`,约 0.94 GiB)。该数据集为 30 fps,`robot_type: realman_eco63f`,3 路相机 `cam_top` / `cam_bottom` / `cam_wrist`(480×640),任务描述为 "Use the brush to scrub the inner wall of the toilet";特征包括 `observation.state` float32[17]、`observation.force` float32[6]、`action` float32[7]。实际包含 **129 个 episode**:`meta/info.json` 声明 134 个,但 74–78 号 episode 缺失且未重新编号,其中 `total_episodes` / `total_frames` 为过期残留值(属元数据滞后,非数据损坏)。 | |
| ### 派生 MCAP 数据 | |
| 为便于可视化,另有三个派生仓库。它们**不修改源数据**,仅重新封装: | |
| | 派生数据集 | 来源 | Episode | 体积 | Commit | | |
| |:---|:---|:---:|:---:|:---| | |
| | [button_push_mcap](https://huggingface.co/datasets/XLRoboticsLab-XiaZhi/button_push_mcap) | `button_push_dataset` | 20 | 26.19 MiB | `7e0becb7480bce0c4aa8ebdc3a484970e1abcdd9` | | |
| | [opendoor_mcap](https://huggingface.co/datasets/XLRoboticsLab-XiaZhi/opendoor_mcap) | `JIANGJIAYING-OpenDoor-25ep` | 25 | 752.80 MiB | `edf39af8ada918b2bd6028fa5c4b7558d209fee3` | | |
| | [toilet_mcap](https://huggingface.co/datasets/XLRoboticsLab-XiaZhi/toilet_mcap) | `toilet-cleaning-data` | 129 | 952.04 MiB | `70fb4578c7099333d2c435a1e302f062d64fa20f` | | |
| MCAP 文件放在仓库根目录,每个 episode 一个文件。视频以 H.264 统一重新编码为 CRF 18(去掉 B 帧),帧数与原数据完全一致,三路相机话题在每个 episode 内时间对齐,源数据未做任何修改。其中 `toilet_mcap` 的源视频关键帧间隔极短(`video.g=2`),改用 `-g 30` 重新编码释放的冗余有限,因此体积增幅小于 `opendoor_mcap`。 | |
| ## 🎬 在线可视化 | |
| 公开 Docker Space [xli4217/button-push-foxglove](https://huggingface.co/spaces/xli4217/button-push-foxglove) 通过 Foxglove WebSocket 协议提供上述 MCAP,可直接在 Foxglove 中打开,无需下载数据: | |
| ``` | |
| wss://xli4217-button-push-foxglove.hf.space/?token=<ACCESS_TOKEN>&dataset=<button_push|opendoor|toilet>&episode=<episode_000004.mcap> | |
| ``` | |
| `<ACCESS_TOKEN>` 仅为占位符,卡片上不存放真实令牌,需要时请向项目维护者索取。 | |
| 已知限制(如实说明): | |
| - 播放由服务端按实时速率推送并自动循环,**不支持拖动定位、暂停与单步**。 | |
| - 全局只有一路播放器,两名观看者无法同时观看不同 episode。 | |
| - Space 在 CPU-Basic 免费档上闲置后会休眠,从休眠唤醒通常需要数十秒(约 30–90 秒),已运行的容器几秒内即可响应。 | |
| 成熟度:目前仅通过符合规范的 WebSocket 客户端验证,**尚未在 Foxglove Desktop 中验证**。 | |