🤖 霞智 2026 · XiaZhi-2026
具身智能清洁机器人 · 端到端策略研究
霞智科技 × 上海交通大学
## 🔗 代码仓库
**GitHub**：[LxRoboticsLab/XiaZhi-2026](https://github.com/LxRoboticsLab/XiaZhi-2026)
包含任务定义（3 类常规任务 + 3 类差异化任务）、硬件与传感器配置、数据采集流程、模块化基线架构、VLA / WAM / RL 训练方案、以及 2+1 跨场景泛化评测方案。
## 📌 项目简介
利用现有模块化清洁机器人系统采集的数据，学习可复用的端到端策略。在三种常规任务基础上，引入三种差异化任务（如隔间门启闭、冲水按钮按压、马桶清洁），探索 **VLA**、**世界动作模型（WAM）** 与 **强化学习（RL）** 的结合，并验证 **"2+1" 跨场景泛化**能力。
## 🗂 数据集
| 数据集 | 任务 | 格式 |
|:---|:---|:---|
| [JIANGJIAYING-OpenDoor-25ep](https://huggingface.co/datasets/XLRoboticsLab-XiaZhi/JIANGJIAYING-OpenDoor-25ep) | 移动机械臂进入厕所隔间 | LeRobot v3.0 |
| [toilet-cleaning-data](https://huggingface.co/datasets/XLRoboticsLab-XiaZhi/toilet-cleaning-data) | 马桶清洁（π05 关节 bundle） | 原始 tar 包 |
| [button_push_dataset](https://huggingface.co/datasets/XLRoboticsLab-XiaZhi/button_push_dataset) | 按压马桶冲水按钮 | LeRobot v3.0 |
以上三个源数据集均为私有：
- `JIANGJIAYING-OpenDoor-25ep`：25 个 episode，3 路相机（`topdown` / `front` / `wrist`），约 808 MiB、147 个文件，根目录子文件夹 `opendoor_25ep_trimmed/`。
- `button_push_dataset`：20 个 episode，2,591 帧，30 fps，相机 `cam_front` / `cam_top` / `cam_wrist`；其元数据中 `robot_type` 为空。
- `toilet-cleaning-data`：7.3 GB tar 包 `pi05_toilet_joint_bundle_20260919.tar.gz`，它不是一个裸数据集，而是一个 bundle，内含两部分：openpi π0.5 的 JAX/Orbax checkpoint（`models/openpi_pi05_toilet_joint_bs32_30k_20260919/`，约 5.9 GiB）与一个 LeRobot v3.0 数据集（`datasets/pi05_toilet_20260907/`，约 0.94 GiB）。该数据集为 30 fps，`robot_type: realman_eco63f`，3 路相机 `cam_top` / `cam_bottom` / `cam_wrist`（480×640），任务描述为 "Use the brush to scrub the inner wall of the toilet"；特征包括 `observation.state` float32[17]、`observation.force` float32[6]、`action` float32[7]。实际包含 **129 个 episode**：`meta/info.json` 声明 134 个，但 74–78 号 episode 缺失且未重新编号，其中 `total_episodes` / `total_frames` 为过期残留值（属元数据滞后，非数据损坏）。
### 派生 MCAP 数据
为便于可视化，另有三个派生仓库。它们**不修改源数据**，仅重新封装：
| 派生数据集 | 来源 | Episode | 体积 | Commit |
|:---|:---|:---:|:---:|:---|
| [button_push_mcap](https://huggingface.co/datasets/XLRoboticsLab-XiaZhi/button_push_mcap) | `button_push_dataset` | 20 | 26.19 MiB | `7e0becb7480bce0c4aa8ebdc3a484970e1abcdd9` |
| [opendoor_mcap](https://huggingface.co/datasets/XLRoboticsLab-XiaZhi/opendoor_mcap) | `JIANGJIAYING-OpenDoor-25ep` | 25 | 752.80 MiB | `edf39af8ada918b2bd6028fa5c4b7558d209fee3` |
| [toilet_mcap](https://huggingface.co/datasets/XLRoboticsLab-XiaZhi/toilet_mcap) | `toilet-cleaning-data` | 129 | 952.04 MiB | `70fb4578c7099333d2c435a1e302f062d64fa20f` |
MCAP 文件放在仓库根目录，每个 episode 一个文件。视频以 H.264 统一重新编码为 CRF 18（去掉 B 帧），帧数与原数据完全一致，三路相机话题在每个 episode 内时间对齐，源数据未做任何修改。其中 `toilet_mcap` 的源视频关键帧间隔极短（`video.g=2`），改用 `-g 30` 重新编码释放的冗余有限，因此体积增幅小于 `opendoor_mcap`。
## 🎬 在线可视化
公开 Docker Space [xli4217/button-push-foxglove](https://huggingface.co/spaces/xli4217/button-push-foxglove) 通过 Foxglove WebSocket 协议提供上述 MCAP，可直接在 Foxglove 中打开，无需下载数据：
```
wss://xli4217-button-push-foxglove.hf.space/?token=