README.md

metadata

title: XiaZhi-2026
emoji: 🤖
colorFrom: blue
colorTo: purple
sdk: static
pinned: false

🤖 霞智 2026 · XiaZhi-2026

具身智能清洁机器人 · 端到端策略研究
霞智科技 × 上海交通大学

🔗 代码仓库

GitHub：LxRoboticsLab/XiaZhi-2026

包含任务定义（3 类常规任务 + 3 类差异化任务）、硬件与传感器配置、数据采集流程、模块化基线架构、VLA / WAM / RL 训练方案、以及 2+1 跨场景泛化评测方案。

📌 项目简介

利用现有模块化清洁机器人系统采集的数据，学习可复用的端到端策略。在三种常规任务基础上，引入三种差异化任务（如隔间门启闭、冲水按钮按压、马桶清洁），探索 VLA、世界动作模型（WAM） 与 强化学习（RL） 的结合，并验证 "2+1" 跨场景泛化能力。

🗂 数据集

数据集	任务	格式
JIANGJIAYING-OpenDoor-25ep	移动机械臂进入厕所隔间	LeRobot v3.0
toilet-cleaning-data	马桶清洁（π05 关节 bundle）	原始 tar 包
button_push_dataset	按压马桶冲水按钮	LeRobot v3.0

以上三个源数据集均为私有：

• JIANGJIAYING-OpenDoor-25ep：25 个 episode，3 路相机（topdown / front / wrist），约 808 MiB、147 个文件，根目录子文件夹 opendoor_25ep_trimmed/。
• button_push_dataset：20 个 episode，2,591 帧，30 fps，相机 cam_front / cam_top / cam_wrist；其元数据中 robot_type 为空。
• toilet-cleaning-data：7.3 GB tar 包 pi05_toilet_joint_bundle_20260919.tar.gz，它不是一个裸数据集，而是一个 bundle，内含两部分：openpi π0.5 的 JAX/Orbax checkpoint（models/openpi_pi05_toilet_joint_bs32_30k_20260919/，约 5.9 GiB）与一个 LeRobot v3.0 数据集（datasets/pi05_toilet_20260907/，约 0.94 GiB）。该数据集为 30 fps，robot_type: realman_eco63f，3 路相机 cam_top / cam_bottom / cam_wrist（480×640），任务描述为 "Use the brush to scrub the inner wall of the toilet"；特征包括 observation.state float32[17]、observation.force float32[6]、action float32[7]。实际包含 129 个 episode：meta/info.json 声明 134 个，但 74–78 号 episode 缺失且未重新编号，其中 total_episodes / total_frames 为过期残留值（属元数据滞后，非数据损坏）。

派生 MCAP 数据

为便于可视化，另有三个派生仓库。它们不修改源数据，仅重新封装：

派生数据集	来源	Episode	体积	Commit
button_push_mcap	button_push_dataset	20	26.19 MiB	7e0becb7480bce0c4aa8ebdc3a484970e1abcdd9
opendoor_mcap	JIANGJIAYING-OpenDoor-25ep	25	752.80 MiB	edf39af8ada918b2bd6028fa5c4b7558d209fee3
toilet_mcap	toilet-cleaning-data	129	952.04 MiB	70fb4578c7099333d2c435a1e302f062d64fa20f

MCAP 文件放在仓库根目录，每个 episode 一个文件。视频以 H.264 统一重新编码为 CRF 18（去掉 B 帧），帧数与原数据完全一致，三路相机话题在每个 episode 内时间对齐，源数据未做任何修改。其中 toilet_mcap 的源视频关键帧间隔极短（video.g=2），改用 -g 30 重新编码释放的冗余有限，因此体积增幅小于 opendoor_mcap。

🎬 在线可视化

公开 Docker Space xli4217/button-push-foxglove 通过 Foxglove WebSocket 协议提供上述 MCAP，可直接在 Foxglove 中打开，无需下载数据：

wss://xli4217-button-push-foxglove.hf.space/?token=<ACCESS_TOKEN>&dataset=<button_push|opendoor|toilet>&episode=<episode_000004.mcap>

<ACCESS_TOKEN> 仅为占位符，卡片上不存放真实令牌，需要时请向项目维护者索取。

已知限制（如实说明）：

• 播放由服务端按实时速率推送并自动循环，不支持拖动定位、暂停与单步。
• 全局只有一路播放器，两名观看者无法同时观看不同 episode。
• Space 在 CPU-Basic 免费档上闲置后会休眠，从休眠唤醒通常需要数十秒（约 30–90 秒），已运行的容器几秒内即可响应。

成熟度：目前仅通过符合规范的 WebSocket 客户端验证，尚未在 Foxglove Desktop 中验证。