| ---
|
| license: mit
|
| base_model: nvidia/GR00T-N1.5-3B
|
| tags:
|
| - robotics
|
| - gr00t
|
| - so-101
|
| - vision-language-action
|
| - lerobot
|
| library_name: gr00t
|
| ---
|
|
|
| # GR00T N1.5 · SO-101 · 桌面全物体抓放（v3）
|
|
|
| 用 **NVIDIA GR00T N1.5-3B** 在 **SO-101** 六轴机械臂上微调得到的策略权重（把桌上所有物体抓进盒子）。
|
|
|
| 这是 [SO101-GR00T](https://github.com/Morantkk/SO101-GR00T) 开源项目的配套权重。完整流程（采集 → 转换 → 训练 → 部署）
|
| 见该仓库的 `docs/`。
|
|
|
| ## 任务
|
|
|
| | 项 | 值 |
|
| |---|---|
|
| | 指令（language）| `Put all the objects on the table into the box` |
|
| | 动作空间 | 6 维关节角（度），gripper 0~100 |
|
| | 输入 | 前视 640×360 + 腕部 640×360，15 fps |
|
| | 训练步数 | 30,000 |
|
| | batch | 16 |
|
| | 数据集 | 102 集 / 51,209 帧 / 15 fps（自采） |
|
| | 最终 train_loss | 0.08 |
|
|
|
| ## 可训练部分
|
|
|
| 只训练**动作头**（DiT 主干 + state/action 编解码 + projector，约 0.75 B），
|
| backbone（SigLIP2 视觉塔 + Qwen3-1.7B）与官方基座**逐字节相同**（冻结）。
|
|
|
| > `config.json` 里可能写着 `tune_visual: true`，那是构建期写入的值，不代表训练时解冻了视觉塔。
|
|
|
| ## 怎么用
|
|
|
| ```bash
|
| # 1) 下载
|
| hf download FAKUN/groot-so101-all-objects-v3 --local-dir ./groot-v3
|
|
|
| # 2) 起策略服务（需要 GPU，约 5.6 GB 显存）
|
| python scripts/deploy/100_policy_server_jpeg.py \
|
| --model-path ./groot-v3 --port 5555
|
|
|
| # 3) 本机客户端（另一端接机械臂）
|
| python scripts/deploy/run_groot_official.py --steps 0 --max-rel 8
|
| ```
|
|
|
| `--model-path` 指到本目录即可（里面有 `config.json` 与两个 `safetensors`）。
|
|
|
| ## 文件
|
|
|
| ```
|
| config.json
|
| model-00001-of-00002.safetensors 4.7 GB
|
| model-00002-of-00002.safetensors 2.4 GB
|
| model.safetensors.index.json
|
| experiment_cfg/metadata.json ← 归一化统计，缺了服务端起不来
|
|
|
| ```
|
|
|
| sha256 见同目录 `SHA256SUMS.txt`。
|
|
|
| ## 已知限制
|
|
|
| - ⚠️ **这份权重是在时间轴错位的数据上训出来的**：训练时每帧图像比关节状态超前 3~8 秒
|
| （裁剪脚本把视频裁了却没重写 `timestamp`）。离线 loss 很低，但真机抓空。
|
| **它的价值是一份反面样本**，不建议直接用于实际控制。
|
| - 修正数据后同配方重训的版本 train_loss 为 0.0127，见项目 docs/03_DATA_PIPELINE.md。
|
|
|
| ## 引用
|
|
|
| - 基座：[NVIDIA Isaac-GR00T](https://github.com/NVIDIA/Isaac-GR00T)
|
| - 数据集格式与驱动：[HuggingFace LeRobot](https://github.com/huggingface/lerobot)
|
| - 本权重由个人项目产出，**未经大规模评测**，请自行验证后再用于实际任务。
|
| |
