---
license: mit
base_model: nvidia/GR00T-N1.5-3B
tags:
  - robotics
  - gr00t
  - so-101
  - vision-language-action
  - lerobot
library_name: gr00t
---

# GR00T N1.5 · SO-101 · 桌面全物体抓放（v3）

用 **NVIDIA GR00T N1.5-3B** 在 **SO-101** 六轴机械臂上微调得到的策略权重（把桌上所有物体抓进盒子）。

这是 [SO101-GR00T](https://github.com/Morantkk/SO101-GR00T) 开源项目的配套权重。完整流程（采集 → 转换 → 训练 → 部署）
见该仓库的 `docs/`。

## 任务

| 项 | 值 |
|---|---|
| 指令（language）| `Put all the objects on the table into the box` |
| 动作空间 | 6 维关节角（度），gripper 0~100 |
| 输入 | 前视 640×360 + 腕部 640×360，15 fps |
| 训练步数 | 30,000 |
| batch | 16 |
| 数据集 | 102 集 / 51,209 帧 / 15 fps（自采） |
| 最终 train_loss | 0.08 |

## 可训练部分

只训练**动作头**（DiT 主干 + state/action 编解码 + projector，约 0.75 B），
backbone（SigLIP2 视觉塔 + Qwen3-1.7B）与官方基座**逐字节相同**（冻结）。

> `config.json` 里可能写着 `tune_visual: true`，那是构建期写入的值，不代表训练时解冻了视觉塔。

## 怎么用

```bash
# 1) 下载
hf download FAKUN/groot-so101-all-objects-v3 --local-dir ./groot-v3

# 2) 起策略服务（需要 GPU，约 5.6 GB 显存）
python scripts/deploy/100_policy_server_jpeg.py \
    --model-path ./groot-v3 --port 5555

# 3) 本机客户端（另一端接机械臂）
python scripts/deploy/run_groot_official.py --steps 0 --max-rel 8
```

`--model-path` 指到本目录即可（里面有 `config.json` 与两个 `safetensors`）。

## 文件

```
config.json
model-00001-of-00002.safetensors    4.7 GB
model-00002-of-00002.safetensors    2.4 GB
model.safetensors.index.json
experiment_cfg/metadata.json        ← 归一化统计，缺了服务端起不来

```

sha256 见同目录 `SHA256SUMS.txt`。

## 已知限制

- ⚠️ **这份权重是在时间轴错位的数据上训出来的**：训练时每帧图像比关节状态超前 3~8 秒
  （裁剪脚本把视频裁了却没重写 `timestamp`）。离线 loss 很低，但真机抓空。
  **它的价值是一份反面样本**，不建议直接用于实际控制。
- 修正数据后同配方重训的版本 train_loss 为 0.0127，见项目 docs/03_DATA_PIPELINE.md。

## 引用

- 基座：[NVIDIA Isaac-GR00T](https://github.com/NVIDIA/Isaac-GR00T)
- 数据集格式与驱动：[HuggingFace LeRobot](https://github.com/huggingface/lerobot)
- 本权重由个人项目产出，**未经大规模评测**，请自行验证后再用于实际任务。