LeIsaac SO-101 PickOrange
这组策略用于在 LeIsaac 仿真中控制 SO-101,将三颗橙子放入盘中并让机械臂归位。各类策略均使用前视与腕部 RGB。成功须同时满足三颗橙子入盘和机械臂归位。
| 策略 | 训练方式 | 权重目录 |
|---|---|---|
| ACT | 使用 100 条经过动作轨迹独立回放检验的 GR00T 演示进行行为克隆 | ACT |
| ACT Residual B2 | 冻结 ACT-2 80k,使用 SAC 训练残差 Actor 与双相机编码器 | Residual B2 |
| VLA | 冻结 GR00T N1.5 PickOrange 任务策略,使用 SAC 训练外置残差 Actor | VLA |
相关资源见 PickOrange 数据集、LeIsaac 任务接入说明和 GR00T N1.5 PickOrange 上游任务权重。
ACT
ACT-1 每次预测 30 个关节目标,覆盖未来 1 秒。ACT-2 每次预测 15 个关节目标,覆盖未来 0.5 秒。两个模型均使用 ResNet-18、前视与腕部 640×480 RGB 和六维关节位置。训练动作标签以 30 Hz 从 60 Hz 演示中每隔一步取样。推理时每两个 60 Hz 物理步重新预测一次,采用系数 0.001 的时间聚合,并将聚合后的目标保持两步。
| 模型编号 | Checkpoint | 固定集完成 | 60 秒内成功 | 120 秒内成功 |
|---|---|---|---|---|
| ACT-1 | 10k | 50/50 | 18/50(36.0%) | 18/50(36.0%) |
| ACT-1 | 40k | 50/50 | 18/50(36.0%) | 18/50(36.0%) |
| ACT-2 | 65k | 50/50 | 21/50(42.0%) | 21/50(42.0%) |
| ACT-2 | 80k | 50/50 | 21/50(42.0%) | 21/50(42.0%) |
| ACT-2 | 100k | 50/50 | 22/50(44.0%) | 23/50(46.0%) |
| ACT-2 | 120k | 50/50 | 26/50(52.0%) | 26/50(52.0%) |
表中为固定 50 场的原测成绩,ACT 评测均开启时间聚合。ACT-2 80k 在一个仿真进程中运行四个独立场景,100k 与 120k 采用单场景仿真。
每个目录含 model.safetensors、config.json、normalization.json 和 execution.json。根目录默认加载 ACT-1 40k。用 LeRobot 的 PreTrainedConfig.from_pretrained 读取配置并构造 ACTPolicy,再加载状态字典。按 front、wrist 顺序提供 RGB 图像,先将像素缩放到 [0, 1],再按 execution.json 的均值和标准差归一化。本体状态使用 (q-qmu)/qstd,输出使用 a*astd+amu 还原到校准关节控制坐标。每场开始时调用 policy.reset(),部署时用 policy.select_action() 执行时间聚合。
ACT Residual B2
原生视频预览展示 Residual-B2C 24k 的完整成功回合。机械臂在 5.98 仿真秒内将三颗橙子放入盘并归位。左侧为前视,右侧为腕部视角。
四份权重均以 ACT-2 80k 为基座,每两个物理步对聚合后的目标叠加一次有界残差。评测开启时间聚合,使用确定性动作。权重目录包含残差 Actor 与视觉编码器。
截至 2026-11-17 02:42(北京时间),每个检查点取当前 120 秒成功率最高的一次评测,60 秒成绩来自同一次评测。成功率按已完成场次计算。
| 模型编号 | Checkpoint | 奖励 | 残差视觉输入 | 评测来源 | 固定集进度 | 60 秒内成功 | 120 秒内成功 |
|---|---|---|---|---|---|---|---|
| Residual-B2B | 24k | 混合 | 双相机 RGB | 独立单场景复测 | 19/50 | 7/19(36.8%) | 7/19(36.8%) |
| Residual-B2C | 24k | 计数 | 双相机 RGB+边缘 | 独立单场景复测 | 23/50 | 12/23(52.2%) | 12/23(52.2%) |
| Residual-B2D | 24k | 混合 | 双相机 RGB+边缘 | 独立单场景复测 | 19/50 | 8/19(42.1%) | 8/19(42.1%) |
| Residual-B2D | 26k | 混合 | 双相机 RGB+边缘 | 独立单场景复测 | 23/50 | 11/23(47.8%) | 11/23(47.8%) |
VLA
VLA-B1A 使用盘内橙子数量与任务成功构成的稀疏计数奖励。VLA-B1B 使用混合奖励,在入盘与成功分数之外加入几何进度、任务质量和步数项。每组在上游 GR00T 输出的 16×6 绝对关节目标上叠加有界残差,再以 60 Hz 依次执行 16 个目标。
| 模型编号 | Checkpoint | 固定集完成 | 60 秒内成功 | 120 秒内成功 | 扩展评测(60 秒 / 120 秒) |
|---|---|---|---|---|---|
| VLA-B1A | 12k | 50/50 | 33/50(66.0%) | 33/50(66.0%) | 76/143(53.1%) / 79/143(55.2%) |
| VLA-B1B | 12k | 50/50 | 31/50(62.0%) | 33/50(66.0%) | 113/184(61.4%) / 121/184(65.8%) |
| VLA-B1B | 32k | 50/50 | 34/50(68.0%) | 34/50(68.0%) | 123/200(61.5%) / 127/200(63.5%) |
VLA 按固定 50 场的 120 秒成功率筛选,表中三份权重均严格超过 60%。扩展评测包含固定集的前 50 场。两份 12k 的扩展评测分别在 143 场和 184 场结束,32k 完成全部 200 场。所有成绩使用仿真时间。
每个 VLA 检查点目录含 residual_actor.safetensors 和 config.json。运行时一并加载上游任务权重,由 GR00T 生成原始动作块,再调用本仓库的残差推理代码。VLA 加载与输入说明
- Downloads last month
- 8