You need to agree to share your Hugging Face information to access this model

This repository is publicly accessible, but you have to accept the conditions to access its files and content.

Log in or Sign Up to review the conditions and access this model content.

LeIsaac SO-101 PickOrange

这组策略用于在 LeIsaac 仿真中控制 SO-101,将三颗橙子放入盘中并让机械臂归位。各类策略均使用前视与腕部 RGB。成功须同时满足三颗橙子入盘和机械臂归位。

策略 训练方式 权重目录
ACT 使用 100 条经过动作轨迹独立回放检验的 GR00T 演示进行行为克隆 ACT
ACT Residual B2 冻结 ACT-2 80k,使用 SAC 训练残差 Actor 与双相机编码器 Residual B2
VLA 冻结 GR00T N1.5 PickOrange 任务策略,使用 SAC 训练外置残差 Actor VLA

相关资源见 PickOrange 数据集、LeIsaac 任务接入说明和 GR00T N1.5 PickOrange 上游任务权重。

ACT

ACT-1 每次预测 30 个关节目标,覆盖未来 1 秒。ACT-2 每次预测 15 个关节目标,覆盖未来 0.5 秒。两个模型均使用 ResNet-18、前视与腕部 640×480 RGB 和六维关节位置。训练动作标签以 30 Hz 从 60 Hz 演示中每隔一步取样。推理时每两个 60 Hz 物理步重新预测一次,采用系数 0.001 的时间聚合,并将聚合后的目标保持两步。

模型编号 Checkpoint 固定集完成 60 秒内成功 120 秒内成功
ACT-1 10k 50/50 18/50(36.0%) 18/50(36.0%)
ACT-1 40k 50/50 18/50(36.0%) 18/50(36.0%)
ACT-2 65k 50/50 21/50(42.0%) 21/50(42.0%)
ACT-2 80k 50/50 21/50(42.0%) 21/50(42.0%)
ACT-2 100k 50/50 22/50(44.0%) 23/50(46.0%)
ACT-2 120k 50/50 26/50(52.0%) 26/50(52.0%)

表中为固定 50 场的原测成绩,ACT 评测均开启时间聚合。ACT-2 80k 在一个仿真进程中运行四个独立场景,100k 与 120k 采用单场景仿真。

每个目录含 model.safetensors、config.json、normalization.json 和 execution.json。根目录默认加载 ACT-1 40k。用 LeRobot 的 PreTrainedConfig.from_pretrained 读取配置并构造 ACTPolicy,再加载状态字典。按 front、wrist 顺序提供 RGB 图像,先将像素缩放到 [0, 1],再按 execution.json 的均值和标准差归一化。本体状态使用 (q-qmu)/qstd,输出使用 a*astd+amu 还原到校准关节控制坐标。每场开始时调用 policy.reset(),部署时用 policy.select_action() 执行时间聚合。

ACT Residual B2

原生视频预览展示 Residual-B2C 24k 的完整成功回合。机械臂在 5.98 仿真秒内将三颗橙子放入盘并归位。左侧为前视,右侧为腕部视角。

四份权重均以 ACT-2 80k 为基座,每两个物理步对聚合后的目标叠加一次有界残差。评测开启时间聚合,使用确定性动作。权重目录包含残差 Actor 与视觉编码器。

截至 2026-11-17 02:42(北京时间),每个检查点取当前 120 秒成功率最高的一次评测,60 秒成绩来自同一次评测。成功率按已完成场次计算。

模型编号 Checkpoint 奖励 残差视觉输入 评测来源 固定集进度 60 秒内成功 120 秒内成功
Residual-B2B 24k 混合 双相机 RGB 独立单场景复测 19/50 7/19(36.8%) 7/19(36.8%)
Residual-B2C 24k 计数 双相机 RGB+边缘 独立单场景复测 23/50 12/23(52.2%) 12/23(52.2%)
Residual-B2D 24k 混合 双相机 RGB+边缘 独立单场景复测 19/50 8/19(42.1%) 8/19(42.1%)
Residual-B2D 26k 混合 双相机 RGB+边缘 独立单场景复测 23/50 11/23(47.8%) 11/23(47.8%)

Residual B2 加载说明

VLA

VLA-B1A 使用盘内橙子数量与任务成功构成的稀疏计数奖励。VLA-B1B 使用混合奖励,在入盘与成功分数之外加入几何进度、任务质量和步数项。每组在上游 GR00T 输出的 16×6 绝对关节目标上叠加有界残差,再以 60 Hz 依次执行 16 个目标。

模型编号 Checkpoint 固定集完成 60 秒内成功 120 秒内成功 扩展评测(60 秒 / 120 秒)
VLA-B1A 12k 50/50 33/50(66.0%) 33/50(66.0%) 76/143(53.1%) / 79/143(55.2%)
VLA-B1B 12k 50/50 31/50(62.0%) 33/50(66.0%) 113/184(61.4%) / 121/184(65.8%)
VLA-B1B 32k 50/50 34/50(68.0%) 34/50(68.0%) 123/200(61.5%) / 127/200(63.5%)

VLA 按固定 50 场的 120 秒成功率筛选,表中三份权重均严格超过 60%。扩展评测包含固定集的前 50 场。两份 12k 的扩展评测分别在 143 场和 184 场结束,32k 完成全部 200 场。所有成绩使用仿真时间。

每个 VLA 检查点目录含 residual_actor.safetensors 和 config.json。运行时一并加载上游任务权重,由 GR00T 生成原始动作块,再调用本仓库的残差推理代码。VLA 加载与输入说明

Downloads last month
8
Safetensors
Model size
51.6M params
Tensor type
F32
·
Video Preview
loading

Dataset used to train Nole326/LeIsaac-SO101-PickOrange