Noctis12138/turbovla-rokae-cup-stack

TurboVLA Rokae v3 — dual_arm_cup_stack_and_place 单任务（真机测试用）

双臂 Rokae AR5 + 平行夹爪，ActionMap 动作头，只用这一个任务的 50 条演示训练。 配方与 Noctis12138/turbovla-rokae-toothbrush （牙刷单任务，10-21 真机 12/20）完全相同，只换了任务。

prompt（必须一字不差，也在 deploy/task_prompts.json 里）：stack one cup into the other, then place the stacked cups onto the plate

真机测试怎么跑

**直接看 deploy/README.md**。部署包与 Noctis12138/turbovla-rokae-6task 当前版本完全相同， TASK=dual_arm_cup_stack_and_place。为了和 10-27 的 6 任务 ActionMap 结果可比，建议：

1. 执行设置与 10-27 测试保持一致：方案 11，且 GRIPPER_CONFIRM_STEPS=3 GRIPPER_COMMIT_WITHIN=20 GRIPPER_COMMIT_HOLD=30 GRIPPER_COMMIT_LATCH=45，MAX_STEPS=0（不限步数，人工停止）。 这样和 10-27 唯一的区别就是模型（单任务 vs 6 任务）。
2. 场景摆放、相机都不要动，和 10-27 一样；至少 10 次。
3. 三路视频（头部 + 两个腕部）都录下来，连同 *.csv、*.joints.csv、*.json 一起回传。

cd deploy
./00_check_environment.sh
./05_offline_tests.sh
./01_start_model_server.sh           # 终端 2
./04_verify_policy_service.sh        # 终端 3
GRIPPER_CONFIRM_STEPS=3 GRIPPER_COMMIT_WITHIN=20 GRIPPER_COMMIT_HOLD=30 GRIPPER_COMMIT_LATCH=45 \
  RUN_MODE=test TASK=dual_arm_cup_stack_and_place MAX_STEPS=90 ./11_run_policy_autonomous_ensemble_hybrid_smooth.sh
GRIPPER_CONFIRM_STEPS=3 GRIPPER_COMMIT_WITHIN=20 GRIPPER_COMMIT_HOLD=30 GRIPPER_COMMIT_LATCH=45 \
  CONFIRM_RUN=YES TASK=dual_arm_cup_stack_and_place MAX_STEPS=0 ./11_run_policy_autonomous_ensemble_hybrid_smooth.sh

仓库内容

路径	内容
deploy/	真机部署包（与 turbovla-rokae-6task 仓库当前版本相同）
code/	模型代码（与训练所用代码一致；train_1019.sh 即训练脚本）
code/assets/	DINOv3-L 与 BERT 的 config / tokenizer（不含权重；权重全部在 checkpoint 里）
checkpoints/turbovla_step_10000.pth	推理用 checkpoint（只含模型、配置、归一化统计，约 1.8 GB），训练终点
checkpoints/stats.json	归一化统计（只用本任务、按预测步分别归一化）

训练配方

• 数据：rokae_bimanual_6task 里本任务的 50 条，图像增强照 pi0.5（头部相机裁剪 + 旋转，颜色抖动），片段末尾补齐。
• 动作：相对当前实测位姿的 50 步 chunk，按预测步分别归一化（0.1%/99.9% 分位数），只用本任务统计。
• 全局 batch 64（2 卡 × 每卡 4 × 梯度累积 8），10000 步，warmup 300 步后恒定学习率 5e-5，BERT 冻结，GroundingDINO 初始化。

自检（训练机，部署包的加载器 deploy/policy.py）

strict 加载通过；prompt 与训练指令一致。在本任务 32 个随机训练窗口上，直接把原始帧和实测 state 喂给 TurboPolicy.infer（即真机服务走的路径）： 50 步 chunk 平均位置误差 3.7 mm，夹爪开合与演示一致 99.8%（同样测法，牙刷单任务 1w 步为 3.8 mm / 99.8%）。 这是训练集拟合检查，只说明模型和部署包能正确加载、输出正常，不代表真机成功率。尚未上真机。

环境

Python ≥ 3.10、torch、transformers>=4.56（DINOv3 支持）、numpy、scipy、pillow、torchvision。显存约 3 GB。

许可

视觉骨干由 DINOv3 微调而来，受 code/assets/dinov3-vitl16-pretrain-lvd1689m/LICENSE.md（DINOv3 License）约束； BERT 为 Apache-2.0；第三方代码许可见 code/third_party/licenses/。训练数据不包含在本仓库中。