通用灵巧手轨迹跟踪策略
这里放的是两个右手策略的权重和最小样例,代码和使用说明在 wuji-rl-gmt 的 feat/mixed-s0 分支。两个仓库都是私有的,要分别开权限。
- AUTO3 Mixed:
checkpoints/auto3_local64_cfp_tracking_cagrad_mixed/model_8000.pt。一个模型两种用法,Full 同时给手部和物体参考,Object-only 只给物体参考。 - Hand-only:
checkpoints/handonly_h12est4/model_9999.pt加estimator_v4.pt。只给手部参考,两个文件都要加载。
使用
git clone -b feat/mixed-s0 https://github.com/wuji-technology/wuji-rl-gmt.git
cd wuji-rl-gmt
pixi install --locked
pixi run python scripts/s0.py download
pixi run python scripts/s0.py verify
pixi run python scripts/s0.py rollout --mode full
pixi run python scripts/s0.py rollout --mode object
pixi run python scripts/s0.py rollout --mode hand
pixi run python scripts/s0.py audit
文件
checkpoints/:完整训练 checkpoint 和对应的训练配置。configs/:各入口的配置和一条锤子轨迹的 recipe。smoke-assets.tar.gz、handonly-samples.tar.gz:这条锤子轨迹、物体资产,以及训练代码当时生成的样例,用来逐帧比对。不是完整数据集。SHA256SUMS:每个文件的校验值。代码分支里固定了本仓库的版本。
真机部署
2026-11-06补充:真机启动与现场配置。hardware/保存配置、薄入口、关键适配器和SHA校验记录;不是完整真机安装包。
- 当前部署机权重与这里的AUTO3 m8000、H12 m9999及估计器v4一致。
- 训练/golden使用hammerS凸包
mesh.stl;部署Local64使用非凸mesh_viz.stl,H12估计器仍保留训练mesh。这两条几何路径不能混称严格一致。 - 新Hand-only真机脚本用
h12est4.sh,不是旧auto3.sh --mode hand。 - 生产worker尚未迁移到新代码分支。本次只核查文件和配置,没有连接SDK或移动机器人;更换现场仍需完整部署代码、SDK和标定。
- 模型下载固定的artifact revision保持不变;新增硬件记录不改变任何权重和仿真样例。
结果
固定 Eval232 上,每个模型独立评估 5 次的均值:
| 模型 | 用法 | 总体 | Seen | Unseen |
|---|---|---|---|---|
| AUTO3 Mixed | Full | 72.5% | 82.9% | 52.8% |
| AUTO3 Mixed | Object-only | 66.9% | 78.9% | 44.0% |
| AUTO3 Mixed | Hand-only | 3.1% | 4.7% | 0.0% |
| Hand-only | Hand-only | 15.9% | 24.2% | 0.0% |
之前常引用的 AUTO3 Full 75.4% 是单次结果,比这 5 次都高,建议改用均值。这些是之前跑的完整评估,不是样例命令测出来的。
仅供内部研究使用,权重、数据和资产能否对外分发需要负责人确认。
2026-11-20 单手与双手部署
V25 model_39999.pt 的单手、双手部署和物理仿真入口在 feat/mixed-s0 的部署说明。目录 deployment/v25-20261120/ 放部署源码快照、仿真报告和视频。模型权重不变。
样例轨迹 44.38 秒,全程跟住。只做了仿真,没有上真机。
| 测试 | 用法 | 物体位置误差 平均 / 最大 |
|---|---|---|
| 右手 | Full | 0.95 / 2.76 cm |
| 左手镜像 | Full | 0.98 / 2.75 cm |
| 左手镜像 | Object-only | 1.25 / 2.89 cm |
| 双手抓同一个物体 | Full | 0.88 / 2.01 cm |
| 双手抓同一个物体 | Object-only | 0.94 / 1.92 cm |
- 双手样例是把右手抓姿反射到物体另一端合成的,不是真正的 handover。这个合成的左手参考单独跑会掉物。
- 左手网格必须反射顶点并反转三角面绕序,不能用负 scale。记录在
mirror-fix-verification.json。 - 源码快照不含厂商 SDK 和现场标定。
- 视频:
single-right-full.mp4、single-left-mirror-full-fixed.mp4、dual-full-fixed.mp4。