File size: 13,045 Bytes
df5faa1
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
4c30652
df5faa1
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
# 数据、官方资产与研究输出

本文记录本研究真实使用的数据入口和目标目录。训练与评估命令见 [复现指南](reproduction.md)。代码、官方可下载资产、本研究产出的 checkpoint/原始评估是三类不同交付物:仅克隆本仓库不能恢复集群上的全部实验输出,也不能保证重新训练得到逐项相同数值。

## 官方来源与目标路径

| 内容 | 官方来源 | 本仓库使用的位置 |
|---|---|---|
| Flash-CHORD / Video-to-Data 代码与纸盒示例资产 | [nvidia-isaac/video_to_data](https://github.com/nvidia-isaac/video_to_data),资产需要 Git LFS | `third_party/video_to_data/`;学习器位于 `robotic_grounding/flash_chord/` |
| 官方 Utonia 代码 | [Pointcept/Utonia](https://github.com/Pointcept/Utonia) | `third_party/Utonia/` |
| 官方 Utonia 预训练权重 | [Pointcept/Utonia 模型仓库](https://huggingface.co/Pointcept/Utonia),文件 `utonia.pth` | `checkpoints/utonia/utonia.pth` |
| 五场景已重定向参考运动 | [NVIDIA Robot Dexterity Task Library](https://huggingface.co/datasets/nvidia/video-to-data-robot-dexterity-task-library-and-dataset) | 下文五条 `motion_v1.parquet` |
| TACO 原始物体表面网格 | [TACO 官方说明](https://github.com/leolyliu/TACO-Instructions) 的原始 Dropbox `Object_Models.zip` | `robotic_grounding/assets/meshes/taco/*_cm.obj`,完整前缀见下文 |
| TACO rigid URDF / 支撑面 | Video-to-Data 官方 `generate_rigid_urdfs.py` / `reconstruct_support_surfaces.py`,由上述网格和参考运动生成 | `assets/urdfs/taco/` 与 `assets/human_motion_data/taco/reconstructed_stage/` |

上表里的 `robotic_grounding/assets` 完整位置是:

```text
third_party/video_to_data/robotic_grounding/source/robotic_grounding/robotic_grounding/assets
```

官方代码和许可证的本地清单见 `third_party/sources.json`。当前源码树及本研究 glue 共同构成已使用版本;重新下载官方最新 `main` 不等于恢复本研究依赖状态。`configs/baseline.yaml` 还指定了 MuJoCo Warp 3.8.1、Newton 1.2.0、Warp 1.14.0 及官方 PR 补丁,其中有效引擎目录是 `third_party/mujoco_warp_1771/mujoco_warp`。不要仅安装同名最新版后宣称环境一致。

## 纸盒与 Utonia

纸盒正式配置使用目录:

```text
third_party/video_to_data/robotic_grounding/source/robotic_grounding/robotic_grounding/assets/human_motion_data/ego_recon/processed/sequence_id=tissue_box_simple/robot_name=sharpa_wave
```

由官方 reader 读取其中的 Parquet;不依赖自创的同名替代轨迹。机器人 Sharpa Wave 的 URDF、mesh,纸盒物体和支撑资产也必须保留。官方 Flash-CHORD README 要求在官方 checkout 中执行 Git LFS 拉取,只有指针文件不足以训练。

以下是尚未准备依赖时的下载示例。不要覆盖已经复现使用的源码树;Git LFS 安装和运行环境准备遵循集群计算节点规则。

```bash
# 首先恢复本分支使用的官方源码;然后单独下载官方资产。
bash tools/restore_official_sources.sh
git clone https://github.com/nvidia-isaac/video_to_data.git .cache/upstream-video-to-data-assets
git -C .cache/upstream-video-to-data-assets lfs pull
mkdir -p third_party/video_to_data/robotic_grounding/source/robotic_grounding/robotic_grounding/assets
cp -a .cache/upstream-video-to-data-assets/robotic_grounding/source/robotic_grounding/robotic_grounding/assets/. \
  third_party/video_to_data/robotic_grounding/source/robotic_grounding/robotic_grounding/assets/
mkdir -p checkpoints/utonia
curl -fL --retry 5 \
  https://huggingface.co/Pointcept/Utonia/resolve/main/utonia.pth \
  -o checkpoints/utonia/utonia.pth.download
mv checkpoints/utonia/utonia.pth.download checkpoints/utonia/utonia.pth
```

官方 `Utonia/utonia/model.py` 本身也通过 Hugging Face 下载这个文件名。本项目直接加载指定本地文件,要求完整9通道、五级 encoder,channels `[54,108,216,432,576]`、depths `[3,3,3,12,3]`。不存在“权重缺失时改用小模型”的复现路径。A0不需要Utonia估计器;A2的head权重不是这个官方预训练文件,见研究输出一节。

## 五个正式 TACO 场景

这五个场景均有 `tool` 和 `target` 两个刚体,不是单物体替代任务。配置选择 `task.object_name: tool`;另一个物体仍保留自由动力学。完整参考运动、双方物体、官方参考接触目标和支撑面均属于复现输入。

| 配置目录 | 官方 sequence ID |
|---|---|
| `empty_cup_bowl` | `taco_empty__cup__bowl_20231006_280` |
| `brush_brush_box` | `taco_brush__brush__box_20230927_029` |
| `cut_knife_plate` | `taco_cut__knife__plate_20230926_036` |
| `hit_hammer_box` | `taco_hit__hammer__box_20231031_179` |
| `measure_ruler_bowl` | `taco_measure__ruler__bowl_20231104_088` |

每个官方远端路径为 `taco/<sequence ID>/motion_v1.parquet`。对应本地完整路径为:

```text
third_party/video_to_data/robotic_grounding/source/robotic_grounding/robotic_grounding/assets/human_motion_data/taco/taco_processed/sequence_id=<sequence ID>/robot_name=sharpa_wave/motion_v1.parquet
```

可仅下载这五个参考文件,无需下载该数据集全部机器人执行视频或 LeRobot episodes:

```bash
asset_root=third_party/video_to_data/robotic_grounding/source/robotic_grounding/robotic_grounding/assets
hf_dataset=https://huggingface.co/datasets/nvidia/video-to-data-robot-dexterity-task-library-and-dataset/resolve/main
for sequence in \
  taco_empty__cup__bowl_20231006_280 \
  taco_brush__brush__box_20230927_029 \
  taco_cut__knife__plate_20230926_036 \
  taco_hit__hammer__box_20231031_179 \
  taco_measure__ruler__bowl_20231104_088
do
  destination="$asset_root/human_motion_data/taco/taco_processed/sequence_id=$sequence/robot_name=sharpa_wave"
  mkdir -p "$destination"
  curl -fL --retry 5 "$hf_dataset/taco/$sequence/motion_v1.parquet" \
    -o "$destination/motion_v1.parquet.download"
  mv "$destination/motion_v1.parquet.download" "$destination/motion_v1.parquet"
done
```

这些序列按官方 reader 所需数据完整性选择,未按训练成绩选择。先前候选中有文件缺少全部六个 `mano_{left,right}_object_contact_{positions,normals,part_ids}` 字段,因此不能直接用于完整官方目标。不能补造接触列或删除官方接触目标来绕过错误。下载后在计算节点用当前官方 reader/schema 检查完整性,再做完整参数 smoke;本文件未执行新机器验证。

### 原始物体网格与官方生成器

本研究使用原 TACO 网格,不用 NVIDIA 其他 object-assets 数据集的近似物体替换。官方 Video-to-Data TACO setup 对应的原始下载地址:

```text
https://dl.dropboxusercontent.com/scl/fo/8w7xir110nbcnq8uo1845/AAWCslPnomJ2V31dZaON1kY/Object_Models.zip?rlkey=xnhajvn71ua5i23w75la1nidx&dl=1
```

这是发布者公开分享链接;若其失效,应从 [TACO 官方说明](https://github.com/leolyliu/TACO-Instructions) 重新获取当前链接,不能推测一个镜像地址。本地历史归档位于 `.cache/flash-chord/multiscene_20261012/assets_probe/Object_Models.zip`,它不是公网交付地址。

```bash
mkdir -p downloads "$asset_root/meshes/taco"
curl -fL --retry 5 \
  'https://dl.dropboxusercontent.com/scl/fo/8w7xir110nbcnq8uo1845/AAWCslPnomJ2V31dZaON1kY/Object_Models.zip?rlkey=xnhajvn71ua5i23w75la1nidx&dl=1' \
  -o downloads/Object_Models.zip
unzip -j downloads/Object_Models.zip 'object_models_released/*_cm.obj' \
  -d "$asset_root/meshes/taco"
```

完整归档含206个原始OBJ。保留 `NNN_cm.obj` 文件名和原始厘米坐标;官方 dataset registry/URDF generator负责×0.01单位换算,不要人工提前缩放后再二次缩放。

所需官方源码必须来自同一完整 Video-to-Data checkout:

- `robotic_grounding/scripts/generate_rigid_urdfs.py`
- `robotic_grounding/scripts/reconstruct_support_surfaces.py`
- `robotic_grounding/source/robotic_grounding/robotic_grounding/retarget/`,包括 `dataset_registry`、`naming`、`data_logger`、`support_recon` 及其导入依赖。
- `robotic_grounding/source/robotic_grounding/robotic_grounding/motion_schema/`。

下面是已使用的官方生成器参数;须在配置好的计算节点环境执行,不能在登录节点运行 Python。`<python>` 应替换为复现指南所指定、可导入官方包和 Torch 的解释器;没有这个环境时先解决依赖,不能省略支撑面。

```bash
export PYTHONPATH="$PWD/third_party/video_to_data/robotic_grounding/source/robotic_grounding${PYTHONPATH:+:$PYTHONPATH}"
<python> third_party/video_to_data/robotic_grounding/scripts/generate_rigid_urdfs.py --dataset taco
<python> third_party/video_to_data/robotic_grounding/scripts/reconstruct_support_surfaces.py \
  --dataset taco \
  --input_dir "$asset_root/human_motion_data/taco/taco_processed" \
  --robot_name sharpa_wave \
  --sequence_pattern 'taco_(empty__cup__bowl_20231006_280|brush__brush__box_20230927_029|cut__knife__plate_20230926_036|hit__hammer__box_20231031_179|measure__ruler__bowl_20231104_088)'
```

输出是 `assets/urdfs/taco/*_rigid.urdf`、相关生成mesh,以及 `assets/human_motion_data/taco/reconstructed_stage/<sequence ID>_support.usda`。本研究五份support均存在;正式配置使用支撑面。HF参考文件并不构成所有物体/支撑资产的完整闭包。

本地路径由项目YAML和官方包路径解析。官方容器 README 的 `V2D_ASSETS_DIR` 是其容器挂载入口,不会自动改写本项目 YAML 的 `task.reference`。同样,不要依赖历史集群的绝对 `/public/home/...` 路径;迁移时保持相对资产层级并核验解析结果。

## 许可与访问边界

来源中的许可信息应随资产保留:Video-to-Data 根 LICENSE 区分代码 Apache-2.0、文档/skills CC-BY-4.0;Utonia 源码 LICENSE 为 Apache-2.0,其[官方预训练权重](https://huggingface.co/Pointcept/Utonia)单独标注 CC-BY-NC-4.0;NVIDIA task-library 数据卡声明 CC-BY-4.0。机器人网格/URDF各有独立 LICENSE,不能用根代码许可替代。原 TACO Object_Models 的使用以其发布者条款为准,本项目不重新授予权利。

使用已发布的重定向 Parquet 不需要重新下载原始 MANO 手模型。如果要从原始 TACO Hand_Poses 重做完整重定向管线,MANO 模型受单独注册/许可约束;本项目不提供这类受限模型的替代下载链接。以上官方链接不代表数据永远无需登录或不会变更;遇到访问限制按发布者流程处理。

## 本研究 checkpoint、原始评估与页面数据

以下是原始集群的相对路径。2026-10-17 起,对应已完成模型正在发布到 [公开 HF 仓库](https://huggingface.co/Railgun526/Curiosity-Tactile-Checkpoints),须按在线 upload-status.json 核实完成范围,不能仅凭 manifest 认定全部已上传:

- 原纸盒两臂:`experiments/flash_chord/tactile_reconstruction_20261011/formal_seed42_v2/`。
- 五辅助消融:`experiments/flash_chord/tactile_ablations_20261011/`。
- 去物体位姿、原生504输入、无历史:`experiments/flash_chord/{no_object_pose_20261011,native_input_20261012,no_history_20261012}/`。
- 五场景:`experiments/flash_chord/multiscene_20261012/`。
- 四类扰动及冻结迁移:`experiments/flash_chord/robustness_20261013/`。
- 接触力审计:`experiments/flash_chord/force_audit_20261012/`。

每条训练路线的 `final_checkpoint.json` 指向实际最终模型。A2评估需要同一步的 `policy_*.safetensors` 和同名 `policy_*.estimator.pt`,再加官方Utonia权重与对应参考资产;不能只搬policy而丢失head。旧full A2、新no-SDF A2和各消融不能互换sidecar。恢复训练如有需求还涉及 `state_*.safetensors` 及官方保存契约,不能把仅策略导出描述成完整训练状态。

重建原始结果页需要对应 `completed.json`、被接受attempt的 `metrics.json`、合同/provenance、姿态 `display_states.h5`;受力叠加还需同一attempt的 `contact_forces.h5` 和 `contact_force_outcomes.json`。原正式录像和后来力审计是不同rollout,不能交叉拼接。页面导出工具为 `tools/export_project_page.py`;旧纸盒资产导出由 `tools/export_tactile_replay.py` 提供。

`docs/site/project-data/results.json`、`replays.json` 及浏览器资产是派生展示数据,不能代替训练checkpoint或4096-world原始记录。页面的 `/research-results/` 和 `/source/` 依赖 `tools/serve.py` 路由;它们不是已发布的外部数据下载服务。

**当前限制:公开模型发布及下载入口已登记在[根 README](../README.md);完整原始评估仍未公开。** 远端重评已有模型,先按根 README 下载已完成上传的 policy 与对应 estimator,并显式创建路径迁移副本;从官方资产重新训练是另一条可运行路线,不等于恢复所有历史输出。本文不声称全新机器已端到端验证,也不为未发布的数据编造链接。