# 数据、官方资产与研究输出 本文记录本研究真实使用的数据入口和目标目录。训练与评估命令见 [复现指南](reproduction.md)。代码、官方可下载资产、本研究产出的 checkpoint/原始评估是三类不同交付物:仅克隆本仓库不能恢复集群上的全部实验输出,也不能保证重新训练得到逐项相同数值。 ## 官方来源与目标路径 | 内容 | 官方来源 | 本仓库使用的位置 | |---|---|---| | Flash-CHORD / Video-to-Data 代码与纸盒示例资产 | [nvidia-isaac/video_to_data](https://github.com/nvidia-isaac/video_to_data),资产需要 Git LFS | `third_party/video_to_data/`;学习器位于 `robotic_grounding/flash_chord/` | | 官方 Utonia 代码 | [Pointcept/Utonia](https://github.com/Pointcept/Utonia) | `third_party/Utonia/` | | 官方 Utonia 预训练权重 | [Pointcept/Utonia 模型仓库](https://huggingface.co/Pointcept/Utonia),文件 `utonia.pth` | `checkpoints/utonia/utonia.pth` | | 五场景已重定向参考运动 | [NVIDIA Robot Dexterity Task Library](https://huggingface.co/datasets/nvidia/video-to-data-robot-dexterity-task-library-and-dataset) | 下文五条 `motion_v1.parquet` | | TACO 原始物体表面网格 | [TACO 官方说明](https://github.com/leolyliu/TACO-Instructions) 的原始 Dropbox `Object_Models.zip` | `robotic_grounding/assets/meshes/taco/*_cm.obj`,完整前缀见下文 | | TACO rigid URDF / 支撑面 | Video-to-Data 官方 `generate_rigid_urdfs.py` / `reconstruct_support_surfaces.py`,由上述网格和参考运动生成 | `assets/urdfs/taco/` 与 `assets/human_motion_data/taco/reconstructed_stage/` | 上表里的 `robotic_grounding/assets` 完整位置是: ```text third_party/video_to_data/robotic_grounding/source/robotic_grounding/robotic_grounding/assets ``` 官方代码和许可证的本地清单见 `third_party/sources.json`。当前源码树及本研究 glue 共同构成已使用版本;重新下载官方最新 `main` 不等于恢复本研究依赖状态。`configs/baseline.yaml` 还指定了 MuJoCo Warp 3.8.1、Newton 1.2.0、Warp 1.14.0 及官方 PR 补丁,其中有效引擎目录是 `third_party/mujoco_warp_1771/mujoco_warp`。不要仅安装同名最新版后宣称环境一致。 ## 纸盒与 Utonia 纸盒正式配置使用目录: ```text third_party/video_to_data/robotic_grounding/source/robotic_grounding/robotic_grounding/assets/human_motion_data/ego_recon/processed/sequence_id=tissue_box_simple/robot_name=sharpa_wave ``` 由官方 reader 读取其中的 Parquet;不依赖自创的同名替代轨迹。机器人 Sharpa Wave 的 URDF、mesh,纸盒物体和支撑资产也必须保留。官方 Flash-CHORD README 要求在官方 checkout 中执行 Git LFS 拉取,只有指针文件不足以训练。 以下是尚未准备依赖时的下载示例。不要覆盖已经复现使用的源码树;Git LFS 安装和运行环境准备遵循集群计算节点规则。 ```bash # 首先恢复本分支使用的官方源码;然后单独下载官方资产。 bash tools/restore_official_sources.sh git clone https://github.com/nvidia-isaac/video_to_data.git .cache/upstream-video-to-data-assets git -C .cache/upstream-video-to-data-assets lfs pull mkdir -p third_party/video_to_data/robotic_grounding/source/robotic_grounding/robotic_grounding/assets cp -a .cache/upstream-video-to-data-assets/robotic_grounding/source/robotic_grounding/robotic_grounding/assets/. \ third_party/video_to_data/robotic_grounding/source/robotic_grounding/robotic_grounding/assets/ mkdir -p checkpoints/utonia curl -fL --retry 5 \ https://huggingface.co/Pointcept/Utonia/resolve/main/utonia.pth \ -o checkpoints/utonia/utonia.pth.download mv checkpoints/utonia/utonia.pth.download checkpoints/utonia/utonia.pth ``` 官方 `Utonia/utonia/model.py` 本身也通过 Hugging Face 下载这个文件名。本项目直接加载指定本地文件,要求完整9通道、五级 encoder,channels `[54,108,216,432,576]`、depths `[3,3,3,12,3]`。不存在“权重缺失时改用小模型”的复现路径。A0不需要Utonia估计器;A2的head权重不是这个官方预训练文件,见研究输出一节。 ## 五个正式 TACO 场景 这五个场景均有 `tool` 和 `target` 两个刚体,不是单物体替代任务。配置选择 `task.object_name: tool`;另一个物体仍保留自由动力学。完整参考运动、双方物体、官方参考接触目标和支撑面均属于复现输入。 | 配置目录 | 官方 sequence ID | |---|---| | `empty_cup_bowl` | `taco_empty__cup__bowl_20231006_280` | | `brush_brush_box` | `taco_brush__brush__box_20230927_029` | | `cut_knife_plate` | `taco_cut__knife__plate_20230926_036` | | `hit_hammer_box` | `taco_hit__hammer__box_20231031_179` | | `measure_ruler_bowl` | `taco_measure__ruler__bowl_20231104_088` | 每个官方远端路径为 `taco//motion_v1.parquet`。对应本地完整路径为: ```text third_party/video_to_data/robotic_grounding/source/robotic_grounding/robotic_grounding/assets/human_motion_data/taco/taco_processed/sequence_id=/robot_name=sharpa_wave/motion_v1.parquet ``` 可仅下载这五个参考文件,无需下载该数据集全部机器人执行视频或 LeRobot episodes: ```bash asset_root=third_party/video_to_data/robotic_grounding/source/robotic_grounding/robotic_grounding/assets hf_dataset=https://huggingface.co/datasets/nvidia/video-to-data-robot-dexterity-task-library-and-dataset/resolve/main for sequence in \ taco_empty__cup__bowl_20231006_280 \ taco_brush__brush__box_20230927_029 \ taco_cut__knife__plate_20230926_036 \ taco_hit__hammer__box_20231031_179 \ taco_measure__ruler__bowl_20231104_088 do destination="$asset_root/human_motion_data/taco/taco_processed/sequence_id=$sequence/robot_name=sharpa_wave" mkdir -p "$destination" curl -fL --retry 5 "$hf_dataset/taco/$sequence/motion_v1.parquet" \ -o "$destination/motion_v1.parquet.download" mv "$destination/motion_v1.parquet.download" "$destination/motion_v1.parquet" done ``` 这些序列按官方 reader 所需数据完整性选择,未按训练成绩选择。先前候选中有文件缺少全部六个 `mano_{left,right}_object_contact_{positions,normals,part_ids}` 字段,因此不能直接用于完整官方目标。不能补造接触列或删除官方接触目标来绕过错误。下载后在计算节点用当前官方 reader/schema 检查完整性,再做完整参数 smoke;本文件未执行新机器验证。 ### 原始物体网格与官方生成器 本研究使用原 TACO 网格,不用 NVIDIA 其他 object-assets 数据集的近似物体替换。官方 Video-to-Data TACO setup 对应的原始下载地址: ```text https://dl.dropboxusercontent.com/scl/fo/8w7xir110nbcnq8uo1845/AAWCslPnomJ2V31dZaON1kY/Object_Models.zip?rlkey=xnhajvn71ua5i23w75la1nidx&dl=1 ``` 这是发布者公开分享链接;若其失效,应从 [TACO 官方说明](https://github.com/leolyliu/TACO-Instructions) 重新获取当前链接,不能推测一个镜像地址。本地历史归档位于 `.cache/flash-chord/multiscene_20261012/assets_probe/Object_Models.zip`,它不是公网交付地址。 ```bash mkdir -p downloads "$asset_root/meshes/taco" curl -fL --retry 5 \ 'https://dl.dropboxusercontent.com/scl/fo/8w7xir110nbcnq8uo1845/AAWCslPnomJ2V31dZaON1kY/Object_Models.zip?rlkey=xnhajvn71ua5i23w75la1nidx&dl=1' \ -o downloads/Object_Models.zip unzip -j downloads/Object_Models.zip 'object_models_released/*_cm.obj' \ -d "$asset_root/meshes/taco" ``` 完整归档含206个原始OBJ。保留 `NNN_cm.obj` 文件名和原始厘米坐标;官方 dataset registry/URDF generator负责×0.01单位换算,不要人工提前缩放后再二次缩放。 所需官方源码必须来自同一完整 Video-to-Data checkout: - `robotic_grounding/scripts/generate_rigid_urdfs.py` - `robotic_grounding/scripts/reconstruct_support_surfaces.py` - `robotic_grounding/source/robotic_grounding/robotic_grounding/retarget/`,包括 `dataset_registry`、`naming`、`data_logger`、`support_recon` 及其导入依赖。 - `robotic_grounding/source/robotic_grounding/robotic_grounding/motion_schema/`。 下面是已使用的官方生成器参数;须在配置好的计算节点环境执行,不能在登录节点运行 Python。`` 应替换为复现指南所指定、可导入官方包和 Torch 的解释器;没有这个环境时先解决依赖,不能省略支撑面。 ```bash export PYTHONPATH="$PWD/third_party/video_to_data/robotic_grounding/source/robotic_grounding${PYTHONPATH:+:$PYTHONPATH}" third_party/video_to_data/robotic_grounding/scripts/generate_rigid_urdfs.py --dataset taco third_party/video_to_data/robotic_grounding/scripts/reconstruct_support_surfaces.py \ --dataset taco \ --input_dir "$asset_root/human_motion_data/taco/taco_processed" \ --robot_name sharpa_wave \ --sequence_pattern 'taco_(empty__cup__bowl_20231006_280|brush__brush__box_20230927_029|cut__knife__plate_20230926_036|hit__hammer__box_20231031_179|measure__ruler__bowl_20231104_088)' ``` 输出是 `assets/urdfs/taco/*_rigid.urdf`、相关生成mesh,以及 `assets/human_motion_data/taco/reconstructed_stage/_support.usda`。本研究五份support均存在;正式配置使用支撑面。HF参考文件并不构成所有物体/支撑资产的完整闭包。 本地路径由项目YAML和官方包路径解析。官方容器 README 的 `V2D_ASSETS_DIR` 是其容器挂载入口,不会自动改写本项目 YAML 的 `task.reference`。同样,不要依赖历史集群的绝对 `/public/home/...` 路径;迁移时保持相对资产层级并核验解析结果。 ## 许可与访问边界 来源中的许可信息应随资产保留:Video-to-Data 根 LICENSE 区分代码 Apache-2.0、文档/skills CC-BY-4.0;Utonia 源码 LICENSE 为 Apache-2.0;NVIDIA task-library 数据卡声明 CC-BY-4.0。机器人网格/URDF各有独立 LICENSE,不能用根代码许可替代。原 TACO Object_Models 的使用以其发布者条款为准,本项目不重新授予权利。 使用已发布的重定向 Parquet 不需要重新下载原始 MANO 手模型。如果要从原始 TACO Hand_Poses 重做完整重定向管线,MANO 模型受单独注册/许可约束;本项目不提供这类受限模型的替代下载链接。以上官方链接不代表数据永远无需登录或不会变更;遇到访问限制按发布者流程处理。 ## 本研究 checkpoint、原始评估与页面数据 以下是原始集群的相对路径。2026-10-17 起,对应已完成模型正在发布到 [公开 HF 仓库](https://huggingface.co/Railgun526/Curiosity-Tactile-Checkpoints),须按在线 upload-status.json 核实完成范围,不能仅凭 manifest 认定全部已上传: - 原纸盒两臂:`experiments/flash_chord/tactile_reconstruction_20261011/formal_seed42_v2/`。 - 五辅助消融:`experiments/flash_chord/tactile_ablations_20261011/`。 - 去物体位姿、原生504输入、无历史:`experiments/flash_chord/{no_object_pose_20261011,native_input_20261012,no_history_20261012}/`。 - 五场景:`experiments/flash_chord/multiscene_20261012/`。 - 四类扰动及冻结迁移:`experiments/flash_chord/robustness_20261013/`。 - 接触力审计:`experiments/flash_chord/force_audit_20261012/`。 每条训练路线的 `final_checkpoint.json` 指向实际最终模型。A2评估需要同一步的 `policy_*.safetensors` 和同名 `policy_*.estimator.pt`,再加官方Utonia权重与对应参考资产;不能只搬policy而丢失head。旧full A2、新no-SDF A2和各消融不能互换sidecar。恢复训练如有需求还涉及 `state_*.safetensors` 及官方保存契约,不能把仅策略导出描述成完整训练状态。 重建原始结果页需要对应 `completed.json`、被接受attempt的 `metrics.json`、合同/provenance、姿态 `display_states.h5`;受力叠加还需同一attempt的 `contact_forces.h5` 和 `contact_force_outcomes.json`。原正式录像和后来力审计是不同rollout,不能交叉拼接。页面导出工具为 `tools/export_project_page.py`;旧纸盒资产导出由 `tools/export_tactile_replay.py` 提供。 `docs/site/project-data/results.json`、`replays.json` 及浏览器资产是派生展示数据,不能代替训练checkpoint或4096-world原始记录。页面的 `/research-results/` 和 `/source/` 依赖 `tools/serve.py` 路由;它们不是已发布的外部数据下载服务。 **当前限制:公开模型发布及下载入口已登记在[根 README](../README.md);完整原始评估仍未公开。** 远端重评已有模型,先按根 README 下载已完成上传的 policy 与对应 estimator,并显式创建路径迁移副本;从官方资产重新训练是另一条可运行路线,不等于恢复所有历史输出。本文不声称全新机器已端到端验证,也不为未发布的数据编造链接。