Railgun526's picture
Publish reproducibility source snapshot, original paper assets, and audited evidence
71b84ee verified
|
Raw History Blame Contribute Delete
13 kB

数据、官方资产与研究输出

本文记录本研究真实使用的数据入口和目标目录。训练与评估命令见 复现指南。代码、官方可下载资产、本研究产出的 checkpoint/原始评估是三类不同交付物:仅克隆本仓库不能恢复集群上的全部实验输出,也不能保证重新训练得到逐项相同数值。

官方来源与目标路径

内容 官方来源 本仓库使用的位置
Flash-CHORD / Video-to-Data 代码与纸盒示例资产 nvidia-isaac/video_to_data,资产需要 Git LFS third_party/video_to_data/;学习器位于 robotic_grounding/flash_chord/
官方 Utonia 代码 Pointcept/Utonia third_party/Utonia/
官方 Utonia 预训练权重 Pointcept/Utonia 模型仓库,文件 utonia.pth checkpoints/utonia/utonia.pth
五场景已重定向参考运动 NVIDIA Robot Dexterity Task Library 下文五条 motion_v1.parquet
TACO 原始物体表面网格 TACO 官方说明 的原始 Dropbox Object_Models.zip robotic_grounding/assets/meshes/taco/*_cm.obj,完整前缀见下文
TACO rigid URDF / 支撑面 Video-to-Data 官方 generate_rigid_urdfs.py / reconstruct_support_surfaces.py,由上述网格和参考运动生成 assets/urdfs/taco/ 与 assets/human_motion_data/taco/reconstructed_stage/

上表里的 robotic_grounding/assets 完整位置是:

third_party/video_to_data/robotic_grounding/source/robotic_grounding/robotic_grounding/assets

官方代码和许可证的本地清单见 third_party/sources.json。当前源码树及本研究 glue 共同构成已使用版本;重新下载官方最新 main 不等于恢复本研究依赖状态。configs/baseline.yaml 还指定了 MuJoCo Warp 3.8.1、Newton 1.2.0、Warp 1.14.0 及官方 PR 补丁,其中有效引擎目录是 third_party/mujoco_warp_1771/mujoco_warp。不要仅安装同名最新版后宣称环境一致。

纸盒与 Utonia

纸盒正式配置使用目录:

third_party/video_to_data/robotic_grounding/source/robotic_grounding/robotic_grounding/assets/human_motion_data/ego_recon/processed/sequence_id=tissue_box_simple/robot_name=sharpa_wave

由官方 reader 读取其中的 Parquet;不依赖自创的同名替代轨迹。机器人 Sharpa Wave 的 URDF、mesh,纸盒物体和支撑资产也必须保留。官方 Flash-CHORD README 要求在官方 checkout 中执行 Git LFS 拉取,只有指针文件不足以训练。

以下是尚未准备依赖时的下载示例。不要覆盖已经复现使用的源码树;Git LFS 安装和运行环境准备遵循集群计算节点规则。

# 首先恢复本分支使用的官方源码;然后单独下载官方资产。
bash tools/restore_official_sources.sh
git clone https://github.com/nvidia-isaac/video_to_data.git .cache/upstream-video-to-data-assets
git -C .cache/upstream-video-to-data-assets lfs pull
mkdir -p third_party/video_to_data/robotic_grounding/source/robotic_grounding/robotic_grounding/assets
cp -a .cache/upstream-video-to-data-assets/robotic_grounding/source/robotic_grounding/robotic_grounding/assets/. \
  third_party/video_to_data/robotic_grounding/source/robotic_grounding/robotic_grounding/assets/
mkdir -p checkpoints/utonia
curl -fL --retry 5 \
  https://huggingface.co/Pointcept/Utonia/resolve/main/utonia.pth \
  -o checkpoints/utonia/utonia.pth.download
mv checkpoints/utonia/utonia.pth.download checkpoints/utonia/utonia.pth

官方 Utonia/utonia/model.py 本身也通过 Hugging Face 下载这个文件名。本项目直接加载指定本地文件,要求完整9通道、五级 encoder,channels [54,108,216,432,576]、depths [3,3,3,12,3]。不存在“权重缺失时改用小模型”的复现路径。A0不需要Utonia估计器;A2的head权重不是这个官方预训练文件,见研究输出一节。

五个正式 TACO 场景

这五个场景均有 tool 和 target 两个刚体,不是单物体替代任务。配置选择 task.object_name: tool;另一个物体仍保留自由动力学。完整参考运动、双方物体、官方参考接触目标和支撑面均属于复现输入。

配置目录 官方 sequence ID
empty_cup_bowl taco_empty__cup__bowl_20231006_280
brush_brush_box taco_brush__brush__box_20230927_029
cut_knife_plate taco_cut__knife__plate_20230926_036
hit_hammer_box taco_hit__hammer__box_20231031_179
measure_ruler_bowl taco_measure__ruler__bowl_20231104_088

每个官方远端路径为 taco/<sequence ID>/motion_v1.parquet。对应本地完整路径为:

third_party/video_to_data/robotic_grounding/source/robotic_grounding/robotic_grounding/assets/human_motion_data/taco/taco_processed/sequence_id=<sequence ID>/robot_name=sharpa_wave/motion_v1.parquet

可仅下载这五个参考文件,无需下载该数据集全部机器人执行视频或 LeRobot episodes:

asset_root=third_party/video_to_data/robotic_grounding/source/robotic_grounding/robotic_grounding/assets
hf_dataset=https://huggingface.co/datasets/nvidia/video-to-data-robot-dexterity-task-library-and-dataset/resolve/main
for sequence in \
  taco_empty__cup__bowl_20231006_280 \
  taco_brush__brush__box_20230927_029 \
  taco_cut__knife__plate_20230926_036 \
  taco_hit__hammer__box_20231031_179 \
  taco_measure__ruler__bowl_20231104_088
do
  destination="$asset_root/human_motion_data/taco/taco_processed/sequence_id=$sequence/robot_name=sharpa_wave"
  mkdir -p "$destination"
  curl -fL --retry 5 "$hf_dataset/taco/$sequence/motion_v1.parquet" \
    -o "$destination/motion_v1.parquet.download"
  mv "$destination/motion_v1.parquet.download" "$destination/motion_v1.parquet"
done

这些序列按官方 reader 所需数据完整性选择,未按训练成绩选择。先前候选中有文件缺少全部六个 mano_{left,right}_object_contact_{positions,normals,part_ids} 字段,因此不能直接用于完整官方目标。不能补造接触列或删除官方接触目标来绕过错误。下载后在计算节点用当前官方 reader/schema 检查完整性,再做完整参数 smoke;本文件未执行新机器验证。

原始物体网格与官方生成器

本研究使用原 TACO 网格,不用 NVIDIA 其他 object-assets 数据集的近似物体替换。官方 Video-to-Data TACO setup 对应的原始下载地址:

https://dl.dropboxusercontent.com/scl/fo/8w7xir110nbcnq8uo1845/AAWCslPnomJ2V31dZaON1kY/Object_Models.zip?rlkey=xnhajvn71ua5i23w75la1nidx&dl=1

这是发布者公开分享链接;若其失效,应从 TACO 官方说明 重新获取当前链接,不能推测一个镜像地址。本地历史归档位于 .cache/flash-chord/multiscene_20261012/assets_probe/Object_Models.zip,它不是公网交付地址。

mkdir -p downloads "$asset_root/meshes/taco"
curl -fL --retry 5 \
  'https://dl.dropboxusercontent.com/scl/fo/8w7xir110nbcnq8uo1845/AAWCslPnomJ2V31dZaON1kY/Object_Models.zip?rlkey=xnhajvn71ua5i23w75la1nidx&dl=1' \
  -o downloads/Object_Models.zip
unzip -j downloads/Object_Models.zip 'object_models_released/*_cm.obj' \
  -d "$asset_root/meshes/taco"

完整归档含206个原始OBJ。保留 NNN_cm.obj 文件名和原始厘米坐标;官方 dataset registry/URDF generator负责×0.01单位换算,不要人工提前缩放后再二次缩放。

所需官方源码必须来自同一完整 Video-to-Data checkout:

  • robotic_grounding/scripts/generate_rigid_urdfs.py
  • robotic_grounding/scripts/reconstruct_support_surfaces.py
  • robotic_grounding/source/robotic_grounding/robotic_grounding/retarget/,包括 dataset_registry、naming、data_logger、support_recon 及其导入依赖。
  • robotic_grounding/source/robotic_grounding/robotic_grounding/motion_schema/。

下面是已使用的官方生成器参数;须在配置好的计算节点环境执行,不能在登录节点运行 Python。<python> 应替换为复现指南所指定、可导入官方包和 Torch 的解释器;没有这个环境时先解决依赖,不能省略支撑面。

export PYTHONPATH="$PWD/third_party/video_to_data/robotic_grounding/source/robotic_grounding${PYTHONPATH:+:$PYTHONPATH}"
<python> third_party/video_to_data/robotic_grounding/scripts/generate_rigid_urdfs.py --dataset taco
<python> third_party/video_to_data/robotic_grounding/scripts/reconstruct_support_surfaces.py \
  --dataset taco \
  --input_dir "$asset_root/human_motion_data/taco/taco_processed" \
  --robot_name sharpa_wave \
  --sequence_pattern 'taco_(empty__cup__bowl_20231006_280|brush__brush__box_20230927_029|cut__knife__plate_20230926_036|hit__hammer__box_20231031_179|measure__ruler__bowl_20231104_088)'

输出是 assets/urdfs/taco/*_rigid.urdf、相关生成mesh,以及 assets/human_motion_data/taco/reconstructed_stage/<sequence ID>_support.usda。本研究五份support均存在;正式配置使用支撑面。HF参考文件并不构成所有物体/支撑资产的完整闭包。

本地路径由项目YAML和官方包路径解析。官方容器 README 的 V2D_ASSETS_DIR 是其容器挂载入口,不会自动改写本项目 YAML 的 task.reference。同样,不要依赖历史集群的绝对 /public/home/... 路径;迁移时保持相对资产层级并核验解析结果。

许可与访问边界

来源中的许可信息应随资产保留:Video-to-Data 根 LICENSE 区分代码 Apache-2.0、文档/skills CC-BY-4.0;Utonia 源码 LICENSE 为 Apache-2.0;NVIDIA task-library 数据卡声明 CC-BY-4.0。机器人网格/URDF各有独立 LICENSE,不能用根代码许可替代。原 TACO Object_Models 的使用以其发布者条款为准,本项目不重新授予权利。

使用已发布的重定向 Parquet 不需要重新下载原始 MANO 手模型。如果要从原始 TACO Hand_Poses 重做完整重定向管线,MANO 模型受单独注册/许可约束;本项目不提供这类受限模型的替代下载链接。以上官方链接不代表数据永远无需登录或不会变更;遇到访问限制按发布者流程处理。

本研究 checkpoint、原始评估与页面数据

以下是原始集群的相对路径。2026-10-17 起,对应已完成模型正在发布到 公开 HF 仓库,须按在线 upload-status.json 核实完成范围,不能仅凭 manifest 认定全部已上传:

  • 原纸盒两臂:experiments/flash_chord/tactile_reconstruction_20261011/formal_seed42_v2/。
  • 五辅助消融:experiments/flash_chord/tactile_ablations_20261011/。
  • 去物体位姿、原生504输入、无历史:experiments/flash_chord/{no_object_pose_20261011,native_input_20261012,no_history_20261012}/。
  • 五场景:experiments/flash_chord/multiscene_20261012/。
  • 四类扰动及冻结迁移:experiments/flash_chord/robustness_20261013/。
  • 接触力审计:experiments/flash_chord/force_audit_20261012/。

每条训练路线的 final_checkpoint.json 指向实际最终模型。A2评估需要同一步的 policy_*.safetensors 和同名 policy_*.estimator.pt,再加官方Utonia权重与对应参考资产;不能只搬policy而丢失head。旧full A2、新no-SDF A2和各消融不能互换sidecar。恢复训练如有需求还涉及 state_*.safetensors 及官方保存契约,不能把仅策略导出描述成完整训练状态。

重建原始结果页需要对应 completed.json、被接受attempt的 metrics.json、合同/provenance、姿态 display_states.h5;受力叠加还需同一attempt的 contact_forces.h5 和 contact_force_outcomes.json。原正式录像和后来力审计是不同rollout,不能交叉拼接。页面导出工具为 tools/export_project_page.py;旧纸盒资产导出由 tools/export_tactile_replay.py 提供。

docs/site/project-data/results.json、replays.json 及浏览器资产是派生展示数据,不能代替训练checkpoint或4096-world原始记录。页面的 /research-results/ 和 /source/ 依赖 tools/serve.py 路由;它们不是已发布的外部数据下载服务。

当前限制:公开模型发布及下载入口已登记在根 README;完整原始评估仍未公开。 远端重评已有模型,先按根 README 下载已完成上传的 policy 与对应 estimator,并显式创建路径迁移副本;从官方资产重新训练是另一条可运行路线,不等于恢复所有历史输出。本文不声称全新机器已端到端验证,也不为未发布的数据编造链接。