Download documentation/data_assets.md from Railgun526/Curiosity-Tactile-Checkpoints: direct link, hf CLI and curl.
- Browser
- Download file 13 kB
-
https://huggingface.co/Railgun526/Curiosity-Tactile-Checkpoints/resolve/main/documentation/data_assets.md
- Command line
-
hf download hf://Railgun526/Curiosity-Tactile-Checkpoints/documentation/data_assets.md
-
curl -L -o data_assets.md https://huggingface.co/Railgun526/Curiosity-Tactile-Checkpoints/resolve/main/documentation/data_assets.md
数据、官方资产与研究输出
本文记录本研究真实使用的数据入口和目标目录。训练与评估命令见 复现指南。代码、官方可下载资产、本研究产出的 checkpoint/原始评估是三类不同交付物:仅克隆本仓库不能恢复集群上的全部实验输出,也不能保证重新训练得到逐项相同数值。
官方来源与目标路径
| 内容 | 官方来源 | 本仓库使用的位置 |
|---|---|---|
| Flash-CHORD / Video-to-Data 代码与纸盒示例资产 | nvidia-isaac/video_to_data,资产需要 Git LFS | third_party/video_to_data/;学习器位于 robotic_grounding/flash_chord/ |
| 官方 Utonia 代码 | Pointcept/Utonia | third_party/Utonia/ |
| 官方 Utonia 预训练权重 | Pointcept/Utonia 模型仓库,文件 utonia.pth |
checkpoints/utonia/utonia.pth |
| 五场景已重定向参考运动 | NVIDIA Robot Dexterity Task Library | 下文五条 motion_v1.parquet |
| TACO 原始物体表面网格 | TACO 官方说明 的原始 Dropbox Object_Models.zip |
robotic_grounding/assets/meshes/taco/*_cm.obj,完整前缀见下文 |
| TACO rigid URDF / 支撑面 | Video-to-Data 官方 generate_rigid_urdfs.py / reconstruct_support_surfaces.py,由上述网格和参考运动生成 |
assets/urdfs/taco/ 与 assets/human_motion_data/taco/reconstructed_stage/ |
上表里的 robotic_grounding/assets 完整位置是:
third_party/video_to_data/robotic_grounding/source/robotic_grounding/robotic_grounding/assets
官方代码和许可证的本地清单见 third_party/sources.json。当前源码树及本研究 glue 共同构成已使用版本;重新下载官方最新 main 不等于恢复本研究依赖状态。configs/baseline.yaml 还指定了 MuJoCo Warp 3.8.1、Newton 1.2.0、Warp 1.14.0 及官方 PR 补丁,其中有效引擎目录是 third_party/mujoco_warp_1771/mujoco_warp。不要仅安装同名最新版后宣称环境一致。
纸盒与 Utonia
纸盒正式配置使用目录:
third_party/video_to_data/robotic_grounding/source/robotic_grounding/robotic_grounding/assets/human_motion_data/ego_recon/processed/sequence_id=tissue_box_simple/robot_name=sharpa_wave
由官方 reader 读取其中的 Parquet;不依赖自创的同名替代轨迹。机器人 Sharpa Wave 的 URDF、mesh,纸盒物体和支撑资产也必须保留。官方 Flash-CHORD README 要求在官方 checkout 中执行 Git LFS 拉取,只有指针文件不足以训练。
以下是尚未准备依赖时的下载示例。不要覆盖已经复现使用的源码树;Git LFS 安装和运行环境准备遵循集群计算节点规则。
# 首先恢复本分支使用的官方源码;然后单独下载官方资产。
bash tools/restore_official_sources.sh
git clone https://github.com/nvidia-isaac/video_to_data.git .cache/upstream-video-to-data-assets
git -C .cache/upstream-video-to-data-assets lfs pull
mkdir -p third_party/video_to_data/robotic_grounding/source/robotic_grounding/robotic_grounding/assets
cp -a .cache/upstream-video-to-data-assets/robotic_grounding/source/robotic_grounding/robotic_grounding/assets/. \
third_party/video_to_data/robotic_grounding/source/robotic_grounding/robotic_grounding/assets/
mkdir -p checkpoints/utonia
curl -fL --retry 5 \
https://huggingface.co/Pointcept/Utonia/resolve/main/utonia.pth \
-o checkpoints/utonia/utonia.pth.download
mv checkpoints/utonia/utonia.pth.download checkpoints/utonia/utonia.pth
官方 Utonia/utonia/model.py 本身也通过 Hugging Face 下载这个文件名。本项目直接加载指定本地文件,要求完整9通道、五级 encoder,channels [54,108,216,432,576]、depths [3,3,3,12,3]。不存在“权重缺失时改用小模型”的复现路径。A0不需要Utonia估计器;A2的head权重不是这个官方预训练文件,见研究输出一节。
五个正式 TACO 场景
这五个场景均有 tool 和 target 两个刚体,不是单物体替代任务。配置选择 task.object_name: tool;另一个物体仍保留自由动力学。完整参考运动、双方物体、官方参考接触目标和支撑面均属于复现输入。
| 配置目录 | 官方 sequence ID |
|---|---|
empty_cup_bowl |
taco_empty__cup__bowl_20231006_280 |
brush_brush_box |
taco_brush__brush__box_20230927_029 |
cut_knife_plate |
taco_cut__knife__plate_20230926_036 |
hit_hammer_box |
taco_hit__hammer__box_20231031_179 |
measure_ruler_bowl |
taco_measure__ruler__bowl_20231104_088 |
每个官方远端路径为 taco/<sequence ID>/motion_v1.parquet。对应本地完整路径为:
third_party/video_to_data/robotic_grounding/source/robotic_grounding/robotic_grounding/assets/human_motion_data/taco/taco_processed/sequence_id=<sequence ID>/robot_name=sharpa_wave/motion_v1.parquet
可仅下载这五个参考文件,无需下载该数据集全部机器人执行视频或 LeRobot episodes:
asset_root=third_party/video_to_data/robotic_grounding/source/robotic_grounding/robotic_grounding/assets
hf_dataset=https://huggingface.co/datasets/nvidia/video-to-data-robot-dexterity-task-library-and-dataset/resolve/main
for sequence in \
taco_empty__cup__bowl_20231006_280 \
taco_brush__brush__box_20230927_029 \
taco_cut__knife__plate_20230926_036 \
taco_hit__hammer__box_20231031_179 \
taco_measure__ruler__bowl_20231104_088
do
destination="$asset_root/human_motion_data/taco/taco_processed/sequence_id=$sequence/robot_name=sharpa_wave"
mkdir -p "$destination"
curl -fL --retry 5 "$hf_dataset/taco/$sequence/motion_v1.parquet" \
-o "$destination/motion_v1.parquet.download"
mv "$destination/motion_v1.parquet.download" "$destination/motion_v1.parquet"
done
这些序列按官方 reader 所需数据完整性选择,未按训练成绩选择。先前候选中有文件缺少全部六个 mano_{left,right}_object_contact_{positions,normals,part_ids} 字段,因此不能直接用于完整官方目标。不能补造接触列或删除官方接触目标来绕过错误。下载后在计算节点用当前官方 reader/schema 检查完整性,再做完整参数 smoke;本文件未执行新机器验证。
原始物体网格与官方生成器
本研究使用原 TACO 网格,不用 NVIDIA 其他 object-assets 数据集的近似物体替换。官方 Video-to-Data TACO setup 对应的原始下载地址:
https://dl.dropboxusercontent.com/scl/fo/8w7xir110nbcnq8uo1845/AAWCslPnomJ2V31dZaON1kY/Object_Models.zip?rlkey=xnhajvn71ua5i23w75la1nidx&dl=1
这是发布者公开分享链接;若其失效,应从 TACO 官方说明 重新获取当前链接,不能推测一个镜像地址。本地历史归档位于 .cache/flash-chord/multiscene_20261012/assets_probe/Object_Models.zip,它不是公网交付地址。
mkdir -p downloads "$asset_root/meshes/taco"
curl -fL --retry 5 \
'https://dl.dropboxusercontent.com/scl/fo/8w7xir110nbcnq8uo1845/AAWCslPnomJ2V31dZaON1kY/Object_Models.zip?rlkey=xnhajvn71ua5i23w75la1nidx&dl=1' \
-o downloads/Object_Models.zip
unzip -j downloads/Object_Models.zip 'object_models_released/*_cm.obj' \
-d "$asset_root/meshes/taco"
完整归档含206个原始OBJ。保留 NNN_cm.obj 文件名和原始厘米坐标;官方 dataset registry/URDF generator负责×0.01单位换算,不要人工提前缩放后再二次缩放。
所需官方源码必须来自同一完整 Video-to-Data checkout:
robotic_grounding/scripts/generate_rigid_urdfs.pyrobotic_grounding/scripts/reconstruct_support_surfaces.pyrobotic_grounding/source/robotic_grounding/robotic_grounding/retarget/,包括dataset_registry、naming、data_logger、support_recon及其导入依赖。robotic_grounding/source/robotic_grounding/robotic_grounding/motion_schema/。
下面是已使用的官方生成器参数;须在配置好的计算节点环境执行,不能在登录节点运行 Python。<python> 应替换为复现指南所指定、可导入官方包和 Torch 的解释器;没有这个环境时先解决依赖,不能省略支撑面。
export PYTHONPATH="$PWD/third_party/video_to_data/robotic_grounding/source/robotic_grounding${PYTHONPATH:+:$PYTHONPATH}"
<python> third_party/video_to_data/robotic_grounding/scripts/generate_rigid_urdfs.py --dataset taco
<python> third_party/video_to_data/robotic_grounding/scripts/reconstruct_support_surfaces.py \
--dataset taco \
--input_dir "$asset_root/human_motion_data/taco/taco_processed" \
--robot_name sharpa_wave \
--sequence_pattern 'taco_(empty__cup__bowl_20231006_280|brush__brush__box_20230927_029|cut__knife__plate_20230926_036|hit__hammer__box_20231031_179|measure__ruler__bowl_20231104_088)'
输出是 assets/urdfs/taco/*_rigid.urdf、相关生成mesh,以及 assets/human_motion_data/taco/reconstructed_stage/<sequence ID>_support.usda。本研究五份support均存在;正式配置使用支撑面。HF参考文件并不构成所有物体/支撑资产的完整闭包。
本地路径由项目YAML和官方包路径解析。官方容器 README 的 V2D_ASSETS_DIR 是其容器挂载入口,不会自动改写本项目 YAML 的 task.reference。同样,不要依赖历史集群的绝对 /public/home/... 路径;迁移时保持相对资产层级并核验解析结果。
许可与访问边界
来源中的许可信息应随资产保留:Video-to-Data 根 LICENSE 区分代码 Apache-2.0、文档/skills CC-BY-4.0;Utonia 源码 LICENSE 为 Apache-2.0;NVIDIA task-library 数据卡声明 CC-BY-4.0。机器人网格/URDF各有独立 LICENSE,不能用根代码许可替代。原 TACO Object_Models 的使用以其发布者条款为准,本项目不重新授予权利。
使用已发布的重定向 Parquet 不需要重新下载原始 MANO 手模型。如果要从原始 TACO Hand_Poses 重做完整重定向管线,MANO 模型受单独注册/许可约束;本项目不提供这类受限模型的替代下载链接。以上官方链接不代表数据永远无需登录或不会变更;遇到访问限制按发布者流程处理。
本研究 checkpoint、原始评估与页面数据
以下是原始集群的相对路径。2026-10-17 起,对应已完成模型正在发布到 公开 HF 仓库,须按在线 upload-status.json 核实完成范围,不能仅凭 manifest 认定全部已上传:
- 原纸盒两臂:
experiments/flash_chord/tactile_reconstruction_20261011/formal_seed42_v2/。 - 五辅助消融:
experiments/flash_chord/tactile_ablations_20261011/。 - 去物体位姿、原生504输入、无历史:
experiments/flash_chord/{no_object_pose_20261011,native_input_20261012,no_history_20261012}/。 - 五场景:
experiments/flash_chord/multiscene_20261012/。 - 四类扰动及冻结迁移:
experiments/flash_chord/robustness_20261013/。 - 接触力审计:
experiments/flash_chord/force_audit_20261012/。
每条训练路线的 final_checkpoint.json 指向实际最终模型。A2评估需要同一步的 policy_*.safetensors 和同名 policy_*.estimator.pt,再加官方Utonia权重与对应参考资产;不能只搬policy而丢失head。旧full A2、新no-SDF A2和各消融不能互换sidecar。恢复训练如有需求还涉及 state_*.safetensors 及官方保存契约,不能把仅策略导出描述成完整训练状态。
重建原始结果页需要对应 completed.json、被接受attempt的 metrics.json、合同/provenance、姿态 display_states.h5;受力叠加还需同一attempt的 contact_forces.h5 和 contact_force_outcomes.json。原正式录像和后来力审计是不同rollout,不能交叉拼接。页面导出工具为 tools/export_project_page.py;旧纸盒资产导出由 tools/export_tactile_replay.py 提供。
docs/site/project-data/results.json、replays.json 及浏览器资产是派生展示数据,不能代替训练checkpoint或4096-world原始记录。页面的 /research-results/ 和 /source/ 依赖 tools/serve.py 路由;它们不是已发布的外部数据下载服务。
当前限制:公开模型发布及下载入口已登记在根 README;完整原始评估仍未公开。 远端重评已有模型,先按根 README 下载已完成上传的 policy 与对应 estimator,并显式创建路径迁移副本;从官方资产重新训练是另一条可运行路线,不等于恢复所有历史输出。本文不声称全新机器已端到端验证,也不为未发布的数据编造链接。