Download documentation/README.md from Railgun526/Curiosity-Tactile-Checkpoints: direct link, hf CLI and curl.
- Browser
- Download file 19.5 kB
-
https://huggingface.co/Railgun526/Curiosity-Tactile-Checkpoints/resolve/main/documentation/README.md
- Command line
-
hf download hf://Railgun526/Curiosity-Tactile-Checkpoints/documentation/README.md
-
curl -L -o README.md https://huggingface.co/Railgun526/Curiosity-Tactile-Checkpoints/resolve/main/documentation/README.md
Tactile Flash-CHORD
官方 Flash-CHORD JAX FlashSAC + 官方冻结 Utonia,用仿真接触历史估计物体状态与物性,再追加给控制策略。A0 已有官方接触位置、单位力方向和物体真实位姿,不能叫“完全无触觉”;A2 增加的是触觉历史编码与学习到的估计。
这里维护网页结果的版本对应、复现命令和交付限制。2026-10-17 起,paper box 完整长序列的唯一主对照为 官方原生 A0(不补零)对 no-SDF A2,即 **72.505188% 对 77.557373%**。历史“70% 对 77%”仅用于追溯。当前研究主线是新的 demo following,它的结果必须另报。下面的历史复现命令供明确选择复现时使用,不是自动重启旧实验队列的指令;所有后续触觉执行保持 no-SDF。
先选对要复现的数字
| 版本 | 16 条件平均成功率 | 配置与训练 arm | 策略输入 |
|---|---|---|---|
| 历史 A0,追加零占位 | 70.245361% | configs/baseline.yaml / A0_official |
504 + 48 个零 |
| 历史 full A2,只保留已有证据 | 74.487305% | 历史 baseline.yaml / A2_utonia;现在禁止执行 |
552 |
| A2 no-SDF,77% 对应版本 | 77.557373% | configs/ablations/no_sdf_aux.yaml / A2_utonia |
552 |
| 原生输入 A0,当前首页使用 | 72.505188% | configs/ablations/A0_native_input.yaml / A0_official |
504 |
70.245361 → 77.557373 是 +7.312012 个百分点;当前首页的 72.505188 → 77.557373 是 +5.052185 个百分点。不是同一组 A0。A0_native_input 是配置/结果名称,不是 --arm 参数。official_nominal 关闭混合物理训练,也不是这里的 A0。
每行是 1 个 seed、4096 worlds、500,006,912 环境步、975,768 learner updates 的最终 checkpoint。在质量 [1, 1.5, 2, 3] × 摩擦 [1, 0.75, 0.5, 0.25] 的全部 16 条件上,各运行 4096 worlds,取等权均值。不是标称成功率,不是视频抽样成功率,也不是新 object-centric 参考的结果。
能复现到哪一层
- 查看页面:仓库有精简结果和展示资产,不需要训练。
- 复算已保存数字:需要集群原始实验目录;本轮核查脚本只读证据,不训练、不新评估。页面 JSON 不是原始实验数据的替代品。
- 恢复旧策略重新评估:需要 policy、A2 同一步 estimator、官方 Utonia 权重、原始参考/机器人/物体/支撑资产、匹配引擎和环境。旧 checkpoint 内还保存了原集群绝对路径,见下文。
- 从头训练:代码有完整预算入口,但干净机器安装和独立重训尚未验证,不能承诺再得到逐项相同数字。单 seed 结果也不能证明普遍提高。
研究 checkpoint 正在发布到下节的公开 HF 仓库,完整原始评估仍未公开;experiments/、checkpoints/、.venv/ 和 .cache/ 不随普通 clone 交付。因此“只 clone,然后运行默认 A2”不能完整复现 77.557%。
公开模型下载
公开仓库:Railgun526/Curiosity-Tactile-Checkpoints。完整清单登记每个文件、实验、大小和所在仓库;实际上传进度区分推理模型、最终训练状态和中间保存点,清单登记不等于已经上传完成。
本次范围是此前 40 组已完成 500M 正式训练:105 个最终 policy/head/state 文件约 6.42 GiB;连同中间保存点共 5,250 个文件约 320.80 GiB。包括历史 full-SDF 和补零 A0,仅作为原始档案,不改变未来执行规则。未完成/取消的运行、smoke 和正在生成的新 following 不冒充已训练结果。官方 Utonia 预训练权重仍从官方模型仓库获取。
在按依赖说明安装好的计算节点上,默认仅下载本次主对照需要的 3 个推理文件:
bash tools/run.sh tools/download_paper_models.py --output downloads/checkpoints
# 可选:所有已完成正式训练的最终模型、配套估计器和最终 learner state。
bash tools/run.sh tools/download_paper_models.py --output downloads/checkpoints --all-final
# 可选:完整中间保存点归档,需约 321 GiB;须先确认在线上传状态完成。
# bash tools/run.sh tools/download_paper_models.py --output downloads/checkpoints --all-checkpoints
下载不需要登录 HF;下载器显式 token=False。如返回尚未上传文件的 404,应检查上面的进度,不应生成替代模型。state_*.safetensors 是 learner 状态,缺少 replay/仿真状态时不能称精确续训包。
在不同目录部署旧模型
先准备下节中的官方 paper-box 数据与代码。然后对下载的原件创建单独部署副本:
bash tools/run.sh tools/relocate_paper_checkpoint.py \
--checkpoint downloads/checkpoints/experiments/flash_chord/native_input_20261012/A0_native_input/formal/train/policy_500006912.safetensors \
--source-root /public/home/yanhongru/Curiosity-Tactile \
--output experiments/reproduced/deployed/A0_native
bash tools/run.sh tools/relocate_paper_checkpoint.py \
--checkpoint downloads/checkpoints/experiments/flash_chord/tactile_ablations_20261011/no_sdf_aux/formal/train/policy_500006912.safetensors \
--source-root /public/home/yanhongru/Curiosity-Tactile \
--output experiments/reproduced/deployed/A2_no_sdf
bash tools/run.sh eval.py --model-config configs/ablations/A0_native_input.yaml \
--config configs/evaluation.yaml --profile standard \
--checkpoint experiments/reproduced/deployed/A0_native/policy_500006912.safetensors \
--output experiments/reproduced/downloaded-eval/A0_native
bash tools/run.sh eval.py --model-config configs/ablations/no_sdf_aux.yaml \
--config configs/evaluation.yaml --profile standard \
--checkpoint experiments/reproduced/deployed/A2_no_sdf/policy_500006912.safetensors \
--output experiments/reproduced/downloaded-eval/A2_no_sdf
迁移工具只支持这两个正式 paper-box 模型,显式映射 header 中的路径,流式复制 tensor payload,保留原件、匹配的 A2 sidecar 和 relocation.json。部署副本有新的文件身份,应使用新评估目录。主对照三个文件已实际匿名下载;两种策略的全部 32 个 tensor 均有限,A2 head/encoding/step 检查通过,并完成不同本地路径的 metadata/safetensors 读取资格;尚不是新机器 GPU 恢复或重新训练验收。
准备代码、环境和资产
本轮还公开了审计时的源码快照和原始 paper-box 资产包。后者包含本次实际 Parquet、物体/支撑文件和已有凸分解缓存;官方许可证随包保留。它们补齐文件交付,不代表干净环境安装已验证。
在全新的复现目录准备文件,勿覆盖正在实验的工作区:
git clone --branch tactile-flash-chord https://github.com/yanhr21/Curiosity.git Curiosity-Tactile-reproduction
cd Curiosity-Tactile-reproduction
mkdir -p downloads
HF_RELEASE=https://huggingface.co/Railgun526/Curiosity-Tactile-Checkpoints/resolve/main
curl -fL --retry 3 "$HF_RELEASE/reproduction/reproduction-source-20261017.tar.gz" -o downloads/reproduction-source.tar.gz
tar -xzf downloads/reproduction-source.tar.gz
bash tools/restore_official_sources.sh
curl -fL --retry 3 "$HF_RELEASE/reproduction/paper-box-assets-20261017.tar.gz" -o downloads/paper-box-assets.tar.gz
tar -xzf downloads/paper-box-assets.tar.gz
之后按下面的依赖说明在计算节点安装环境,下载官方 Utonia 权重,再下载/部署策略或从头训练。源码包对应这次审计的工作树,不是每次历史训练的不可变源码记录;HF documentation/README.md 保存更新的操作说明。
所有训练、评估、Python、安装和审计在本集群都必须通过 tmux + srun 计算节点执行,不能伪造 Slurm 环境变量。tools/run.sh 也硬性检查这一点;当前仓库尚无经过验证的普通非 Slurm 训练入口。
- 保留本分支的源码快照。运行
bash tools/restore_official_sources.sh恢复vendor/official/{video_to_data,Utonia};它保留已有目录,不会把已有的错误上游 checkout 修成正确版本。物理引擎另在已跟踪的third_party/mujoco_warp_1771/。 - 按 dependencies.md 配置 Python 3.11 的分离环境。实际版本:JAX/jaxlib 0.10.2(CUDA 13)、Flax 0.12.7、Optax 0.2.8、MuJoCo/MuJoCo Warp 3.8.1、Newton 1.2.0、Warp 1.14.0、Torch 2.6.0+cu124、FlashAttention 2.7.4.post1。**
pip install -r requirements-runtime.txt不是完整安装流程。** - 按 data_assets.md 准备官方 Sharpa、纸盒 Parquet、物体 mesh/URDF、支撑面和
checkpoints/utonia/utonia.pth。Git LFS 指针不是数据。原机utonia.pth是指向utonia.ceph.pth的符号链接,搬运时必须带上真实文件,不能只复制链接。 - 旧模型精确场景复查还需要保留
.cache/flash-chord/geometry/convex/的实际凸分解资产。清空缓存可能重新运行 CoACD,不能把重新生成的碰撞几何默认为原实验。不要为了复现去清空现有研究缓存。
官方资产来源和安装细节在上述两份文档中;它们描述现有环境与下载入口,不代表已在新机器完成安装验收。
在已分配的计算节点 shell 内,从仓库根目录验证配置(不训练):
bash tools/run.sh train.py --config configs/ablations/A0_native_input.yaml --arm A0_official \
--show-config --output experiments/reproduced/config-preview-A0
bash tools/run.sh train.py --config configs/ablations/no_sdf_aux.yaml --arm A2_utonia \
--show-config --output experiments/reproduced/config-preview-A2
A0_native_input.yaml 仍保留公用的 observation_block_width: 48 字段,但 kind=none 时完全不拼接;实际 policy header 是 504 维。
确认 world_count=4096、total_environment_steps=500006912、seed 42、A0 kind=none、A2 kind=utonia 和 tactile_variant=no_sdf_aux。配置检查通过不代表 GPU 推理/训练通过。
从头训练这两个版本
仅在资产、环境已就位,且明确选择复现历史纸盒对照时执行。每张 H200 同时只跑一个 arm;不要挤占新 following 的 GPU。这里不申请/释放 allocation,也不自动运行其他旧实验。
在登录节点已有 tmux 会话中,用自己的 allocation 进入计算节点:
srun --jobid="$REPRO_JOB_ID" --gres=gpu:1 --ntasks=1 --cpus-per-task=16 --pty bash
然后在计算节点仓库根目录定义函数:
set -euo pipefail
run_paper_arm() {
local name="$1" config="$2" arm="$3"
local dest="experiments/reproduced/paper_native_nosdf/$name"
if [ -e "$dest" ]; then
echo "Output already exists; inspect it instead of overwriting: $dest" >&2
return 1
fi
mkdir -p "$dest"
# Full model / 4096 worlds; shorten only the total steps.
# train.py automatically restores the saved smoke policy and evaluates nominal.
bash tools/run.sh train.py --config "$config" --arm "$arm" --seed 42 \
--smoke-steps 1048576 --output "$dest/smoke/train" > "$dest/smoke.log" 2>&1
test "$(jq -r '.environment_steps' "$dest/smoke/train/final_checkpoint.json")" = 1048576
test "$(jq -r '.learner_updates' "$dest/smoke/train/final_checkpoint.json")" -gt 0
test -f "$dest/smoke/train/evaluation/mass_1_friction_1_normal/completed.json"
# Second smoke condition: mass 2, friction 0.5; still a complete 4096-world trajectory.
bash tools/run.sh eval.py --model-config "$config" --config configs/evaluation.yaml \
--profile combined --checkpoint "$dest/smoke/train/policy_1048576.safetensors" \
--output "$dest/smoke/combined" > "$dest/smoke-combined.log" 2>&1
test -f "$dest/smoke/combined/mass_2_friction_0.5_normal/completed.json"
# Starts from scratch; it does not continue the smoke weights.
# Automatically evaluates the final policy on all 16 standard conditions.
bash tools/run.sh train.py --config "$config" --arm "$arm" --seed 42 \
--output "$dest/formal/train" > "$dest/formal.log" 2>&1
}
run_paper_arm A0_native configs/ablations/A0_native_input.yaml A0_official
run_paper_arm A2_no_sdf configs/ablations/no_sdf_aux.yaml A2_utonia
两行顺序执行;若分别在两张独立卡运行,每个终端只执行自己的那一行。这里默认已经是原生 A0,不再以补零 A0 作为主对照。
smoke 的验收是完整 shape、真实更新、保存、恢复和完整评估,不要求短训成功率高。正式训练固定原官方模型、replay 4,194,304、batch 2048、n-step 3;不能减 worlds/模型来声称复现。每次训练自动进入评估,不要另外重复启动同一套 16 条件。正式输出应有 final_checkpoint.json 和 16 个 completed.json,且各自指向被接受的 attempt;不能只平均已经跑完的部分条件。
只恢复已有原生 A0 与 no-SDF A2 模型
原机 checkpoint 路径:
experiments/flash_chord/native_input_20261012/A0_native_input/formal/train/policy_500006912.safetensors
experiments/flash_chord/tactile_ablations_20261011/no_sdf_aux/formal/train/policy_500006912.safetensors
experiments/flash_chord/tactile_ablations_20261011/no_sdf_aux/formal/train/policy_500006912.estimator.pt
A2 的两个文件必须属于同一训练、同一步;还需要官方 Utonia backbone。final_checkpoint.json 只是路径清单,不是模型。历史 full A2 的 sidecar 不能换给 no-SDF A2。
跨机器恢复的已确认阻塞:这些 checkpoint 的 task.parquet 保存为 /public/home/yanhongru/Curiosity-Tactile/...。官方 _resolve_parquet() 只特殊处理 /workspace 前缀;本项目还核验 YAML 和 checkpoint 的真实参考路径。仅修改 --model-config、V2D_ASSETS_DIR 或当前目录不能修复。原路径映射和当前 YAML 必须解析到同一真实资产;现在可使用上文显式迁移工具创建部署副本,不应删除身份检查。已验证 metadata 读取,GPU 恢复仍未新测。
在原路径仍有效、完整资产已恢复的计算节点上,准确的两条评估命令是:
bash tools/run.sh eval.py --model-config configs/ablations/A0_native_input.yaml \
--config configs/evaluation.yaml --profile standard \
--checkpoint experiments/flash_chord/native_input_20261012/A0_native_input/formal/train/policy_500006912.safetensors \
--output experiments/reproduced/frozen-paper/A0_native
bash tools/run.sh eval.py --model-config configs/ablations/no_sdf_aux.yaml \
--config configs/evaluation.yaml --profile standard \
--checkpoint experiments/flash_chord/tactile_ablations_20261011/no_sdf_aux/formal/train/policy_500006912.safetensors \
--output experiments/reproduced/frozen-paper/A2_no_sdf
使用全新输出目录。搬运旧 completed.json 后,原绝对路径和修改时间身份不会自动迁移;不得手改旧完成标记来强行跳过验证。上述命令不是本轮已经执行的新评估。
当时用了哪些特殊处理
| 处理 | 是否影响复现 |
|---|---|
指定 PR 1530/1771 等官方物理补丁,njmax=2048,nconmax=512,epa_horizon=64 |
必须保留;同名 pip 引擎不等价;训练和评估均记录实际来源与容量验收 |
| 半数 worlds 精确标称,另半数混合九种质量/摩擦,只有混合半尺度 0.9–1.1 | 科学配方;不是上游纯标称训练,也不是每条件各训练一个策略 |
| 历史 A0 曾追加 48 个零;新主对照使用原生 504 维 A0。A2 追加 48 维估计块 | no-SDF 仍保留槽宽,只屏蔽 SDF 输出及监督;主对照输入宽度不同须明确报告 |
| 完整冻结 Utonia、额外学习的时序/任务头、每 4 步编码与监督更新 | head 与 policy 必须一起保存/恢复;评估 head 冻结,不使用真值监督更新 |
utonia_padding.py 替换注意力的 padding 索引计算 |
性能适配,未替换 backbone;运行时 verify_first=False,不能称每次运行都做了等价性验证 |
| JAX/Torch 分离依赖、显式 cuDNN/NCCL 加载、入口 re-exec 清理库路径 | 必须走正确入口;只 source activate 或直接 import 不能代表正式运行环境 |
| 使用实际凸分解缓存、完整原始参考和支撑面 | 属于场景交付;不要重新生成近似物体再比较原数字 |
| 最终 checkpoint、完整轨迹、不自动 reset、关闭评估辅助力、全部 16 条件 | 成功按原阈值离线评分;不能只看物体存活或挑视频 |
这些操作应公开写清,不能笼统称“原版默认参数直接跑”。没有证据表明展示的均值来自挑选 best checkpoint;本轮核查绑定的是固定最终 500,006,912 步文件。原始记录不是密码学不可变档案,当前源码也不是每次旧运行的完整冻结副本。
常见复现失败与检查入口
| 现象 | 已确认的检查点 |
|---|---|
no-SDF 限制报错 |
77% 必须用 configs/ablations/no_sdf_aux.yaml;不要绕过永久 no-SDF 规则 |
| checkpoint 或 estimator 找不到 | 普通 clone 不带研究模型;检查 .estimator.pt 和 Utonia 符号链接真实目标 |
/public/home/... Parquet 不存在或 reference 不匹配 |
旧模型绝对路径问题,见上文;改 YAML 本身不够 |
libcudnn*.so.9 undefined symbol |
核对分离库目录及正式入口的 re-exec/preload;不要混装两套同 SONAME cuDNN |
| engine version/source guard 失败 | 使用指定快照和版本;不能安装最新 main 后跳过检查 |
| Slurm guard 失败 | 当前运行入口要求真实计算节点;不是设置三个环境变量就能修好 |
| 得到 70.25% 或 74.49% 的历史标签 | 对应补零 A0 或 full A2;当前主对照是原生 A0 72.51% 与 no-SDF A2 77.56% |
| 页面导出缺失或只有部分条件 | 原始目录/身份信息不完整;均值必须有完整 16 条件支撑 |
只读复算原始证据(仍在计算节点执行,输出用新文件):
bash tools/run.sh tools/audit_paper_reproduction.py \
--output experiments/reproduced/paper-evidence-audit.json
脚本检查四组共 64 个已接受条件、最终 checkpoint 元数据、全部轨迹文件行数、网页均值,以及 no-SDF estimator 的 CPU 反序列化和参数有限性。它不创建仿真环境,不代表 GPU 恢复或全新训练成功。
已有网页可由普通远端电脑用 python3 tools/serve.py --standalone --host 127.0.0.1 --port 8098 查看;本集群页面服务仍须放到计算节点。页面精选视频有选择偏差,只用于解释动作;成功率以完整原始评估为准。