Railgun526's picture
Document native-A0/no-SDF reproduction and anonymous model download qualification
4c30652 verified
|
Raw History Blame Contribute Delete
19.5 kB
# Tactile Flash-CHORD
官方 Flash-CHORD JAX FlashSAC + 官方冻结 Utonia,用仿真接触历史估计物体状态与物性,再追加给控制策略。**A0 已有官方接触位置、单位力方向和物体真实位姿,不能叫“完全无触觉”;A2 增加的是触觉历史编码与学习到的估计。**
这里维护网页结果的版本对应、复现命令和交付限制。2026-10-17 起,paper box 完整长序列的唯一主对照为 **官方原生 A0(不补零)对 no-SDF A2**,即 **72.505188% 对 77.557373%**。历史“70% 对 77%”仅用于追溯。当前研究主线是[新的 demo following](docs/contact_following.md),它的结果必须另报。下面的历史复现命令供明确选择复现时使用,不是自动重启旧实验队列的指令;所有后续触觉执行保持 **no-SDF**。
## 先选对要复现的数字
| 版本 | 16 条件平均成功率 | 配置与训练 arm | 策略输入 |
|---|---:|---|---:|
| 历史 A0,追加零占位 | 70.245361% | `configs/baseline.yaml` / `A0_official` | 504 + 48 个零 |
| 历史 full A2,只保留已有证据 | 74.487305% | 历史 `baseline.yaml` / `A2_utonia`;现在禁止执行 | 552 |
| **A2 no-SDF,77% 对应版本** | **77.557373%** | `configs/ablations/no_sdf_aux.yaml` / `A2_utonia` | 552 |
| 原生输入 A0,当前首页使用 | 72.505188% | `configs/ablations/A0_native_input.yaml` / `A0_official` | 504 |
70.245361 → 77.557373 是 **+7.312012 个百分点**;当前首页的 72.505188 → 77.557373 是 **+5.052185 个百分点**。不是同一组 A0。`A0_native_input` 是配置/结果名称,不是 `--arm` 参数。`official_nominal` 关闭混合物理训练,也不是这里的 A0。
每行是 **1 个 seed、4096 worlds、500,006,912 环境步、975,768 learner updates** 的最终 checkpoint。在质量 `[1, 1.5, 2, 3]` × 摩擦 `[1, 0.75, 0.5, 0.25]` 的全部 16 条件上,各运行 4096 worlds,取等权均值。不是标称成功率,不是视频抽样成功率,也不是新 object-centric 参考的结果。
[结果首页](docs/site/index.html) · [历史完整页面](docs/site/research-archive.html) · [本轮详细核查](docs/reproduction_audit_20261017.md)
## 能复现到哪一层
- **查看页面:**仓库有精简结果和展示资产,不需要训练。
- **复算已保存数字:**需要集群原始实验目录;本轮核查脚本只读证据,不训练、不新评估。页面 JSON 不是原始实验数据的替代品。
- **恢复旧策略重新评估:**需要 policy、A2 同一步 estimator、官方 Utonia 权重、原始参考/机器人/物体/支撑资产、匹配引擎和环境。旧 checkpoint 内还保存了原集群绝对路径,见下文。
- **从头训练:**代码有完整预算入口,但**干净机器安装和独立重训尚未验证**,不能承诺再得到逐项相同数字。单 seed 结果也不能证明普遍提高。
研究 checkpoint 正在发布到下节的公开 HF 仓库,完整原始评估仍未公开;`experiments/`、`checkpoints/`、`.venv/` 和 `.cache/` 不随普通 clone 交付。因此“只 clone,然后运行默认 A2”不能完整复现 77.557%。
## 公开模型下载
公开仓库:[Railgun526/Curiosity-Tactile-Checkpoints](https://huggingface.co/Railgun526/Curiosity-Tactile-Checkpoints)。[完整清单](https://huggingface.co/Railgun526/Curiosity-Tactile-Checkpoints/blob/main/manifest.json)登记每个文件、实验、大小和所在仓库;[实际上传进度](https://huggingface.co/Railgun526/Curiosity-Tactile-Checkpoints/blob/main/upload-status.json)区分推理模型、最终训练状态和中间保存点,**清单登记不等于已经上传完成**。
本次范围是此前 **40 组已完成 500M 正式训练**:105 个最终 policy/head/state 文件约 6.42 GiB;连同中间保存点共 5,250 个文件约 320.80 GiB。包括历史 full-SDF 和补零 A0,仅作为原始档案,不改变未来执行规则。未完成/取消的运行、smoke 和正在生成的新 following 不冒充已训练结果。官方 Utonia 预训练权重仍从官方模型仓库获取。
在按依赖说明安装好的计算节点上,默认仅下载本次主对照需要的 **3 个推理文件**:
```bash
bash tools/run.sh tools/download_paper_models.py --output downloads/checkpoints
# 可选:所有已完成正式训练的最终模型、配套估计器和最终 learner state。
bash tools/run.sh tools/download_paper_models.py --output downloads/checkpoints --all-final
# 可选:完整中间保存点归档,需约 321 GiB;须先确认在线上传状态完成。
# bash tools/run.sh tools/download_paper_models.py --output downloads/checkpoints --all-checkpoints
```
下载不需要登录 HF;下载器显式 `token=False`。如返回尚未上传文件的 404,应检查上面的进度,不应生成替代模型。`state_*.safetensors` 是 learner 状态,缺少 replay/仿真状态时不能称精确续训包。
### 在不同目录部署旧模型
先准备下节中的官方 paper-box 数据与代码。然后对下载的原件创建**单独部署副本**:
```bash
bash tools/run.sh tools/relocate_paper_checkpoint.py \
--checkpoint downloads/checkpoints/experiments/flash_chord/native_input_20261012/A0_native_input/formal/train/policy_500006912.safetensors \
--source-root /public/home/yanhongru/Curiosity-Tactile \
--output experiments/reproduced/deployed/A0_native
bash tools/run.sh tools/relocate_paper_checkpoint.py \
--checkpoint downloads/checkpoints/experiments/flash_chord/tactile_ablations_20261011/no_sdf_aux/formal/train/policy_500006912.safetensors \
--source-root /public/home/yanhongru/Curiosity-Tactile \
--output experiments/reproduced/deployed/A2_no_sdf
bash tools/run.sh eval.py --model-config configs/ablations/A0_native_input.yaml \
--config configs/evaluation.yaml --profile standard \
--checkpoint experiments/reproduced/deployed/A0_native/policy_500006912.safetensors \
--output experiments/reproduced/downloaded-eval/A0_native
bash tools/run.sh eval.py --model-config configs/ablations/no_sdf_aux.yaml \
--config configs/evaluation.yaml --profile standard \
--checkpoint experiments/reproduced/deployed/A2_no_sdf/policy_500006912.safetensors \
--output experiments/reproduced/downloaded-eval/A2_no_sdf
```
迁移工具只支持这两个正式 paper-box 模型,显式映射 header 中的路径,流式复制 tensor payload,保留原件、匹配的 A2 sidecar 和 `relocation.json`。部署副本有新的文件身份,应使用新评估目录。主对照三个文件已实际匿名下载;两种策略的全部 32 个 tensor 均有限,A2 head/encoding/step 检查通过,并完成不同本地路径的 metadata/safetensors 读取资格;**尚不是新机器 GPU 恢复或重新训练验收**。
## 准备代码、环境和资产
本轮还公开了[审计时的源码快照](https://huggingface.co/Railgun526/Curiosity-Tactile-Checkpoints/resolve/main/reproduction/reproduction-source-20261017.tar.gz)和[原始 paper-box 资产包](https://huggingface.co/Railgun526/Curiosity-Tactile-Checkpoints/resolve/main/reproduction/paper-box-assets-20261017.tar.gz)。后者包含本次实际 Parquet、物体/支撑文件和已有凸分解缓存;官方许可证随包保留。它们补齐文件交付,不代表干净环境安装已验证。
在**全新的复现目录**准备文件,勿覆盖正在实验的工作区:
```bash
git clone --branch tactile-flash-chord https://github.com/yanhr21/Curiosity.git Curiosity-Tactile-reproduction
cd Curiosity-Tactile-reproduction
mkdir -p downloads
HF_RELEASE=https://huggingface.co/Railgun526/Curiosity-Tactile-Checkpoints/resolve/main
curl -fL --retry 3 "$HF_RELEASE/reproduction/reproduction-source-20261017.tar.gz" -o downloads/reproduction-source.tar.gz
tar -xzf downloads/reproduction-source.tar.gz
bash tools/restore_official_sources.sh
curl -fL --retry 3 "$HF_RELEASE/reproduction/paper-box-assets-20261017.tar.gz" -o downloads/paper-box-assets.tar.gz
tar -xzf downloads/paper-box-assets.tar.gz
```
之后按下面的依赖说明在计算节点安装环境,下载官方 Utonia 权重,再下载/部署策略或从头训练。源码包对应这次审计的工作树,**不是每次历史训练的不可变源码记录**;HF `documentation/README.md` 保存更新的操作说明。
所有训练、评估、Python、安装和审计在本集群都必须通过 **tmux + srun 计算节点**执行,不能伪造 Slurm 环境变量。`tools/run.sh` 也硬性检查这一点;当前仓库尚无经过验证的普通非 Slurm 训练入口。
1. 保留本分支的源码快照。运行 `bash tools/restore_official_sources.sh` 恢复 `vendor/official/{video_to_data,Utonia}`;它保留已有目录,**不会把已有的错误上游 checkout 修成正确版本**。物理引擎另在已跟踪的 `third_party/mujoco_warp_1771/`。
2. 按 [dependencies.md](docs/dependencies.md) 配置 Python 3.11 的分离环境。实际版本:JAX/jaxlib 0.10.2(CUDA 13)、Flax 0.12.7、Optax 0.2.8、MuJoCo/MuJoCo Warp 3.8.1、Newton 1.2.0、Warp 1.14.0、Torch 2.6.0+cu124、FlashAttention 2.7.4.post1。**`pip install -r requirements-runtime.txt` 不是完整安装流程。**
3. 按 [data_assets.md](docs/data_assets.md) 准备官方 Sharpa、纸盒 Parquet、物体 mesh/URDF、支撑面和 `checkpoints/utonia/utonia.pth`。Git LFS 指针不是数据。原机 `utonia.pth` 是指向 `utonia.ceph.pth` 的符号链接,搬运时必须带上真实文件,不能只复制链接。
4. 旧模型精确场景复查还需要保留 `.cache/flash-chord/geometry/convex/` 的实际凸分解资产。清空缓存可能重新运行 CoACD,不能把重新生成的碰撞几何默认为原实验。不要为了复现去清空现有研究缓存。
官方资产来源和安装细节在上述两份文档中;它们描述现有环境与下载入口,不代表已在新机器完成安装验收。
在已分配的计算节点 shell 内,从仓库根目录验证配置(不训练):
```bash
bash tools/run.sh train.py --config configs/ablations/A0_native_input.yaml --arm A0_official \
--show-config --output experiments/reproduced/config-preview-A0
bash tools/run.sh train.py --config configs/ablations/no_sdf_aux.yaml --arm A2_utonia \
--show-config --output experiments/reproduced/config-preview-A2
```
`A0_native_input.yaml` 仍保留公用的 `observation_block_width: 48` 字段,但 `kind=none` 时完全不拼接;实际 policy header 是 504 维。
确认 `world_count=4096`、`total_environment_steps=500006912`、seed 42、A0 `kind=none`、A2 `kind=utonia` 和 `tactile_variant=no_sdf_aux`。配置检查通过不代表 GPU 推理/训练通过。
## 从头训练这两个版本
仅在资产、环境已就位,且明确选择复现历史纸盒对照时执行。每张 H200 同时只跑一个 arm;不要挤占新 following 的 GPU。这里不申请/释放 allocation,也不自动运行其他旧实验。
在登录节点已有 tmux 会话中,用自己的 allocation 进入计算节点:
```bash
srun --jobid="$REPRO_JOB_ID" --gres=gpu:1 --ntasks=1 --cpus-per-task=16 --pty bash
```
然后在计算节点仓库根目录定义函数:
```bash
set -euo pipefail
run_paper_arm() {
local name="$1" config="$2" arm="$3"
local dest="experiments/reproduced/paper_native_nosdf/$name"
if [ -e "$dest" ]; then
echo "Output already exists; inspect it instead of overwriting: $dest" >&2
return 1
fi
mkdir -p "$dest"
# Full model / 4096 worlds; shorten only the total steps.
# train.py automatically restores the saved smoke policy and evaluates nominal.
bash tools/run.sh train.py --config "$config" --arm "$arm" --seed 42 \
--smoke-steps 1048576 --output "$dest/smoke/train" > "$dest/smoke.log" 2>&1
test "$(jq -r '.environment_steps' "$dest/smoke/train/final_checkpoint.json")" = 1048576
test "$(jq -r '.learner_updates' "$dest/smoke/train/final_checkpoint.json")" -gt 0
test -f "$dest/smoke/train/evaluation/mass_1_friction_1_normal/completed.json"
# Second smoke condition: mass 2, friction 0.5; still a complete 4096-world trajectory.
bash tools/run.sh eval.py --model-config "$config" --config configs/evaluation.yaml \
--profile combined --checkpoint "$dest/smoke/train/policy_1048576.safetensors" \
--output "$dest/smoke/combined" > "$dest/smoke-combined.log" 2>&1
test -f "$dest/smoke/combined/mass_2_friction_0.5_normal/completed.json"
# Starts from scratch; it does not continue the smoke weights.
# Automatically evaluates the final policy on all 16 standard conditions.
bash tools/run.sh train.py --config "$config" --arm "$arm" --seed 42 \
--output "$dest/formal/train" > "$dest/formal.log" 2>&1
}
run_paper_arm A0_native configs/ablations/A0_native_input.yaml A0_official
run_paper_arm A2_no_sdf configs/ablations/no_sdf_aux.yaml A2_utonia
```
两行顺序执行;若分别在两张独立卡运行,每个终端只执行自己的那一行。这里默认已经是原生 A0,不再以补零 A0 作为主对照。
smoke 的验收是完整 shape、真实更新、保存、恢复和完整评估,不要求短训成功率高。正式训练固定原官方模型、replay 4,194,304、batch 2048、n-step 3;不能减 worlds/模型来声称复现。每次训练自动进入评估,**不要另外重复启动同一套 16 条件**。正式输出应有 `final_checkpoint.json` 和 16 个 `completed.json`,且各自指向被接受的 attempt;不能只平均已经跑完的部分条件。
## 只恢复已有原生 A0 与 no-SDF A2 模型
原机 checkpoint 路径:
```text
experiments/flash_chord/native_input_20261012/A0_native_input/formal/train/policy_500006912.safetensors
experiments/flash_chord/tactile_ablations_20261011/no_sdf_aux/formal/train/policy_500006912.safetensors
experiments/flash_chord/tactile_ablations_20261011/no_sdf_aux/formal/train/policy_500006912.estimator.pt
```
A2 的两个文件必须属于同一训练、同一步;还需要官方 Utonia backbone。`final_checkpoint.json` 只是路径清单,不是模型。历史 full A2 的 sidecar 不能换给 no-SDF A2。
**跨机器恢复的已确认阻塞:**这些 checkpoint 的 `task.parquet` 保存为 `/public/home/yanhongru/Curiosity-Tactile/...`。官方 `_resolve_parquet()` 只特殊处理 `/workspace` 前缀;本项目还核验 YAML 和 checkpoint 的真实参考路径。仅修改 `--model-config`、`V2D_ASSETS_DIR` 或当前目录不能修复。原路径映射和当前 YAML 必须解析到同一真实资产;现在可使用上文显式迁移工具创建部署副本,不应删除身份检查。已验证 metadata 读取,GPU 恢复仍未新测。
在**原路径仍有效**、完整资产已恢复的计算节点上,准确的两条评估命令是:
```bash
bash tools/run.sh eval.py --model-config configs/ablations/A0_native_input.yaml \
--config configs/evaluation.yaml --profile standard \
--checkpoint experiments/flash_chord/native_input_20261012/A0_native_input/formal/train/policy_500006912.safetensors \
--output experiments/reproduced/frozen-paper/A0_native
bash tools/run.sh eval.py --model-config configs/ablations/no_sdf_aux.yaml \
--config configs/evaluation.yaml --profile standard \
--checkpoint experiments/flash_chord/tactile_ablations_20261011/no_sdf_aux/formal/train/policy_500006912.safetensors \
--output experiments/reproduced/frozen-paper/A2_no_sdf
```
使用全新输出目录。搬运旧 `completed.json` 后,原绝对路径和修改时间身份不会自动迁移;不得手改旧完成标记来强行跳过验证。上述命令不是本轮已经执行的新评估。
## 当时用了哪些特殊处理
| 处理 | 是否影响复现 |
|---|---|
| 指定 PR 1530/1771 等官方物理补丁,`njmax=2048,nconmax=512,epa_horizon=64` | 必须保留;同名 pip 引擎不等价;训练和评估均记录实际来源与容量验收 |
| 半数 worlds 精确标称,另半数混合九种质量/摩擦,只有混合半尺度 0.9–1.1 | 科学配方;不是上游纯标称训练,也不是每条件各训练一个策略 |
| 历史 A0 曾追加 48 个零;新主对照使用原生 504 维 A0。A2 追加 48 维估计块 | no-SDF 仍保留槽宽,只屏蔽 SDF 输出及监督;主对照输入宽度不同须明确报告 |
| 完整冻结 Utonia、额外学习的时序/任务头、每 4 步编码与监督更新 | head 与 policy 必须一起保存/恢复;评估 head 冻结,不使用真值监督更新 |
| `utonia_padding.py` 替换注意力的 padding 索引计算 | 性能适配,未替换 backbone;运行时 `verify_first=False`,不能称每次运行都做了等价性验证 |
| JAX/Torch 分离依赖、显式 cuDNN/NCCL 加载、入口 re-exec 清理库路径 | 必须走正确入口;只 `source activate` 或直接 import 不能代表正式运行环境 |
| 使用实际凸分解缓存、完整原始参考和支撑面 | 属于场景交付;不要重新生成近似物体再比较原数字 |
| 最终 checkpoint、完整轨迹、不自动 reset、关闭评估辅助力、全部 16 条件 | 成功按原阈值离线评分;不能只看物体存活或挑视频 |
这些操作应公开写清,不能笼统称“原版默认参数直接跑”。没有证据表明展示的均值来自挑选 best checkpoint;本轮核查绑定的是固定最终 500,006,912 步文件。原始记录不是密码学不可变档案,当前源码也不是每次旧运行的完整冻结副本。
## 常见复现失败与检查入口
| 现象 | 已确认的检查点 |
|---|---|
| `no-SDF` 限制报错 | 77% 必须用 `configs/ablations/no_sdf_aux.yaml`;不要绕过永久 no-SDF 规则 |
| checkpoint 或 estimator 找不到 | 普通 clone 不带研究模型;检查 `.estimator.pt` 和 Utonia 符号链接真实目标 |
| `/public/home/...` Parquet 不存在或 reference 不匹配 | 旧模型绝对路径问题,见上文;改 YAML 本身不够 |
| `libcudnn*.so.9` undefined symbol | 核对分离库目录及正式入口的 re-exec/preload;不要混装两套同 SONAME cuDNN |
| engine version/source guard 失败 | 使用指定快照和版本;不能安装最新 main 后跳过检查 |
| Slurm guard 失败 | 当前运行入口要求真实计算节点;不是设置三个环境变量就能修好 |
| 得到 70.25% 或 74.49% 的历史标签 | 对应补零 A0 或 full A2;当前主对照是原生 A0 72.51% 与 no-SDF A2 77.56% |
| 页面导出缺失或只有部分条件 | 原始目录/身份信息不完整;均值必须有完整 16 条件支撑 |
只读复算原始证据(仍在计算节点执行,输出用新文件):
```bash
bash tools/run.sh tools/audit_paper_reproduction.py \
--output experiments/reproduced/paper-evidence-audit.json
```
脚本检查四组共 64 个已接受条件、最终 checkpoint 元数据、全部轨迹文件行数、网页均值,以及 no-SDF estimator 的 CPU 反序列化和参数有限性。它不创建仿真环境,不代表 GPU 恢复或全新训练成功。
已有网页可由普通远端电脑用 `python3 tools/serve.py --standalone --host 127.0.0.1 --port 8098` 查看;本集群页面服务仍须放到计算节点。页面精选视频有选择偏差,只用于解释动作;成功率以完整原始评估为准。
更多资料:[依赖](docs/dependencies.md) · [资产](docs/data_assets.md) · [复现入口与历史归档](docs/reproduction.md) · [方法与张量](claude_context/architecture_and_training.md) · [源码快照许可](vendor/README.md)。