OpenWAM-3sys / migration /REPORT.md
qiuly's picture
Add files using upload-large-folder tool
9020600 verified
|
Raw History Blame Contribute Delete
3.01 kB
# Run1–Run40 checkpoint 迁移结果
完成时间:2026-09-22T13:14:51.545871+00:00。实际根目录:`/mnt/data/limingleyang/checkpoints`。
## 已归档
- 40 个 SFT 最终 policy;2 个 WAM pretrain 最终 policy(run23、run39)。
- 10 个原始 S-VAE 文件,9 组模型参数;run34/run35 的不同训练元数据分别保留。
- run19 VideoRAE encoder 的最终训练状态、encoder export 与 latent statistics。
- 共 53 个 catalog 条目。归档目录约 **285.85 GB**,所有文件均为真实独立文件,没有软链接或硬链接。
- 原 42 个 policy 完整文件合计 1078.53 GB。Reason1 等组件按完整 tensor 内容去重,原 header 和 tensor 字节均保留。
- 增量存放和评测入口见 [README](../README.md);条目索引见 [catalog](../catalog.json);绝对目录清单见 [archive-paths.tsv](archive-paths.tsv)。
## 实际验证
- 清理前:53 个条目的全部文件 SHA-256、索引、依赖、无链接检查通过;42 个 policy 全部流式重建并匹配原文件完整 SHA-256。
- run1、run37、run40 通过现有 deploy loader 的真实 CPU 加载;检查期间禁止访问历史权重目录,并关闭模型下载。
- run40 的 LIBERO+ 与 LIBERO 启动 dry-run 通过。
- 清理后:53 个条目再次通过全部文件 SHA-256 检查。删除此前的 run40 展开缓存后,从归档重新还原,并再次通过两套 eval 的 dry-run。
- 13 项工具测试通过,覆盖增量追加、并发、损坏拒绝、目录迁移、精确还原和清理前置条件;最终清理保护测试另行通过。
- 没有运行 GPU forward 或闭环评测,没有产生新的成功率;尚未上传 Hugging Face。
证据:[原始字节校验](verification.json)、[清理后校验](postcleanup-verification.json)、[加载检查](load-checks.json)、[测试日志](unit-tests.log)。
## 实际清理
确认复制及验证通过之后,按 [逐文件清单](cleanup-plan.json) 删除了 **12,810 个文件,合计 7.582 TB**。
包括已归档的旧权重副本、8 个正式 policy 中间 checkpoint、optimizer 中间状态、run19 逐步 encoder export、可再生特征缓存。
旧目录保留原始配置、汇总统计、训练日志与评测结果;模型目录新增 `ARCHIVED_TO.json` 指向新位置。
未归属的早期 checkpoint、superseded/dev/smoke 实验、原始数据集、基础预训练模型未删除。
本次清单之外仍有 70 个 checkpoint_step 文件,详见 [保留清单](retained-other-checkpoints.tsv);它们不属于本次确认的 42 个正式最终 policy。
原目录中的 feature manifest 是历史记录,特征 shards 已删除时不能把它当成可用缓存。
清理日志:[结果](cleanup-report.json)、[逐文件操作](cleanup-deletions.jsonl)。
本次 run1/run37 的临时展开缓存已删除;保留的新 run40 eval 缓存在 `/mnt/data/limingleyang/checkpoint_eval_cache/run40/c7922ab0d62f81c4`,位于上传目录之外,可按 README 重建。