code-Movens-Zero_train / scale /script /DLC_LOCAL_STORAGE.md
Tinghong-Ye22's picture
Add files using upload-large-folder tool
13cc860 verified
|
Raw History Blame Contribute Delete
8.65 kB

独立 DLC 本地续训入口

在 单机 8 卡 DLC 上运行(不是 DSW):

bash /cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/code/Movens-Zero_train/scale/script/train_sml_dlc_local.sh

不需要额外 --resume-existing,这个入口只做完整状态续训,不提供从零训练模式。旧 train_sml_1m_dlc.sh 未修改,仍保持原来 CPFS 输出行为。

目录与流程

  • 输入:原 scale/groups/sml_1m_224_a1e-4_o1e-5_nojerk,或下面新备份中步数更高的有效 checkpoint。
  • DLC 本地:/mnt/workspace/Movens-Zero_train。有同名但不属于此入口的目录则直接拒绝,不覆盖。已有本入口的完整本地训练时优先续训本地最新完整 checkpoint,不倒退到旧 CPFS 版本。
  • CPFS 新备份:项目下 scale/dlc_local_backups/sml_1m_224_a1e-4_o1e-5_nojerk/{S,M,L}/ckpt_<step>/。
  • 首次启动检查 8 卡空闲、目标盘独立且空间足够;不会停占卡脚本或其他任务。
  • 复制私有代码、配置、记录缓存及各档最新完整状态。原始数据、媒体、视频 embedding、官方 Omni 仍只读引用 CPFS,不复制整个数据集/虚拟环境。
  • 模型、optimizer、scheduler、两个自定义状态(flow RNG/数据游标)、各 rank RNG 全部复制,SHA256 逐文件校验目标数据,再验证 safetensors 布局、PyTorch ZIP 完整结构、配置/归一化及完整续训约束。没有“缺优化器就只载权重”的降级逻辑。
  • 保持 S=0,1;M=2,3;L=4,5,6,7,主全局 batch=48、原学习率/no-jerk/百万步预算不变。输出、W&B 离线文件及可写运行缓存落 DLC 本地。
  • 首次完成一轮 CPFS 备份后才开始训练;默认每 1800 秒再备份最新已完成 checkpoint(不保证恰好每半小时,复制本身需要时间),进程正常退出或收到可处理的 SIGTERM/SIGINT 时再尝试最后一次备份。
  • 每个备份包含完整续训状态、run_config、normalization、startup pose、training.log、metrics.jsonl 和逐文件 checksum。日志取复制开始时的前缀,避免尾部追加造成误判。checkpoint 文件在 DLC 本地临时硬链接固定,防止训练清理正在备份的源文件。
  • 先写隐藏临时目录,校验完成后原子发布,最后只清理新备份目录中超过最新两个的已提交版本。原 CPFS 结果、DSW 本地结果都不清理。发布期间最多临时多一份,失败不删除先前两份。
  • 新 DLC 节点启动时从新备份与原组中选较新完整状态;同一备份目录有独占写锁,拒绝两台 DLC 同时写。

空间与失败策略

2026-10-05 只读预检:S309000 / M303500 / L289500,三档一组完整状态约 161.9 GiB。首次本地要求可用约 697.4 GiB,覆盖初始化状态、保留的两份与写入中状态及额外余量。以后本地续训前也检查余量;运行时低于一组三档 checkpoint +10 GiB 就请求本次训练 supervisor 停止并尝试备份,避免继续写爆。

CPFS 新备份稳态约 324 GiB + 日志,更新时还需容纳当前正在传输的一档(最大约60 GiB)及余量;原 CPFS 的几百 GiB 不会自动释放。df 不能保证用户配额充足,实际写入失败也会捕获。

备份失败:保留 DLC 本地状态和已有已提交备份,在标准输出和 DLC 本地 /mnt/workspace/Movens-Zero_train/backup_status.json 明确记录,下次周期重试;首次备份失败则不启动训练。首次启动以后的备份故障不会立即杀正在正常运行的训练,但不能把未备份的新步数视为安全存储。可处理的退出不等于平台强制销毁;SIGKILL、断电/节点回收无法保证最后一次回传,最多可能损失上次成功备份之后的工作。

已创建且遗留的私有传输 pin/CPFS 隐藏临时目录,在持有两个独占锁后清理;不会将临时目录视为完整备份。训练 launcher 自身的 resume_source 硬链接保留策略未改,多次续训可能累积引用;本入口不擅自清理这些已有恢复状态。

可选命令

只读预检(DSW 也能执行;不复制、不写目录、不启动 GPU):

bash /cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/code/Movens-Zero_train/scale/script/train_sml_dlc_local.sh --plan-only

调整回传频率,例如 15 分钟:

bash /cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/code/Movens-Zero_train/scale/script/train_sml_dlc_local.sh --backup-interval 900

停止训练后,只回传现有 DLC 本地结果(需要在原 DLC 容器执行):

bash /cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/code/Movens-Zero_train/scale/script/train_sml_dlc_local.sh --backup-only

不要删除 DLC 任务,直到 CPFS status.json/各档 COMPLETE.json 确认所需 checkpoint 已回传;本地盘不是永久备份。

自动看板与推理

新训练入口已带独立轻量日志线程,约每20秒把三档最近2MiB完整指标行和少量日志同步到 CPFS scale/groups/sml_dlc_local_monitor/telemetry/。大 checkpoint 复制不会阻塞轻量日志线程。

2026-10-05 修复:看板读取同一 run 的已提交备份完整日志(必要时回退原 CPFS 日志),接上实时尾部;“全部”显示从第1步起的历史,不再只显示最近2MiB。旧数据保存精确1000步 count/sum/min/max 聚合,最近5000步保留细节,同一步多条指标合并、重叠同步不重复计数。DSW 独立缓存位于 /mnt/workspace/Movens-Zero_dashboard_cache/,不改训练结果。首次重建或新备份补齐期间显示恢复提示,已有曲线和实时指标仍可查看;DSW 中断期间未收到的记录由后续完整备份补齐,不插值伪造。仅重启看板服务即可生效,无需重启 DLC。

DSW 新看板地址:**http://127.0.0.1:8767/**,转发端口8767。旧8766和原数据源不动。

在 DSW 启动新看板和自动推理(已部署;DSW 重启后需重新执行):

bash /cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/code/Movens-Zero_train/scale/script/start_dlc_local_monitor.sh

两个后台 tmux 会话:movens-dlc-local-dashboard、movens-dlc-local-previews。DLC仍只执行本文顶部的单条训练命令,不需要手动触发推理。DSW 本身被关机/重启时,DLC 不能通过共享盘自行启动 DSW 进程,必须先恢复上述后台。

每次 CPFS checkpoint 原子发布成功,DSW watcher 会在 GPU3 空闲时自动用原始 v4 推理和渲染脚本生成简单文本三例及原四模态预览。它检查发布标记、元数据hash和模型长度,用临时硬链接防止备份轮换删除正在推理的权重;不复制额外模型、优化器,不占 DLC 八张训练卡。视频仍是训练集内固定定性案例,不是正式 eval。推理输入/输出在独立 monitor/live/previews 中,旧画廊不会被覆盖。

HFD_lzk 等其他任务优先:GPU3 已占用时不启动推理;推理过程中每5秒检测到其他 GPU3 进程后只停止自己的推理子进程并让卡;CPU渲染期间也检查并撤掉自己的占卡进程。空闲时恢复仅GPU3的私有 keeper,不动其他卡/其他任务。进程检测属于尽力让卡,不是 GPU 调度器的资源预约;HFD 启动若需要独占整卡,应先协调释放。

看板等待新入口首次同步时显示“等待 DLC 本地入口同步”;不会用旧组数据冒充。日志断流、回传失败、推理等待或失败会显示告警。视频更新速度由备份周期(默认30分钟)、复制时长和DSW卡是否空闲决定,不是每20秒生成一次视频。

“完美续训”边界

这是原有 full-state resume 的存储迁移:不重置 optimizer/scheduler/step/已保存 RNG/数据游标。但原训练并未保存全部 DataLoader worker 随机状态,不能保证断点前后逐 bit 等同于从未中断。仅恢复到最新完整保存步,不恢复未保存的梯度/内存中步骤。

测试:独立复制/校验失败/目标防覆盖/残缺 checkpoint 回退/备份失败不破坏旧两份/提交后保留两份的单元测试;实际 S/M/L checkpoint 的只读结构预检;临时隔离代码副本的三档 --config-only 完整续训路径检查(大权重仅只读引用,不在 DSW 启动训练)。DLC 上真正 162 GiB 的传输、校验和 8 卡启动由上述命令首次执行时完成,不声称已在 DLC 实跑。