| # Experiment |
|
|
| ## 1. 范围与当前状态 |
|
|
| 本文只汇总当前目录中能够由 checkpoint、日志、视频和 `metrics.json` 直接核验的实验。旧机器上的 |
| v1/v2/v3 实验不再纳入报告。 |
|
|
| checkpoint、日志、SwanLab experiment 与评测输出采用同一套显式超参数命名；字段含义和当前配置 |
| 索引见 [train.md](train.md#实验命名规范)。 |
|
|
| | 实验 | 数据规模 | 状态 | |
| | --- | ---: | --- | |
| | v4 blocks `[0,53]` 训练 | 8400 transitions | 完成 2000 steps | |
| | v4 blocks `[1,52]` BF16 master 训练 | 8400 transitions | 完成 2000 steps | |
| | v4 blocks `[1,52]` FP32 master 训练 | 8400 transitions | 完成 2000 steps | |
| | predictor-disca blocks `[0,53]` 训练 | 8400 transitions | 完成 2000 steps | |
| | 训练集 Full/Reuse/v4/disca 视频评测 | 100 pairs × 4 actions | 完成 | |
| | 留出集 Full/Reuse 基线 | 75 pairs × 4 actions | 完成 | |
| | validation v4/DisCa Predictor 评测 | 25 pairs × 4 actions × 4 checkpoints | 完成 | |
| | Stage-1 previous-condition 输入消融 | 8400 transitions × 3 modes；validation25 | Torch 2.6 无 FlashAttention 重训；8 组 reference 与 VBench 评测全部完成 | |
| | test v4/DisCa Predictor 评测 | — | 尚未运行 | |
| | detached timestep on-policy，完整训练集 | 100 pairs × 4 actions | 保存至 step 1000；validation25 FPPF/FPPP 已评测 | |
| | detached chunk+timestep on-policy FPPP，完整训练集 | 100 pairs × 4 actions | 从 step 1000 恢复并完成 2000 steps；step 1000/2000 validation25 FPPF/FPPP 均已评测 | |
| | Stage-1 continued offline teacher-forcing，完整训练集 | 8400 transitions | 从 Stage-1 step 2000 模型参数继续训练 2000 steps；validation25 FPPF/FPPP 已评测 | |
| | detached chunk+timestep rollout + offline FFFF targets，完整训练集 | 100 pairs × 4 actions | 完成 2000 steps；validation25 FPPF/FPPP 已评测 | |
| | C0/C1/C2 confidence head 离线训练 | train 8400 + validation 2100 transitions | 完成；独立 validation25，无 validation tuning | |
| | Stage-1 C1 threshold 动态 fallback | validation25 × 4 thresholds × 100 videos | reference 8 项与 VBench 8 项均已完成 | |
| | Torch 2.6 固定环境复评 | validation25 × 7 个 Confidence 组 × 100 videos | 完成；reference 8 项已汇总并同步 S3 | |
| | VBench 5 项 | validation25，14 组 × 100 videos | 完成 | |
| | ATC Predictor 五组架构消融训练 | 8400 transitions × 5 variants | 全部完成 2000 steps | |
| | ATC Predictor FPPF/FPPP 评测 | validation25 × 5 variants × 2 schedules × 100 videos | reference 8 项与 VBench 8 项全部完成 | |
| | ATC（Causal-Forcing 对齐版全局 Transport）Stage-1 重训 + on-policy rollout | 8400 transitions；100 pairs × 4 actions | 4 卡各 2000 steps 完成；rollout step 500/800/1000/1500/2000 的 validation25 FPPF/FPPP 与 VBench 8 项全部完成（第 12 节） | |
|
|
| 当前已完成四个 Stage-1 Predictor checkpoint 在 25-pair validation split 上的视频评测；完整训练集 |
| detached timestep on-policy 的 step 1000，以及 detached chunk+timestep on-policy 的 step 1000/2000， |
| 以及 Stage-1 continued offline teacher-forcing 的 step 2000，均已完成 validation25 FPPF/FPPP |
| 评测；detached chunk+timestep rollout + offline FFFF targets 的 step 2000 也已完成相同协议。 |
| 14 组固定 schedule 视频均已完成并汇总 VBench 5 项。Stage-1 C1 confidence 另外完成四个训练集 |
| 分位阈值的 validation25 动态 fallback，共生成 400 个视频，reference 8 项与完整 VBench 8 项均已 |
| 汇总；previous-condition 的 8 组共 800 个视频也已完成完整 VBench 8 项评测；50-pair test split |
| 的 Predictor 评测尚未运行。 |
|
|
| 2026-08-21～23 另外完成 Anchor–Transport–Correct（ATC）Predictor 的五组完整架构消融。五个 |
| checkpoint 均训练 2000 steps，并在固定 Torch 2.6 环境下分别生成 FPPF/FPPP 各 100 个视频； |
| 10 组视频的 Full-reference 8 项指标与 VBench 8 项指标均已完成，详见第 11 节。 |
|
|
| 2026-08-21 环境审计确认，2026-08-14 以后新增的一批实验曾使用 Torch `2.5.1+cu121` 和 |
| FlashAttention 2，而 7 月正式基线使用 Torch `2.6.0+cu124` 且没有安装 FlashAttention。固定环境 |
| `/mnt/local_nvme/cz/envs/hy_worldplay_july20260720` 重跑 Stage-1 FPPF 后，与 7 月原始 100 个视频 |
| 达到 `100/100` SHA256 完全一致；Torch 2.5 环境重跑则为 `0/100` 一致。2026-08-23 已删除 |
| previous-condition 消融中 `none/previous_step/both` 的错误 checkpoint、日志、生成视频和指标， |
| 并在正确环境中从零重训。三个新 checkpoint 均已完成 2000 steps，并完成同环境 validation25 |
| FPPF reference 8 项评测。2026-08-24 进一步发现原始 `none` 与其余版本的首 chunk 调度不同，随后 |
| 补跑 `none` step 300/500/1000/2000 的首 chunk FFFF 公平对照；正式结果和修正后的解释见第 6.4 节。 |
| Confidence 历史实验另见第 9～10 节。 |
|
|
| ## 2. 统一设置 |
|
|
| 训练数据使用 100 个图文 pair，每个 pair 运行四种双向 action： |
|
|
| ```text |
| (w, s), (a, d), (up, down), (left, right) |
| ``` |
|
|
| 每个视频为 8 chunks、125 frames、480×832。每个 chunk 保存四步 Full-DiT Teacher 结果，训练全部 |
| 相邻转换 `0→1`、`1→2`、`2→3`，共 `2800 records × 3 = 8400 pairs`。 |
|
|
| 主线训练集与 validation 评测以 Full-DiT 为 reference： |
|
|
| ```text |
| Full-DiT: F-F-F-F |
| Direct Reuse: F-R-R-F |
| Predictor: F-P-P-F |
| ``` |
|
|
| 即 step 0、3 由 Full-DiT 计算，step 1、2 使用 Direct Reuse 或 Predictor。指标包括 full-resolution |
| PSNR、逐帧 PSNR 均值、SSIM、AlexNet LPIPS、pixel MSE/RMSE/MAE 和 temporal-delta MSE。 |
| 第 7 节的 rollout 实验另外评测 F-P-P-P，即只保留 step 0 Full-DiT，steps 1、2、3 均由 |
| Predictor 替代。 |
|
|
| ## 3. 训练结果 |
|
|
| 四版初始 Stage-1 训练与 continued offline teacher-forcing 均使用 8 卡、每卡 batch size 16、 |
| 全局 batch size 128，每阶段训练 2000 optimizer steps；checkpoint 每 100 steps 保存一次。 |
| continued 版本只加载 Stage-1 step 2000 的模型参数，重新初始化 optimizer、scheduler 和局部 step， |
| 因此表中的 continued step 2000 相当于累计训练 4000 steps。表中 loss 和耗时是各自 step 2000 |
| 日志窗口均值，不是独立 validation set 的全量 loss。 |
|
|
| | 版本 | blocks | total loss | hidden MSE | velocity MSE | 峰值显存/GPU | micro-step 均时 | |
| | --- | --- | ---: | ---: | ---: | ---: | ---: | |
| | v4 | `[0,53]` | 0.011895 | 0.011744 | 0.010721 | 62.82 GiB | 4.47 s | |
| | v4 | `[1,52]` | 0.011537 | 0.011732 | 0.010364 | 62.82 GiB | 4.49 s | |
| | v4 FP32 master | `[1,52]` | 0.010910 | 0.011501 | 0.009760 | 64.43 GiB | 4.50 s | |
| | v4 FP32 master + offline TF continuation | `[1,52]` | **0.009355** | **0.009983** | **0.008357** | 64.43 GiB | 4.91 s | |
| | predictor-disca | `[0,53]` | 0.011053 | 0.011121 | 0.009941 | **31.18 GiB** | **1.66 s** | |
|
|
| FP32 master 版避免了 BF16 参数更新被量化，step-2000 日志窗口中的 total/velocity loss 低于旧 |
| BF16 `[1,52]`；在四版初始 Stage-1 中，predictor-disca 的 hidden loss 最低且训练 micro-step |
| 明显更快，但下面的连续视频 rollout 结果低于 v4。continued offline teacher-forcing 的单步 loss |
| 进一步降低，但其 FPPP 感知指标仍未超过 on-policy rollout；这再次说明 Teacher-forcing 单步 loss |
| 不能代替在线连续替代的视频质量评测。 |
|
|
| ## 4. 训练集视频质量 |
|
|
| 评测覆盖 100 个训练 pair × 4 actions，共 400 个视频/方法。箭头表示指标优劣方向。 |
|
|
| | 方法 | blocks | PSNR ↑ | frame PSNR ↑ | SSIM ↑ | LPIPS ↓ | MSE ↓ | RMSE ↓ | MAE ↓ | temporal MSE ↓ | |
| | --- | --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | |
| | Direct Reuse | — | 18.4639 | 19.6970 | 0.6429 | 0.2083 | 0.01891 | 0.12964 | 0.07145 | 0.01212 | |
| | v4 | `[0,53]` | 21.9337 | 24.4274 | 0.7606 | 0.1204 | 0.00918 | 0.08881 | 0.04341 | 0.00865 | |
| | v4 | `[1,52]` | **22.1090** | **24.5848** | **0.7670** | **0.1168** | **0.00876** | **0.08677** | **0.04220** | **0.00832** | |
| | predictor-disca | `[0,53]` | 19.4084 | 20.6095 | 0.6748 | 0.1816 | 0.01513 | 0.11606 | 0.06208 | 0.01061 | |
|
|
| 主要结论： |
|
|
| - v4 `[1,52]` 在所有已记录的视频质量指标上都是当前最优 Predictor。相对 v4 `[0,53]`，PSNR |
| 提高 0.1754 dB，SSIM 提高 0.0064，LPIPS 降低 3.0%，temporal MSE 降低 3.7%。 |
| - v4 `[0,53]` 相对 Direct Reuse 的 PSNR 提高 3.4698 dB、SSIM 提高 0.1177，LPIPS 降低 |
| 42.2%，pixel MSE 降低 51.4%，temporal MSE 降低 28.7%。 |
| - 在相同 blocks `[0,53]` 下，v4 相对 predictor-disca 的 PSNR 提高 2.5253 dB、SSIM 提高 |
| 0.0858，LPIPS 降低 33.7%，pixel MSE 降低 39.3%，temporal MSE 降低 18.5%。这支持 |
| previous-chunk hidden 与 Context Vision K/V 对连续 WorldPlay rollout 有明显贡献。 |
| - predictor-disca 仍优于 Direct Reuse：PSNR 提高 0.9445 dB，LPIPS 降低 12.8%，pixel MSE |
| 降低 20.0%。即便不注入上述 AR Context，双 block Predictor 仍学到了有效修正。 |
|
|
| ## 5. 训练集生成耗时 |
|
|
| 以下为各次评测日志中的端到端单视频 wall time。不同 Predictor 是分次启动，受机器负载、模型 |
| offload 和缓存状态影响，因此不能把跨次运行的几秒差异直接解释成架构速度差异。 |
|
|
| | 方法/运行 | 视频数 | mean | median | P90 | |
| | --- | ---: | ---: | ---: | ---: | |
| | Direct Reuse，与 v4 `[0,53]` 同次运行 | 400 | 88.60 s | 84.25 s | 111.37 s | |
| | v4 `[0,53]` | 400 | 89.84 s | 85.79 s | 111.34 s | |
| | v4 `[1,52]` | 400 | 85.04 s | 79.92 s | 102.55 s | |
| | predictor-disca `[0,53]` | 400 | 90.10 s | 89.79 s | 106.56 s | |
|
|
| 同次运行的 v4 `[0,53]` 比 Direct Reuse 平均多 1.25 秒/视频，约 1.4%。端到端时间还包含文本编码、 |
| history K/V、VAE 和视频编码，所以它不是 Predictor block 的纯 forward benchmark。 |
|
|
| ## 6. 留出集 Full/Reuse 基线 |
|
|
| 留出集从 VBench 中随机选择且与训练集互斥：25 个 validation pair 和 50 个 test pair，两者也互斥。 |
| 每个 pair 运行四种 action，共生成 300 个 Full 视频和 300 个 Direct Reuse 视频。 |
|
|
| ### 6.1 视频质量 |
|
|
| Full/Reuse 基线覆盖 validation 和 test；四个现存 Predictor checkpoint 当前均补齐了 validation。 |
|
|
| | split | 视频数 | PSNR ↑ | frame PSNR ↑ | SSIM ↑ | LPIPS ↓ | MSE ↓ | RMSE ↓ | MAE ↓ | temporal MSE ↓ | |
| | --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | |
| | validation | 100 | 17.9333 | 19.0671 | 0.6107 | 0.2154 | 0.02030 | 0.13614 | 0.07513 | 0.01347 | |
| | test | 200 | 18.0988 | 19.2316 | 0.5934 | 0.2042 | 0.02079 | 0.13522 | 0.07543 | 0.01495 | |
| | overall | 300 | 18.0436 | 19.1767 | 0.5991 | 0.2080 | 0.02063 | 0.13552 | 0.07533 | 0.01446 | |
|
|
| ### 6.2 组件耗时 |
|
|
| | 模式 | 视频数 | 端到端 mean | 端到端 median | P90 | pipeline | AR rollout | history K/V | step transformer | VAE decode | 峰值显存 | |
| | --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | |
| | Full | 300 | 101.11 s | 100.05 s | 113.31 s | 98.89 s | 64.90 s | 19.06 s | 27.24 s | 10.97 s | 71.06 GiB | |
| | Reuse | 300 | 87.41 s | 86.89 s | 100.17 s | 85.19 s | 51.23 s | 19.09 s | 13.65 s | 10.82 s | 71.11 GiB | |
|
|
| Direct Reuse 将端到端平均耗时降低 13.55%，AR rollout 降低 21.06%，其中 step transformer |
| 耗时降低 49.90%。峰值显存基本不变，因为 Full Teacher、history cache 和其他 pipeline 组件仍然驻留。 |
|
|
| ### 6.3 validation Predictor 对比 |
|
|
| 四个 checkpoint 均在线替代 steps 1、2，以同 seed 的 Full-DiT validation 视频为 reference。每版 |
| 评测 25 pairs × 4 actions = 100 个视频。 |
|
|
| | 方法 | PSNR ↑ | frame PSNR ↑ | SSIM ↑ | LPIPS ↓ | MSE ↓ | RMSE ↓ | MAE ↓ | temporal MSE ↓ | |
| | --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | |
| | Direct Reuse | 17.9333 | 19.0671 | 0.6107 | 0.2154 | 0.02030 | 0.13614 | 0.07513 | 0.01347 | |
| | predictor-disca BF16 `[0,53]` | 18.9360 | 20.0334 | 0.6463 | 0.1863 | 0.01658 | 0.12184 | 0.06543 | 0.01179 | |
| | v4 BF16 `[0,53]` | 21.2107 | 23.6721 | 0.7349 | 0.1271 | 0.01023 | 0.09515 | 0.04698 | 0.00940 | |
| | v4 BF16 `[1,52]` | 21.3348 | 23.7490 | 0.7384 | 0.1252 | 0.01011 | 0.09409 | 0.04645 | 0.00907 | |
| | v4 FP32-master `[1,52]` | **21.5933** | **23.9745** | **0.7467** | **0.1210** | **0.00969** | **0.09162** | **0.04511** | **0.00882** | |
|
|
| 相对 Direct Reuse，v4 的 PSNR 提高 3.6601 dB、SSIM 提高 0.1360，LPIPS 降低 43.84%，pixel |
| MSE 降低 52.26%，temporal MSE 降低 34.51%。Predictor 端到端生成耗时均值 84.08 秒、中位数 |
| 84.42 秒、P90 91.16 秒；不同方法来自分次运行，因此该耗时只作为运行记录，不作为严格速度对照。 |
|
|
| 在相同 blocks `[1,52]` 下，FP32-master 相对旧 BF16 checkpoint 的 PSNR 提高 0.2586 dB、SSIM |
| 提高 0.0083，LPIPS 降低 3.39%，pixel MSE 降低 4.12%，temporal MSE 降低 2.66%。这与训练时 |
| 保留 FP32 master 参数、避免小更新被 BF16 量化的预期一致。 |
|
|
| 新补跑三版使用相同组件计时实现： |
|
|
| | 版本 | 端到端 mean | median | P90 | pipeline | AR rollout | history K/V | Full transformer | Predictor | VAE decode | 峰值显存 | |
| | --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | |
| | v4 BF16 `[0,53]` | 87.51 s | 86.45 s | 92.40 s | 85.38 s | 52.18 s | 19.14 s | 14.55 s | 0.97 s | 10.59 s | 71.86 GiB | |
| | v4 BF16 `[1,52]` | 87.34 s | 85.47 s | 96.58 s | 85.21 s | 52.50 s | 19.15 s | 14.65 s | 1.00 s | 10.62 s | 71.86 GiB | |
| | predictor-disca BF16 `[0,53]` | **80.89 s** | **79.50 s** | **88.37 s** | **78.76 s** | **49.47 s** | **19.03 s** | **13.62 s** | **0.61 s** | **9.96 s** | **71.77 GiB** | |
|
|
| v4 在 Chunk 0 必须在线生成 previous-chunk hidden，因此每视频实际执行 18 次 Full transformer、14 次 |
| Predictor；DisCa 不需要 previous-chunk hidden，执行 16 次 Full transformer、16 次 Predictor。这是 |
| DisCa 端到端比 v4 快约 6.5 秒的主要原因之一，但其视频质量明显低于两版 v4。 |
|
|
| ### 6.4 previous-condition 输入消融（Torch 2.6 重训） |
|
|
| 旧 `none/previous_step/both` 实验使用了错误的 Torch 2.5 + FlashAttention 2 环境，其 checkpoint、 |
| 训练日志、生成视频和指标均已删除，旧数值不再保留。2026-08-23 使用以下固定环境从随机初始化 |
| 顺序重训三个分支： |
|
|
| ```text |
| Python: /mnt/local_nvme/cz/envs/hy_worldplay_july20260720/bin/python |
| PyTorch: 2.6.0+cu124 |
| CUDA runtime: 12.4 |
| FlashAttention: 未安装 |
| ``` |
|
|
| 重训保持原消融协议不变：Predictor v4、source blocks `[1,52]`、8400 条离线 transition、8 GPU、 |
| global batch 128、FP32 trainable parameters、seed 0 和 2000 optimizer steps。三个分支分别是不使用 |
| 上一 chunk hidden（`none`）、使用前一 denoise step（`previous_step`）和同时使用 same/previous |
| step（`both`）。正确的正式 `same_step` Stage-1 checkpoint 保留作为基线，不重复训练。 |
|
|
| 三个分支分别于 2026-08-23 完成 2000 steps，并于 2026-08-24 在同一 Torch 2.6 环境中使用 |
| validation25、seed 0 各生成 100 个视频；reference 是已通过 `100/100` SHA256 复现的同环境 FFFF |
| 视频。事后审计逐视频 timing record 时发现，原始评测虽然都把 chunk 内 schedule 写成 FPPF，实际 |
| Full/Predictor 调用预算并不一致：需要 previous hidden 的 `same_step/previous_step/both` 会把首 |
| chunk 强制为 FFFF，每视频执行 `18 Full + 14 Predictor`；`none` 不受这一约束，首 chunk 也执行 |
| FPPF，每视频是 `16 Full + 16 Predictor`。 |
|
|
| #### 6.4.1 Full-reference 与 VBench Core5 统一对比 |
|
|
| 下表合并原始调度和首 chunk FFFF 公平复评。Full-reference 只保留 PSNR、Frame PSNR、SSIM、 |
| LPIPS 四项，并在同一行加入 VBench Core5。Core5 是 Subject、Background、Motion、Aesthetic、 |
| Imaging 的简单平均，不是官方加权总分。 |
|
|
| | 输入条件 / checkpoint | 首 chunk | Full / Predictor 调用 | PSNR ↑ | Frame PSNR ↑ | SSIM ↑ | LPIPS ↓ | VBench Core5 ↑ | |
| | --- | --- | ---: | ---: | ---: | ---: | ---: | ---: | |
| | `same_step` 正式基线，step 2000 | FFFF | 18 / 14 | 21.5933 | 23.9745 | 0.74668 | 0.12100 | 0.842022 | |
| | `previous_step`，step 2000 | FFFF | 18 / 14 | 21.5329 | 23.9052 | 0.74597 | 0.12127 | **0.842153** | |
| | `both`，step 2000 | FFFF | 18 / 14 | 21.4970 | 23.8920 | 0.74411 | 0.12231 | 0.841854 | |
| | `none`，step 2000，原始调度 | FPPF | 16 / 16 | 19.2348 | 20.3065 | 0.65579 | 0.17864 | 0.840606 | |
| | `none`，step 300 | FFFF | 18 / 14 | 20.7686 | 23.2580 | 0.71924 | 0.13494 | 0.842060 | |
| | `none`，step 500 | FFFF | 18 / 14 | 21.1103 | 23.5607 | 0.73249 | 0.12854 | 0.842129 | |
| | `none`，step 1000 | FFFF | 18 / 14 | 21.5026 | 23.8763 | 0.74372 | 0.12321 | 0.841753 | |
| | **`none`，step 2000** | FFFF | 18 / 14 | **21.6985** | **24.0849** | **0.75098** | **0.11861** | 0.841869 | |
|
|
| #### 6.4.2 调度公平性与训练步数分析 |
|
|
| 为隔离 previous-condition 输入，`none` 的公平复评显式固定首 chunk 为 FFFF，后续 chunk 仍为 |
| FPPF。step 300、500、1000、2000 四组均为 validation25 的 100 个视频；逐视频日志确认全部执行 |
| `18 Full + 14 Predictor` 且 `force_first_chunk_full=true`，与三个 previous-condition 版本一致。 |
|
|
| - 在相同 `18/14` 预算的 `same_step/previous_step/both` 中，表内四项 reference 指标一致为 |
| `same_step > previous_step > both`。`previous_step` 与 `same_step` 最接近，PSNR、Frame PSNR、 |
| SSIM 分别低 `0.0605 dB/0.0693 dB/0.00071`，LPIPS 高约 `0.22%`；其 Core5 则高 |
| `0.000131`，但 paired Core5 仅 `48/100` 胜出。 |
| - `both` 没有从额外输入获益，相对 `same_step` 的 PSNR/SSIM 为 |
| `-0.0963 dB/-0.00257`，LPIPS 高约 `1.08%`，Core5 低 `0.000168`。当前 concat fusion 无法 |
| 有效区分两路 previous condition，反而引入轻微干扰。 |
| - 原始 `none` 的 PSNR 比 `same_step` 低 `2.3586 dB`，但它的首 chunk 也是 FPPF，每视频少两次 |
| Full、多两次 Predictor。首 chunk 误差会通过 AR Context K/V 传播到后续七个 chunk，因此该行 |
| 不能用于判断移除 previous-chunk hidden 本身的影响。 |
| - 固定首 chunk FFFF 后，`none` 的四项 reference 指标从 step 300 到 500、1000、再到 2000 全部 |
| 单调改善。step 300→500 的 PSNR 提升 `0.3417 dB`、LPIPS 降低 `0.00640`；step 500→1000 的 |
| PSNR 提升 `0.3923 dB`、LPIPS 降低 `0.00533`；step 1000→2000 的 PSNR继续提升 |
| `0.1959 dB`、LPIPS继续降低 `0.00460`。 |
| - 在完全相同的 `18/14` 预算下，`none` step 2000 的四项 reference 指标全部略优于 |
| `same_step`：PSNR/Frame PSNR 分别高 `0.1051/0.1104 dB`，SSIM 高 `0.00430`，LPIPS 降低 |
| 约 `1.98%`；Core5 则低 `0.000154`。它也与 ATC Anchor-only 基本处于同一档，说明首 chunk |
| 是否进行 Full warmup 是此前结果中的主导混杂变量。 |
|
|
| #### 6.4.3 VBench 8 项与 Core5 |
|
|
| 对本节全部 8 组现有视频按相同协议计算 VBench，每组 100 个视频、每个维度共 800 条有效记录。Core5 |
| 沿用本文定义，是 Subject、Background、Motion、Aesthetic、Imaging 的简单平均，不是官方加权 |
| 总分。原始 `none` 的首 chunk 为 FPPF；其余标注 FFFF 的 `none` 与三个 previous-condition 版本 |
| 均使用首 chunk Full warmup。 |
|
|
| | 版本 | Subject | Background | Flickering | Motion | Dynamic | Aesthetic | Imaging | Overall | Core5 ↑ | |
| | --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | |
| | `same_step` step 2000 | 0.947461 | 0.943822 | 0.960451 | 0.989683 | 0.800 | 0.598215 | 0.730930 | 0.249178 | 0.842022 | |
| | **`previous_step` step 2000** | **0.947814** | **0.943840** | 0.960425 | 0.989658 | 0.800 | 0.598349 | 0.731104 | 0.248914 | **0.842153** | |
| | `both` step 2000 | 0.947802 | 0.942704 | 0.960404 | 0.989690 | 0.800 | **0.598393** | 0.730683 | 0.248555 | 0.841854 | |
| | `none` step 2000，首 chunk FPPF | 0.947438 | 0.943414 | **0.960857** | 0.989679 | **0.810** | 0.595039 | 0.727459 | **0.249854** | 0.840606 | |
| | `none` step 300，首 chunk FFFF | 0.947615 | 0.942934 | 0.960277 | 0.989700 | 0.800 | 0.598111 | 0.731941 | 0.248790 | 0.842060 | |
| | `none` step 500，首 chunk FFFF | 0.947657 | 0.943116 | 0.960430 | 0.989618 | 0.800 | 0.598174 | **0.732081** | 0.248830 | 0.842129 | |
| | `none` step 1000，首 chunk FFFF | 0.947806 | 0.943152 | 0.960720 | **0.989733** | 0.800 | 0.597812 | 0.730261 | 0.249078 | 0.841753 | |
| | `none` step 2000，首 chunk FFFF | 0.947618 | 0.943388 | 0.960367 | 0.989626 | 0.790 | 0.597700 | 0.731010 | 0.248968 | 0.841869 | |
| |
| VBench 给出的排序与 Full-reference 指标不同： |
| |
| - `previous_step` 的 Core5 最高，但只比 `same_step` 高 `0.000131`，paired Core5 为 `48/100` |
| 胜出，说明均值优势并不具有逐视频一致性。`both` 比 `same_step` 低 `0.000168`。 |
| - 公平预算下的 `none` step 2000 比 `same_step` 低 `0.000154`，paired Core5 为 `41/100` 胜出； |
| 差距很小，但 reference 八项的全面小幅优势没有转化为 Core5 优势。 |
| - `none` 的 Core5 不随训练单调提高：step 300/500/1000/2000 分别为 |
| `0.842060/0.842129/0.841753/0.841869`。step 2000 最贴近 Full reference，而 step 500 的无参考 |
| Core5 最高，进一步说明离线拟合收敛和无参考观感不是同一目标。 |
| - 首 chunk FFFF 仍有明确作用：同为 `none` step 2000，Core5 从首 chunk FPPF 的 `0.840606` |
| 提升到 `0.841869`，增加 `0.001263`。 |
| |
| 修正后的结论是：当前实验不能证明显式 previous-chunk hidden 是 v4 保持 FPPF 质量的关键输入； |
| 在已有 AR Context K/V 的条件下，`none` 可以恢复 reference 质量，且其 VBench Core5 与 |
| `same_step/previous_step/both` 处于非常接近的区间。`previous_step` 虽取得最高 Core5，但幅度仅 |
| `+0.000131` 且 paired 胜率不足一半；简单 concat 的 `both` 仍没有收益。由于尚未按 chunk、运动 |
| 强度或场景切换分桶，暂不把结论扩大为“previous hidden 在所有条件下都无用”；但后续输入消融 |
| 必须统一首 chunk FFFF 和 Full/Predictor 调用次数，不能再使用原始 `none` 行支持 previous hidden |
| 必要性的论断。 |
| |
| |
| ## 7. 完整训练集 Stage-2 实验 |
| |
| 本节只保留使用全部 100 个训练 pair（`fulltrain100`）的 Stage-2 实验，并统一在独立的 |
| validation25 上评测。其中 7.1～7.2 比较两种 on-policy rollout，7.3 是相同低学习率预算的离线 |
| teacher-forcing 对照，7.4 保留 student rollout 输入但改用离线 FFFF target。 |
| |
| ### 7.1 detached timestep on-policy |
| |
| 随后将 detached timestep-only on-policy 扩展到全部 100 个训练 pair。每步每 rank 采样一条 |
| `case/action/chunk` record，完成 P1→P2→P3 forward；两个 timestep 边界都 detach。训练使用 |
| `fusion_lr=5e-5`、`blocks_lr=5e-6`、两个 warmup 均为 100 steps，block 线性 warmup， |
| BF16 activation、FP32 trainable parameters 和每卡 batch size 1。训练保存到 step 1000 后，在完整 |
| validation25 上评测。它和 Stage-1、chunk+timestep 版本的统一数值对比见 7.2，避免重复列出同一组 |
| 结果。 |
| |
| FPPF 下 candidate 的 PSNR 下降 0.1829 dB、LPIPS 变差 1.51%、temporal MSE 增加 2.72%。FPPP |
| 下 PSNR 下降 0.1397 dB、temporal MSE 增加 4.30%，但 LPIPS 降低 7.06%，并在 89/100 个配对视频 |
| 上胜出。该冲突正是增加无参考 VBench 指标的主要原因：on-policy 版本可能偏离 Full-DiT 的逐帧轨迹， |
| 但不一定具有更差的主体稳定性、运动平滑性或感知画质。 |
| |
| ### 7.2 detached chunk+timestep on-policy |
| |
| 当前实验进一步同时模拟 chunk 与 timestep 两个维度的 FPPP 推理误差： |
| |
| - Chunk 0 使用 FFFF，只建立初始历史； |
| - Chunk 1～7 使用 FPPP，P1/P2/P3 都训练； |
| - timestep 边界和 chunk 边界全部 detach，后续 loss 不反传到前序状态； |
| - Teacher 在当前 student latent 上在线产生 target； |
| - 每个 rank 每步完成一条 8-chunk trajectory，8 卡全局每步 8 条 trajectory； |
| - 学习率、warmup、精度和 7.1 的 timestep-only 实验一致。 |
| |
| 训练第一次在记录 step 1005 后停止；由于 step 1001～1005 未形成完整训练状态，随后从完整保存的 |
| step 1000 `training_latest.pt` 恢复 optimizer、scheduler、epoch 和 batch 位置，继续训练到 step 2000。 |
| 恢复后 cosine scheduler 延续原进度而没有重复 warmup，step 2000 时两个 parameter group 的 LR 均降至 |
| 0。下表中的 Stage-1、detached timestep 和 detached chunk+timestep checkpoint 均使用完整的 |
| 100-pair 训练集；评测统一使用独立的 validation25，每种 schedule 均覆盖 |
| 25 pairs × 4 actions = 100 个视频。VBench 五项平均来自 8.3 的同一批视频： |
| |
| | schedule | 版本 | PSNR ↑ | SSIM ↑ | LPIPS ↓ | VBench 5项平均 ↑ | |
| | --- | --- | ---: | ---: | ---: | ---: | |
| | FPPF | Stage-1 FP32-master | 21.5933 | 0.74668 | 0.12100 | 0.842022 | |
| | FPPF | detached timestep on-policy step 1000 | 21.4104 | 0.74233 | 0.12282 | 0.841987 | |
| | FPPF | detached chunk+timestep on-policy step 1000 | 21.5753 | 0.74806 | 0.12041 | **0.842026** | |
| | FPPF | detached chunk+timestep on-policy step 2000 | 21.7289 | 0.75234 | 0.11818 | 0.841941 | |
| | FPPF | Stage-1 continued offline TF step 2000 | 21.8472 | 0.75308 | **0.11673** | 0.842012 | |
| | FPPF | detached rollout + offline FFFF targets step 2000 | **21.9107** | **0.75435** | 0.12432 | 0.838527 | |
| | | | | | | | |
| | FPPP | Stage-1 FP32-master | 20.3085 | 0.69143 | 0.23528 | 0.819219 | |
| | FPPP | detached timestep on-policy step 1000 | 20.1688 | 0.69018 | 0.21867 | 0.825319 | |
| | FPPP | detached chunk+timestep on-policy step 1000 | 20.3330 | **0.69592** | 0.21495 | 0.826423 | |
| | FPPP | detached chunk+timestep on-policy step 2000 | 20.3006 | 0.69430 | **0.21146** | **0.827286** | |
| | FPPP | Stage-1 continued offline TF step 2000 | 20.3381 | 0.69498 | 0.22958 | 0.820535 | |
| | FPPP | detached rollout + offline FFFF targets step 2000 | **20.8005** | 0.68960 | 0.32174 | 0.776892 | |
| |
| 在 FPPF 上，chunk+timestep step 1000 相对 Stage-1 的 PSNR 仅低 0.0181 dB，SSIM 提高 0.00138， |
| LPIPS 降低 0.49%；三项分别在 `55/100、59/100、59/100` 个逐视频配对中胜出，整体可视为基本持平。 |
| 它又一致优于 detached timestep-only：PSNR 提高 0.1649 dB、SSIM 提高 0.00573、LPIPS 降低 |
| 1.97%，三项各在 `66/100、64/100、64/100` 个视频上胜出。 |
| |
| 在目标 FPPP schedule 上，chunk+timestep step 1000 相对 Stage-1 的 PSNR 提高 0.0245 dB、SSIM 提高 |
| 0.00448、LPIPS 降低 8.65%；三项分别在 `52/100、62/100、94/100` 个视频上胜出。相对 |
| detached timestep-only，PSNR 提高 0.1642 dB、SSIM 提高 0.00573、LPIPS 降低 1.70%。这说明同时 |
| 模拟 chunk 与 timestep 两个维度的推理误差，主要改善了三步 Predictor 替代时的感知质量和稳定性， |
| 且没有造成 FPPF 的明显退化。 |
| |
| 继续训练到 step 2000 后，FPPF 相对 step 1000 的 PSNR 提高 0.1536 dB、SSIM 提高 0.00428、 |
| LPIPS 降低 1.85%、MSE 降低 4.30%、temporal MSE 降低 2.23%；五项逐视频胜出数依次为 |
| `57、60、62、57、54/100`。它相对 Stage-1 也在五项聚合指标上全部改善，其中 PSNR 提高 |
| 0.1356 dB、LPIPS 降低 2.33%，说明延长训练显著改善了 FPPF 下的 Full step 接管兼容性。 |
| |
| FPPP 并未随训练步数单调改善。step 2000 相对 step 1000 的 LPIPS 继续降低 1.62%，并在 79/100 个 |
| 配对视频上胜出；但 PSNR 下降 0.0325 dB、SSIM 下降 0.00161、MSE 增加 1.10%、temporal MSE |
| 增加 2.66%。相对 Stage-1，step 2000 的 PSNR 基本持平（-0.0080 dB），SSIM 提高 0.00287， |
| LPIPS 降低 10.13% 且在 93/100 个视频上胜出，MSE 降低 0.34%，但 temporal MSE 增加 4.02%。 |
| 因此 step 2000 更偏向感知质量和 FPPF 兼容性；若优先考虑 FPPP 的 reference fidelity 与时序误差， |
| step 1000 仍是更均衡的 checkpoint。 |
| |
| ### 7.3 Stage-1 continued offline teacher-forcing 公平对照 |
| |
| 为区分“继续训练本身”和“detached chunk+timestep on-policy 数据分布”的作用，新增一条与 rollout |
| 版本使用相同学习率预算的离线对照： |
| |
| - 从正式 Stage-1 FP32-master `[1,52]` step 2000 的 `training_latest.pt` 只加载 Predictor 模型参数； |
| - 不继承原 optimizer、scheduler 和 global step，重新执行 2000 个局部 optimizer steps； |
| - 继续使用 Stage-1 的 grouped offline teacher-forcing：8400 个 FFFF 相邻 transition pair、 |
| context bucket sampler、每卡 batch size 16、8 卡全局 batch size 128； |
| - 不执行 timestep/chunk rollout，不加载在线 Teacher target； |
| - 使用与完整训练集 rollout 相同的 `fusion_lr=5e-5`、`blocks_lr=5e-6`、scheduler/block warmup |
| 各 100 steps，两个 parameter group 均从头线性 warmup 后 cosine decay 到 0； |
| - 使用 BF16 forward activation、FP32 trainable parameters、FP32 AdamW moments，训练 checkpoint |
| 每 100 steps 保存一次。 |
| |
| 因此它与 rollout 的模型初始化、学习率峰值、warmup、局部 optimizer steps 和 FP32 master 设置一致， |
| 但每个 update 的样本单位不同：离线对照是 128 个独立 transition pair，而 chunk+timestep rollout |
| 是 8 条 trajectory、每条 7 个训练 chunk × 3 个 Predictor step。该实验控制了“再训练 2000 steps” |
| 的影响，但不等价控制总 forward/loss 数或 FLOPs。 |
| |
| validation25 结果已并入 7.2 的统一表。相对原 Stage-1，这条离线 continuation 在 FPPF 的 PSNR、 |
| SSIM、LPIPS、MSE、temporal MSE 五项都改善，分别为 `+0.2539 dB、+0.00640、-0.00427、 |
| -0.000597、-0.000182`；相对 chunk+timestep step 2000 也五项全部更好，其中 PSNR 再提高 |
| 0.1182 dB、LPIPS 再降低 1.22%。 |
| |
| FPPP 下，离线 continuation 相对原 Stage-1 的 PSNR 提高 0.0296 dB、SSIM 提高 0.00355、LPIPS |
| 降低 2.42%、temporal MSE 降低 0.82%，MSE 基本持平（增加 0.15%）。与 chunk+timestep step 2000 |
| 相比，它的 PSNR、SSIM 和 temporal MSE 更好，但 LPIPS 从 `0.21146` 退化到 `0.22958`。这说明 |
| continued offline teacher-forcing 更擅长保持 Full-DiT reference fidelity，而 on-policy rollout |
| 在三步连续替代时取得了更明显的感知距离收益。 |
| |
| ### 7.4 detached chunk+timestep rollout + offline FFFF targets |
| |
| 这版实验保留 detached FPPP self-rollout 产生 Predictor 输入，但把监督改为固定的离线 FFFF |
| Teacher 轨迹： |
| |
| - Chunk 0 直接从离线数据恢复 FFFF final latent 和 previous-chunk hidden，不再在线重复生成； |
| - Chunk 1～7 仍根据当前 student history 在线计算 exact context K/V，并由 Full Teacher 计算 step 0； |
| - P1/P2/P3 递归输入来自 Predictor 自己产生的 hidden、velocity 和 scheduler latent； |
| - 三步的 hidden/velocity target 固定读取对应 chunk 的离线 FFFF trajectory，而不是在当前 student |
| latent 上运行 same-state Teacher； |
| - timestep 与 chunk 边界都 detach，后序 loss 只优化当前 Predictor 调用； |
| - 初始化、`fusion_lr=5e-5`、`blocks_lr=5e-6`、两个 100-step linear warmup、2000 optimizer |
| steps、BF16 activation/FP32 master 和 8 卡 batch 设定均与 on-policy 完整训练集版本一致。 |
| |
| 因为 Chunk 0 使用离线缓存，且 Chunk 1～7 每个 chunk 只需一次在线 Full step 0，这版每条训练 |
| trajectory 的 step 2000 日志均时为 `31.30 s`，比同配置 on-policy 版本的 `51.57 s` 低 |
| `39.3%`；峰值显存基本相同（`50.59 GiB` 对 `50.57 GiB`）。step 2000 日志窗口的 total loss 为 |
| `0.07554`，hidden MSE 为 `0.04137/0.04143/0.04417`，velocity MSE 为 |
| `0.06771/0.07089/0.07531`。 |
| |
| validation25 的 reference 指标已并入 7.2。FPPF 相对 Stage-1 的 PSNR 提高 `0.3173 dB`，SSIM |
| 提高 `0.00766`，MSE 和 temporal MSE 分别降低 `10.89%`、`6.38%`；对应逐视频胜出数为 |
| `62、54、62、71/100`。但 LPIPS 从 `0.12100` 升至 `0.12432`，仅 `39/100` 个视频胜出。 |
| |
| FPPP 的冲突更明显：相对 Stage-1，PSNR 提高 `0.4920 dB`，MSE 和 temporal MSE 分别降低 |
| `10.93%`、`12.57%`，逐视频胜出 `74、74、88/100`；但 SSIM 降低 `0.00183`，LPIPS 从 |
| `0.23528` 大幅升至 `0.32174`，LPIPS 仅 `1/100` 个视频胜出。相对 on-policy step 2000，它的 |
| PSNR 高 `0.4999 dB`、temporal MSE 低 `15.95%`，但 LPIPS 在 `0/100` 个配对视频上胜出。 |
| |
| 这说明“student rollout 状态 + 固定 FFFF target”存在明显的 state-label mismatch：优化可以把像素 |
| 轨迹拉向 Full reference 并压低 MSE/temporal MSE，却未必给当前偏移状态提供语义和感知上合理的 |
| 局部速度方向。仅看 PSNR 会把这版判断为最好；LPIPS 与下节 VBench 均显示其 FPPP 感知质量明显 |
| 退化，因此它不适合作为当前最终模型。 |
| |
| ## 8. VBench 无参考视频质量评测 |
| |
| ### 8.1 指标与统一输入 |
| |
| 本节只展示以下 5 个视频质量维度： |
| |
| ```text |
| subject_consistency |
| background_consistency |
| motion_smoothness |
| aesthetic_quality |
| imaging_quality |
| ``` |
| |
| 5 项均使用 VBench `custom_input`，不使用 Full-DiT reference。所有版本统一使用 validation25 的 |
| 25 pairs × 4 actions = 100 个视频、125 frames、480×832、相同 seed/FPS； |
| `imaging_quality_preprocessing_mode` 固定为官方默认 `longer`。当前共 14 组、每项评测 1400 个 |
| 视频，5 项合计汇总 7000 条逐视频结果，同时保存总体均值、paired win rate 和四种 action 分组结果。 |
| |
| 模型权重持久化到： |
| |
| ```text |
| /mnt/s3files/s3-us-west2-default/zoubin/cz/.cache/vbench |
| /mnt/s3files/s3-us-west2-default/zoubin/cz/.cache/clip |
| /mnt/s3files/s3-us-west2-default/zoubin/cz/.cache/torch |
| ``` |
| |
| ### 8.2 核心版本与视频状态 |
| |
| | 优先级 | 视频版本 | schedule | 视频数 | 当前视频状态 | 目的 | |
| | --- | --- | --- | ---: | --- | --- | |
| | P0 | Full-DiT | FFFF | 100 | 已评测 | Full Teacher 基准；无参考分数不预设为上限 | |
| | P0 | Direct Reuse | FRRF | 100 | 已评测 | 无训练加速基线 | |
| | P0 | Stage-1 v4 FP32-master `[1,52]` step 2000 | FPPF | 100 | 已评测 | 正式 Stage-1 基线 | |
| | P0 | Stage-1 v4 FP32-master `[1,52]` step 2000 | FPPP | 100 | 已评测 | 三步替代基线 | |
| | P0 | detached timestep on-policy fulltrain100 step 1000 | FPPF | 100 | 已评测 | timestep-only rollout | |
| | P0 | detached timestep on-policy fulltrain100 step 1000 | FPPP | 100 | 已评测 | timestep-only rollout | |
| | P0 | detached chunk+timestep on-policy fulltrain100 step 1000 | FPPF | 100 | 已评测 | 检查 Full 接管兼容性 | |
| | P0 | detached chunk+timestep on-policy fulltrain100 step 1000 | FPPP | 100 | 已评测 | 中间 checkpoint | |
| | P0 | detached chunk+timestep on-policy fulltrain100 step 2000 | FPPF | 100 | 已评测 | 最终 checkpoint 的 Full 接管兼容性 | |
| | P0 | detached chunk+timestep on-policy fulltrain100 step 2000 | FPPP | 100 | 已评测 | 最终 checkpoint 的目标 schedule | |
| | P0 | Stage-1 continued offline TF step 2000 | FPPF | 100 | 已评测 | 相同低学习率预算的离线继续训练对照 | |
| | P0 | Stage-1 continued offline TF step 2000 | FPPP | 100 | 已评测 | 区分继续训练与 on-policy rollout 的收益 | |
| | P0 | detached rollout + offline FFFF targets step 2000 | FPPF | 100 | 已评测 | 固定离线监督下的 Full 接管兼容性 | |
| | P0 | detached rollout + offline FFFF targets step 2000 | FPPP | 100 | 已评测 | 检查固定离线监督与 student 状态错配 | |
| |
| ### 8.3 五项 VBench 结果 |
| |
| 所有分数均按 VBench 输出方向统一为越高越好。粗体分别标记 Full/Reuse/FPPF 范围和 FPPP 范围内的 |
| 最高值。最后一列是表中 5 个原始单项的简单算术平均，用于本项目内部排序。这是项目自定义的五项 |
| 集合，且未执行官方归一化加权，因此不是官方 VBench-I2V Quality Score。 |
| |
| | 版本 | schedule | Subject ↑ | Background ↑ | Motion ↑ | Aesthetic ↑ | Imaging ↑ | 5项平均 ↑ | |
| | --- | --- | ---: | ---: | ---: | ---: | ---: | ---: | |
| | Full-DiT | FFFF | 0.948075 | 0.943076 | 0.989400 | 0.598486 | 0.734028 | 0.842613 | |
| | Direct Reuse | FRRF | **0.948163** | **0.944339** | **0.989935** | 0.597758 | **0.734619** | **0.842963** | |
| | Stage-1 FP32-master | FPPF | 0.947461 | 0.943822 | 0.989683 | 0.598215 | 0.730930 | 0.842022 | |
| | detached timestep on-policy step 1000 | FPPF | 0.947665 | 0.943096 | 0.989678 | 0.598344 | 0.731153 | 0.841987 | |
| | detached chunk+timestep step 1000 | FPPF | 0.947636 | 0.943356 | 0.989713 | **0.598682** | 0.730743 | 0.842026 | |
| | detached chunk+timestep step 2000 | FPPF | 0.947705 | 0.943808 | 0.989733 | 0.597985 | 0.730474 | 0.841941 | |
| | Stage-1 continued offline TF step 2000 | FPPF | 0.947929 | 0.943915 | 0.989614 | 0.598109 | 0.730493 | 0.842012 | |
| | detached rollout + offline FFFF targets step 2000 | FPPF | 0.941993 | 0.940776 | 0.989453 | 0.594622 | 0.725793 | 0.838527 | |
| | | | | | | | | | |
| | Stage-1 FP32-master | FPPP | 0.925574 | 0.930874 | 0.987025 | 0.563811 | 0.688810 | 0.819219 | |
| | detached timestep on-policy step 1000 | FPPP | 0.931156 | 0.933912 | 0.987361 | 0.572131 | 0.702035 | 0.825319 | |
| | detached chunk+timestep step 1000 | FPPP | 0.932699 | 0.934256 | 0.987628 | 0.573063 | 0.704467 | 0.826423 | |
| | detached chunk+timestep step 2000 | FPPP | **0.933535** | **0.934409** | **0.987653** | **0.574861** | **0.705972** | **0.827286** | |
| | Stage-1 continued offline TF step 2000 | FPPP | 0.926989 | 0.931052 | 0.987153 | 0.565366 | 0.692116 | 0.820535 | |
| | detached rollout + offline FFFF targets step 2000 | FPPP | 0.885713 | 0.913790 | 0.985759 | 0.519146 | 0.580052 | 0.776892 | |
| |
| FPPF 下，chunk+timestep step 2000 相对 step 1000 的 Subject、Background、Motion、Aesthetic 和 |
| Imaging 差异分别为 `+0.000068、+0.000452、+0.000020、-0.000697、-0.000269`，逐视频胜出数为 |
| `51、56、50、45、45/100`。五项平均只降低 `0.000085`，结合 |
| 第 7.2 节全面改善的 reference 指标，可以判断其 FPPF 收益主要是更接近 Full-DiT trajectory，而 |
| 五维无参考质量总体保持稳定。 |
| |
| FPPP 下继续训练带来更清晰的无参考收益。step 2000 相对 step 1000 的 Subject、Background、Motion、 |
| Aesthetic 和 Imaging 分别提高 `0.000836、0.000153、0.000025、0.001798、0.001505`，逐视频胜出 |
| `67、52、57、68、61/100`；五项平均由 `0.826423` 提高到 `0.827286`。相对 Stage-1， |
| 上述五项分别提高 `0.007961、0.003535、0.000628、0.011050、0.017162`，逐视频胜出 |
| `97、72、88、90、94/100`。因此 step 2000 虽未改善 FPPP 的 reference PSNR 和 temporal MSE， |
| 却改善了五维无参考主体稳定性、运动和画质。 |
| |
| continued offline teacher-forcing 的 FPPF 五维结果与原 Stage-1 和 chunk+timestep step 2000 |
| 基本持平，单项绝对差异都不超过 `0.0005`。FPPP 下，它相对原 Stage-1 的 Subject、Background、 |
| Motion、Aesthetic 和 Imaging 分别提高 `0.001415、0.000178、0.000128、0.001555、0.003306`， |
| 五项平均由 `0.819219` 提高至 `0.820535`，但仍显著低于 chunk+timestep step 2000 的五个单项和 |
| 五项平均 `0.827286`。结合 7.3 的 reference 指标，公平对照支持：额外离线训练主要提升对 Full-DiT |
| trajectory 的拟合；on-policy rollout 的独立收益主要体现在 FPPP 的无参考主体稳定性和感知画质。 |
| |
| offline FFFF targets 版本进一步揭示了 reference fidelity 与无参考观感的冲突。FPPF 五项平均为 |
| `0.838527`，相对 on-policy step 2000 和 continued offline TF 分别低 `0.003414`、`0.003485`。 |
| FPPP 的退化更大：五项平均为 `0.776892`，比 Stage-1 的 `0.819219` 低 `0.042327`，比 on-policy |
| step 2000 的 `0.827286` 低 `0.050394`（相对降低 `6.09%`）；五个单项均低于 on-policy step 2000。 |
| 结合其更低的 temporal MSE，这更像是固定 FFFF target 把偏移轨迹推向感知内容失真的解，而不是带来 |
| 更好的综合视频质量。 |
| |
| ### 8.4 可选消融 |
| |
| | 优先级 | 视频版本 | 是否建议 | 原因 | |
| | --- | --- | --- | --- | |
| | P1 | predictor-disca BF16 `[0,53]` FPPF | 建议 | 判断缺少 previous-chunk hidden/Context Vision K/V 是否也损害无参考稳定性 | |
| | P1 | v4 BF16 `[1,52]` FPPF | 可选 | 与 FP32-master 对比参数更新精度，但现有 reference 指标差异较小 | |
| | P2 | v4 BF16 `[0,53]` FPPF | 可选 | 只用于 block 初始化位置消融 | |
| |
| ### 8.5 解释边界 |
| |
| `subject_consistency` 和 `background_consistency` 比较视频内部当前帧、前一帧与首帧的特征相似度； |
| WorldPlay 的合法相机移动也可能造成分数下降。`motion_smoothness` 衡量插帧可预测性，不判断 action |
| 方向是否正确；`aesthetic_quality` 和 `imaging_quality` 主要评价逐帧画质。因此这五项用于补充 |
| PSNR/SSIM/LPIPS，不能替代 reference fidelity、caption 一致性或后续的 action/相机轨迹指标。 |
| |
| ## 9. Stage-1 C1 confidence threshold 动态 fallback |
| |
| > 历史环境提示：本节离线 head、原始 threshold 在线视频及其 VBench 均在 Torch 2.5 环境完成。 |
| > 数值继续保留，但不代表固定运行环境下的正式结果。现有 head 不重训、保持原阈值，在 Torch 2.6 |
| > 环境重跑的 reference 指标见第 10.2～10.3 节；对应固定环境 VBench 尚未重跑。 |
| |
| ### 9.1 协议与路由 |
| |
| C1 confidence head 使用冻结的正式 Stage-1 v4 FP32-master `[1,52]` step 2000 提取特征：训练集为 |
| `fulltrain100` 的 8400 个离线 FFFF transition，验证集为独立 validation25 的 2100 个 transition， |
| 训练过程不使用 validation 调参。head 输入为 Predictor `pred_hidden` 的 LayerNorm token 均值、 |
| denoise-step embedding，以及 `pred_hidden-anchor_hidden` 的 log residual；输出为预测的 `log(C1)`。 |
| 独立 validation25 上，C1 的 overall Spearman/Pearson/log-MAE 为 |
| `0.952918/0.965393/0.159999`，P1/P2/P3 内的 Spearman 分别为 |
| `0.859072/0.863169/0.870032`。overall 相关性包含不同 timestep 风险量级的可分性，实际动态 |
| routing 仍需由下面的 rollout 视频指标判断。 |
| |
| 另使用完全相同的离线特征和 C1 标签，将 head 从 `2081 -> 256 -> 1`（537,441 参数）扩大为 |
| `2081 -> 4096 -> 4096 -> 1`（25,317,473 参数），只训练 C1，训练设置仍为 40 epochs、AdamW |
| `1e-4`。最终训练 Smooth-L1 从 `0.022912` 降至 `0.011734`；validation25 对比如下： |
| |
| | C1 head | 参数量 | Spearman | Pearson | log-MAE | 33.3% fallback 剩余 C1 risk | |
| | --- | ---: | ---: | ---: | ---: | ---: | |
| | 256 | 537,441 | 0.952918 | 0.965393 | 0.159999 | **0.00487898** | |
| | 4096 × 2 | 25,317,473 | **0.970702** | **0.978563** | **0.131041** | 0.00488749 | |
| |
| 宽 head 的整体及分 step 回归明显更好，并在 5%～25% 和 40%～75% 的已测 fallback 预算下降低 |
| 剩余风险；但恰好 33.3% 预算时比小 head 高 `0.17%`。宽 head 的全局 r33 在线验证结果也列在 |
| 下表；其余 C1-r10/r25/r33/r50 仍使用原 256 维 C1 head。 |
| |
| 同样复用现有离线特征中的 `true_c2`，训练了 `2081 -> 4096 -> 4096 -> 1` 的宽 C2 head。 |
| C2 是 Predictor 与 Full-DiT 从同一 `x_t` 更新所得两个下一 noisy latent 的相对 MAE；本次也修正 |
| risk-coverage 为按真实 C2 risk 评估，而不是用 C2 score 排序 C1 risk。结果如下： |
| |
| | C2 head | 参数量 | 训练 Smooth-L1 | Spearman | P1 / P2 / P3 Spearman | log-MAE | 33.3% fallback 剩余 C2 risk | |
| | --- | ---: | ---: | ---: | --- | ---: | ---: | |
| | 256 | 537,441 | 0.022536 | 0.947227 | 0.862289 / 0.869345 / 0.829100 | 0.161864 | 0.00890321 | |
| | 4096 × 2 | 25,317,473 | **0.011930** | **0.967081** | **0.903906 / 0.925671 / 0.934346** | **0.134602** | **0.00884546** | |
| |
| 在离线模拟的 `P3 固定 Full` hybrid 中，对 P1、P2 分别 fallback 10%（总 fallback 40%）时，宽 |
| C2/宽 C1 的剩余 C2 risk 为 `0.00757638/0.00758285`；分别 fallback 25%（总 fallback 50%）时为 |
| `0.00574437/0.00575903`。宽 C2 的下一状态目标在两个预算下都略优于宽 C1，但差距只有约 |
| `0.09%/0.25%`，因此需要在线视频指标确认是否能转化成可见收益。 |
| |
| 在线验证统一使用 validation25、seed 0、100 个视频。Chunk 0 因没有 previous-chunk hidden 而固定 |
| FFFF；Chunk 1～7 的 P0 固定 Full，P1/P2/P3 先运行 Stage-1 Predictor 和 C1 head。当 |
| `predicted log(C1) > threshold` 时，再运行同一步 Full-DiT 并采用 Full 输出，否则采用 Predictor |
| 输出。每个视频产生 `7 chunks × 3 steps = 21` 次决策，每组各有 2100 次决策。阈值来自对应 head |
| 的训练集 C1 score 分位点，不使用 validation score 选阈值。 |
| |
| | 策略 | log-risk 阈值 | 训练目标 fallback | 在线实际 fallback | fallback 次数 | P1 / P2 / P3 fallback | |
| | --- | ---: | ---: | ---: | ---: | --- | |
| | C1-r10 | -3.523589 | 10.0% | 14.38% | 302/2100 | 0.0% / 0.0% / 43.14% | |
| | C1-r25 | -3.915276 | 25.0% | 28.62% | 601/2100 | 0.0% / 0.0% / 85.86% | |
| | C1-r33 | -4.329443 | 33.3% | 33.81% | 710/2100 | 1.43% / 5.29% / 94.71% | |
| | Wide-C1-r33 | -4.308431 | 33.3% | 34.43% | 723/2100 | 3.14% / 6.86% / 93.29% | |
| | C1-r50 | -4.798927 | 50.0% | 51.71% | 1086/2100 | 13.14% / 42.00% / 100.0% | |
| | Wide-C2-Hybrid-r10 | P1 -4.136674 / P2 -3.798281 | 40.0% | 41.24% | 866/2100 | 11.86% / 11.86% / 100.0% | |
| | Wide-C2-Hybrid-r25 | P1 -4.400577 / P2 -4.049408 | 50.0% | 51.71% | 1086/2100 | 29.00% / 26.14% / 100.0% | |
| |
| 训练分位点与在线比例存在分布偏移，低 fallback 端最明显：r10 从目标 10% 变成 14.38%。全局 |
| C1 排序仍主要是 timestep 排序；r10/r25 只 fallback P3，r33 也把 93.38% 的 fallback 预算分给 |
| P3。r50 才在保证全部 P3 Full 的基础上，进一步 fallback 部分 P1/P2。 |
| |
| ### 9.2 Full-reference 指标 |
| |
| FFFF 是配对 reference，因此其 PSNR/SSIM/误差是恒等结果，不代表无参考质量上界。其余方法使用 |
| 同一批 FFFF 视频作为 reference。PSNR、frame PSNR、SSIM 越高越好，LPIPS 与四项误差越低越好。 |
| |
| | 策略 | fallback | PSNR ↑ | frame PSNR ↑ | SSIM ↑ | LPIPS ↓ | MAE ↓ | MSE ↓ | RMSE ↓ | temporal MSE ↓ | |
| | --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | |
| | FFFF | 100% | ∞ | ∞ | 1.00000 | 0 | 0 | 0 | 0 | 0 | |
| | FPPP | 0% | 20.3085 | 22.4461 | 0.69143 | 0.23528 | 0.05425 | 0.011888 | 0.10329 | 0.008931 | |
| | C1-r10 | 14.38% | 20.6740 | 22.6026 | 0.71893 | 0.16237 | 0.05034 | 0.011000 | 0.09901 | 0.008912 | |
| | C1-r25 | 28.62% | 21.0259 | 23.0004 | 0.73270 | 0.13290 | 0.04774 | 0.010374 | 0.09575 | 0.009166 | |
| | C1-r33 | 33.81% | 21.1834 | 23.1924 | 0.73752 | 0.12620 | 0.04692 | 0.010172 | 0.09456 | 0.009169 | |
| | Wide-C1-r33 | 34.43% | 21.2130 | 23.2123 | 0.73878 | 0.12558 | 0.04678 | 0.010158 | 0.09435 | 0.009126 | |
| | FPPF | 33.33% | **21.5933** | **23.9745** | **0.74668** | **0.12100** | **0.04511** | **0.009692** | **0.09162** | **0.008824** | |
| | Wide-C2-Hybrid-r10 | 41.24% | 21.6800 | 23.6780 | 0.75244 | 0.11492 | 0.04367 | 0.009040 | 0.08955 | 0.008539 | |
| | C1-r50 | 51.71% | **22.1161** | **24.1236** | **0.76838** | **0.10507** | **0.04096** | **0.008328** | **0.08546** | **0.008148** | |
| | Wide-C2-Hybrid-r25 | 51.71% | **22.3228** | **24.3398** | **0.77588** | **0.10172** | **0.03964** | **0.007909** | **0.08337** | **0.007927** | |
| |
| 同为约 1/3 fallback，C1-r33 没有超过固定 FPPF：PSNR 低 `0.4100 dB`，SSIM 低 `0.00917`， |
| LPIPS、pixel MSE、temporal MSE 分别变差 `4.30%、4.96%、3.92%`。r33 平均每视频 fallback |
| 7.1 次，和 FPPF 固定 fallback 7 个 P3 基本相同，但它把 47/710 次预算分给 P1/P2，并留下 |
| 37/700 个 P3 使用 Predictor。结果说明 P3 的结构性重要性高于当前 C1 对跨 step 样本风险的细排。 |
| |
| Wide-C1-r33 相比小 head 的 C1-r33，八项 reference 指标全部小幅改善：PSNR 增加 `0.0296 dB`、 |
| SSIM 增加 `0.00127`、LPIPS 降低 `0.49%`；但实际 fallback 多 13 次，且只改变少量视频的路由。 |
| 相比固定 FPPF，它仍低 `0.3804 dB` PSNR 和 `0.00790` SSIM，LPIPS、pixel MSE、temporal MSE |
| 分别差 `3.79%/4.81%/3.43%`。扩大 head 容量改善了风险拟合，但没有解决跨 step 全局 threshold |
| 错误交换 P3 与 P1/P2 预算的问题；宽 head 尚未运行 VBench。 |
| |
| 固定 P3 Full 后，Wide-C2-Hybrid-r10 相比 FPPF 的 PSNR/SSIM 增加 `0.0867 dB/0.00575`， |
| LPIPS、pixel MSE、temporal MSE 分别改善 `5.02%/6.73%/3.22%`，但 frame PSNR 低 `0.2965 dB`； |
| paired median 也显示部分常规样本略退，整体均值收益主要来自修复高风险尾部。Wide-C2-Hybrid-r25 |
| 则八项全面超过 FPPF，PSNR/SSIM 增加 `0.7294 dB/0.02920`，LPIPS 和 pixel MSE 改善 |
| `15.93%/18.39%`，六项主要 paired 指标均有 53～62/100 个视频胜出。 |
| |
| Wide-C2-Hybrid-r25 与 C1-r50 的 fallback 次数完全相同，都是 `1086/2100`。C2 hybrid 将早期预算 |
| 从 C1-r50 的 P1/P2 `92/294` 调整为 `203/183`，八项指标全部更好：PSNR 增加 `0.2066 dB`、 |
| SSIM 增加 `0.00751`、LPIPS 降低 `3.20%`、pixel MSE 降低 `5.04%`。这证明固定 P3 再按分 step |
| 下一状态风险选择 P1/P2，比跨 step 全局 C1 threshold 更有效；两组 C2 hybrid 尚未运行 VBench。 |
| |
| C1-r50 使用更高预算后全面超过 FPPF：PSNR 提高 `0.5228 dB`、SSIM 提高 `0.02169`、LPIPS |
| 降低 `13.16%`、pixel MSE 降低 `14.06%`、temporal MSE 降低 `7.65%`。这组路由固定 fallback |
| 全部 P3，再选择 42% P2 和 13.14% P1，本质上是 FPPF 加 early-step confidence fallback。 |
| |
| ### 9.3 VBench 8 项 |
| |
| 四组 C1 threshold 视频完成 Subject、Background、Temporal Flickering、Motion Smoothness、Dynamic |
| Degree、Aesthetic、Imaging、Overall Consistency 全 8 项 VBench；每项含 400 条逐视频结果。下表 |
| 所有指标均为越高越好。Core5 沿用 8.3 的项目内部定义，即 Subject、Background、Motion、Aesthetic、 |
| Imaging 的简单平均，不是官方 VBench 总分。 |
| |
| | 策略 | Subject | Background | Flicker | Motion | Dynamic | Aesthetic | Imaging | Overall | Core5 | |
| | --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | |
| | FFFF | 0.948075 | 0.943076 | 0.958449 | 0.989400 | 0.82 | 0.598486 | 0.734028 | 0.248095 | **0.842613** | |
| | FPPP | 0.925574 | 0.930874 | **0.965478** | 0.987025 | 0.82 | 0.563811 | 0.688810 | 0.247289 | 0.819219 | |
| | C1-r10 | 0.940300 | 0.938889 | 0.961824 | 0.988701 | 0.82 | 0.586908 | 0.717366 | 0.249135 | 0.834433 | |
| | C1-r25 | 0.946081 | 0.942168 | 0.960483 | 0.989495 | 0.80 | 0.595933 | 0.727648 | 0.249157 | 0.840265 | |
| | C1-r33 | 0.947570 | 0.942669 | 0.959909 | 0.989582 | 0.80 | 0.597482 | 0.729476 | 0.249080 | 0.841356 | |
| | FPPF | 0.947461 | **0.943822** | 0.960451 | **0.989683** | 0.80 | 0.598215 | 0.730930 | **0.249178** | 0.842022 | |
| | C1-r50 | **0.947762** | 0.943007 | 0.958938 | 0.989504 | 0.80 | **0.599139** | **0.732626** | 0.248683 | **0.842408** | |
| |
| C1-r33 只有 Subject 比 FPPF 高 `0.000109`；Background、Flicker、Motion、Aesthetic、Imaging、 |
| Overall 均略低，Core5 低 `0.000666`。C1-r50 的 Subject、Aesthetic、Imaging 和 Core5 超过 |
| FPPF，Core5 高 `0.000385`，但 Background、Flicker、Motion、Overall 仍略低。r50 Core5 距离 |
| FFFF 仅 `-0.000205`，但 Dynamic Degree 为 `0.80`，低于 FFFF 的 `0.82`。 |
| |
| ### 9.4 计算成本与结论 |
| |
| 下表是生成日志的端到端均时。FPPP/FPPF 来自此前独立评测，四组 C1 threshold 同时运行且共享 |
| 主机 I/O，因此跨次的几秒差异只能作为近似参考。 |
| |
| | 策略 | 端到端均时 | |
| | --- | ---: | |
| | FPPP | 81.97 s | |
| | FPPF | 84.08 s | |
| | C1-r10 | 84.43 s | |
| | C1-r25 | 83.51 s | |
| | C1-r33 | 84.58 s | |
| | Wide-C1-r33 | 93.05 s | |
| | C1-r50 | 99.26 s | |
| | Wide-C2-Hybrid-r10 | 88.50 s | |
| | Wide-C2-Hybrid-r25 | 90.94 s | |
| |
| 当前 C1 特征依赖 Predictor `pred_hidden` 与 residual，所以必须先运行 Predictor 才能决定是否 |
| fallback。发生 fallback 时同一步又运行 Full-DiT，不能按 fallback 比例直接节省计算。C1-r50 虽然 |
| 取得最佳非 FFFF reference 指标和略高于 FPPF 的 Core5，但均时比 FPPF 长约 `18.05%`，因此不是 |
| FPPF 的 Pareto 替代。 |
| |
| 当前结论是：全局 C1 threshold 不应直接替代 FPPF。下一版应固定 P3 Full，以 FPPF 为基础，仅用 |
| C1 决定 P1/P2 是否额外 fallback，并为 P1、P2 分别校准阈值。优先测试总 fallback 40%～50% 的 |
| hybrid schedule；如果目标是实际降低计算，还需要改用 Predictor 前即可获得的 pre-routing feature， |
| 否则 fallback step 会重复支付 Predictor 和 Full-DiT 成本。 |
| |
| ## 10. Torch 2.6 固定环境复评（2026-08-21） |
| |
| ### 10.1 协议与结果边界 |
| |
| 本节统一使用固定环境： |
| |
| ```text |
| Python: /mnt/local_nvme/cz/envs/hy_worldplay_july20260720/bin/python |
| PyTorch: 2.6.0+cu124 |
| CUDA runtime: 12.4 |
| FlashAttention: 未安装 |
| ``` |
| |
| 评测继续使用 validation25、seed 0、每组 25 pairs × 4 actions = 100 个视频，并与 7 月固定环境生成 |
| 的 Full-DiT 视频比较。所有新目录均带 `oldenv_reval_20260821` 后缀，没有覆盖历史结果。原先共完成 |
| 13 组；其中三个错误环境训练的 previous-condition 结果已于 2026-08-23 删除，三个错误环境训练且 |
| 没有继续研究价值的旧 Gate 结果已于 2026-08-24 删除。本节现在只保留四个小 C1 阈值、 |
| Wide-C1-r33 和两组 Wide-C2 hybrid。random-exit DMD 按计划跳过。 |
| |
| 本次只重跑验证，不重训 checkpoint。也没有重建约 318 GiB 的 confidence 离线 prefeature；现有 |
| confidence head 和训练集阈值保持不变，以固定环境下的实际 fallback 比例衡量 score 分布漂移。 |
| 因此本节只用于判断现有 Confidence checkpoint 在正式环境中的实际表现；其离线 head 与阈值实验 |
| 仍来自 Torch 2.5 环境，相关限制见第 9 节。 |
| |
| ### 10.2 Confidence 实际 fallback |
| |
| 阈值保持第 9 节训练集阈值不变。C1 每组有 2100 个动态决策；Wide-C2 hybrid 的 P1/P2 有 1400 |
| 个 confidence 决策，另有 700 个 P3 固定 Full，因此总 fallback 需要把 P3 的 700 次计入。 |
| |
| | 策略 | 阈值 | 实际总 fallback | fallback 次数 | P1 / P2 / P3 fallback | |
| | --- | --- | ---: | ---: | --- | |
| | C1-r10 | `-3.523589` | 14.48% | 304/2100 | 0.00% / 0.00% / 43.43% | |
| | C1-r25 | `-3.915276` | 28.67% | 602/2100 | 0.00% / 0.00% / 86.00% | |
| | C1-r33 | `-4.329443` | 34.00% | 714/2100 | 1.86% / 5.43% / 94.71% | |
| | Wide-C1-r33 | `-4.308431` | 34.86% | 732/2100 | 3.43% / 7.71% / 93.43% | |
| | C1-r50 | `-4.798927` | 51.48% | 1081/2100 | 12.86% / 41.57% / 100.00% | |
| | Wide-C2-Hybrid-r10 | P1 `-4.136674` / P2 `-3.798281` | 41.19% | 865/2100 | 11.86% / 11.71% / 100.00% | |
| | Wide-C2-Hybrid-r25 | P1 `-4.400577` / P2 `-4.049408` | 51.52% | 1082/2100 | 28.57% / 26.00% / 100.00% | |
| |
| 固定环境下 fallback 比例与 Torch 2.5 原运行非常接近，最大差异只有约 `0.43` 个百分点。因此下面 |
| reference 指标的大幅变化不是简单由 fallback 预算增加造成，而是候选视频与 Full reference 终于 |
| 处于相同数值运行环境。 |
| |
| ### 10.3 Confidence full-reference 指标 |
| |
| | 策略 | fallback | PSNR ↑ | Frame PSNR ↑ | SSIM ↑ | LPIPS ↓ | MAE ↓ | MSE ↓ | RMSE ↓ | Temporal MSE ↓ | |
| | --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | |
| | FPPF | 33.33% | 21.5933 | 23.9745 | 0.74668 | 0.12100 | 0.04511 | 0.009692 | 0.09162 | 0.008824 | |
| | C1-r10 | 14.48% | 20.9305 | 23.2116 | 0.72750 | 0.15512 | 0.04812 | 0.010232 | 0.09574 | 0.008719 | |
| | C1-r25 | 28.67% | 21.3102 | 23.6701 | 0.74247 | 0.12580 | 0.04566 | 0.009778 | 0.09263 | 0.008837 | |
| | C1-r33 | 34.00% | 21.5423 | 23.9262 | 0.74944 | 0.11739 | 0.04440 | 0.009421 | 0.09074 | 0.008742 | |
| | Wide-C1-r33 | 34.86% | **21.7675** | **24.8766** | **0.75477** | **0.11358** | **0.04330** | **0.009114** | **0.08889** | **0.008497** | |
| | Wide-C2-Hybrid-r10 | 41.19% | ∞ | 31.1778 | 0.79024 | 0.09382 | 0.03703 | 0.007501 | 0.07813 | 0.007187 | |
| | C1-r50 | 51.48% | ∞ | 32.8428 | 0.81382 | 0.07868 | 0.03233 | 0.006107 | 0.06994 | 0.006150 | |
| | Wide-C2-Hybrid-r25 | 51.52% | ∞ | **38.7995** | **0.84716** | **0.06542** | **0.02709** | **0.004946** | **0.06060** | **0.004813** | |
| |
| `∞` 不是指标失败。C1-r50、Wide-C2-Hybrid-r10、Wide-C2-Hybrid-r25 分别有 `5/5/7` 个视频 |
| 所有动态 step 都采用 Full 输出，因运行环境与 reference 完全一致而得到逐像素零误差。三组的 |
| median PSNR 分别为 `23.0252/21.9159/23.8008 dB`；固定 FPPF median 为 `21.1858 dB`。含有完全 |
| 匹配样本时，不再使用 arithmetic mean PSNR 排名，应优先看 MSE、LPIPS、SSIM、temporal MSE 和 |
| median PSNR。 |
| |
| 在约 1/3 fallback 的近似同预算比较中： |
| |
| - C1-r33 的 PSNR 比 FPPF 低 `0.0510 dB`、Frame PSNR 低 `0.0483 dB`，但 SSIM 高 `0.00276`， |
| LPIPS、MSE、temporal MSE 分别改善 `2.98%/2.79%/0.93%`，已变成混合但接近的结果。 |
| - Wide-C1-r33 以 `34.86%` fallback 全面超过 FPPF：PSNR `+0.1742 dB`、Frame PSNR |
| `+0.9021 dB`、SSIM `+0.00809`，LPIPS、MSE、temporal MSE 改善 `6.13%/5.95%/3.71%`。 |
| 它比固定 FPPF 多 32 次 fallback，因此后续速度比较必须使用本次独立运行的端到端计时。 |
| |
| 更高预算下，Wide-C2-Hybrid-r10 相对 FPPF 的 SSIM 增加 `0.04356`，LPIPS、MSE、temporal MSE |
| 改善 `22.46%/22.60%/18.55%`。在几乎相同的约 51.5% fallback 下，Wide-C2-Hybrid-r25 明显优于 |
| C1-r50：SSIM 为 `0.84716` 对 `0.81382`，LPIPS 为 `0.06542` 对 `0.07868`，MSE 为 `0.004946` |
| 对 `0.006107`，temporal MSE 为 `0.004813` 对 `0.006150`。这进一步支持固定 P3 Full、再用 C2 |
| 按 step 选择 P1/P2 的路由策略。 |
| |
| 本次没有重跑 VBench。第 9.3 节 VBench 对应 Torch 2.5 生成的视频，不能与本节固定环境 reference |
| 结果组合成正式结论。下一步只需要对 Wide-C1-r33 和 Wide-C2-Hybrid-r25 等候选方案补固定环境 |
| VBench，无需对所有阈值再次全量评测。 |
| |
| ## 11. Anchor–Transport–Correct（ATC）Predictor 完整消融（2026-08-21～23） |
| |
| ### 11.1 各版本方法差异 |
| |
| 这一批实验没有改变 4-step sampler，也没有跳过任何 denoising update；`FPPF/FPPP` 中的 `P` |
| 仍表示用 Predictor 替代一次 Full DiT 计算。所有 ATC 版本均使用 v4 的 `[1,52]` source blocks、 |
| `previous_condition_mode=same_step`，区别只在 Predictor 内部如何组合当前输入、当前 chunk anchor |
| 和前一 chunk 的同 timestep hidden。 |
| |
| | 版本 | Anchor Evolution | 前一 chunk 同 step 信息 | Transport | Gate | Anchor distance | 方法说明 | |
| | --- | --- | --- | --- | --- | --- | --- | |
| | Concat Stage-1 | 无显式分解 | 直接使用 | 无 | 无 | 无 | 分别归一化 `e_t/h_a/h_p` 后 concat，再由 MLP 一次性融合，是原始 v4 基线。 | |
| | ATC Anchor-only | 有 | 不使用 | 无 | 无 | 有 | 只学习从最新 Full anchor 到目标 step 的残差，测量仅靠 denoising 轴演化能恢复多少信息。 | |
| | ATC Raw-prev | 有 | 用于 Causal Correction | 无，直接输入 `h_p` | token 标量 gate | 有 | 检验同 timestep 跨 chunk 信息本身是否有用，不处理运动造成的空间错位。 | |
| | ATC Full | 有 | 用于 Causal Correction | 3×3 local cross-attention | token 标量 gate | 有 | 先将前一 chunk 的同 step hidden 对齐到当前 token，再按可靠性门控注入 correction。 | |
| | ATC No-gate | 有 | 用于 Causal Correction | 3×3 local cross-attention | 固定为 1 | 有 | 强制完整使用 correction，用于检验学习到的 gate 是否过度抑制跨 chunk 信息。 | |
| | ATC No-distance | 有 | 用于 Causal Correction | 3×3 local cross-attention | token 标量 gate | 无 | 去掉 anchor 到目标 step 的距离条件，用于检验显式距离编码是否必要。 | |
| |
| Full ATC 的计算可以用文字概括为：先从当前 chunk 的 Full anchor 预测一个 denoising 演化残差； |
| 再用当前 noisy-state token 查询前一 chunk 的同 timestep token，在局部窗口内完成对齐；随后预测 |
| 跨 chunk correction，并通过每个 token 一个标量 gate 控制 correction 强度。最终 hidden 为： |
| |
| ```text |
| 预测 hidden = 当前 chunk anchor + anchor 演化残差 + gate × 跨 chunk correction |
| ``` |
| |
| 因此 ATC 并不是把原来的三路 concat MLP 单纯做大，而是把“denoising 轴演化”和“跨 chunk |
| 同 timestep 信息”显式拆成两个残差来源。原 Concat Predictor 有 `197,218,816` 个可训练参数， |
| Full ATC 有 `291,649,226` 个，增加 `94,430,410`（`+47.9%`）。 |
| |
| ### 11.2 训练设置与收敛结果 |
| |
| 五个版本均在固定的 Torch 2.6 环境 |
| `/mnt/local_nvme/cz/envs/hy_worldplay_july20260720/bin/python` 中独立训练；使用相同的 8400 条离线 |
| transition、8 GPU、每卡 batch 8、gradient accumulation 2（global batch 128）、FP32 trainable |
| parameters、gradient checkpointing 和 2000 optimizer steps。训练与后续 FFFF/Concat 对照使用同一 |
| conda 环境。 |
| |
| 最后约 100 step 的训练均值如下： |
| |
| | 版本 | Total loss ↓ | Hidden loss ↓ | Velocity loss ↓ | Gate mean | |
| | --- | ---: | ---: | ---: | ---: | |
| | Concat Stage-1 | 0.010459 | 0.011231 | 0.009336 | — | |
| | ATC Full | 0.009881 | 0.010231 | 0.008858 | 0.05484 | |
| | ATC Anchor-only | 0.010005 | 0.010533 | 0.008952 | — | |
| | ATC Raw-prev | 0.009900 | 0.010253 | 0.008874 | 0.05593 | |
| | ATC No-gate | 0.010068 | **0.009951** | 0.009073 | 1.00000 | |
| | ATC No-distance | **0.009848** | 0.010463 | **0.008801** | 0.07333 | |
| |
| Full ATC 相对 Concat 的训练尾段 total/hidden/velocity loss 分别降低约 |
| `5.5%/8.9%/5.1%`，说明新增分支确实提升了离线拟合能力；但验证结果表明，更低的训练 loss |
| 并不总是对应更高的无参考感知分数。 |
| |
| ### 11.3 Full-reference 与 VBench 平均分统一对比 |
| |
| 下表把 Full-reference 指标和 VBench 平均分放在同一行。`VBench Core5` 是本项目一直采用的 |
| 五项算术平均：`Subject Consistency`、`Background Consistency`、`Motion Smoothness`、 |
| `Aesthetic Quality`、`Imaging Quality`；它不是 VBench 官方加权总分。除 LPIPS/MSE/Temporal MSE |
| 越低越好外，其余均越高越好。FFFF 是 Full reference 本身，因此像素指标没有比较意义，只列 |
| VBench 分数。 |
| |
| | Schedule | 方法 | PSNR ↑ | Frame PSNR ↑ | SSIM ↑ | LPIPS ↓ | MSE ↓ | Temporal MSE ↓ | VBench Core5 ↑ | |
| | --- | --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | |
| | FFFF | Full DiT reference | — | — | — | — | — | — | **0.842613** | |
| | FPPF | Concat Stage-1 | 21.5933 | 23.9745 | 0.74668 | 0.12100 | 0.009692 | 0.008824 | 0.842022 | |
| | FPPF | ATC Anchor-only | 21.7135 | 24.0851 | 0.75252 | 0.11828 | 0.009485 | 0.008601 | 0.842017 | |
| | FPPF | ATC Raw-prev | 21.7833 | 24.1671 | 0.75568 | 0.11757 | 0.009425 | 0.008821 | 0.841989 | |
| | FPPF | ATC No-gate | 21.7322 | 24.0900 | 0.75228 | 0.11860 | 0.009456 | 0.008672 | 0.841963 | |
| | FPPF | ATC Full | 21.8753 | 24.2164 | 0.75733 | 0.11629 | **0.009084** | 0.008665 | **0.842149** | |
| | FPPF | ATC No-distance | **21.8834** | **24.2312** | **0.75761** | **0.11620** | 0.009220 | **0.008595** | 0.842001 | |
| | FPPP | Concat Stage-1 | 20.3085 | 22.4461 | 0.69143 | 0.23528 | 0.011888 | 0.008931 | 0.819219 | |
| | FPPP | ATC Anchor-only | 20.4469 | 22.5692 | 0.69587 | 0.22804 | 0.011555 | 0.008857 | 0.820577 | |
| | FPPP | ATC Raw-prev | 20.4316 | 22.5527 | 0.69641 | 0.22727 | 0.011595 | 0.008927 | 0.820556 | |
| | FPPP | ATC Full | 20.3921 | 22.5169 | 0.69594 | 0.22734 | 0.011778 | 0.008952 | 0.820680 | |
| | FPPP | ATC No-gate | 20.4386 | 22.5584 | 0.69668 | 0.22636 | 0.011630 | 0.008826 | **0.820939** | |
| | FPPP | ATC No-distance | **20.4551** | **22.5866** | **0.69758** | **0.22587** | **0.011427** | **0.008767** | 0.820629 | |
| |
| 注：FPPF 的 Concat 行是固定 Torch 2.6 环境 SHA 复评结果；FPPP 的 Concat 行沿用已有 Stage-1 |
| 正式结果。ATC 的 10 组生成、Full-reference 评测和 VBench 均在上述固定环境下执行，每组 100 个 |
| 视频，候选视频与 FFFF reference 的 prompt、action 和 seed 一致。 |
| |
| 主要结论： |
| |
| - FPPF 下，Full ATC 相对 Concat 的 PSNR/SSIM 分别提高 `0.2820 dB/0.01064`，LPIPS、MSE、 |
| Temporal MSE 分别降低 `3.89%/6.27%/1.79%`；VBench Core5 小幅提高 `0.000127`，100 个视频中 |
| 有 54 个视频的 paired Core5 更高。其 Core5 与 FFFF 只差 `0.000464`。 |
| - FPPP 下，所有 ATC 消融的主要指标都整体优于 Concat。Full ATC 的 Core5 提高 `0.001461`， |
| paired Core5 胜出 68/100；No-gate 提高最多，为 `+0.001720`，胜出 74/100。 |
| - No-distance 在 FPPF 和 FPPP 都取得最佳或接近最佳的 Full-reference 指标，但 Core5 不是最高。 |
| 这说明当前显式 anchor-distance embedding 没有带来净收益，也说明像素/感知 reference 指标与 |
| 无参考 VBench 的排序并不完全一致。 |
| - FPPF 中 Full ATC 优于 Raw-prev，说明局部 transport 有小幅价值；但在连续三个 Predictor step |
| 的 FPPP 中，这个优势不稳定。Transport attention entropy 约为 `3.520`，接近 36 个候选位置的 |
| 最大熵 `log(36)=3.584`，说明当前 attention 更像平滑混合，还没有学到很尖锐的局部对应关系。 |
| - Full ATC 的推理 gate mean 在 FPPF/FPPP 分别只有 `0.0813/0.0656`，近零 gate 占比约 |
| `61.7%/68.5%`。这与 No-gate 在 FPPP 上反而得到最高 Core5 一致：当前 gate 偏保守，容易把 |
| correction 过度压低。 |
| |
| ### 11.4 VBench 8 项明细 |
| |
| `Flickering` 一列数值越高表示闪烁越少。为了便于判断平均分由哪些维度贡献，下表同时保留 8 个 |
| 原始维度；Core5 与上一张统一对比表完全相同。 |
| |
| | Schedule | 方法 | Subject | Background | Flickering | Motion | Dynamic | Aesthetic | Imaging | Overall | Core5 | |
| | --- | --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | |
| | FFFF | Full DiT | 0.94807 | 0.94308 | 0.95845 | 0.98940 | 0.82000 | 0.59849 | 0.73403 | 0.24809 | 0.842613 | |
| | FPPF | Concat Stage-1 | 0.94746 | 0.94382 | 0.96045 | 0.98968 | 0.80000 | 0.59822 | 0.73093 | 0.24918 | 0.842022 | |
| | FPPF | ATC Anchor-only | 0.94779 | 0.94363 | 0.96047 | 0.98969 | 0.80000 | 0.59832 | 0.73064 | 0.24892 | 0.842017 | |
| | FPPF | ATC Raw-prev | 0.94785 | 0.94383 | 0.96042 | 0.98966 | 0.80000 | 0.59808 | 0.73052 | 0.24906 | 0.841989 | |
| | FPPF | ATC No-gate | 0.94795 | 0.94343 | 0.96034 | 0.98965 | 0.80000 | 0.59755 | 0.73123 | 0.24921 | 0.841963 | |
| | FPPF | ATC Full | 0.94803 | 0.94292 | 0.96032 | 0.98964 | 0.80000 | 0.59904 | 0.73112 | 0.24917 | **0.842149** | |
| | FPPF | ATC No-distance | 0.94823 | 0.94378 | 0.96038 | 0.98966 | 0.80000 | 0.59761 | 0.73072 | 0.24885 | 0.842001 | |
| | FPPP | Concat Stage-1 | 0.92557 | 0.93087 | 0.96548 | 0.98702 | 0.82000 | 0.56381 | 0.68881 | 0.24729 | 0.819219 | |
| | FPPP | ATC Anchor-only | 0.92683 | 0.93146 | 0.96515 | 0.98700 | 0.82000 | 0.56524 | 0.69235 | 0.24710 | 0.820577 | |
| | FPPP | ATC Raw-prev | 0.92710 | 0.93184 | 0.96513 | 0.98696 | 0.81000 | 0.56590 | 0.69098 | 0.24712 | 0.820556 | |
| | FPPP | ATC Full | 0.92722 | 0.93200 | 0.96507 | 0.98697 | 0.81000 | 0.56580 | 0.69141 | 0.24731 | 0.820680 | |
| | FPPP | ATC No-gate | 0.92716 | 0.93161 | 0.96500 | 0.98695 | 0.82000 | 0.56629 | 0.69269 | 0.24794 | **0.820939** | |
| | FPPP | ATC No-distance | 0.92731 | 0.93120 | 0.96503 | 0.98697 | 0.82000 | 0.56609 | 0.69158 | 0.24720 | 0.820629 | |
| |
| ATC 虽然将 Stage-1 Concat FPPP 的 Core5 从 `0.819219` 提升到最高 `0.820939`，但仍低于此前 |
| detached chunk+timestep on-policy step 2000 的 `0.827286`。因此目前最清楚的研究结论是：ATC |
| 架构提高了离线拟合和 reference fidelity，也小幅改善了连续替代的 VBench，但仅靠架构还不能 |
| 解决 rollout distribution shift。下一轮最有价值的组合实验是用 `No-gate` 或 `No-distance` ATC |
| 初始化，再进行 same-state on-policy rollout 训练；无需继续扩大离线 concat 容量。 |
| |
| ## 12. ATC（Causal-Forcing 对齐版全局 Transport）Stage-1 重训 + on-policy rollout 的 checkpoint 扫描（2026-09-06～10） |
| |
| 2026-09-06 将 `models/predictor_atc.py` 的 State Transport 对齐到 Causal-Forcing-a 的实现（全局 RoPE cross-chunk |
| attention，见 model.md），并在 4 卡上重训：Stage-1（bs 8×2，global batch 64，2000 steps；训练尾段 total |
| 0.009805，与 8 月局部窗口版 0.009881 持平）→ on-policy detached chunk+timestep FPPP rollout（每卡 1 条轨迹 × |
| 累积 2，flr 5e-5 / blr 5e-6，2000 steps）。下表为 validation25 上 rollout step 500/800/1000/1500/2000 的 |
| FPPF/FPPP，reference 为同环境 FFFF 视频；Stage-1 行为本次重训的 step 2000。VBench 8 维与 Core5 在同一次 |
| VBench 运行中得到（`vbench/validation25_atc_global_rollout_ckpt_sweep`）。 |
| |
| | Schedule | 版本 | PSNR ↑ | Frame PSNR ↑ | SSIM ↑ | LPIPS ↓ | MSE ↓ | Temporal MSE ↓ | VBench Core5 ↑ | |
| | --- | --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | |
| | FPPF | Stage-1 global-transport step 2000 | 21.5008 | 23.5230 | 0.74390 | 0.12568 | 0.009872 | 0.008910 | 0.841845 | |
| | FPPF | rollout step 500 | 21.6325 | 24.0124 | 0.74799 | 0.12052 | 0.009588 | 0.008963 | 0.842119 | |
| | FPPF | rollout step 800 | 21.8962 | 24.2536 | 0.75700 | 0.11631 | 0.009000 | 0.008527 | 0.842323 | |
| | FPPF | rollout step 1000 | 21.7462 | 24.1287 | 0.75372 | 0.11760 | 0.009407 | 0.008894 | 0.842230 | |
| | FPPF | rollout step 1500 | **22.0260** | **24.3491** | **0.76285** | **0.11372** | **0.008747** | **0.008182** | 0.842264 | |
| | FPPF | rollout step 2000 | 21.9842 | 24.3144 | 0.76105 | 0.11441 | 0.008873 | 0.008360 | **0.842402** | |
| | FPPP | Stage-1 global-transport step 2000 | 20.3408 | 22.2056 | 0.69305 | 0.23281 | 0.011831 | **0.008907** | 0.819771 | |
| | FPPP | rollout step 500 | 20.2365 | 22.4140 | 0.69556 | **0.20630** | 0.012013 | 0.009418 | **0.828711** | |
| | FPPP | rollout step 800 | **20.4208** | 22.5659 | **0.69912** | 0.20867 | **0.011610** | 0.009209 | 0.827394 | |
| | FPPP | rollout step 1000 | 20.3430 | 22.4965 | 0.69521 | 0.20968 | 0.011891 | 0.009393 | 0.827097 | |
| | FPPP | rollout step 1500 | 20.3851 | 22.5502 | 0.69888 | 0.20689 | 0.011702 | 0.009269 | 0.827710 | |
| | FPPP | rollout step 2000 | 20.4148 | **22.5719** | 0.69893 | 0.20775 | 0.011652 | 0.009287 | 0.827682 | |
| |
| 对照 7.2 的 Concat 版 detached chunk+timestep on-policy step 2000（FPPF 21.7289 / 0.75234 / 0.11818 / 0.841941； |
| FPPP 20.3006 / 0.69430 / 0.21146 / 0.827286）： |
| |
| - FPPF：ATC rollout 从 step 800 起全面超过 Concat rollout；step 1500/2000 的 PSNR 高 `0.26～0.30 dB`、 |
| LPIPS 低 `3.2%～3.8%`，Core5 0.8424 也高于 Concat 的 0.8419 并接近 FFFF 的 0.8426。 |
| - FPPP：ATC rollout 的 LPIPS（0.206～0.210）低于 Concat rollout 的 0.211，Core5 持平略高（0.8277～0.8287 对 |
| 0.8273）；PSNR/SSIM 与 Concat 在噪声范围内。FPPP 的 Core5 提升主要来自 imaging_quality（0.689→0.705～0.709） |
| 和 aesthetic_quality（0.565→0.575～0.576），dynamic_degree 保持 0.82。 |
| - checkpoint 选择：FPPF 在 step 1500 达到像素指标最优、step 2000 达到 Core5 最优，两者差异极小；FPPP 各 |
| checkpoint 在 500 步之后基本饱和（Core5 0.8271～0.8287，LPIPS 0.206～0.210）。综合取 **step 2000** 作为 |
| 该版本的正式权重（`predictor_step_02000.safetensors`），step 1500 可作等价备选。 |
| - rollout 训练期间 ATC 的 token gate 均值保持 0.03～0.04，Transport 注意力熵 8.6～8.7（接近均匀）， |
| 与 8 月局部窗口版一致：在 HY 上跨 chunk correction 分支贡献有限，提升主要来自 Anchor Evolution 与 |
| rollout 训练本身。 |
|
|
| ## 13. 总结与下一步 |
|
|
| 当前结果支持以下判断： |
|
|
| 1. v4 `[1,52]` 是当前训练集连续替代 step 1、2 时质量最好的版本。 |
| 2. 在相同 `[0,53]` 初始化下，v4 明显优于 predictor-disca，但该对比同时改变了 explicit |
| previous-chunk hidden、Context Vision K/V 和首 chunk 调度，不能单独归因于 previous hidden。 |
| 新的等预算 `none` 结果表明 explicit previous hidden 并非当前 v4 保持 FPPF reference fidelity |
| 的必要条件，AR Context K/V 和首 chunk Full warmup 很可能是更主要的因素。 |
| 3. predictor-disca 的训练速度和显存占用更优，但较低的单步训练 loss 没有转化成最佳视频质量。 |
| 4. Direct Reuse 的主要收益来自减少 step transformer 计算；当前留出集上端到端加速约 13.6%。 |
| 5. v4 FP32-master `[1,52]` 是正式 Stage-1 基线；detached chunk+timestep step 2000 已在 validation25 |
| FPPF 的五项 reference 指标上全部超过它。下一项关键实验是用相同 action、seed 和 Full reference |
| 补跑 50-pair test。 |
| 6. 完整训练集 detached timestep on-policy 在 validation25 FPPP 上使 LPIPS 改善 7.06%，同时已测 |
| VBench 五维平均优于 Stage-1 FPPP；这支持“reference trajectory 偏移不等于无参考观感退化” |
| 的判断。 |
| 7. detached chunk+timestep step 1000 在 FPPP 的 PSNR、SSIM、MSE 和 temporal MSE 上比 step 2000 |
| 更均衡；step 2000 则取得更低的 FPPP LPIPS，并使 FPPF 五项 reference 指标全部超过 step 1000 |
| 和 Stage-1。其 FPPP VBench 五维均高于 step 1000，说明继续训练主要强化了无参考感知质量与 |
| Full step 接管兼容性，但没有让 FPPP 的 reference 和时序指标全部单调改善。 |
| 8. Stage-1 continued offline teacher-forcing 的公平对照在 FPPF 五项 reference 指标上进一步超过 |
| chunk+timestep step 2000，在 FPPP 也取得更高 PSNR/SSIM 和更低 temporal MSE；但其 FPPP LPIPS |
| 及 Subject、Background、Aesthetic、Imaging 均明显不如 on-policy rollout。这把两类收益区分得 |
| 更清楚：离线继续训练更贴近 Full reference，on-policy rollout 更有利于三步连续替代时的无参考 |
| 感知质量。 |
| 9. detached rollout + offline FFFF targets 取得了当前最高的 FPPF/FPPP PSNR 和最低的 |
| MSE/temporal MSE，但 FPPP LPIPS 升至 `0.32174`，VBench 五项平均降至 `0.776892`。固定 |
| FFFF target 与 student rollout 状态发生错配，说明不能用更好的 reference 像素误差单独判断这类 |
| rollout 监督有效；当前最终模型仍应优先选择 same-state on-policy step 2000。 |
| 10. 固定环境复评推翻了原先“约 1/3 fallback 的 Wide-C1 不如 FPPF”的在线视频结论。 |
| Wide-C1-r33 在 `34.86%` fallback 下 PSNR、SSIM、LPIPS、MSE 和 temporal MSE 全部优于 FPPF； |
| C1-r33 则是 PSNR 略低、其余主要误差指标略优。第 9.3 节旧 VBench 尚不能用于该固定环境结论。 |
| 11. ATC 五组架构消融均已完成 2000-step 训练以及 FPPF/FPPP 的 reference 和 VBench 评测。Full |
| ATC 在 FPPF reference 上稳定超过 Concat；FPPP 中 No-gate 的 VBench Core5 最高，No-distance |
| 的 reference 指标最佳。当前 gate 过度保守、distance embedding 无净收益、local transport |
| 对 FPPP 的增益不稳定，下一步应优先把 No-gate/No-distance 与 same-state on-policy 训练结合。 |
| 12. previous-condition 输入消融已在 Torch 2.6 无 FlashAttention 环境中从零重训并重新评测。 |
| 原始 `none` 使用 `16 Full + 16 Predictor`，其余版本使用 `18 Full + 14 Predictor`，因此原先 |
| `same_step > previous_step > both > none` 不能作为纯输入消融结论。固定 `none` 首 chunk FFFF |
| 后，step 2000 在八项 reference 指标上全部略优于 `same_step`，且 step 300/500/1000/2000 全部 |
| 单调改善；VBench Core5 则不单调，step 500 最高。`previous_step` 的 Core5 比 `same_step` 仅高 |
| `0.000131`，等预算 `none` step 2000 仅低 `0.000154`，显式 previous hidden 的必要性仍没有 |
| 得到支持，但需要分 chunk/运动分桶继续验证。 |
| 13. 约 51.5% fallback 下，Wide-C2-Hybrid-r25 明显优于同预算 C1-r50，继续支持“P3 固定 Full， |
| C2 分 step 路由 P1/P2”。下一步优先为 Wide-C1-r33 和 Wide-C2-Hybrid-r25 补固定环境 VBench， |
| 并在需要真实加速时改用 Predictor 前即可获得的 pre-routing feature。 |
| |
| ## 14. 结果与产物路径 |
|
|
| 训练 checkpoint： |
|
|
| ```text |
| checkpoints/predictor_v4_atc-full_transport-global-chunk_blocks1-52_fulltrain100_fp32master_4gpu_bs8x2_flr1e-4_blr1e-5_steps2000 |
| checkpoints/predictor_v4_atc-global-chunk_detached-chunk-timestep-rollout-onpolicy-fppp_blocks1-52_fulltrain100_seed20260721_fp32master_4gpu_flr5e-5_blr5e-6_schedsteps2000_swarmup100_bwarmup100linear_bs1x2 |
| checkpoints/predictor_v4_prefeature_blocks0-53_bf16_8gpu_flr1e-4_blr1e-5_schedsteps2000_swarmup100_bwarmup100_swanlab |
| checkpoints/predictor_v4_prefeature_blocks1-52_bf16_8gpu_flr1e-4_blr1e-5_schedsteps2000_swarmup100_bwarmup100_swanlab |
| checkpoints/predictor_v4_prefeature_blocks1-52_fp32master_8gpu_flr1e-4_blr1e-5_schedsteps2000_swarmup100_bwarmup100_swanlab |
| checkpoints/predictor_v4_prefeature-continued-from-stage1step2000_blocks1-52_fulltrain100_fp32master_8gpu_flr5e-5_blr5e-6_schedsteps2000_swarmup100_bwarmup100linear_bs16_swanlab |
| checkpoints/predictor_disca_blocks0-53_bf16_8gpu_flr1e-4_blr1e-5_schedsteps2000_swarmup100_bwarmup100_swanlab |
| ``` |
|
|
| 第 12 节（对齐版 ATC rollout checkpoint 扫描）的评测产物： |
|
|
| ```text |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_atc-global-chunk-rollout_schedule-{fppf,fppp}_blocks1-52_ckptstep{500,800,1000,1500,2000} |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_atc-full_transport-global-chunk_4gpu_bs8x2_schedule-{fppf,fppp}_blocks1-52_step2000 |
| datasets/hyworldplay_predictor_vbench_val25_test50/vbench/validation25_atc_global_rollout_ckpt_sweep |
| checkpoints/predictor_v4_atc-global-chunk_detached-chunk-timestep-rollout-onpolicy-fppp_.../validation25_sweep_summary.{md,json} |
| ``` |
|
|
| 对应脚本：`tools/launch_predictor_v4_atc_stage1_8gpu.sh`（Stage-1，`PREDICTOR_NPROC/BATCH_SIZE/GRAD_ACCUM`）、 |
| `tools/launch_predictor_v4_atc_detached_chunk_timestep_rollout.sh`（rollout）、 |
| `tools/run_atc_global_rollout_ckpt_sweep_validation25.sh`（生成 + 全参考指标 + VBench + 汇总）。 |
|
|
| 训练集视频指标与日志： |
|
|
| ```text |
| outputs/predictor_v4/eval_train100_schedule-fppf_blocks0-53_ckptstep2000_flr1e-4_blr1e-5_schedsteps2000_swarmup100_bwarmup100 |
| outputs/predictor_v4/eval_train100_schedule-fppf_blocks1-52_ckptstep2000_flr1e-4_blr1e-5_schedsteps2000_swarmup100_bwarmup100 |
| outputs/predictor_disca/eval_train100_schedule-fppf_blocks0-53_ckptstep2000_flr1e-4_blr1e-5_schedsteps2000_swarmup100_bwarmup100 |
| ``` |
|
|
| 留出集清单、视频、日志和指标： |
|
|
| ```text |
| datasets/hyworldplay_predictor_vbench_val25_test50 |
| datasets/hyworldplay_predictor_vbench_val25_test50/metrics.json |
| datasets/hyworldplay_predictor_vbench_val25_test50/logs |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_v4_blocks1-52_fp32master_ckptstep2000_flr1e-4_blr1e-5_schedsteps2000_swarmup100_bwarmup100 |
| ``` |
|
|
| detached timestep on-policy： |
|
|
| ```text |
| checkpoints/predictor_v4_detached-timestep-rollout-onpolicy_blocks1-52_fulltrain100_seed20260721_fp32master_8gpu_flr5e-5_blr5e-6_schedsteps2000_swarmup100_bwarmup100linear_bs1_swanlab |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_detached-timestep-rollout-onpolicy-fulltrain100_schedule-fppf_blocks1-52_ckptstep1000_flr5e-5_blr5e-6_schedsteps2000_swarmup100_bwarmup100linear_bs1 |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_detached-timestep-rollout-onpolicy-fulltrain100_schedule-fppp_blocks1-52_ckptstep1000_flr5e-5_blr5e-6_schedsteps2000_swarmup100_bwarmup100linear_bs1 |
| ``` |
|
|
| detached chunk+timestep on-policy： |
|
|
| ```text |
| checkpoints/predictor_v4_detached-chunk-timestep-rollout-onpolicy-fppp_blocks1-52_fulltrain100_seed20260721_fp32master_8gpu_flr5e-5_blr5e-6_schedsteps2000_swarmup100_bwarmup100linear_bs1_swanlab |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_detached-chunk-timestep-rollout-onpolicy-fppp-fulltrain100_schedule-fppf_blocks1-52_ckptstep1000_flr5e-5_blr5e-6_schedsteps2000_swarmup100_bwarmup100linear_bs1 |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_detached-chunk-timestep-rollout-onpolicy-fppp-fulltrain100_schedule-fppp_blocks1-52_ckptstep1000_flr5e-5_blr5e-6_schedsteps2000_swarmup100_bwarmup100linear_bs1 |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_detached-chunk-timestep-rollout-onpolicy-fppp-fulltrain100_schedule-fppf_blocks1-52_ckptstep2000_flr5e-5_blr5e-6_schedsteps2000_swarmup100_bwarmup100linear_bs1 |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_detached-chunk-timestep-rollout-onpolicy-fppp-fulltrain100_schedule-fppp_blocks1-52_ckptstep2000_flr5e-5_blr5e-6_schedsteps2000_swarmup100_bwarmup100linear_bs1 |
| ``` |
|
|
| detached chunk+timestep rollout + offline FFFF targets： |
|
|
| ```text |
| checkpoints/predictor_v4_detached-chunk-timestep-rollout-offline-ffff-targets-fppp_blocks1-52_fulltrain100_seed20260721_fp32master_8gpu_flr5e-5_blr5e-6_schedsteps2000_swarmup100_bwarmup100linear_bs1_swanlab |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_detached-chunk-timestep-rollout-offline-ffff-targets-fppp-fulltrain100_schedule-fppf_blocks1-52_ckptstep2000_flr5e-5_blr5e-6_schedsteps2000_swarmup100_bwarmup100linear_bs1 |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_detached-chunk-timestep-rollout-offline-ffff-targets-fppp-fulltrain100_schedule-fppp_blocks1-52_ckptstep2000_flr5e-5_blr5e-6_schedsteps2000_swarmup100_bwarmup100linear_bs1 |
| ``` |
|
|
| Stage-1 continued offline teacher-forcing： |
|
|
| ```text |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_stage1-continued-offline-tf_schedule-fppf_blocks1-52_ckptstep2000-initstage1step2000_flr5e-5_blr5e-6_schedsteps2000_swarmup100_bwarmup100linear_bs16 |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_stage1-continued-offline-tf_schedule-fppp_blocks1-52_ckptstep2000-initstage1step2000_flr5e-5_blr5e-6_schedsteps2000_swarmup100_bwarmup100linear_bs16 |
| ``` |
|
|
| VBench 五项采用的原始结果、日志、逐组汇总和 paired comparison： |
|
|
| ```text |
| datasets/hyworldplay_predictor_vbench_val25_test50/vbench/validation25_core8 |
| datasets/hyworldplay_predictor_vbench_val25_test50/vbench/validation25_chunk_timestep_step2000 |
| datasets/hyworldplay_predictor_vbench_val25_test50/vbench/validation25_stage1_continued_offline_tf_step2000 |
| datasets/hyworldplay_predictor_vbench_val25_test50/vbench/validation25_offline_ffff_targets_step2000 |
| ``` |
|
|
| C1 confidence head、动态 threshold 视频、reference 指标与 VBench 8 项： |
|
|
| ```text |
| confidence_validation/checkpoints/confidence_c1.pt |
| confidence_validation_wide4096x2_c1/checkpoints/confidence_c1.pt |
| confidence_validation_wide4096x2_c1/summary.json |
| confidence_validation_wide4096x2_c2/checkpoints/confidence_c2.pt |
| confidence_validation_wide4096x2_c2/summary.json |
| confidence_validation/c1_threshold_validation25/report.md |
| confidence_validation/c1_threshold_validation25/summary.csv |
| confidence_validation/c1_threshold_validation25/summary.json |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_stage1-c1-threshold-r10_blocks1-52_fp32master_step2000 |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_stage1-c1-threshold-r25_blocks1-52_fp32master_step2000 |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_stage1-c1-threshold-r33_blocks1-52_fp32master_step2000 |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_stage1-wide4096x2-c1-threshold-r33_blocks1-52_fp32master_step2000 |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_stage1-c1-threshold-r50_blocks1-52_fp32master_step2000 |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_stage1-wide4096x2-c2-hybrid-p3full-p12r10_blocks1-52_fp32master_step2000 |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_stage1-wide4096x2-c2-hybrid-p3full-p12r25_blocks1-52_fp32master_step2000 |
| datasets/hyworldplay_predictor_vbench_val25_test50/vbench/validation25_c1_thresholds |
| ``` |
|
|
| Stage-1 previous-condition Torch 2.6 无 FlashAttention 重训与 validation25 FPPF 评测： |
|
|
| ```text |
| checkpoints/predictor_v4_stage1_previous_condition_ablation_seed0/none |
| checkpoints/predictor_v4_stage1_previous_condition_ablation_seed0/previous_step |
| checkpoints/predictor_v4_stage1_previous_condition_ablation_seed0/both |
| logs/predictor_v4_stage1_previous_condition_ablation_seed0 |
| logs/stage1_previous_condition_validation_torch26-retrain_20260824 |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_previous-condition-none_torch26-retrain_20260824 |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_previous-condition-previous-step_torch26-retrain_20260824 |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_previous-condition-both_torch26-retrain_20260824 |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_previous-condition-none-step0300_force-first-chunk-ffff_torch26_20260824 |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_previous-condition-none-step0500_force-first-chunk-ffff_torch26_20260824 |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_previous-condition-none-step1000_force-first-chunk-ffff_torch26_20260824 |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_previous-condition-none_force-first-chunk-ffff_torch26_20260824 |
| datasets/hyworldplay_predictor_vbench_val25_test50/vbench/validation25_previous_condition_torch26_20260824 |
| datasets/hyworldplay_predictor_vbench_val25_test50/vbench/validation25_previous_condition_none_step0300_torch26_20260825 |
| logs/none_force_first_chunk_ffff_checkpoint_validation_20260824 |
| tools/run_stage1_previous_condition_ablation.sh |
| tools/run_stage1_previous_condition_retrain_validation.sh |
| tools/run_vbench_previous_condition_validation25.sh |
| tools/run_vbench_previous_condition_none_step0300_validation25.sh |
| ``` |
|
|
| Torch 2.6 固定环境复评脚本、状态和结果： |
|
|
| ```text |
| tools/run_oldenv_validation_reruns_sequential.sh |
| tools/run_confidence_validation25_reference_single.sh |
| logs/oldenv_reval_20260821/status.tsv |
| logs/oldenv_reval_20260821/sequential.log |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/*_oldenv_reval_20260821 |
| ``` |
|
|
| ATC 五组训练 checkpoint、FPPF/FPPP 评测、VBench 汇总和运行脚本： |
|
|
| ```text |
| checkpoints/predictor_v4_atc-full_blocks1-52_fulltrain100_fp32master_8gpu_flr1e-4_blr1e-5_steps2000 |
| checkpoints/predictor_v4_atc-anchor_only_blocks1-52_fulltrain100_fp32master_8gpu_flr1e-4_blr1e-5_steps2000 |
| checkpoints/predictor_v4_atc-raw_prev_blocks1-52_fulltrain100_fp32master_8gpu_flr1e-4_blr1e-5_steps2000 |
| checkpoints/predictor_v4_atc-no_gate_blocks1-52_fulltrain100_fp32master_8gpu_flr1e-4_blr1e-5_steps2000 |
| checkpoints/predictor_v4_atc-no_distance_blocks1-52_fulltrain100_fp32master_8gpu_flr1e-4_blr1e-5_steps2000 |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_atc-*_schedule-fppf_blocks1-52_step2000_oldenv |
| datasets/hyworldplay_predictor_vbench_val25_test50/evaluations/eval_validation25_atc-*_schedule-fppp_blocks1-52_step2000_oldenv |
| datasets/hyworldplay_predictor_vbench_val25_test50/vbench/validation25_atc_ablation_oldenv/summary.json |
| datasets/hyworldplay_predictor_vbench_val25_test50/vbench/validation25_atc_ablation_oldenv/summary.csv |
| datasets/hyworldplay_predictor_vbench_val25_test50/vbench/validation25_atc_ablation_oldenv/summary.md |
| logs/atc_full_experiment_20260821.log |
| logs/atc_validation_20260822.log |
| tools/run_predictor_v4_atc_full_experiment.sh |
| tools/run_vbench_atc_validation25.sh |
| ``` |
|
|
