CharlesZhang-USTC commited on
Commit
106933f
·
verified ·
1 Parent(s): d8190e0

Add cost (equal-budget) and endpoint reachability analysis to v2 digest

Browse files
method_v2/ANALYSIS_DIGEST_METHOD_V2.md CHANGED
@@ -130,3 +130,32 @@ mapped 略高于 raw,与其控制效果偏弱一致。
130
 
131
  **边界**:CLIP / LPIPS 是诊断量,不是官方基准分数;视频相关指标在解码 MP4 上计算,
132
  压缩本身包含在该诊断内。质量检查必须与目标误差、共同 collateral 一起读,不能单看最好看的指标。
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
130
 
131
  **边界**:CLIP / LPIPS 是诊断量,不是官方基准分数;视频相关指标在解码 MP4 上计算,
132
  压缩本身包含在该诊断内。质量检查必须与目标误差、共同 collateral 一起读,不能单看最好看的指标。
133
+
134
+ ## 8. 计算成本与端点可达范围
135
+
136
+ **等预算验证**(test 阶段,按模型 / 方法汇总控制循环去噪器调用数):
137
+
138
+ | 模型 | 所有 7 种方法的 mean NFE | 中位耗时范围 |
139
+ |---|---|---|
140
+ | meissonic | **64.0(全部相同)** | 5.55–7.80 s |
141
+ | showo | **18.0(全部相同)** | 2.46–2.49 s |
142
+ | momask | **18.0(全部相同)** | ~0.18 s |
143
+
144
+ `balanced` 与 `control_aware` 的去噪器调用数与 `confidence_duration` **完全相同**(64 / 18 / 18),
145
+ 证实新方法确实等预算——命中率差异不是靠更多模型调用换来的。同模型内耗时差异也很小。
146
+
147
+ **端点可达范围**(`endpoint_summaries`,21 条,即 3 模型 × 7 方法):
148
+
149
+ - **Meissonic**:`effect@alpha1` = 0.995–1.002,各方法都能走到效果上端;增益 0.294–0.308;端点共同副作用 0.273–0.281。
150
+ - **Show-o**:`effect@alpha1` = 0.976–1.001;增益 0.227–0.249;端点共同副作用 0.187–0.209。
151
+ - **MoMask:公共效果刻度出现异常值**。
152
+ `confidence_duration` / `confidence_amplitude` 的端点为 0.000 → 1.000(正常),
153
+ 但其余方法严重超出 [0, 1]:`balanced` / `control_aware` 为 −0.518 → 4.610,
154
+ `random` 为 0.730 → 9.669,`target_first` 为 2.604 → 3.371,`target_last` 为 0.023 → 4.289。
155
+
156
+ **这一点很重要**:效果值 `effect = (L1_common_alpha0 − L1_current) / (L1_common_alpha0 − L1_common_alpha1)`
157
+ 在 MoMask 上出现远大于 1 的值,说明**公共 anchor 的分母(alpha0 与 alpha1 的 L1 之差)在该模态接近零或符号不稳定**,
158
+ 归一化比值因此放大。所以 MoMask 的低命中率**不能简单归因于"方法无效"**——
159
+ 其中一部分来自评价刻度在该模态上定义不良(按协议,anchor 无效的关联槽位一律记入分母并按无效处理)。
160
+
161
+ **边界**:effect 是 L1 诊断刻度,不是语义真值;该比值不可跨模态直接比较。
method_v2/SHA256SUMS.txt CHANGED
@@ -1,6 +1,6 @@
1
- b8884b988f31725ebe9caac23f4af34add20a2cb34811ef1cc729fb76eefd917 ANALYSIS_DIGEST_METHOD_V2.md
2
  2c8d8d429da33eef084cda9b7b2b64ec00c4fa7014cb75e35e3b99967a9c1e72 REPRODUCIBILITY.md
3
- eb36324227f91ae7f77447906f7ab555c4d4a78c7215f7f101c16167ed4a0210 SHA256SUMS.txt
4
  f54bc4618a2d48a7124ce2a94ded57cb7f072aa4f81176cb9398342c4d16d86d evidence/calibration/mappings.json
5
  59c5b39507bd6bf17a8450bfc62fad1716400dcd84ba1ab1770aecad47cb7294 evidence/code/AGENT_RUNBOOK_METHOD_V2.md
6
  dc246e6472ad585afff67ea755bdd8e1efc8fcb82ff5eb4e1bca7e080add98a4 evidence/code/MANIFEST.json
 
1
+ 57d222add8e0d97bb03a622c1cf2458e5fc6868a8647f94e431e862502040f04 ANALYSIS_DIGEST_METHOD_V2.md
2
  2c8d8d429da33eef084cda9b7b2b64ec00c4fa7014cb75e35e3b99967a9c1e72 REPRODUCIBILITY.md
3
+ d3845290b3186d9fde68ef3a26a0a1166b47573ef87692e849b6d91fcc3233f5 SHA256SUMS.txt
4
  f54bc4618a2d48a7124ce2a94ded57cb7f072aa4f81176cb9398342c4d16d86d evidence/calibration/mappings.json
5
  59c5b39507bd6bf17a8450bfc62fad1716400dcd84ba1ab1770aecad47cb7294 evidence/code/AGENT_RUNBOOK_METHOD_V2.md
6
  dc246e6472ad585afff67ea755bdd8e1efc8fcb82ff5eb4e1bca7e080add98a4 evidence/code/MANIFEST.json