CharlesZhang-USTC's picture
Add executive README (quick summary) for Control v2 export
7b0a91f verified
|
Raw History Blame Contribute Delete
4.64 kB

Control v2 — 执行摘要(快速版)

完整分析见 ANALYSIS_DIGEST_METHOD_V2.md(11 节)。 主结论一律以 evidence/test-analysis/calibration_evaluation.json 为准。 本文件只是对已保存数值的整理,不是新的分析结论。

实验是什么

在 Meissonic、Show-o、MoMask 三个 masked/离散模型上,区分三件事:

  1. 参数刻度失配——原始 alpha 上的「窄响应」,有多少其实是刻度问题(用 dev 集 isotonic 标定修正)?
  2. 机械调度效应——直接把参考复制到采样候选,到底贡献了多少控制(禁用它做对照)?
  3. 提交策略——在等预算、等副作用的前提下,改变提交顺序是否还有额外收益?

七种预先固定的 recipe(authority_weight=0.5 预先声明、不调): confidence_duration、random_duration、target_first_duration、target_last_duration、 balanced_duration(累计配额分散提交)、control_aware_duration(同配额 + 冲突项降优先级)、 confidence_amplitude(固定窗口,只改参考暴露概率)。

规模与门禁

阶段 planned completed failed
smoke 63 63 0
dev(拟合映射) 2772 2772 0
fit 不推理 — 0
mechanism(机制对照) 216 216 0
test 15012 15012 0

test 共 15,120 个预定槽位;108 个 dev 映射不可达槽位未发起推理但保留在分母 (denominator_status = complete_locked_manifest)。未运行可选的 test-sweep。

核心结论(克制表述)

  1. 标定确实有效,但只在「单档位」意义上:命中率由 raw 的 0.06–0.40 提升到 mapped 的 0.37–0.51(Meissonic 0.37–0.45、Show-o 0.42–0.51)。
  2. 但不能宣称「中间效果已可稳定控制」:全部 9 个档位都命中的比例, 42 个组合里仅 3 个非零,最高 0.028。相邻档位 ±1SD 分离率只有 0.12–0.38, 相邻档位响应分布大量重叠。
  3. 直接参考复制是强档位控制的主要机械途径:禁用后 Meissonic / Show-o 的目标 L1 变差 2–3.5 倍;但未回到基线,说明上下文暴露本身也贡献控制。
  4. 新提交策略没有带来额外收益:balanced / control_aware 与 confidence_duration 的去噪器调用数完全相同(等预算成立),命中率也未超过它 (Meissonic 上反而更低:0.370 vs 0.401)。dev 响应宽度实测也未加宽, 说明「分散提交」的理论动机未实现。
  5. MoMask 是负结果,且需分两层看:命中率 0.077–0.176,标定后未改善; 其中一部分来自公共 anchor 刻度在该模态不可靠(端点效果值超出 [0,1] 达 4.6 / 9.67), 不能简单归因为「方法无效」。

必须遵守的边界

  • 评价文件自述:"Requested-effect evaluation; does not establish intrinsic generation capacity or causal mechanism."
  • effect 是 L1 诊断刻度,不是语义真值;L1 不可跨模态直接比较。
  • 响应宽度、剂量关联均为描述性诊断量,不等于能力度量或可控档位数。
  • CLIP / LPIPS 是诊断量,不是官方基准分数;视频指标在解码 MP4 上算,含压缩影响。
  • mapped 的 LPIPS 系统性高于 raw / endpoint,是「按请求效果设定控制强度」的结果, 不等于质量退化。
  • 未用 test 结果重新拟合映射;未改方法、任务、alpha 网格、seed 或阈值。

文件导航

想看什么 去哪里
主结论(严格全分母) evidence/test-analysis/calibration_evaluation.json
完整分析(11 节) ANALYSIS_DIGEST_METHOD_V2.md
冻结的 isotonic 映射 evidence/calibration/mappings.json
全部预定槽位 evidence/test-plan/expected_slots.json
管道固定质性图 paper-visuals/index.html
导出样本画廊(420 条) gallery/index.html
实际运行代码 evidence/code/(含本机 numpy 别名环境修复)
锁与溯源 evidence/locks/
复现说明(v1+v2) REPRODUCIBILITY.md
样本选取与缺失记录 selected_jobs.csv / missing_files.csv
校验和 SHA256SUMS.txt

本机运行期唯一改动(环境修复)

增量包 suite/momask_loading.py 缺少 numpy_legacy_aliases(),而本机 numpy 1.26.4 已移除 np.float、上游 MoMask 有 19 处依赖它。按 v1 一致写法恢复了 numpy 遗留别名。 该修复不改变任何方法、任务、alpha 网格、seed、映射或评价阈值。