CharlesZhang-USTC's picture
Add executive README (quick summary) for Control v2 export
7b0a91f verified
|
Raw History Blame Contribute Delete
4.64 kB
# Control v2 — 执行摘要(快速版)
> 完整分析见 `ANALYSIS_DIGEST_METHOD_V2.md`(11 节)。
> **主结论一律以 `evidence/test-analysis/calibration_evaluation.json` 为准。**
> 本文件只是对已保存数值的整理,不是新的分析结论。
## 实验是什么
在 Meissonic、Show-o、MoMask 三个 masked/离散模型上,区分三件事:
1. **参数刻度失配**——原始 alpha 上的「窄响应」,有多少其实是刻度问题(用 dev 集 isotonic 标定修正)?
2. **机械调度效应**——直接把参考复制到采样候选,到底贡献了多少控制(禁用它做对照)?
3. **提交策略**——在等预算、等副作用的前提下,改变提交顺序是否还有额外收益?
七种预先固定的 recipe(`authority_weight=0.5` 预先声明、不调):
`confidence_duration`、`random_duration`、`target_first_duration`、`target_last_duration`、
`balanced_duration`(累计配额分散提交)、`control_aware_duration`(同配额 + 冲突项降优先级)、
`confidence_amplitude`(固定窗口,只改参考暴露概率)。
## 规模与门禁
| 阶段 | planned | completed | failed |
|---|---|---|---|
| smoke | 63 | 63 | 0 |
| dev(拟合映射) | 2772 | 2772 | 0 |
| fit | 不推理 | — | 0 |
| mechanism(机制对照) | 216 | 216 | 0 |
| test | 15012 | 15012 | 0 |
test 共 15,120 个预定槽位;108 个 dev 映射不可达槽位**未发起推理但保留在分母**
(`denominator_status = complete_locked_manifest`)。未运行可选的 test-sweep。
## 核心结论(克制表述)
1. **标定确实有效,但只在「单档位」意义上**:命中率由 raw 的 0.06–0.40 提升到 mapped 的
**0.37–0.51**(Meissonic 0.37–0.45、Show-o 0.42–0.51)。
2. **但不能宣称「中间效果已可稳定控制」**:全部 9 个档位都命中的比例,
42 个组合里仅 3 个非零,**最高 0.028**。相邻档位 ±1SD 分离率只有 0.12–0.38,
相邻档位响应分布大量重叠。
3. **直接参考复制是强档位控制的主要机械途径**:禁用后 Meissonic / Show-o 的目标 L1 变差
2–3.5 倍;但未回到基线,说明上下文暴露本身也贡献控制。
4. **新提交策略没有带来额外收益**:`balanced` / `control_aware` 与 `confidence_duration`
的**去噪器调用数完全相同**(等预算成立),命中率也未超过它
(Meissonic 上反而更低:0.370 vs 0.401)。dev 响应宽度实测也未加宽,
说明「分散提交」的理论动机未实现。
5. **MoMask 是负结果,且需分两层看**:命中率 0.077–0.176,标定后未改善;
其中一部分来自**公共 anchor 刻度在该模态不可靠**(端点效果值超出 [0,1] 达 4.6 / 9.67),
不能简单归因为「方法无效」。
## 必须遵守的边界
- 评价文件自述:`"Requested-effect evaluation; does not establish intrinsic generation capacity
or causal mechanism."`
- effect 是 **L1 诊断刻度,不是语义真值**;L1 不可跨模态直接比较。
- 响应宽度、剂量关联均为**描述性诊断量**,不等于能力度量或可控档位数。
- CLIP / LPIPS 是诊断量,**不是官方基准分数**;视频指标在解码 MP4 上算,含压缩影响。
- mapped 的 LPIPS 系统性高于 raw / endpoint,是「按请求效果设定控制强度」的结果,
**不等于质量退化**。
- 未用 test 结果重新拟合映射;未改方法、任务、alpha 网格、seed 或阈值。
## 文件导航
| 想看什么 | 去哪里 |
|---|---|
| 主结论(严格全分母) | `evidence/test-analysis/calibration_evaluation.json` |
| 完整分析(11 节) | `ANALYSIS_DIGEST_METHOD_V2.md` |
| 冻结的 isotonic 映射 | `evidence/calibration/mappings.json` |
| 全部预定槽位 | `evidence/test-plan/expected_slots.json` |
| 管道固定质性图 | `paper-visuals/index.html` |
| 导出样本画廊(420 条) | `gallery/index.html` |
| 实际运行代码 | `evidence/code/`(含本机 numpy 别名环境修复) |
| 锁与溯源 | `evidence/locks/` |
| 复现说明(v1+v2) | `REPRODUCIBILITY.md` |
| 样本选取与缺失记录 | `selected_jobs.csv` / `missing_files.csv` |
| 校验和 | `SHA256SUMS.txt` |
## 本机运行期唯一改动(环境修复)
增量包 `suite/momask_loading.py` 缺少 `numpy_legacy_aliases()`,而本机 numpy 1.26.4 已移除
`np.float`、上游 MoMask 有 19 处依赖它。按 v1 一致写法恢复了 numpy 遗留别名。
**该修复不改变任何方法、任务、alpha 网格、seed、映射或评价阈值。**