|
Download method_v2/README.md from CharlesZhang-USTC/snf_experiments: direct link, hf CLI and curl.
- Browser
- Download file 4.64 kB
-
https://huggingface.co/CharlesZhang-USTC/snf_experiments/resolve/main/method_v2/README.md
- Command line
-
hf download hf://CharlesZhang-USTC/snf_experiments/method_v2/README.md
-
curl -L -o README.md https://huggingface.co/CharlesZhang-USTC/snf_experiments/resolve/main/method_v2/README.md
4.64 kB
Control v2 — 执行摘要(快速版)
完整分析见
ANALYSIS_DIGEST_METHOD_V2.md(11 节)。 主结论一律以evidence/test-analysis/calibration_evaluation.json为准。 本文件只是对已保存数值的整理,不是新的分析结论。
实验是什么
在 Meissonic、Show-o、MoMask 三个 masked/离散模型上,区分三件事:
- 参数刻度失配——原始 alpha 上的「窄响应」,有多少其实是刻度问题(用 dev 集 isotonic 标定修正)?
- 机械调度效应——直接把参考复制到采样候选,到底贡献了多少控制(禁用它做对照)?
- 提交策略——在等预算、等副作用的前提下,改变提交顺序是否还有额外收益?
七种预先固定的 recipe(authority_weight=0.5 预先声明、不调):
confidence_duration、random_duration、target_first_duration、target_last_duration、
balanced_duration(累计配额分散提交)、control_aware_duration(同配额 + 冲突项降优先级)、
confidence_amplitude(固定窗口,只改参考暴露概率)。
规模与门禁
| 阶段 | planned | completed | failed |
|---|---|---|---|
| smoke | 63 | 63 | 0 |
| dev(拟合映射) | 2772 | 2772 | 0 |
| fit | 不推理 | — | 0 |
| mechanism(机制对照) | 216 | 216 | 0 |
| test | 15012 | 15012 | 0 |
test 共 15,120 个预定槽位;108 个 dev 映射不可达槽位未发起推理但保留在分母
(denominator_status = complete_locked_manifest)。未运行可选的 test-sweep。
核心结论(克制表述)
- 标定确实有效,但只在「单档位」意义上:命中率由 raw 的 0.06–0.40 提升到 mapped 的 0.37–0.51(Meissonic 0.37–0.45、Show-o 0.42–0.51)。
- 但不能宣称「中间效果已可稳定控制」:全部 9 个档位都命中的比例, 42 个组合里仅 3 个非零,最高 0.028。相邻档位 ±1SD 分离率只有 0.12–0.38, 相邻档位响应分布大量重叠。
- 直接参考复制是强档位控制的主要机械途径:禁用后 Meissonic / Show-o 的目标 L1 变差 2–3.5 倍;但未回到基线,说明上下文暴露本身也贡献控制。
- 新提交策略没有带来额外收益:
balanced/control_aware与confidence_duration的去噪器调用数完全相同(等预算成立),命中率也未超过它 (Meissonic 上反而更低:0.370 vs 0.401)。dev 响应宽度实测也未加宽, 说明「分散提交」的理论动机未实现。 - MoMask 是负结果,且需分两层看:命中率 0.077–0.176,标定后未改善; 其中一部分来自公共 anchor 刻度在该模态不可靠(端点效果值超出 [0,1] 达 4.6 / 9.67), 不能简单归因为「方法无效」。
必须遵守的边界
- 评价文件自述:
"Requested-effect evaluation; does not establish intrinsic generation capacity or causal mechanism." - effect 是 L1 诊断刻度,不是语义真值;L1 不可跨模态直接比较。
- 响应宽度、剂量关联均为描述性诊断量,不等于能力度量或可控档位数。
- CLIP / LPIPS 是诊断量,不是官方基准分数;视频指标在解码 MP4 上算,含压缩影响。
- mapped 的 LPIPS 系统性高于 raw / endpoint,是「按请求效果设定控制强度」的结果, 不等于质量退化。
- 未用 test 结果重新拟合映射;未改方法、任务、alpha 网格、seed 或阈值。
文件导航
| 想看什么 | 去哪里 |
|---|---|
| 主结论(严格全分母) | evidence/test-analysis/calibration_evaluation.json |
| 完整分析(11 节) | ANALYSIS_DIGEST_METHOD_V2.md |
| 冻结的 isotonic 映射 | evidence/calibration/mappings.json |
| 全部预定槽位 | evidence/test-plan/expected_slots.json |
| 管道固定质性图 | paper-visuals/index.html |
| 导出样本画廊(420 条) | gallery/index.html |
| 实际运行代码 | evidence/code/(含本机 numpy 别名环境修复) |
| 锁与溯源 | evidence/locks/ |
| 复现说明(v1+v2) | REPRODUCIBILITY.md |
| 样本选取与缺失记录 | selected_jobs.csv / missing_files.csv |
| 校验和 | SHA256SUMS.txt |
本机运行期唯一改动(环境修复)
增量包 suite/momask_loading.py 缺少 numpy_legacy_aliases(),而本机 numpy 1.26.4 已移除
np.float、上游 MoMask 有 19 处依赖它。按 v1 一致写法恢复了 numpy 遗留别名。
该修复不改变任何方法、任务、alpha 网格、seed、映射或评价阈值。