# 什么样的样例会迫使程序使用第二条规则? Wenzhang Du · arXiv:2611.24975v1 · v1.0 · 2026-11-20 模型可能靠一条捷径解释题面上的所有样例。这项研究只替换一个样例,严格核验第二条规则何时成为必要条件,再分别检查模型对题面和新字符串的判断。 ## 同一个参考程序,只换一道样例 试着从六组输入输出中推断程序。两道题共享前五组。对照题的最后一组是 iiiexa → iiiazy,用一条 exa → azy 就能解释六组样例。另一个解释有两步:先把 ex 换成 azw,再把 wa 换成 y。 在配对的分离题中,把最后一组换成 wbawex → wbayzw。单规则捷径会原样保留输入;两步程序先得到 wbawazw,再得到 wbayzw。其余五组样例全部相同。下图给出了这对归档任务的完整构造。 ![图中比较对照与分离样例,以及单规则捷径和双规则参考程序。](figures/construction.png) 图 1。两道题共用同一个双规则参考程序;最后一组样例决定单规则解是否仍然存在。 ## 证书究竟证明了什么 每条规则替换字符串中所有互不重叠的字面匹配,多条规则按顺序执行。研究固定有限字母表,左侧长度为一至三个字符,右侧长度最多三个字符。一组发生变化的输出即可排除空程序。验证器随后枚举全部合法单规则解释,并实际执行一个双规则解。 在图中,对照题恰好保留一个单规则解,分离题的单规则解数为零。双规则程序在两题均通过,因此最短长度分别精确为一与二。认证在模型推理之前完成,结论的范围由这套替换语言及规则长度界定。 ## 题面完成率和隐藏配对的成功率 120 个参考程序家族在三至六个共享样例下各生成一对任务,并各加一个对照或分离样例。两种模型为 Qwen3-8B 和 Olmo-3-7B-Think,共有 1,440 条新轨迹和 480 条先前保存的五共享样例轨迹。三个、四个共享样例时各有 119 个家族通过配对认证,五个、六个时各有 120 个。 五个共享样例时,Qwen 在 120 道对照题中完成 67 道,在分离题中完成 12 道;Olmo 分别完成 52 和 15 道。两种模型通过另一对完全未展示的见证样例的概率均有上升。表中差值均为分离减对照,单位是百分点,区间为此面板按家族配对的逐项 95% 区间。 | 模型 | 题面,对照 → 分离 | 题面差值(百分点) | 隐藏配对差值(百分点) | | --- | --- | --- | --- | | Qwen3-8B | 67 → 12 / 120 | −45.83 [−55.00, −36.67] | +9.17 [+4.17, +15.00] | | Olmo-3-7B-Think | 52 → 15 / 120 | −30.83 [−40.83, −20.83] | +11.67 [+6.67, +17.50] | 五个共享样例加上一个更换样例。全部八个模型与样例数设置下,题面差值为 −45.83 至 −23.53 个百分点,隐藏配对差值为 +8.40 至 +13.45 个百分点。 ## 换到更广的字符串输入会怎样? 隐藏见证配对是为区分程序而选择的。第二组评估则为每个家族抽取 32 个均匀输入和 32 个能触发两条规则的输入。在全部模型和共享样例数设置下,均匀输入上的一致率都下降。3,840 个均匀输入中,有 3,325 个经过参考程序后保持原样。 在实际触发两条规则的新输入上,分离题程序的绝对一致率只有 1.93% 至 5.78%。五个共享样例时,Qwen 为 2.76%,Olmo 为 2.01%。定向见证上的进步说明模型行为发生了变化,广泛恢复参考变换仍很困难。 ## 输出没变的样例也能排除捷径 另一组归档任务的参考规则是先把 f 换成 fdd,再把 db 换成 c。样例 iyxbdc → iyxbdc 看起来毫无变化,但候选规则 b → dc 会输出 iyxdcdc。保留这个恒等样例就能排除该候选,在较少共享样例的设置中去掉它,单规则解便重新出现。研究依据证书的变化选中这个家族,选择过程独立于模型表现。 ## 复核证据 解压版本包并进入顶层目录。用 Python 3.11 或更新版本运行前两条命令即可核对文件和图 1 实例。第三条使用 NumPy,将结果写入新目录;它复核 960 份证书、7,680 个参考标签与保存的程序,并把三张重建结果表逐一对照归档。 归档直接提供规范化轨迹、任务规格与可执行核验。早期探索与限时搜索等历史实验的材料覆盖范围列在结果映射中。另有 1,008 道回溯任务,其早期抽样链尚未确定;这部分记录与主要的 120 家族配对实验分别说明。 ```sh python -B verify_manifest.py python -B replay_fixture.py python -B reproduce.py --out replay ``` ## 资料来源 - [预印本与版本记录 · arXiv](https://arxiv.org/abs/2611.24975) - [v1 全文与附录 · HTML](https://arxiv.org/html/2611.24975v1) - [图 1 可执行实例](https://github.com/dqswordman/program-structure-certificates/blob/v1.0.0/fixtures/end_to_end.json) - [主面板与隐藏配对结果](https://github.com/dqswordman/program-structure-certificates/blob/v1.0.0/results/PRIMARY_PANEL_READABLE.csv) - [均匀与规则激活输入结果](https://github.com/dqswordman/program-structure-certificates/blob/v1.0.0/results/BROADER_PANEL_READABLE.csv) - [恒等样例证书](https://github.com/dqswordman/program-structure-certificates/blob/v1.0.0/worked_case.json) - [论文至归档的结果映射](https://github.com/dqswordman/program-structure-certificates/blob/v1.0.0/docs/result-map.csv) - [交互式证书示例](https://huggingface.co/spaces/DQSWORDMAN/program-structure-certificates)