mirror/docs/evaluation.md

# 可证伪评估协议

冻结日期：2026-08-28

## 三臂对照

每个案例使用同一模型、工具、工作区、任务输入、转换点和验收 oracle：

1. full_context：完整上下文且不发生压缩，作为可达到上限。
2. host_native：只使用宿主原生压缩或记忆，不启用本插件。
3. continuity_plugin：启用插件并执行同一转换。

evals/cases.json 冻结 30 个案例：十类单故障各 2 个，另有 10 个复合故障。案例中的 native_loss_kinds 和 native_invented 仅用于协议自检，不能当成 Codex 原生能力的实测结果。

npm run eval:protocol 会用真实 ledger、快照、恢复和 capsule 代码运行插件臂，用冻结的有损 fixture 验证指标管线。其输出只能证明协议和 oracle 可执行，不能证明产品有效。

真实产品结论必须来自另外运行的 real_agent 三臂结果。模型评分只能辅助归类；成功由可检查状态项、下一步行为、文件或工具结果、用户纠正记录和任务完成事实决定。

## 指标定义

对子 Agent 交接用例，父任务 authorization 默认不属于子 Agent 的 oracle；除非
用户针对该子任务另行授权，缺席代表“没有委托权限”，不是连续性丢失。目标、硬约束、
工作对象、未决项和下一步仍按正常保留要求评分。

- 关键不变量保留率：恢复后仍有效且语义相同的加权不变量 / oracle 中全部有效不变量。
- 下一步动作等价率：恢复后的首个实质动作是否与不压缩基准等价。
- 目标或约束偏移率：执行违反当前目标、硬约束或授权的案例比例。
- 错误恢复率：恢复了 oracle 标记为错误、失效或从未确认的信息的比例。
- 返工量：因连续性损失而重复或撤销的工具动作数及人工分钟。
- 恢复时间：转换完成至正确下一步开始的时间。
- 成本：额外输入 token、模型调用、P50/P95 Hook 延迟、磁盘字节。
- 用户接受率：真实用户无需纠正即接受最终结果的案例比例。
- 高风险误拦截率：原本可继续却被要求确认的案例比例。

## 预注册退出门槛

- 关键目标、硬约束和授权保留率 100%；全部有效不变量加权保留率至少 95%。
- 下一步动作等价率至少 90%。
- 重大偏移率相对宿主原生方案下降至少 50%。
- 错误或已失效信息恢复率不高于 1%。
- 每次有损转换注入 P50 不超过 800 tokens、P95 不超过 1500 tokens。
- 无有损转换的普通回合不调用额外模型；用户中断率不高于 5%。
- 最终用户接受率比原生方案提高至少 10 个百分点，且不以增加高风险误拦截换取。

## 真实生命周期最低证明

发布 MVP 结论前必须保存原始运行证据并至少完成：

- 一次 Codex 真实手动压缩：观测 PreCompact、PostCompact、contextCompaction started/completed 及 compact 恢复。
- 一次 Codex 真实自动压缩：固定模型与自动压缩点；若当前构建无法可靠触发，明确记为未验证，不能用模拟替代。
- 一次 resume 和一次 subagent handoff。

输出须记录 Codex 版本、模型、配置、任务输入哈希、工作区 Git HEAD、转换点、Hook 事件顺序、状态摘要哈希、最终行为 oracle 和成本。不得以 Hook 调用数或另一个模型的主观评分代替结果。