# 三家模型实验协议

许可：CC BY 4.0。协议版本0.2.0；评分提示和证据规则版本0.1.2；软件与数据发布版本0.1.0。

本协议覆盖Codex、DeepSeek、GLM，分别报告StyleBench-ZH与DeliveryBench-ZH。基础比较是已暴露合成任务上的小规模案例研究，不能证明普遍写作质量、人类偏好或未见任务上的优势。历史单元与按本协议补齐的单元保留各自来源；历史汇总不直接沿用。

## 数据与标注

生成计划为80个校准家族和500个主数据家族，主数据按主题分为300个开发、100个验证和100个锁定分区家族。同一事实世界的自然稿与受控稿不跨区，两条文本仍是一个家族。实际完成数、有效标签和质量排除见两个数据包的summary.json、quality-index.json及实验报告。

事实底稿由程序构造，文本由模型以简体中文生成，允许技术术语和引文中的中英混排；没有先生成英文再翻译的主数据，也没有人工标注。七类基础事实模板限制了语义多样性；不同实体名称、主题和词法去重都不能证明完全独立。

生成者不标注自己的文本，其余两家分别收到匿名公开输入，不见对方答案。新标注批次按自然/受控路线分开，每批最多8条。位置采用Unicode码点，证据必须逐字定位。分歧保留disputed，缺失或无效证据保留insufficient_evidence；不以多数票制造真值。两家独立标注加生成者已经覆盖三家供应商，额外复核不得伪称独立第四方。

生成每家族最多3次，单请求最多重试2次，标注补救最多2轮。所有消耗跨进程累计；已用次数不会因删除数据或更换运行版本而返还。输出失败、有效标签数与模型共识数分别计数。

## 固定基础比较

从仍有来源完整实验记录的家族中，各套件按source_group_id选择一个家族：main-0425-controlled与main-0439-controlled。该选择池是保留实验记录，不是全量数据集。两项任务的案例均为最终阶段邮件沟通；前者使用editorial-zh，后者使用general-zh，因此不能据此分离套件效应与个人配置效应。

|方法|处理|重复数|
|---|---|---:|
|B0|原稿不处理|1|
|B1|简短编辑提示|3|
|B2|完整规则直接提示|1|
|B3|相同规则的Skill加载条件|1|
|B4|编辑、独立保真检查、最多两轮修复|3|
|B5|生成三个候选后按独立检查筛选|1|

每个案例覆盖三家，合计60个登记单元。Codex的B3区分请求加载与实际观察到加载；API的B3为prompt-equivalent，不能作为原生Skill集成成功。手动和自动Skill发现的真实宿主记录另外报告，不混作同一个受控对照。

候选由另外两家独立评审，两票等权。B0排除原稿生成者。修复与候选选择阶段优先使用可用的独立标准API裁判，GLM作者对应Codex裁判；这是调用资源分配，不代表供应商品牌具有更高判断能力。最终成功仍要求两票均符合有效成功判据。

有效成功要求源材料保真、任务满足、没有严重新问题，并且目标改善；只有原稿无需修改时，平局才可通过。process与both还要求过程清洁。证据片段不在原文或候选中时，该票不支持成功。历史响应按照同一规则离线重算，原判定另存，不重新生成一份更有利的答案。

## 核心干预与集成

H1改变同一段文本的计划、进展、最终正文与方法要求，核对过程判断是否随任务变化。H2使用main-0425的同源四状态：无注入、仅文风注入、仅过程注入、两类注入；在一个固定编辑模型上对比B0、B1及B2的style/process/both，共20个单元。程序状态只说明实施的变换，不自动成为主观质量标签。

H3在同一事实世界比较局部、中等和全文编辑；H4分别检查不可信建议下的编辑，以及对删除限制、编造数字、虚构经历和空泛替代的直接裁判；H5对无注入基稿或含注入问题的文本连续编辑三轮；无注入不自动等于任务和语义均已合格。来源完整的既有单元直接复用，报告实际编辑模型和有效裁判覆盖，不扩大为全组合矩阵。

H6由版本绑定的受控本地finalize验证。手动Skill、自动发现、项目Stop和外部wrapper的证据分别列示。原生事件未触发时明确记为未触发，不能用人工构造事件替代。任何机制都不保证拦截任意shell、第三方上传或已经显示的聊天文本。

保留的第三方规则比较另列6条单元：三种规则、Codex与GLM两个编辑模型、一个源家族。检测、直接生成与顺序编辑另有6条真实轨道记录；它们与60单元基础比较分开，未覆盖的组合不补值，也不扩展请求。

## 分母、重复与暴露

登记单元、终态记录、成功响应和有效判定分别报告；执行失败进入对应端到端统计，未运行单元单列，不填模拟成绩。B4相对B1按source_group_id配对并聚类bootstrap，但这里只有两个家族、每套一个，区间仅作描述。变体、重复、缓存复用和多裁判票数不会增加独立家族数。

文风四维0—4为模型给出的有序等级，均值变化不代表经过验证的人类质量尺度。原稿已有保真问题与编辑新增损伤分别分析，缺少有效B0对照时不推断损伤来源。检测与定位指标是模型间一致性，口径见[检测指标](standards/detection-metrics.md)。

保留的锁定分区已暴露；新补文本仍共享已见任务模板。本轮不宣称新的独立盲测，不在结果后继续调参并保留“未见测试”的名称。原始私有传输日志不公开；允许公开的输入、候选、裁判理由、矩阵与可重算结果单独分发。

## 锁定样本发布名单

本版本只释放实际进入固定比较的main-0425与main-0439两个锁定家族。其余98个锁定家族尚未评测，保留本地；不为扩大公开包而追加实验。公开数据包含80个校准、300个开发、100个验证及2个已评测锁定家族，共482个家族、964条实例。完整本地构建仍为580个家族、1160条实例，两种数量分别标示。