# Task 00: turning_on_radio — 三模型测试集对比

仅在 eai 本机运行。2026 public_test 全部 20 个实例（301–320），每模型每实例 1 次，共 60 次。

相同 seed=0（每次环境和策略 reset 重置），官方默认超时 1.5×2149.64 = 3224 步，224×224 RGB，30 Hz，R1Pro。每模型加载自己的 checkpoint normalization。

| 模型 | 完成数 | 成功数 | 成功率 | 平均 q-score | 平均步数 |
|---|---:|---:|---:|---:|---:|
| human | 20/20 | 8 | 40.0% | 0.4000 | 2518.7 |
| codegen_success | 20/20 | 1 | 5.0% | 0.0500 | 3088.1 |
| mix_h50_c50 | 20/20 | 1 | 5.0% | 0.0500 | 3082.9 |

| 实例 | Human | Codegen success | Mix 50:50 |
|---|---|---|---|
| 301 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 |
| 302 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 |
| 303 | 成功；q=1.000；1611步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 |
| 304 | 成功；q=1.000；1118步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 |
| 305 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 |
| 306 | 失败；q=0.000；3225步 | 成功；q=1.000；486步 | 失败；q=0.000；3225步 |
| 307 | 成功；q=1.000；1265步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 |
| 308 | 成功；q=1.000；2112步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 |
| 309 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 |
| 310 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 |
| 311 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 |
| 312 | 成功；q=1.000；1825步 | 失败；q=0.000；3225步 | 成功；q=1.000；383步 |
| 313 | 成功；q=1.000；1299步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 |
| 314 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 |
| 315 | 成功；q=1.000；1449步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 |
| 316 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 |
| 317 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 |
| 318 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 |
| 319 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 |
| 320 | 成功；q=1.000；995步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 |

## 配对比较（仅计两模型均已完成的实例）

| 比较 | 共同完成 | 前者成功、后者失败 | 后者成功、前者失败 | 同时成功 | 同时失败 |
|---|---:|---:|---:|---:|---:|
| human / codegen_success | 20 | 8 | 1 | 0 | 11 |
| human / mix_h50_c50 | 20 | 7 | 0 | 1 | 12 |
| codegen_success / mix_h50_c50 | 20 | 1 | 1 | 0 | 18 |

平均步数包含超时的失败回合。官方 max_steps=3224 的终止检查会产生 3225 个记录步数。

结果适用于本次单 seed 的 20 个公开测试实例，不把训练损失当作成功率。推理使用归档的 100-task no-DA3 模型及本地适配，全部 checkpoint 参数严格检查，不允许丢弃多余参数。完整原始训练环境及 Gemma 源码未在本机找到，RGB 路径使用上游 Gemma，因此本结果属于兼容推理实现下的对比，不宣称原始环境的逐位复现。固定的相关 inpainting 线性系统在 CPU 求解并验证残差，以绕过本机 cuSolver 错误。详见 [protocol.json](protocol.json) 和 [runtime_adapter.patch](runtime_adapter.patch)。