| # Task 00: turning_on_radio — 三模型测试集对比 |
|
|
| 仅在 eai 本机运行。2026 public_test 全部 20 个实例（301–320），每模型每实例 1 次，共 60 次。 |
| |
| 相同 seed=0（每次环境和策略 reset 重置），官方默认超时 1.5×2149.64 = 3224 步，224×224 RGB，30 Hz，R1Pro。每模型加载自己的 checkpoint normalization。 |
| |
| | 模型 | 完成数 | 成功数 | 成功率 | 平均 q-score | 平均步数 | |
| |---|---:|---:|---:|---:|---:| |
| | human | 20/20 | 8 | 40.0% | 0.4000 | 2518.7 | |
| | codegen_success | 20/20 | 1 | 5.0% | 0.0500 | 3088.1 | |
| | mix_h50_c50 | 20/20 | 1 | 5.0% | 0.0500 | 3082.9 | |
|
|
| | 实例 | Human | Codegen success | Mix 50:50 | |
| |---|---|---|---| |
| | 301 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | |
| | 302 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | |
| | 303 | 成功；q=1.000；1611步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | |
| | 304 | 成功；q=1.000；1118步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | |
| | 305 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | |
| | 306 | 失败；q=0.000；3225步 | 成功；q=1.000；486步 | 失败；q=0.000；3225步 | |
| | 307 | 成功；q=1.000；1265步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | |
| | 308 | 成功；q=1.000；2112步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | |
| | 309 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | |
| | 310 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | |
| | 311 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | |
| | 312 | 成功；q=1.000；1825步 | 失败；q=0.000；3225步 | 成功；q=1.000；383步 | |
| | 313 | 成功；q=1.000；1299步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | |
| | 314 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | |
| | 315 | 成功；q=1.000；1449步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | |
| | 316 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | |
| | 317 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | |
| | 318 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | |
| | 319 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | |
| | 320 | 成功；q=1.000；995步 | 失败；q=0.000；3225步 | 失败；q=0.000；3225步 | |
|
|
| ## 配对比较（仅计两模型均已完成的实例） |
|
|
| | 比较 | 共同完成 | 前者成功、后者失败 | 后者成功、前者失败 | 同时成功 | 同时失败 | |
| |---|---:|---:|---:|---:|---:| |
| | human / codegen_success | 20 | 8 | 1 | 0 | 11 | |
| | human / mix_h50_c50 | 20 | 7 | 0 | 1 | 12 | |
| | codegen_success / mix_h50_c50 | 20 | 1 | 1 | 0 | 18 | |
|
|
| 平均步数包含超时的失败回合。官方 max_steps=3224 的终止检查会产生 3225 个记录步数。 |
| |
| 结果适用于本次单 seed 的 20 个公开测试实例，不把训练损失当作成功率。推理使用归档的 100-task no-DA3 模型及本地适配，全部 checkpoint 参数严格检查，不允许丢弃多余参数。完整原始训练环境及 Gemma 源码未在本机找到，RGB 路径使用上游 Gemma，因此本结果属于兼容推理实现下的对比，不宣称原始环境的逐位复现。固定的相关 inpainting 线性系统在 CPU 求解并验证残差，以绕过本机 cuSolver 错误。详见 [protocol.json](protocol.json) 和 [runtime_adapter.patch](runtime_adapter.patch)。 |
| |
