evaluation/comparison.md

Task 00: turning_on_radio — 三模型测试集对比

仅在 eai 本机运行。2026 public_test 全部 20 个实例（301–320），每模型每实例 1 次，共 60 次。

相同 seed=0（每次环境和策略 reset 重置），官方默认超时 1.5×2149.64 = 3224 步，224×224 RGB，30 Hz，R1Pro。每模型加载自己的 checkpoint normalization。

模型	完成数	成功数	成功率	平均 q-score	平均步数
human	20/20	8	40.0%	0.4000	2518.7
codegen_success	20/20	1	5.0%	0.0500	3088.1
mix_h50_c50	20/20	1	5.0%	0.0500	3082.9

实例	Human	Codegen success	Mix 50:50
301	失败；q=0.000；3225步	失败；q=0.000；3225步	失败；q=0.000；3225步
302	失败；q=0.000；3225步	失败；q=0.000；3225步	失败；q=0.000；3225步
303	成功；q=1.000；1611步	失败；q=0.000；3225步	失败；q=0.000；3225步
304	成功；q=1.000；1118步	失败；q=0.000；3225步	失败；q=0.000；3225步
305	失败；q=0.000；3225步	失败；q=0.000；3225步	失败；q=0.000；3225步
306	失败；q=0.000；3225步	成功；q=1.000；486步	失败；q=0.000；3225步
307	成功；q=1.000；1265步	失败；q=0.000；3225步	失败；q=0.000；3225步
308	成功；q=1.000；2112步	失败；q=0.000；3225步	失败；q=0.000；3225步
309	失败；q=0.000；3225步	失败；q=0.000；3225步	失败；q=0.000；3225步
310	失败；q=0.000；3225步	失败；q=0.000；3225步	失败；q=0.000；3225步
311	失败；q=0.000；3225步	失败；q=0.000；3225步	失败；q=0.000；3225步
312	成功；q=1.000；1825步	失败；q=0.000；3225步	成功；q=1.000；383步
313	成功；q=1.000；1299步	失败；q=0.000；3225步	失败；q=0.000；3225步
314	失败；q=0.000；3225步	失败；q=0.000；3225步	失败；q=0.000；3225步
315	成功；q=1.000；1449步	失败；q=0.000；3225步	失败；q=0.000；3225步
316	失败；q=0.000；3225步	失败；q=0.000；3225步	失败；q=0.000；3225步
317	失败；q=0.000；3225步	失败；q=0.000；3225步	失败；q=0.000；3225步
318	失败；q=0.000；3225步	失败；q=0.000；3225步	失败；q=0.000；3225步
319	失败；q=0.000；3225步	失败；q=0.000；3225步	失败；q=0.000；3225步
320	成功；q=1.000；995步	失败；q=0.000；3225步	失败；q=0.000；3225步

配对比较（仅计两模型均已完成的实例）

比较	共同完成	前者成功、后者失败	后者成功、前者失败	同时成功	同时失败
human / codegen_success	20	8	1	0	11
human / mix_h50_c50	20	7	0	1	12
codegen_success / mix_h50_c50	20	1	1	0	18

平均步数包含超时的失败回合。官方 max_steps=3224 的终止检查会产生 3225 个记录步数。

结果适用于本次单 seed 的 20 个公开测试实例，不把训练损失当作成功率。推理使用归档的 100-task no-DA3 模型及本地适配，全部 checkpoint 参数严格检查，不允许丢弃多余参数。完整原始训练环境及 Gemma 源码未在本机找到，RGB 路径使用上游 Gemma，因此本结果属于兼容推理实现下的对比，不宣称原始环境的逐位复现。固定的相关 inpainting 线性系统在 CPU 求解并验证残差，以绕过本机 cuSolver 错误。详见 protocol.json 和 runtime_adapter.patch。