import csv
import json
from pathlib import Path
ROOT=Path(__file__).resolve().parent
variants=['human','codegen_success','mix_h50_c50']
rows=[]; summaries=[]
for variant in variants:
    vr=[]
    for i in range(301,321):
        p=ROOT/'results'/variant/'json'/f'turning_on_radio_{i}_0.json'
        if not p.exists():continue
        r=json.loads(p.read_text())
        vr.append(dict(variant=variant,instance_id=i,success=bool(r['success']),q_score=r['q_score']['final'],steps=r['steps']))
    rows.extend(vr)
    summaries.append(dict(variant=variant,completed=len(vr),successes=sum(r['success'] for r in vr),success_rate=sum(r['success'] for r in vr)/len(vr) if vr else None,mean_q_score=sum(r['q_score'] for r in vr)/len(vr) if vr else None,mean_steps=sum(r['steps'] for r in vr)/len(vr) if vr else None))
for name,values in [('per_instance',rows),('summary',summaries)]:
    (ROOT/f'{name}.json').write_text(json.dumps(values,indent=2)+'\n')
    if values:
        with (ROOT/f'{name}.csv').open('w') as f:
            w=csv.DictWriter(f,fieldnames=list(values[0]));w.writeheader();w.writerows(values)
lines=['# Task 00: turning_on_radio — 三模型测试集对比','', '仅在 eai 本机运行。2026 public_test 全部 20 个实例（301–320），每模型每实例 1 次，共 60 次。', '', '相同 seed=0（每次环境和策略 reset 重置），官方默认超时 1.5×2149.64 = 3224 步，224×224 RGB，30 Hz，R1Pro。每模型加载自己的 checkpoint normalization。', '', '| 模型 | 完成数 | 成功数 | 成功率 | 平均 q-score | 平均步数 |','|---|---:|---:|---:|---:|---:|']
for r in summaries:
    lines.append(f"| {r['variant']} | {r['completed']}/20 | {r['successes']} | {r['success_rate']:.1%} | {r['mean_q_score']:.4f} | {r['mean_steps']:.1f} |" if r['completed'] else f"| {r['variant']} | 0/20 | — | — | — | — |")
lines+=['','| 实例 | Human | Codegen success | Mix 50:50 |','|---|---|---|---|']
lookup={(r['variant'],r['instance_id']):r for r in rows}
for i in range(301,321):
    values=[]
    for v in variants:
        r=lookup.get((v,i));values.append(('成功' if r['success'] else '失败')+f"；q={r['q_score']:.3f}；{r['steps']}步" if r else '未完成')
    lines.append('| '+str(i)+' | '+' | '.join(values)+' |')
lines+=['','## 配对比较（仅计两模型均已完成的实例）','','| 比较 | 共同完成 | 前者成功、后者失败 | 后者成功、前者失败 | 同时成功 | 同时失败 |','|---|---:|---:|---:|---:|---:|']
for a,b in [('human','codegen_success'),('human','mix_h50_c50'),('codegen_success','mix_h50_c50')]:
    both=[(lookup[(a,i)]['success'],lookup[(b,i)]['success']) for i in range(301,321) if (a,i) in lookup and (b,i) in lookup]
    lines.append(f"| {a} / {b} | {len(both)} | {sum(x and not y for x,y in both)} | {sum(y and not x for x,y in both)} | {sum(x and y for x,y in both)} | {sum(not x and not y for x,y in both)} |")
lines+=['','平均步数包含超时的失败回合。官方 max_steps=3224 的终止检查会产生 3225 个记录步数。','','结果适用于本次单 seed 的 20 个公开测试实例，不把训练损失当作成功率。推理使用归档的 100-task no-DA3 模型及本地适配，全部 checkpoint 参数严格检查，不允许丢弃多余参数。完整原始训练环境及 Gemma 源码未在本机找到，RGB 路径使用上游 Gemma，因此本结果属于兼容推理实现下的对比，不宣称原始环境的逐位复现。固定的相关 inpainting 线性系统在 CPU 求解并验证残差，以绕过本机 cuSolver 错误。详见 [protocol.json](protocol.json) 和 [runtime_adapter.patch](runtime_adapter.patch)。','']
(ROOT/'comparison.md').write_text('\n'.join(lines))
print(json.dumps(summaries,indent=2))