"""eval/heldout_results.json 으로 README.md 를 채운다. - 본문의 '학습하지 않은 공개 벤치마크' 표 - 맨 위 YAML 의 model-index (모델 페이지 오른쪽 'Evaluation results' 상자) python eval/fill_card.py [--repo 계정/KJH-Judge-4B-ko] """ import argparse import json import re from pathlib import Path ROOT = Path(__file__).resolve().parent.parent NAMES = {"nsmc": "NSMC", "kornli": "KorNLI (XNLI)", "klue_sts": "KLUE-STS", "unsmile": "Korean UnSmile", "kmmlu": "KMMLU", "haerae": "HAE-RAE Bench 1.0"} META = { # model-index: (과제 종류, 과제 이름, 데이터셋 id, 설정, 분할) "nsmc": ("text-classification", "Sentiment classification", "e9t/nsmc", None, "test"), "kornli": ("text-classification", "Natural language inference", "kakaobrain/kor_nli", "xnli", "test"), "klue_sts": ("text-classification", "Paraphrase detection (binary STS)", "klue/klue", "sts", "validation"), "unsmile": ("text-classification", "Hate speech detection", "smilegate-ai/kor_unsmile", None, "valid"), "kmmlu": ("multiple-choice", "Knowledge QA", "HAERAE-HUB/KMMLU", None, "test"), "haerae": ("multiple-choice", "Korean knowledge QA", "HAERAE-HUB/HAE_RAE_BENCH_1.0", None, "test"), } def main(): ap = argparse.ArgumentParser() ap.add_argument("--repo", help="계정/저장소 이름. 주면 카드 안의 KJH/KJH-Judge-4B-ko 를 바꾼다") a = ap.parse_args() R = json.loads((ROOT / "eval" / "heldout_results.json").read_text(encoding="utf-8"))["results"] card = (ROOT / "README.md").read_text(encoding="utf-8") rows = ["| 벤치마크 | 무엇을 재나 | 문항 | 정확도 (95% 구간) | 무작위 | 출처 · 라이선스 |", "|---|---|---:|---:|---:|---|"] for k, v in R.items(): rows.append(f"| {NAMES.get(k, k)} | {v['desc']} | {v['n']:,} | **{v['acc'] * 100:.1f}%** ({v['ci95'][0] * 100:.1f}~{v['ci95'][1] * 100:.1f}) | {v['chance'] * 100:.0f}% | {v['source']} · {v['license']} |") s, e = card.index(""), card.index("") card = card[:s] + "\n" + "\n".join(rows) + "\n" + card[e:] # 같은 조건 비교 (eval/compare/*.json, bench_compare.py 결과) sys_path = str(ROOT / "eval") import sys sys.path.insert(0, sys_path) from make_chart import comparisons comps = comparisons() if comps and "" in card: hdr = "| 벤치마크 | **KJH-Judge-4B-ko (4B)** | " + " | ".join(n for n, _ in comps) + " |" cmp_rows = ["**같은 조건 비교** · 같은 문항 · 같은 프롬프트 · 0-shot · 보기 기호 점수. 다른 모델은 생각(thinking)을 끄고 각자의 대화 형식으로 물었습니다.", "", hdr, "|---|---:|" + "---:|" * len(comps)] for k, v in R.items(): cells = [] for _, c in comps: cells.append(f"{c[k]['acc'] * 100:.1f}%" if k in c else "—") cmp_rows.append(f"| {NAMES.get(k, k)} | **{v['acc'] * 100:.1f}%** | " + " | ".join(cells) + " |") s, e = card.index(""), card.index("") card = card[:s] + "\n" + "\n".join(cmp_rows) + "\n" + card[e:] mi = ["model-index:", " - name: KJH-Judge-4B-ko", " results:"] for k, v in R.items(): t, tn, ds, cfg, sp = META[k] mi += [f" - task: {{type: {t}, name: {tn}}}", f" dataset: {{name: {NAMES[k]}, type: {ds}" + (f", config: {cfg}" if cfg else "") + f", split: {sp}}}", f" metrics:", f" - {{type: accuracy, value: {v['acc'] * 100:.1f}, name: accuracy (0-shot, n={v['n']})}}"] head, body = card.split("\n---\n", 1) head = re.sub(r"\nmodel-index:[\s\S]*$", "", head) card = head + "\n" + "\n".join(mi) + "\n---\n" + body if a.repo: card = card.replace("KJH/KJH-Judge-4B-ko", a.repo) (ROOT / "README.md").write_text(card, encoding="utf-8") print("\n".join(rows)) if __name__ == "__main__": main()