"""모델 카드용 벤치마크 그림(assets/benchmark.png)을 만든다: HTML로 그린 뒤 Edge/Chrome 헤드리스로 찍는다. python eval/make_chart.py [--browser 경로] """ import argparse import json import shutil import subprocess import tempfile from pathlib import Path ROOT = Path(__file__).resolve().parent.parent NAMES = {"nsmc": ("NSMC", "영화 리뷰 감성"), "klue_sts": ("KLUE-STS", "두 문장이 같은 뜻인가"), "unsmile": ("Korean UnSmile", "악플·혐오 표현 판별"), "kornli": ("KorNLI", "문장 관계 3분류"), "haerae": ("HAE-RAE 1.0", "한국 문화·어휘 지식"), "kmmlu": ("KMMLU", "전문 지식 4지선다")} KNOWLEDGE = {"kmmlu", "haerae"} def speed_box(): f = ROOT / "eval" / "speed_results.json" if not f.is_file(): return '
~75ms판정 한 번 (GPU, 짧은 입력)
글을 생성하지 않고 한 번만 계산
' s = json.loads(f.read_text(encoding="utf-8")) return (f'
{s["kjh_single"]["median_ms"]}ms판정 한 번 (중앙값, 왕복 포함)
' f'Gemma 4 26B-A4B {s["api_single"]["median_ms"]}ms · 생각 켜고 답하면 {s["api_thinking"]["median_ms"] / 1000:.1f}초
') def comparisons(): """eval/compare/*.json (bench_compare.py 결과) → [(이름, 결과)]. KJH 자신(-jev)은 뺀다.""" d = ROOT / "eval" / "compare" labels = json.loads((d / "labels.json").read_text(encoding="utf-8")) if (d / "labels.json").is_file() else {} out = [] for f in sorted(d.glob("*.json")): if f.name == "labels.json" or f.stem.endswith("-jev"): continue j = json.loads(f.read_text(encoding="utf-8")) out.append((labels.get(f.stem, j.get("model", f.stem)), j["results"])) return out def html(R): order = [k for k in NAMES if k in R] comps = comparisons() rows = "" for k in order: v, (nm, desc) = R[k], NAMES[k] acc, lo, hi, ch = v["acc"] * 100, v["ci95"][0] * 100, v["ci95"][1] * 100, v["chance"] * 100 cls = "know" if k in KNOWLEDGE else "" cmp_html = "".join(f'
{c[k]["acc"] * 100:.1f}
' for _, c in comps if k in c) rows += f"""
{nm}{desc}
무작위 {ch:.0f}%
{cmp_html}
{acc:.1f}%
""" legend_cmp = "".join(f'{n}' for n, _ in comps) return f"""

KJH-Judge-4B-ko · 학습하지 않은 한국어 벤치마크

학습 데이터와 다른 출처의 공개 데이터, 0-shot, 보기 기호 점수 방식. 막대 안 흰 선은 95% 신뢰구간.
KJH-Judge-4B-ko · 판정 과제KJH-Judge-4B-ko · 지식 시험{legend_cmp}
{rows}
4.02B파라미터 · Qwen3-4B에서 미세조정
{speed_box()}
0.027기대 보정 오차(ECE)
확률을 그대로 기준으로 쓸 수 있음
97.9%보기를 거꾸로 놓아도 같은 답
문항 수: NSMC·KorNLI·UnSmile 각 1,000 (고정 시드 표본), KLUE-STS 519 (전체), KMMLU {R.get('kmmlu', {}).get('n', 0):,} (45과목 고르게), HAE-RAE {R.get('haerae', {}).get('n', 0):,} (6영역 고르게). 재현: eval/bench_heldout.py
""" def main(): ap = argparse.ArgumentParser() ap.add_argument("--browser", default=next((p for p in [r"C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe", r"C:\Program Files\Google\Chrome\Application\chrome.exe", shutil.which("google-chrome") or "", shutil.which("chromium") or ""] if p and Path(p).exists()), None)) a = ap.parse_args() R = json.loads((ROOT / "eval" / "heldout_results.json").read_text(encoding="utf-8"))["results"] (ROOT / "assets").mkdir(exist_ok=True) src = ROOT / "eval" / "chart.html" src.write_text(html(R), encoding="utf-8") out = ROOT / "assets" / "benchmark.png" h = 250 + (78 if comparisons() else 62) * len(R) + 40 with tempfile.TemporaryDirectory() as prof: subprocess.run([a.browser, "--headless=new", "--disable-gpu", f"--user-data-dir={prof}", "--hide-scrollbars", "--force-device-scale-factor=2", f"--window-size=1200,{h}", "--virtual-time-budget=4000", f"--screenshot={out}", src.as_uri()], check=True, timeout=120) print("저장:", out) if __name__ == "__main__": main()