"""모델 카드용 벤치마크 그림(assets/benchmark.png)을 만든다: HTML로 그린 뒤 Edge/Chrome 헤드리스로 찍는다.
python eval/make_chart.py [--browser 경로]
"""
import argparse
import json
import shutil
import subprocess
import tempfile
from pathlib import Path
ROOT = Path(__file__).resolve().parent.parent
NAMES = {"nsmc": ("NSMC", "영화 리뷰 감성"), "klue_sts": ("KLUE-STS", "두 문장이 같은 뜻인가"), "unsmile": ("Korean UnSmile", "악플·혐오 표현 판별"),
"kornli": ("KorNLI", "문장 관계 3분류"), "haerae": ("HAE-RAE 1.0", "한국 문화·어휘 지식"), "kmmlu": ("KMMLU", "전문 지식 4지선다")}
KNOWLEDGE = {"kmmlu", "haerae"}
def speed_box():
f = ROOT / "eval" / "speed_results.json"
if not f.is_file():
return '
~75ms판정 한 번 (GPU, 짧은 입력)
글을 생성하지 않고 한 번만 계산
'
s = json.loads(f.read_text(encoding="utf-8"))
return (f'{s["kjh_single"]["median_ms"]}ms판정 한 번 (중앙값, 왕복 포함)
'
f'Gemma 4 26B-A4B {s["api_single"]["median_ms"]}ms · 생각 켜고 답하면 {s["api_thinking"]["median_ms"] / 1000:.1f}초
')
def comparisons():
"""eval/compare/*.json (bench_compare.py 결과) → [(이름, 결과)]. KJH 자신(-jev)은 뺀다."""
d = ROOT / "eval" / "compare"
labels = json.loads((d / "labels.json").read_text(encoding="utf-8")) if (d / "labels.json").is_file() else {}
out = []
for f in sorted(d.glob("*.json")):
if f.name == "labels.json" or f.stem.endswith("-jev"):
continue
j = json.loads(f.read_text(encoding="utf-8"))
out.append((labels.get(f.stem, j.get("model", f.stem)), j["results"]))
return out
def html(R):
order = [k for k in NAMES if k in R]
comps = comparisons()
rows = ""
for k in order:
v, (nm, desc) = R[k], NAMES[k]
acc, lo, hi, ch = v["acc"] * 100, v["ci95"][0] * 100, v["ci95"][1] * 100, v["chance"] * 100
cls = "know" if k in KNOWLEDGE else ""
cmp_html = "".join(f'{c[k]["acc"] * 100:.1f}
' for _, c in comps if k in c)
rows += f""""""
legend_cmp = "".join(f'{n}' for n, _ in comps)
return f"""
KJH-Judge-4B-ko · 학습하지 않은 한국어 벤치마크
학습 데이터와 다른 출처의 공개 데이터, 0-shot, 보기 기호 점수 방식. 막대 안 흰 선은 95% 신뢰구간.
KJH-Judge-4B-ko · 판정 과제KJH-Judge-4B-ko · 지식 시험{legend_cmp}
{rows}
4.02B파라미터 · Qwen3-4B에서 미세조정
{speed_box()}
0.027기대 보정 오차(ECE)
확률을 그대로 기준으로 쓸 수 있음
97.9%보기를 거꾸로 놓아도 같은 답
"""
def main():
ap = argparse.ArgumentParser()
ap.add_argument("--browser", default=next((p for p in [r"C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe", r"C:\Program Files\Google\Chrome\Application\chrome.exe",
shutil.which("google-chrome") or "", shutil.which("chromium") or ""] if p and Path(p).exists()), None))
a = ap.parse_args()
R = json.loads((ROOT / "eval" / "heldout_results.json").read_text(encoding="utf-8"))["results"]
(ROOT / "assets").mkdir(exist_ok=True)
src = ROOT / "eval" / "chart.html"
src.write_text(html(R), encoding="utf-8")
out = ROOT / "assets" / "benchmark.png"
h = 250 + (78 if comparisons() else 62) * len(R) + 40
with tempfile.TemporaryDirectory() as prof:
subprocess.run([a.browser, "--headless=new", "--disable-gpu", f"--user-data-dir={prof}", "--hide-scrollbars", "--force-device-scale-factor=2",
f"--window-size=1200,{h}", "--virtual-time-budget=4000", f"--screenshot={out}", src.as_uri()], check=True, timeout=120)
print("저장:", out)
if __name__ == "__main__":
main()