KJH-Judge-4B-ko
· 학습하지 않은 한국어 벤치마크
학습 데이터와 다른 출처의 공개 데이터, 0-shot, 보기 기호 점수 방식. 막대 안 흰 선은 95% 신뢰구간.
KJH-Judge-4B-ko · 판정 과제
KJH-Judge-4B-ko · 지식 시험
Gemma 4 26B-A4B-it (0-shot)
NSMC
영화 리뷰 감성
무작위 50%
88.7
85.7
%
KLUE-STS
두 문장이 같은 뜻인가
무작위 50%
88.4
85.9
%
Korean UnSmile
악플·혐오 표현 판별
무작위 50%
81.3
82.1
%
KorNLI
문장 관계 3분류
무작위 33%
77.1
74.5
%
HAE-RAE 1.0
한국 문화·어휘 지식
무작위 21%
79.7
56.1
%
KMMLU
전문 지식 4지선다
무작위 25%
64.0
42.6
%
4.02B
파라미터 · Qwen3-4B에서 미세조정
250ms
판정 한 번 (중앙값, 왕복 포함)
Gemma 4 26B-A4B 621ms · 생각 켜고 답하면 6.3초
0.027
기대 보정 오차(ECE)
확률을 그대로 기준으로 쓸 수 있음
97.9%
보기를 거꾸로 놓아도 같은 답
문항 수: NSMC·KorNLI·UnSmile 각 1,000 (고정 시드 표본), KLUE-STS 519 (전체), KMMLU 990 (45과목 고르게), HAE-RAE 983 (6영역 고르게). 재현: eval/bench_heldout.py