KJH-Judge-4B-ko · 학습하지 않은 한국어 벤치마크

학습 데이터와 다른 출처의 공개 데이터, 0-shot, 보기 기호 점수 방식. 막대 안 흰 선은 95% 신뢰구간.
KJH-Judge-4B-ko · 판정 과제KJH-Judge-4B-ko · 지식 시험Gemma 4 26B-A4B-it (0-shot)
NSMC영화 리뷰 감성
무작위 50%
88.7
85.7%
KLUE-STS두 문장이 같은 뜻인가
무작위 50%
88.4
85.9%
Korean UnSmile악플·혐오 표현 판별
무작위 50%
81.3
82.1%
KorNLI문장 관계 3분류
무작위 33%
77.1
74.5%
HAE-RAE 1.0한국 문화·어휘 지식
무작위 21%
79.7
56.1%
KMMLU전문 지식 4지선다
무작위 25%
64.0
42.6%
4.02B파라미터 · Qwen3-4B에서 미세조정
250ms판정 한 번 (중앙값, 왕복 포함)
Gemma 4 26B-A4B 621ms · 생각 켜고 답하면 6.3초
0.027기대 보정 오차(ECE)
확률을 그대로 기준으로 쓸 수 있음
97.9%보기를 거꾸로 놓아도 같은 답
문항 수: NSMC·KorNLI·UnSmile 각 1,000 (고정 시드 표본), KLUE-STS 519 (전체), KMMLU 990 (45과목 고르게), HAE-RAE 983 (6영역 고르게). 재현: eval/bench_heldout.py