KJH-Judge-4B-ko / eval /heldout_results.json
coderecode95's picture
Upload folder using huggingface_hub
4a62dcc verified
Raw History Blame Contribute Delete
1.96 kB
{
"made": "2026-11-09 13:51",
"protocol": "0-shot, 보기 기호 점수(온도 보정 softmax), 표본 고정 시드",
"results": {
"nsmc": {
"desc": "영화 리뷰 감성 (긍정/부정)",
"source": "e9t/nsmc · ratings_test",
"license": "CC0 1.0",
"n": 1000,
"acc": 0.857,
"ci95": [
0.8339,
0.8773
],
"chance": 0.5,
"mean_conf": 0.9491,
"seconds": 120
},
"kornli": {
"desc": "문장 관계 3분류 (XNLI 한국어 번역)",
"source": "kakaobrain/kor_nli · xnli/test",
"license": "CC BY-SA 4.0",
"n": 1000,
"acc": 0.745,
"ci95": [
0.7171,
0.771
],
"chance": 0.3333,
"mean_conf": 0.8362,
"seconds": 148
},
"klue_sts": {
"desc": "두 문장이 같은 뜻인지 (예/아니오)",
"source": "klue/klue · sts/validation (binary-label)",
"license": "CC BY-SA 4.0",
"n": 519,
"acc": 0.8593,
"ci95": [
0.8268,
0.8866
],
"chance": 0.5,
"mean_conf": 0.8744,
"seconds": 58
},
"unsmile": {
"desc": "악플·혐오 표현 여부",
"source": "smilegate-ai/kor_unsmile · valid (clean 여부)",
"license": "CC BY-NC-ND 4.0",
"n": 1000,
"acc": 0.821,
"ci95": [
0.796,
0.8435
],
"chance": 0.5,
"mean_conf": 0.9137,
"seconds": 126
},
"kmmlu": {
"desc": "한국어 전문 지식 4지선다 (45과목)",
"source": "HAERAE-HUB/KMMLU · test",
"license": "CC BY-ND 4.0",
"n": 990,
"acc": 0.4263,
"ci95": [
0.3958,
0.4573
],
"chance": 0.25,
"mean_conf": 0.5285,
"seconds": 200
},
"haerae": {
"desc": "한국 문화·어휘 지식 5지선다",
"source": "HAERAE-HUB/HAE_RAE_BENCH_1.0 · test",
"license": "CC BY-NC-ND 4.0",
"n": 983,
"acc": 0.5615,
"ci95": [
0.5303,
0.5923
],
"chance": 0.2084,
"mean_conf": 0.5714,
"seconds": 133
}
}
}