File size: 1,960 Bytes
4a62dcc
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
{
 "made": "2026-11-09 13:51",
 "protocol": "0-shot, 보기 기호 점수(온도 보정 softmax), 표본 고정 시드",
 "results": {
  "nsmc": {
   "desc": "영화 리뷰 감성 (긍정/부정)",
   "source": "e9t/nsmc · ratings_test",
   "license": "CC0 1.0",
   "n": 1000,
   "acc": 0.857,
   "ci95": [
    0.8339,
    0.8773
   ],
   "chance": 0.5,
   "mean_conf": 0.9491,
   "seconds": 120
  },
  "kornli": {
   "desc": "문장 관계 3분류 (XNLI 한국어 번역)",
   "source": "kakaobrain/kor_nli · xnli/test",
   "license": "CC BY-SA 4.0",
   "n": 1000,
   "acc": 0.745,
   "ci95": [
    0.7171,
    0.771
   ],
   "chance": 0.3333,
   "mean_conf": 0.8362,
   "seconds": 148
  },
  "klue_sts": {
   "desc": "두 문장이 같은 뜻인지 (예/아니오)",
   "source": "klue/klue · sts/validation (binary-label)",
   "license": "CC BY-SA 4.0",
   "n": 519,
   "acc": 0.8593,
   "ci95": [
    0.8268,
    0.8866
   ],
   "chance": 0.5,
   "mean_conf": 0.8744,
   "seconds": 58
  },
  "unsmile": {
   "desc": "악플·혐오 표현 여부",
   "source": "smilegate-ai/kor_unsmile · valid (clean 여부)",
   "license": "CC BY-NC-ND 4.0",
   "n": 1000,
   "acc": 0.821,
   "ci95": [
    0.796,
    0.8435
   ],
   "chance": 0.5,
   "mean_conf": 0.9137,
   "seconds": 126
  },
  "kmmlu": {
   "desc": "한국어 전문 지식 4지선다 (45과목)",
   "source": "HAERAE-HUB/KMMLU · test",
   "license": "CC BY-ND 4.0",
   "n": 990,
   "acc": 0.4263,
   "ci95": [
    0.3958,
    0.4573
   ],
   "chance": 0.25,
   "mean_conf": 0.5285,
   "seconds": 200
  },
  "haerae": {
   "desc": "한국 문화·어휘 지식 5지선다",
   "source": "HAERAE-HUB/HAE_RAE_BENCH_1.0 · test",
   "license": "CC BY-NC-ND 4.0",
   "n": 983,
   "acc": 0.5615,
   "ci95": [
    0.5303,
    0.5923
   ],
   "chance": 0.2084,
   "mean_conf": 0.5714,
   "seconds": 133
  }
 }
}