File size: 12,945 Bytes
4a62dcc
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
cca00cc
 
4a62dcc
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
cca00cc
 
 
4a62dcc
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
# KJH-Judge-4B-ko๋Š” ์–ด๋–ป๊ฒŒ ๋งŒ๋“ค์—ˆ๋‚˜

์ด ๋ฌธ์„œ๋Š” ํ•™์Šต ๋ชฉํ‘œ, ๋ฐ์ดํ„ฐ ๊ตฌ์„ฑ, ํ•™์Šต ์ „๋žต, ๋ณด์ •, ํ‰๊ฐ€ ๋ฐฉ๋ฒ•์„ ์ •๋ฆฌํ•œ ๊ฒƒ์ž…๋‹ˆ๋‹ค. ์‚ฌ์šฉ๋ฒ•์€ [README](README.md)๋ฅผ ๋ณด์„ธ์š”.

## 1. ๋ชฉํ‘œ: โ€œ๊ณ ๋ฅด๋Š”โ€ ๋ชจ๋ธ

์—์ด์ „ํŠธยท๊ฒ€์ˆ˜ยท๋ถ„๋ฅ˜ ํŒŒ์ดํ”„๋ผ์ธ์—์„œ ํ•„์š”ํ•œ ํŒ๋‹จ์˜ ๋Œ€๋ถ€๋ถ„์€ **์ •ํ•ด์ง„ ์„ ํƒ์ง€ ์ค‘ ํ•˜๋‚˜๋ฅผ ๊ณ ๋ฅด๋Š” ์ผ**์ž…๋‹ˆ๋‹ค (์ด ๋ฌธ์˜๋Š” ์–ด๋А ๋ถ€์„œ? ์ด ๋Œ“๊ธ€์€ ํ˜์˜ค์ธ๊ฐ€? ๋‹ค์Œ ํ–‰๋™์€ ๋„๊ตฌ ํ˜ธ์ถœ์ธ๊ฐ€ ๋˜๋ฌป๊ธฐ์ธ๊ฐ€?). ์ด๋Ÿฐ ํŒ๋‹จ์— ํฐ ์ƒ์„ฑ ๋ชจ๋ธ์„ ์“ฐ๋ฉด ๋А๋ฆฌ๊ณ  ๋น„์‹ธ๋ฉฐ, ๋‹ต์ด ํ˜•์‹์„ ๋ฒ—์–ด๋‚˜๊ธฐ๋„ ํ•ฉ๋‹ˆ๋‹ค.

๊ทธ๋ž˜์„œ ์ด ๋ชจ๋ธ์€ ์ฒ˜์Œ๋ถ€ํ„ฐ ๋‹ค์Œ์„ ๋ชฉํ‘œ๋กœ ๋งŒ๋“ค์—ˆ์Šต๋‹ˆ๋‹ค.

| ๋ชฉํ‘œ | ์„ค๊ณ„ |
|---|---|
| ๋น ๋ฅด๊ฒŒ | ๊ธ€์„ ์ƒ์„ฑํ•˜์ง€ ์•Š๋Š”๋‹ค. ํ”„๋กฌํ”„ํŠธ๋ฅผ ํ•œ ๋ฒˆ ๊ณ„์‚ฐํ•˜๊ณ  ๋‹ค์Œ ํ† ํฐ์˜ ๋ณด๊ธฐ ๊ธฐํ˜ธ(A, B, โ€ฆ) ์ ์ˆ˜๋งŒ ์ฝ๋Š”๋‹ค |
| ๋‹ต์ด ํ•ญ์ƒ ๋ณด๊ธฐ ์ค‘ ํ•˜๋‚˜ | ๋ณด๊ธฐ ๊ธฐํ˜ธ ํ† ํฐ๋ผ๋ฆฌ๋งŒ softmax ํ•œ๋‹ค |
| ํ™•๋ฅ ์„ ๋ฏฟ์„ ์ˆ˜ ์žˆ๊ฒŒ | ํ•™์Šต ํ›„ ๊ฒ€์ฆ์…‹์œผ๋กœ ์˜จ๋„๋ฅผ ๋งž์ถฐ(temperature scaling) ํ™•๋ฅ ์„ ๋ณด์ •ํ•œ๋‹ค |
| ๋ณด๊ธฐ ์ˆœ์„œ์— ํ”๋“ค๋ฆฌ์ง€ ์•Š๊ฒŒ | ํ•™์Šต ๋ฐ์ดํ„ฐ์— ๊ฐ™์€ ๋ฌธํ•ญ์„ ์ •ํ™•ํžˆ ๊ฑฐ๊พธ๋กœ ๋†“์€ ์ˆœ์„œ๋กœ๋„ ๋„ฃ๋Š”๋‹ค |
| ์ฒ˜์Œ ๋ณด๋Š” ์ง€์‹œ๋ฌธ๋„ ๋”ฐ๋ฅด๊ฒŒ | 13๊ฐœ ์ถœ์ฒ˜์˜ ์„œ๋กœ ๋‹ค๋ฅธ ๊ณผ์ œ๋ฅผ ๊ฐ™์€ ํ˜•์‹(๊ณผ์ œ ์„ค๋ช… + ํ•ญ๋ชฉ + ๋ณด๊ธฐ)์œผ๋กœ ์„ž์–ด ํ•™์Šตํ•œ๋‹ค |

## 2. ์›๋ณธ ๋ชจ๋ธ

[Qwen/Qwen3-4B](https://huggingface.co/Qwen/Qwen3-4B) (4.02B, 36์ธต, Apache 2.0). ํ•œ๊ตญ์–ด๋ฅผ ํฌํ•จํ•œ ๋‹ค๊ตญ์–ด ์‚ฌ์ „ํ•™์Šต์ด ๋˜์–ด ์žˆ๊ณ , ํฌ๊ธฐ๊ฐ€ GPU ํ•œ ์žฅ์—์„œ ๋น ๋ฅด๊ฒŒ ๋Œ๋ฆฌ๊ธฐ ์ข‹์Šต๋‹ˆ๋‹ค.

์›๋ณธ ๋ชจ๋ธ์„ ์ด ํ”„๋กฌํ”„ํŠธ ํ˜•์‹ ๊ทธ๋Œ€๋กœ ์“ฐ๋ฉด ๋ณด๊ธฐ ๊ธฐํ˜ธ ๋Œ€์‹  ์ƒ๊ฐ(`<think>`)๋ถ€ํ„ฐ ์‹œ์ž‘ํ•˜๋ ค ํ•ด์„œ, ์ด ์ฑ„์  ๋ฐฉ์‹์œผ๋กœ๋Š” Korean JEV Benchmark์—์„œ 29.6%(๋ฌด์ž‘์œ„ 29.9%)์˜€์Šต๋‹ˆ๋‹ค. ์›๋ณธ์˜ ์‹ค๋ ฅ์ด ๊ทธ ์ •๋„๋ผ๋Š” ๋œป์ด ์•„๋‹ˆ๋ผ, **์ด ํ˜•์‹์œผ๋กœ ๋ฐ”๋กœ ๋‹ตํ•˜๋„๋ก ๋งž์ถฐ ์ฃผ๋Š” ๊ฒƒ**์ด ํ•™์Šต์˜ ์ฒซ ๋ฒˆ์งธ ์—ญํ• ์ด๋ผ๋Š” ๋œป์ž…๋‹ˆ๋‹ค.

## 3. ํ•™์Šต ๋ฐ์ดํ„ฐ ๊ตฌ์„ฑ

### 3.1 ์ถœ์ฒ˜์™€ ์–‘

๊ณต๊ฐœ ๋ฐ์ดํ„ฐ 10๊ฐœ์™€ ์ž์ฒด ํ•ฉ์„ฑ 3๊ฐœ, ๋ชจ๋‘ **ํ•™์Šต ๋ถ„ํ• ๋งŒ** ์ผ์Šต๋‹ˆ๋‹ค.

| ์˜์—ญ | ๋ฐ์ดํ„ฐ | ํ•™์Šต ๋ฌธํ•ญ | ๋ณด๊ธฐ ์ˆ˜ | ๋ผ์ด์„ ์Šค |
|---|---|---:|---|---|
| ๋ฌธ์žฅ ๊ด€๊ณ„ | KLUE NLI | 15,000 | 3 | CC BY-SA 4.0 |
| ๋‰ด์Šค ์ฃผ์ œ | KLUE YNAT | 15,000 | 7 | CC BY-SA 4.0 |
| ์ง€๋ฌธ ์˜ˆ/์•„๋‹ˆ์˜ค | KoBEST BoolQ | 3,661 | 2 | CC BY-SA 4.0 |
| ์›์ธยท๊ฒฐ๊ณผ | KoBEST COPA | 2,973 | 2 | CC BY-SA 4.0 |
| ์ด์–ด์งˆ ๋ฌธ์žฅ | KoBEST HellaSwag | 1,892 | 4 | CC BY-SA 4.0 |
| ๊ฐ์„ฑ(๋ถ€์ • ํ‘œํ˜„) | KoBEST SentiNeg | 3,633 | 2 | CC BY-SA 4.0 |
| ๋‹จ์–ด ๋œป ๊ตฌ๋ณ„ | KoBEST WiC | 3,297 | 2 | CC BY-SA 4.0 |
| ํ˜์˜ค ํ‘œํ˜„ 3๋‹จ๊ณ„ | korean-hate-speech | 7,590 | 3 | CC BY-SA 4.0 |
| ํ˜์˜ค ํ‘œํ˜„ ์—ฌ๋ถ€ | APEACH | 7,589 | 2 | CC BY-SA 4.0 |
| ์ฃผ์ œ ๋ถ„๋ฅ˜ | SIB-200 (ํ•œ๊ตญ์–ด) | 701 | 7 | CC BY-SA 4.0 |
| ์ •์ฑ…์— ๋”ฐ๋ฅธ ํ–‰๋™ | ํ•ฉ์„ฑ (EnterpriseOps ํ˜•์‹) | 2,026 | 7 | ์ž์ฒด ์ƒ์„ฑ |
| ๋ฒ•๋ น ์งˆ๋ฌธ | ํ•ฉ์„ฑ (๊ธฐํ•œยท๋ฒŒ๊ธˆยท๊ณผํƒœ๋ฃŒยท์ง•์—ญ ์ƒํ•œ) | 2,875 | 2~11 | ์ž์ฒด ์ƒ์„ฑ |
| ๋„๊ตฌ ํ˜ธ์ถœ ํŒ๋‹จ | ํ•ฉ์„ฑ (FunctionChat ํ˜•์‹) | 2,907 | 4~9 | ์ž์ฒด ์ƒ์„ฑ |
| **ํ•ฉ๊ณ„** | | **69,144๋ฌธํ•ญ** | | |

- ์–‘์ด ๋งŽ์€ KLUE NLI ยท YNAT๋Š” 15,000๋ฌธํ•ญ์œผ๋กœ ์ž˜๋ผ ํ•œ ๊ณผ์ œ๊ฐ€ ํ•™์Šต์„ ๋…์ฐจ์ง€ํ•˜์ง€ ์•Š๊ฒŒ ํ–ˆ์Šต๋‹ˆ๋‹ค.
- ์ถœ์ฒ˜๋งˆ๋‹ค ์ตœ๋Œ€ 300๋ฌธํ•ญ(์ „์ฒด 3,089๋ฌธํ•ญ)์„ ๊ฒ€์ฆ์…‹์œผ๋กœ ๋”ฐ๋กœ ๋–ผ์–ด, ํ•™์Šต ์ค‘ ์†์‹ค ํ™•์ธ๊ณผ ํ™•๋ฅ  ๋ณด์ •์— ์ผ์Šต๋‹ˆ๋‹ค.
- **Belebele(ํ•œ๊ตญ์–ด ๋…ํ•ด)๋Š” ์ผ๋ถ€๋Ÿฌ ํ•™์Šต์— ๋„ฃ์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค.** ์ฒ˜์Œ ๋ณด๋Š” ๊ณผ์ œ์— ์–ผ๋งˆ๋‚˜ ์ผ๋ฐ˜ํ™”๋˜๋Š”์ง€ ์žฌ๊ธฐ ์œ„ํ•ด์„œ์ž…๋‹ˆ๋‹ค (๊ฒฐ๊ณผ 86.9%).

### 3.2 ํ•˜๋‚˜์˜ ํ˜•์‹์œผ๋กœ ํ†ต์ผ

๋ชจ๋“  ๋ฐ์ดํ„ฐ๋ฅผ ๊ฐ™์€ ๋Œ€ํ™” ํ˜•์‹์œผ๋กœ ๋ฐ”๊ฟจ์Šต๋‹ˆ๋‹ค. ์ •๋‹ต์€ ๋ณด๊ธฐ ๊ธฐํ˜ธ ํ•œ ๊ธ€์ž์ž…๋‹ˆ๋‹ค.

```
<|im_start|>user
๋ฌธ์žฅ์˜ ์ „๋ฐ˜์ ์ธ ๊ฐ์ • ๊ทน์„ฑ์„ ํŒ๋‹จํ•œ๋‹ค. ๋ถ€์ • ํ‘œํ˜„๊ณผ ๋ฐ˜์–ด๋ฅผ ๊ณ ๋ คํ•œ๋‹ค.

text: ํƒ๋ฐฐ์‚ฌ ์ •๋ง ๋งˆ์Œ์— ๋“ฌ

๋ณด๊ธฐ:
A. ๊ธ์ •์  ๊ฐ์ •
B. ๋ถ€์ •์  ๊ฐ์ •

์ •๋‹ต ๋ณด๊ธฐ์˜ ๊ธฐํ˜ธ ํ•˜๋‚˜๋งŒ ๋‹ตํ•˜์„ธ์š”.<|im_end|>
<|im_start|>assistant
A<|im_end|>
```

๊ณผ์ œ ์„ค๋ช…์€ ๊ณผ์ œ๋งˆ๋‹ค ํŒ๋‹จ ๊ธฐ์ค€์„ ํ•œ๋‘ ๋ฌธ์žฅ ๋‹ด์•˜์Šต๋‹ˆ๋‹ค (์˜ˆ: ๋ฌธ์žฅ ๊ด€๊ณ„์—์„œ๋Š” โ€œ์ •๋ณด๊ฐ€ ์—†๋‹ค๋Š” ์ด์œ ๋งŒ์œผ๋กœ ๋ชจ์ˆœ์„ ๊ณ ๋ฅด์ง€ ์•Š๋Š”๋‹คโ€). ๊ฐ™์€ ํ˜•์‹์— ๋‹ค์–‘ํ•œ ๊ณผ์ œ ์„ค๋ช…์ด ์„ž์—ฌ ์žˆ์–ด์„œ, ํ•™์Šตํ•˜์ง€ ์•Š์€ ์ง€์‹œ๋ฌธ๋„ ๋”ฐ๋ฅด๊ฒŒ ๋ฉ๋‹ˆ๋‹ค.

ํ•™์Šต์— ์“ด ๊ณผ์ œ ์„ค๋ช…๊ณผ ๋ณด๊ธฐ ๋ฌธ๊ตฌ๋Š” [`judge.py`](judge.py)์˜ `TASKS`ยท`CRITERIA`์— ๊ทธ๋Œ€๋กœ ๋“ค์–ด ์žˆ์Šต๋‹ˆ๋‹ค. `judge.sentiment()`, `judge.nli()` ๊ฐ™์€ ๋ฉ”์„œ๋“œ๋Š” ์ด ๋ฌธ๊ตฌ๋กœ ํ”„๋กฌํ”„ํŠธ๋ฅผ ๋งŒ๋“ค๊ธฐ ๋•Œ๋ฌธ์— ํ•™์Šต ๋•Œ์™€ ๊ฐ™์€ ์กฐ๊ฑด์œผ๋กœ ํŒ์ •ํ•ฉ๋‹ˆ๋‹ค.

### 3.3 ๋ณด๊ธฐ ์ˆœ์„œ ์„ž๊ธฐ์™€ ์—ญ์ˆœ ๋„ฃ๊ธฐ

- ๋ณด๊ธฐ ์ˆœ์„œ๋Š” ๋ฌธํ•ญ๋งˆ๋‹ค ๋ฌด์ž‘์œ„๋กœ ์„ž์—ˆ์Šต๋‹ˆ๋‹ค. ์ •๋‹ต ๊ธฐํ˜ธ๊ฐ€ A๋‚˜ B์— ๋ชฐ๋ฆฌ๋ฉด ๋ชจ๋ธ์ด ๋‚ด์šฉ ๋Œ€์‹  ์œ„์น˜๋ฅผ ์™ธ์šฐ๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค (์›๋ณธ ๋ชจ๋ธ์€ ์ด ํ˜•์‹์—์„œ ๊ฑฐ์˜ ๋Š˜ A๋ฅผ ๊ณจ๋ž์Šต๋‹ˆ๋‹ค).
- ํ•™์Šต ๋ฐ์ดํ„ฐ์—๋Š” **์„ž์€ ์ˆœ์„œ์™€ ๊ทธ ์ •ํ™•ํ•œ ์—ญ์ˆœ, ๋‘ ๊ฐ€์ง€๋ฅผ ๋ชจ๋‘** ๋„ฃ์—ˆ์Šต๋‹ˆ๋‹ค (๊ทธ๋ž˜์„œ ํ•™์Šต ํ–‰์€ 138,288๊ฐœ). ๋ณด๊ธฐ๋ฅผ ๊ฑฐ๊พธ๋กœ ๋†“์•„๋„ ๊ฐ™์€ ๋‚ด์šฉ์„ ๊ณ ๋ฅด๋„๋ก ์ง์ ‘ ๊ฐ€๋ฅด์นœ ๊ฒƒ์ด๊ณ , ๊ฒฐ๊ณผ์ ์œผ๋กœ ๋ณด๊ธฐ ์ˆœ์„œ๋ฅผ ๋’ค์ง‘์–ด๋„ 97.9%๊ฐ€ ๊ฐ™์€ ๋‹ต์„ ๋ƒ…๋‹ˆ๋‹ค.
- ๋ฌธํ•ญ๊ณผ ๊ทธ ์—ญ์ˆœ์€ ๊ฒ€์ฆ์…‹ ๋ถ„๋ฆฌ ยท ์ˆ˜ ์ œํ•œ์—์„œ ํ•ญ์ƒ ํ•จ๊ป˜ ๋‚จ๊ฑฐ๋‚˜ ํ•จ๊ป˜ ๋น ์ง€๊ฒŒ ํ–ˆ์Šต๋‹ˆ๋‹ค.

### 3.4 ํ‰๊ฐ€ ๋ฌธํ•ญ๊ณผ ๊ฒน์น˜์ง€ ์•Š๊ฒŒ (์˜ค์—ผ ์ œ๊ฑฐ)

ํ‰๊ฐ€์— ์“ธ Korean JEV Benchmark 25,418๋ฌธํ•ญ์˜ ๋ฌธ์žฅยท๋ณด๊ธฐ 33,174๊ฐœ๋ฅผ ์ •๊ทœํ™”ํ•ด ๋ชฉ๋ก์„ ๋งŒ๋“ค๊ณ , ํ•™์Šต ๋ฌธํ•ญ์˜ ํ•„๋“œ ์ค‘ 10์ž ์ด์ƒ์ธ ๋ฌธ์žฅ์ด ์ด ๋ชฉ๋ก์— ์žˆ์œผ๋ฉด ๊ทธ ๋ฌธํ•ญ์„ ๋บ์Šต๋‹ˆ๋‹ค. ์‹ค์ œ๋กœ ๋น ์ง„ ๋ฌธํ•ญ์€ KoBEST COPA 44๊ฐœ, WiC 30๊ฐœ ๋“ฑ ์†Œ์ˆ˜์˜€์Šต๋‹ˆ๋‹ค. ๊ฐ™์€ ๋ฐ์ดํ„ฐ ์•ˆ์˜ ์ค‘๋ณต๋„ ํ•จ๊ป˜ ๋บ์Šต๋‹ˆ๋‹ค.

### 3.5 ํ•ฉ์„ฑ ๋ฐ์ดํ„ฐ

์ •์ฑ…ยท๋ฒ•๋ นยท๋„๊ตฌ ํ˜ธ์ถœ์€ ํ•œ๊ตญ์–ด ํ•™์Šต ๋ฐ์ดํ„ฐ๊ฐ€ ๊ฑฐ์˜ ์—†์–ด์„œ **๊ทœ์น™์œผ๋กœ ์ง์ ‘ ๋งŒ๋“ค์—ˆ์Šต๋‹ˆ๋‹ค.** LLM์ด ๋งŒ๋“  ๊ธ€์€ ์“ฐ์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค.

| ํ•ฉ์„ฑ | ๋งŒ๋“œ๋Š” ๋ฐฉ๋ฒ• | ์ •๋‹ต ํ™•์ธ |
|---|---|---|
| ๋„๊ตฌ ํ˜ธ์ถœ ํŒ๋‹จ | ์ง€์–ด๋‚ธ ๋„๊ตฌ 28๊ฐœ(14๊ฐœ ๋ฌถ์Œ ร— 2)์™€ ์š”์ฒญ ๋ฌธ์žฅ ํ‹€๋กœ ๋Œ€ํ™”๋ฅผ ๋งŒ๋“ ๋‹ค. ํ•„์ˆ˜ ์ธ์ž๊ฐ€ ๋‹ค ์žˆ์œผ๋ฉด CALL, ํ•˜๋‚˜ ๋น ์ง€๋ฉด ASK, ๋„๊ตฌ ๊ฒฐ๊ณผ ์ดํ›„ยท์ง€์›ํ•˜์ง€ ์•Š๋Š” ์š”์ฒญยท์žก๋‹ด์ด๋ฉด RESPOND. ๊ฐ™์€ ๋ฌถ์Œ์˜ ๋น„์Šทํ•œ ๋„๊ตฌ๋ฅผ ํ•จ๊ป˜ ๋„ฃ์–ด ํ—ท๊ฐˆ๋ฆฌ๊ฒŒ ํ•œ๋‹ค | ๋งŒ๋“  ๋Œ€ํ™”๋ฅผ ๋‹ค์‹œ ์ฝ์–ด ์ธ์ž ๊ฐ’์ด ์‹ค์ œ๋กœ ์žˆ๋Š”์ง€ ๋‹ค์‹œ ํ™•์ธ. ๋‹ค๋ฅด๋ฉด ๋ฒ„๋ฆผ |
| ๋ฒ•๋ น ์งˆ๋ฌธ | ์ง€์–ด๋‚ธ ๋ฒ•๋ น ์กฐํ•ญ๊ณผ ์‚ฌ์‹ค๊ด€๊ณ„๋กœ ๊ธฐํ•œยท๋ฒŒ๊ธˆ ์ƒํ•œยท๊ณผํƒœ๋ฃŒ ์ƒํ•œยท์ง•์—ญ ์ƒํ•œยท๊ฐœ์ˆ˜ ์งˆ๋ฌธ์„ ๋งŒ๋“ ๋‹ค (์ดˆ์ผ ๋ถˆ์‚ฐ์ž…, ๋ง์ผ ํœด์ผ ์—ฐ์žฅ, ์ƒ์Šต ๊ฐ€์ค‘ ๊ฐ™์€ ๋ณ€ํ˜• ํฌํ•จ) | ๋งŒ๋“  ๋ฌธ์žฅ์„ ๋‹ค์‹œ ํŒŒ์‹ฑํ•ด ๋…๋ฆฝ์ ์œผ๋กœ ๋‹ค์‹œ ํ’€๊ณ , ๊ตฌ์„ฑ ์ •๋‹ต๊ณผ ๋‹ค๋ฅด๋ฉด ๋ฒ„๋ฆผ |
| ์ •์ฑ…์— ๋”ฐ๋ฅธ ํ–‰๋™ | ๋ชฉํ‘œ ํ–‰๋™(๋„๊ตฌ ์‹คํ–‰, ์—ฌ๋Ÿฌ ๋„๊ตฌ, ๋‹ต๋ณ€, ์ƒ๋‹ด์‚ฌ ์ด๊ด€, ์ •๋ณด ๋˜๋ฌป๊ธฐ, ์‹คํ–‰ ์ „ ํ™•์ธ, ๊ฑฐ์ ˆ)์„ ๋จผ์ € ์ •ํ•˜๊ณ , ๊ธฐ๋ณธ ๊ทœ์น™ ยท ์˜ˆ์™ธ(์ ์šฉ ๋ฒ”์œ„ยท๋“ฑ๊ธ‰) ยท ๊ทธ ๋ฐ–์˜ ๊ทœ์น™๊ณผ ๊ณ ๊ฐ ์š”์ฒญ์„ ๋ฌด์ž‘์œ„๋กœ ๋งŒ๋“ ๋‹ค. ์˜ˆ์™ธ๊ฐ€ ์‹ค์ œ๋กœ ์ ์šฉ๋˜๋Š” ๋ฌธํ•ญ๊ณผ ์•ˆ ๋˜๋Š” ๋ฌธํ•ญ์ด ๋ฐ˜๋ฐ˜ | ๊ทœ์น™ ํ’€์ด๊ธฐ๊ฐ€ ๋ชฉํ‘œ ํ–‰๋™์„ ๋‚ด๋Š” ๊ฒƒ๋งŒ ๋‚จ๊ธฐ๊ณ , ๋ฌธ์žฅ์œผ๋กœ ๋งŒ๋“  ๋’ค ์ˆซ์žยท์ƒํƒœยท๋“ฑ๊ธ‰์„ ๋‹ค์‹œ ์ฝ์–ด ๋…๋ฆฝ์ ์œผ๋กœ ๋‹ค์‹œ ํ’€์–ด ๋‹ค๋ฅด๋ฉด ๋ฒ„๋ฆผ |

ํ•ฉ์„ฑ ๋ฐ์ดํ„ฐ๋Š” ํ‰๊ฐ€ ๋ฌธํ•ญ์„ ์˜ฎ๊ธฐ์ง€ ์•Š์•˜๊ณ , ํ‰๊ฐ€์™€ **๊ฐ™์€ ์ข…๋ฅ˜์˜ ์งˆ๋ฌธ**๋งŒ ์ƒˆ๋กœ ๋งŒ๋“ค์—ˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋ž˜์„œ ์ด ์„ธ ์˜์—ญ์˜ Korean JEV ์ ์ˆ˜๋Š” โ€œ์™„์ „ํžˆ ์ฒ˜์Œ ๋ณด๋Š” ๊ณผ์ œโ€๋ผ๊ธฐ๋ณด๋‹ค โ€œ๊ฐ™์€ ์ข…๋ฅ˜์˜ ์ƒˆ ๋ฌธํ•ญโ€์— ๋Œ€ํ•œ ์ ์ˆ˜์ž…๋‹ˆ๋‹ค.

## 4. ํ•™์Šต ์ „๋žต

| ํ•ญ๋ชฉ | ๊ฐ’ | ์ด์œ  |
|---|---|---|
| ๋ฐฉ๋ฒ• | SFT + LoRA | ์›๋ณธ์˜ ์–ธ์–ด ๋Šฅ๋ ฅ์„ ์ง€ํ‚ค๋ฉด์„œ ํ˜•์‹๊ณผ ํŒ๋‹จ ๊ธฐ์ค€๋งŒ ๋งž์ถ˜๋‹ค |
| LoRA | r 16, ฮฑ 32, dropout 0.05, ์ฃผ์˜ยทMLP 7๊ฐœ ๋ชจ๋“ˆ ์ „๋ถ€ (q, k, v, o, gate, up, down) | ํ˜•์‹ ๋งž์ถ”๊ธฐ + ํŒ๋‹จ ๊ธฐ์ค€ ํ•™์Šต์— ์ถฉ๋ถ„ํ•œ ์šฉ๋Ÿ‰ |
| **ํ•™์Šตํ•˜๋Š” ํ† ํฐ** | **๋‹ต ๊ธฐํ˜ธ์™€ `<|im_end|>`๋งŒ** | ํ”„๋กฌํ”„ํŠธ๋ฅผ ์™ธ์šฐ์ง€ ์•Š๊ณ  โ€œ๊ณ ๋ฅด๊ธฐโ€๋งŒ ๋ฐฐ์šด๋‹ค. ํ•™์Šต ์‹œ์ž‘ ์ „ ์ฒซ ๋ฐฐ์น˜์—์„œ ๋ผ๋ฒจ์ด ์ •ํ™•ํžˆ ์ด ๋‘ ํ† ํฐ์—๋งŒ ๊ฑธ๋ ธ๋Š”์ง€ ์ž๋™ ์ ๊ฒ€ |
| ์–‘ | 13๊ฐœ ์ถœ์ฒ˜๋ฅผ ๋น„์œจ๋Œ€๋กœ ์„ž์–ด, ๋ชจ๋“  ํ–‰์„ ํ•œ ๋ฒˆ ์ด์ƒ ๋ณผ ๋•Œ๊นŒ์ง€ (์•ฝ 141,760ํ–‰ = 4,430 step ร— 32) | ํ•œ ์ถœ์ฒ˜๊ฐ€ ๋ชฐ๋ ค ๋‚˜์˜ค์ง€ ์•Š๊ฒŒ ๊ณ ๋ฅด๊ฒŒ ์„ž๊ณ , ๊ฐ™์€ ๋ฌธํ•ญ์„ ์—ฌ๋Ÿฌ ๋ฒˆ ๋ฐ˜๋ณตํ•˜์ง€ ์•Š๋Š”๋‹ค (์ผ๋ถ€ ํ–‰๋งŒ ๋‘ ๋ฒˆ) |
| ๋ฐฐ์น˜ | 16 ร— ๊ธฐ์šธ๊ธฐ ๋ˆ„์  2 = 32 | |
| ํ•™์Šต๋ฅ  | 2e-4, cosine, warmup 3% | |
| ์ตœ๋Œ€ ๊ธธ์ด | 2,048 ํ† ํฐ | ๋„๊ตฌ ๋ชฉ๋ก์ด ๊ธด ๋ฌธํ•ญ๊นŒ์ง€ ํฌํ•จ |
| ์žฅ๋น„ | GPU 1์žฅ, ์•ฝ 3.5์‹œ๊ฐ„ | |
| ๋งˆ์ง€๋ง‰ ์ฒ˜๋ฆฌ | LoRA๋ฅผ ์›๋ณธ์— ํ•ฉ์ณ ํ•˜๋‚˜์˜ ๋ชจ๋ธ๋กœ ์ €์žฅ | ์“ธ ๋•Œ ์ถ”๊ฐ€ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ์—†์ด ํ‘œ์ค€ transformers๋กœ ๋กœ๋“œ |

### ํ•™์Šต ์ค‘ ํ™•์ธ

500 step๋งˆ๋‹ค ์ฒดํฌํฌ์ธํŠธ๋ฅผ ์ €์žฅํ•˜๊ณ , Korean JEV Benchmark์—์„œ ๊ณผ๋ชฉ๋งˆ๋‹ค 40๋ฌธํ•ญ(์ด 880๋ฌธํ•ญ)์„ ๋ฝ‘์•„ ์ •ํ™•๋„๋ฅผ ์Ÿ€์Šต๋‹ˆ๋‹ค.

| step | 500 | 1,000 | 1,500 | 2,000 | 2,500 | 3,000 | 3,500 | 4,000 | 4,430 |
|---|---|---|---|---|---|---|---|---|---|
| ์ „์ฒด (880๋ฌธํ•ญ) | 88.1 | 85.3 | 88.1 | 86.9 | 88.2 | 90.2 | 90.6 | 89.7 | 90.1 |
| ํ•™์Šต ์•ˆ ํ•œ ๊ณผ๋ชฉ (Belebele, 40๋ฌธํ•ญ) | 77.5 | 82.5 | 85.0 | 87.5 | 82.5 | 85.0 | 90.0 | 87.5 | 87.5 |
| ๊ฒ€์ฆ ์†์‹ค | 0.194 | 0.180 | 0.161 | 0.159 | 0.182 | 0.161 | 0.161 | 0.191 | 0.186 |

500 step ๋งŒ์— ํ˜•์‹์€ ๊ฑฐ์˜ ๋‹ค ์ตํžˆ๊ณ , ์ดํ›„์—๋Š” ํŒ๋‹จ ์ •ํ™•๋„๊ฐ€ ์ฒœ์ฒœํžˆ ์˜ค๋ฆ…๋‹ˆ๋‹ค. 3,000 step ์ดํ›„๋Š” ํ‘œ๋ณธ ์˜ค์ฐจ(ยฑ1~3%p) ์•ˆ์—์„œ ๋น„์Šทํ•ด์„œ, ํ•™์Šต๋ฅ ์ด ๋๊นŒ์ง€ ๋‚ด๋ ค๊ฐ„ ๋งˆ์ง€๋ง‰ ์ฒดํฌํฌ์ธํŠธ(4,430)๋ฅผ ์ตœ์ข… ๋ชจ๋ธ๋กœ ์ผ์Šต๋‹ˆ๋‹ค.

## 5. ํ™•๋ฅ  ๋ณด์ •

ํ•™์Šต ์งํ›„์˜ ํ™•๋ฅ ์€ ์‹ค์ œ ์ •๋‹ต๋ฅ ๋ณด๋‹ค ์•ฝ๊ฐ„ ์ž์‹ ๋งŒ๋งŒํ–ˆ์Šต๋‹ˆ๋‹ค. ๊ฒ€์ฆ์…‹ 3,089๋ฌธํ•ญ์—์„œ **ํ•˜๋‚˜์˜ ์˜จ๋„ T**๋ฅผ ์ฐพ์•„(์Œ์˜ ๋กœ๊ทธ์šฐ๋„ ์ตœ์†Œํ™”) ๋ชจ๋“  ํŒ์ •์— `softmax(์ ์ˆ˜ / T)`๋ฅผ ์”๋‹ˆ๋‹ค.

| | ๋ณด์ • ์ „ | ๋ณด์ • ํ›„ (T = 1.7179) |
|---|---|---|
| ๊ฒ€์ฆ์…‹ ์Œ์˜ ๋กœ๊ทธ์šฐ๋„ | 0.373 | 0.310 |
| ๊ฒ€์ฆ์…‹ ECE | 0.066 | **0.013** |
| Korean JEV ์ „์ฒด ECE | | 0.027 |

์˜จ๋„ ๋ณด์ •์€ ์ˆœ์œ„๋ฅผ ๋ฐ”๊พธ์ง€ ์•Š์œผ๋ฏ€๋กœ ์ •ํ™•๋„๋Š” ๊ทธ๋Œ€๋กœ์ด๊ณ , ํ™•๋ฅ ๋งŒ ์‹ค์ œ ์ •๋‹ต๋ฅ ์— ๋งž์ถฐ์ง‘๋‹ˆ๋‹ค. ๊ทธ๋ž˜์„œ โ€œํ™•์‹  70% ๋ฏธ๋งŒ์ด๋ฉด ์‚ฌ๋žŒ์—๊ฒŒโ€์ฒ˜๋Ÿผ ํ™•๋ฅ ์„ ๊ธฐ์ค€์œผ๋กœ ์“ธ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋‹ค๋งŒ ์ด ์˜จ๋„๋Š” ํ•™์Šต๊ณผ ๊ฐ™์€ ์ถœ์ฒ˜์˜ ๊ฒ€์ฆ์…‹์—์„œ ๋งž์ถ˜ ๊ฒƒ์ด๋ผ, ํ•™์Šตํ•˜์ง€ ์•Š์€ ๋ฒค์น˜๋งˆํฌ์—์„œ๋Š” ํ‰๊ท  ํ™•์‹ ์ด ์ •ํ™•๋„๋ณด๋‹ค ๋†’๊ฒŒ ๋‚˜์™”์Šต๋‹ˆ๋‹ค.

| ๋ฒค์น˜๋งˆํฌ | ์ •ํ™•๋„ | ํ‰๊ท  ํ™•์‹  | ์ฐจ์ด |
|---|---:|---:|---:|
| NSMC | 85.7 | 94.9 | +9.2 |
| Korean UnSmile | 82.1 | 91.4 | +9.3 |
| KorNLI | 74.5 | 83.6 | +9.1 |
| KLUE-STS | 85.9 | 87.4 | +1.5 |
| KMMLU | 42.6 | 52.9 | +10.2 |
| HAE-RAE 1.0 | 56.1 | 57.1 | +1.0 |

๋ณด์ • ์˜จ๋„๋Š” [`calibration.json`](calibration.json)์— ์žˆ๊ณ  [`judge.py`](judge.py)๊ฐ€ ์ž๋™์œผ๋กœ ์ ์šฉํ•ฉ๋‹ˆ๋‹ค.

## 6. ํ‰๊ฐ€

| ํ‰๊ฐ€ | ๋ฌด์—‡์„ ๋ณด๋‚˜ | ๊ฒฐ๊ณผ |
|---|---|---|
| ํ•™์Šตํ•˜์ง€ ์•Š์€ ๊ณต๊ฐœ ๋ฒค์น˜๋งˆํฌ 6์ข… | ๋‹ค๋ฅธ ์ถœ์ฒ˜ ๋ฐ์ดํ„ฐ์—์„œ์˜ ์ผ๋ฐ˜ํ™” | NSMC 85.7 ยท KLUE-STS 85.9 ยท UnSmile 82.1 ยท KorNLI 74.5 ยท HAE-RAE 56.1 ยท KMMLU 42.6 |
| Korean JEV Benchmark 25,418๋ฌธํ•ญ | ํ•™์Šตํ•œ ๊ณผ์ œ ์ข…๋ฅ˜์˜ ์ƒˆ ๋ฌธํ•ญ | 90.37% (๊ฐ™์€ ์ถœ์ฒ˜ ํ•™์Šต ๋ถ„ํ• ๋กœ ํ•™์Šตํ–ˆ์œผ๋ฏ€๋กœ ๋‹ค๋ฅธ ๋ชจ๋ธ๊ณผ์˜ 0-shot ๋น„๊ต ์•„๋‹˜) |
| ๋ณด๊ธฐ ์—ญ์ˆœ ์ผ์น˜ | ์œ„์น˜๊ฐ€ ์•„๋‹Œ ๋‚ด์šฉ์œผ๋กœ ๊ณ ๋ฅด๋Š”์ง€ | 97.93% |
| ECE | ํ™•๋ฅ ์„ ๋ฏฟ์„ ์ˆ˜ ์žˆ๋Š”์ง€ | 0.0265 |

์žฌํ˜„ ์Šคํฌ๋ฆฝํŠธ: [`eval/bench_heldout.py`](eval/bench_heldout.py) (ํ•™์Šตํ•˜์ง€ ์•Š์€ ๋ฒค์น˜๋งˆํฌ), [`eval/bench_compare.py`](eval/bench_compare.py) (๋‹ค๋ฅธ ๋ชจ๋ธ๊ณผ ๊ฐ™์€ ์กฐ๊ฑด ๋น„๊ต), [`eval/bench_speed.py`](eval/bench_speed.py) (์†๋„). `--url`๋กœ ์“ฐ๋Š” ํŒ์ • ์„œ๋ฒ„๋Š” ์ด ์ €์žฅ์†Œ์— ์—†์œผ๋‹ˆ, ์ง์ ‘ ๋Œ๋ฆด ๋•Œ๋Š” `--model .`๋กœ ๋‚ด๋ ค๋ฐ›์€ ๋ชจ๋ธ์„ ์“ฐ์„ธ์š”.

## 7. ํ•ด ๋ณด๊ณ  ์•Œ๊ฒŒ ๋œ ๊ฒƒ

- **ํ˜•์‹์ด ์ ˆ๋ฐ˜์ด๋‹ค.** ์›๋ณธ ๋ชจ๋ธ์€ ๊ฐ™์€ ์ง€์‹์ด ์žˆ์–ด๋„ ์ด ํ˜•์‹์œผ๋กœ ๋ฐ”๋กœ ๋‹ตํ•˜์ง€ ๋ชปํ–ˆ๋‹ค(29.6%). ํŒ์ • ๋ชจ๋ธ์—์„œ๋Š” ๋‹ต์„ ๋‚ด๋Š” ์ž๋ฆฌ์™€ ๋ฐฉ์‹์„ ๋งž์ถ”๋Š” ๊ฒƒ์ด ๊ฐ€์žฅ ํฐ ์ฐจ์ด๋ฅผ ๋งŒ๋“ ๋‹ค.
- **์—ญ์ˆœ ๋ฐ์ดํ„ฐ๋Š” ๊ฐ’์‹ธ๊ณ  ํšจ๊ณผ๊ฐ€ ํฌ๋‹ค.** ๊ฐ™์€ ๋ฌธํ•ญ์„ ๊ฑฐ๊พธ๋กœ ํ•œ ๋ฒˆ ๋” ๋„ฃ๋Š” ๊ฒƒ๋งŒ์œผ๋กœ ๋ณด๊ธฐ ์ˆœ์„œ ๊ฐ•๊ฑด์„ฑ์ด 97.9%๊ฐ€ ๋๋‹ค.
- **์ง€์‹œ๋ฌธ์˜ ํŒ๋‹จ ๊ธฐ์ค€ ํ•œ ๋ฌธ์žฅ์ด ์ค‘์š”ํ•˜๋‹ค.** ํ•™์Šตํ•˜์ง€ ์•Š์€ ๊ณผ์ œ์—์„œ๋„ ๊ธฐ์ค€์„ ๋ช…ํ™•ํžˆ ์“ฐ๋ฉด ์ •ํ™•๋„๊ฐ€ ํฌ๊ฒŒ ์˜ค๋ฅธ๋‹ค. ๋ฐ˜๋Œ€๋กœ ๊ธฐ์ค€์ด ์• ๋งคํ•˜๋ฉด(โ€œ๊ธด๊ธ‰๋„โ€์ฒ˜๋Ÿผ) ํ™•์‹ ๋„ ์ •ํ™•๋„๋„ ๋‚ฎ๋‹ค.
- **๋ณด์ •์€ ๋งž์ถ˜ ๋ถ„ํฌ ์•ˆ์—์„œ๋งŒ ๋งž๋Š”๋‹ค.** ๊ฒ€์ฆ์…‹ ECE๋Š” 0.013๊นŒ์ง€ ๋‚ด๋ ค๊ฐ”์ง€๋งŒ, ํ•™์Šตํ•˜์ง€ ์•Š์€ ์ถœ์ฒ˜์˜ ๋ฐ์ดํ„ฐ์—์„œ๋Š” ํ™•์‹ ์ด ์ •ํ™•๋„๋ณด๋‹ค ์ตœ๋Œ€ 10%p ๋†’์•˜๋‹ค. ํ™•๋ฅ ์„ ๊ธฐ์ค€์œผ๋กœ ์“ฐ๋ ค๋ฉด ์‹ค์ œ๋กœ ์“ธ ๋ฐ์ดํ„ฐ์—์„œ ๋‹ค์‹œ ํ™•์ธํ•ด์•ผ ํ•œ๋‹ค.
- **์ด ๋ฐฉ์‹์ด ๋ชปํ•˜๋Š” ๊ฒƒ๋„ ๋ถ„๋ช…ํ•˜๋‹ค.** ์ˆซ์ž ๋น„๊ตยท๊ณ„์‚ฐ, ๋ฌธ์žฅ์—์„œ ๊ฐ’ ๋ฝ‘๊ธฐ, ๊ธ€ ์ƒ์„ฑ์€ ์ด ๋ชจ๋ธ์˜ ๋ชซ์ด ์•„๋‹ˆ๋‹ค. ๋ฐ˜์–ดยท๋น„๊ผผ์€ ํ™•์‹ ์ด ๋†’์€ ์ฑ„๋กœ ํ‹€๋ฆฌ๋Š” ๊ฒฝ์šฐ๊ฐ€ ์žˆ๋‹ค.