Multiple Choice
Transformers
Safetensors
Korean
qwen3
text-generation
korean
classification
natural-language-inference
function-calling
tool-use
calibrated
Eval Results (legacy)
text-generation-inference
Instructions to use coderecode95/KJH-Judge-4B-ko with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use coderecode95/KJH-Judge-4B-ko with Transformers:
# pip install -U transformers accelerate # Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("coderecode95/KJH-Judge-4B-ko") model = AutoModelForCausalLM.from_pretrained("coderecode95/KJH-Judge-4B-ko", device_map="auto") - Notebooks
- Google Colab
- Kaggle
Update README.md
Browse files
README.md
CHANGED
|
@@ -92,451 +92,452 @@ model-index:
|
|
| 92 |
name: accuracy (0-shot
|
| 93 |
n=983): null
|
| 94 |
---
|
| 95 |
-
|
| 96 |
-
# KJH-Judge-4B-ko
|
| 97 |
-
|
| 98 |
-
> [Korean JEV Benchmark](https://huggingface.co/datasets/DaehanKim/korean-jev-benchmark)๋ฅผ ๋ณด๊ณ ํ์ ๋ชจ๋ธ์ ์ง์ ๋ง๋ค์ด ๋ณธ **๊ฐ์ธ ํ์ต ํ๋ก์ ํธ**์
๋๋ค. ์๋ ์์น๋ ๋ชจ๋ ์ง์ ์ฐ ๊ฒฐ๊ณผ์ด๋ฉฐ, ์ค์๋น์ค์์ ๊ฒ์ฆํ ๋ชจ๋ธ์ ์๋๋๋ค.
|
| 99 |
-
|
| 100 |
-
**์ ํด์ง ๋ณด๊ธฐ ์ค ํ๋๋ฅผ ๊ณจ๋ผ, ๋ณด์ ๋ ํ๋ฅ ๊ณผ ํจ๊ป ๋๋ ค์ฃผ๋ ํ๊ตญ์ด ํ์ ๋ชจ๋ธ์
๋๋ค.** ๊ฐ์ ยท์ฃผ์ ๋ถ๋ฅ, ๋ฌธ์ฅ ๊ด๊ณ(ํจ์ยท๋ชจ์), ํ์ค ํํ ๊ฒ์, ์ ์ฑ
์ ๋ฐ๋ฅธ ํ๋ ์ ํ, ์์ด์ ํธ์ ๋๊ตฌ ํธ์ถ ํ๋จ(๋๊ตฌ ํธ์ถ / ๋๋ฌป๊ธฐ / ์ง์ ๋ต๋ณ) ๊ฐ์ ์ผ์ ์๋๋ค. ๋ค๋ฅธ ๋ชจ๋ธ์ ๋ต๋ณ์ ์ฑ์ ํ๋ LLM-as-a-judge ๋ชจ๋ธ์ด ์๋๋๋ค.
|
| 101 |
-
|
| 102 |
-
> **English summary.** A personal learning project: a Korean decision model fine-tuned from Qwen3-4B. Given a task description, an item, and 2โ26 options, it returns the chosen option with **calibrated probabilities** from a single forward pass (no text generation, ~tens of ms per decision on a GPU). Good for classification, NLI, moderation, policy actions, and tool-call routing. It does not generate text, extract spans, or do numeric reasoning.
|
| 103 |
-
|
| 104 |
-

|
| 105 |
-
|
| 106 |
-
## ์ด ๋ชจ๋ธ์ ํน์ง
|
| 107 |
-
|
| 108 |
-
- **๋ณด๊ธฐ ๊ณ ๋ฅด๊ธฐ๋ง ํฉ๋๋ค.** ๊ธ์ ์์ฑํ์ง ์๊ณ ํ๋กฌํํธ๋ฅผ ํ ๋ฒ ๊ณ์ฐํ ๋ค, ๋ณด๊ธฐ ๊ธฐํธ(A, B, โฆ) ํ ํฐ์ ์ ์๋ง ์ฝ์ต๋๋ค. ๊ทธ๋์ ๋น ๋ฅด๊ณ (GPU ์๋ฒ ์ ๊ณ์ฐ ๊ธฐ์ค ํ์ ํ ๋ฒ ์ฝ 90ms), ๋ต์ด ํญ์ ๋ณด๊ธฐ ์ค ํ๋์
๋๋ค.
|
| 109 |
-
- **ํ๋ฅ ์ด ๋ณด์ ๋์ด ์์ต๋๋ค.** ๊ฒ์ฆ์
์ผ๋ก ๋ง์ถ ์จ๋(1.72)๋ก ๋ณด์ ํด, Korean JEV Benchmark์์ ๊ธฐ๋ ๋ณด์ ์ค์ฐจ(ECE)๊ฐ 0.027์
๋๋ค. โํ์ 70% ๋ฏธ๋ง์ด๋ฉด ์ฌ๋์๊ฒ ๋๊ธฐ๊ธฐโ ๊ฐ์ ๊ธฐ์ค์ ๊ฑธ ์ ์์ต๋๋ค. ๋ค๋ง ํ์ตํ์ง ์์ ์ถ์ฒ์ ๋ฐ์ดํฐ์์๋ ํ๊ท ํ์ ์ด ์ ํ๋๋ณด๋ค ์ต๋ 10%p ์ ๋ ๋๊ฒ ๋
|
| 110 |
-
- **๋ณด๊ธฐ ์์์ ํ๋ค๋ฆฌ์ง ์์ต๋๋ค.** ๋ณด๊ธฐ๋ฅผ ์ ํํ ๊ฑฐ๊พธ๋ก ๋๊ณ ๋ค์ ๋ฌผ์ด๋ 97.9%๊ฐ ๊ฐ์ ๋ต์
๋๋ค.
|
| 111 |
-
|
| 112 |
-
## ๋น ๋ฅด๊ฒ ์์ํ๊ธฐ
|
| 113 |
-
|
| 114 |
-
```bash
|
| 115 |
-
pip install torch "transformers>=5" accelerate
|
| 116 |
-
```
|
| 117 |
-
|
| 118 |
-
```python
|
| 119 |
-
from transformers import pipeline
|
| 120 |
-
|
| 121 |
-
judge = pipeline(model="coderecode95/KJH-Judge-4B-ko", trust_remote_code=True,
|
| 122 |
-
device=0, dtype="bfloat16") # GPU๊ฐ ์์ผ๋ฉด device, dtype ๋ฅผ ๋นผ์ธ์ (๋งค์ฐ ๋๋ฆผ)
|
| 123 |
-
```
|
| 124 |
-
|
| 125 |
-
์ฐ๋ ๋ฐฉ๋ฒ์ ์ธ ๊ฐ์ง์ด๊ณ , **๊ฒฐ๊ณผ๋ ๋ชจ๋ ๊ฐ์ ๋ชจ์**์
๋๋ค.
|
| 126 |
-
|
| 127 |
-
```python
|
| 128 |
-
{'choice': '๊ธ์ ', 'confidence': 0.97, 'probabilities': {'๊ธ์ ': 0.97, '๋ถ์ ': 0.03}}
|
| 129 |
-
# ๊ณ ๋ฅธ ๋ณด๊ธฐ ๊ทธ ๋ณด๊ธฐ์ ํ๋ฅ (๋ณด์ ๋จ) ๋ณด๊ธฐ๋ณ ํ๋ฅ
|
| 130 |
-
```
|
| 131 |
-
|
| 132 |
-
#### 1. ์์ฃผ ์ฐ๋ ํ์ โ ๋ฉ์๋ ํ๋๋ก
|
| 133 |
-
|
| 134 |
-
ํ์ต ๋์ ๊ฐ์ ์ง์นจยท๋ณด๊ธฐ ๋ฌธ๊ตฌ๊ฐ ์๋์ผ๋ก ๋ค์ด๊ฐ์, ๋ฐ๋ก ํ๋กฌํํธ๋ฅผ ์ธ ํ์๊ฐ ์๊ณ ์ ํ๋๋ ๊ฐ์ฅ ์ ๋์ต๋๋ค.
|
| 135 |
-
|
| 136 |
-
```python
|
| 137 |
-
judge.sentiment("๋ฐฐ์ก์ ๋๋ ธ์ง๋ง ๋ฌผ๊ฑด์ ์ ๋ง ๋ง์์ ๋ค์ด์") # โ ๊ธ์
|
| 138 |
-
judge.nli("๋ณด์ฆ๊ธ์ ํด๊ฑฐ ํ 30์ผ ์ด๋ด ๋ฐํํ๋ค.", "๋ณด์ฆ๊ธ์ ํด๊ฑฐ 40์ผ ๋ค์ ๋ฐ๋๋ค.") # โ contradiction
|
| 139 |
-
judge.next_action("๊ฐ๋จ์ญ์์ ์์ธ์ญ๊น์ง ํ์ ๋ถ๋ฌ์ค", tools) # โ CALL:call_taxi
|
| 140 |
-
```
|
| 141 |
-
|
| 142 |
-
| ๋ฉ์๋ | ํ์ | ๊ณ ๋ฅด๋ ๊ฐ |
|
| 143 |
-
|---|---|---|
|
| 144 |
-
| `sentiment(๋ฌธ์ฅ)` | ๊ฐ์ | ๊ธ์ / ๋ถ์ |
|
| 145 |
-
| `topic(๋ด์ค ์ ๋ชฉ)` | ๋ด์ค ์ฃผ์ | ์ฌํ / IT๊ณผํ / ์ธ๊ณ / ์ํ๋ฌธํ / ์ ์น / ์คํฌ์ธ / ๊ฒฝ์ |
|
| 146 |
-
| `hate(๋ฌธ์ฅ)` | ํ์คยท๋นํ ํํ | ๋นํ์ค / ํ์ค |
|
| 147 |
-
| `offensive(๋๊ธ, news_title=None)` | ๋๊ธ ๊ณต๊ฒฉ์ฑ 3๋จ๊ณ | ์์ / ๊ณต๊ฒฉ์ / ํ์ค |
|
| 148 |
-
| `nli(์ ์ , ๊ฐ์ค)` | ๋ฌธ์ฅ ๊ด๊ณ | entailment / contradiction / neutral |
|
| 149 |
-
| `similar(๋ฌธ์ฅ1, ๋ฌธ์ฅ2)` | ๊ฐ์ ๋ป์ธ์ง | ๊ฐ์ / ๋ค๋ฆ |
|
| 150 |
-
| `yes_no(์ง๋ฌธ, ์ง๋ฌธ)` | ์ง๋ฌธ ๊ทผ๊ฑฐ ์/์๋์ค | ์ / ์๋์ค |
|
| 151 |
-
| `same_meaning(๋จ์ด, ๋ฌธ๋งฅ1, ๋ฌธ๋งฅ2)` | ๋จ์ด ๋ป์ด ๊ฐ์์ง | ๊ฐ์ / ๋ค๋ฆ |
|
| 152 |
-
| `reading(์ง๋ฌธ, ์ง๋ฌธ, ๋ณด๊ธฐ)` | ๋
ํด ๊ฐ๊ด์ | ๋ณด๊ธฐ ์ค ํ๋ |
|
| 153 |
-
| `next_action(๋ํ, ๋๊ตฌ ๋ชฉ๋ก)` | ์์ด์ ํธ ๋ค์ ํ๋ | CALL:<๋๊ตฌ> / ASK / RESPOND |
|
| 154 |
-
| `policy_action(์ ์ฑ
, ๊ณ ๊ฐ ์์ฒญ)` | ์ ์ฑ
์ ๋ฐ๋ฅธ ํ๋ | ANSWER / ASK_CLARIFICATION / ASK_CONFIRMATION / CALL_TOOL / CALL_MULTIPLE_TOOLS / ESCALATE / REFUSE |
|
| 155 |
-
|
| 156 |
-
๋ฌธ์ฅ ํ๋๋ง ๋ฐ๋ ๋ฉ์๋(`sentiment`, `topic`, `hate`, `nli` ๋ฑ)๋ **๋ฆฌ์คํธ๋ฅผ ๋ฃ์ผ๋ฉด ์ฌ๋ฌ ๊ฐ๋ฅผ ํ ๋ฒ์** ํ์ ํฉ๋๋ค.
|
| 157 |
-
|
| 158 |
-
#### 2. ๋ด ํ์ ๋ง๋ค๊ธฐ โ JEV ํ์
|
| 159 |
-
|
| 160 |
-
[Korean JEV Benchmark](https://huggingface.co/datasets/DaehanKim/korean-jev-benchmark)ยทJEV API์ ๊ฐ์ ๋ชจ์์
๋๋ค. **์ํฉ(`state`) ํ๋์ ์ด๋ฆ ๋ถ์ธ ์ง๋ฌธ ์ฌ๋ฌ ๊ฐ**๋ฅผ ํ ๋ฒ์ ๋ฌป๊ณ , ๋ณด๊ธฐ์๋ **๋ด๊ฐ ์ธ ID**๋ฅผ ๋ถ์
๋๋ค. ๊ฒฐ๊ณผ๋ ๊ทธ ID๋ก ๋์์ต๋๋ค.
|
| 161 |
-
|
| 162 |
-
```python
|
| 163 |
-
judge.decide(
|
| 164 |
-
state={"๊ณ ๊ฐ ๋ฌธ์": "์ง๋๋ฌ
|
| 165 |
-
questions={
|
| 166 |
-
"๋ถ์": {
|
| 167 |
-
"instructions": "๊ณ ๊ฐ ๋ฌธ์๋ฅผ ๋ด๋น ๋ถ์๋ก ๋ถ๋ฅํ๋ค.",
|
| 168 |
-
"criteria": {"billing": "๊ฒฐ์ ยทํ๋ถ", "delivery": "๋ฐฐ์ก", "account": "๊ณ์ ยท๋ก๊ทธ์ธ"},
|
| 169 |
-
},
|
| 170 |
-
"๊ธด๊ธ": {
|
| 171 |
-
"instructions": "๊ณ ๊ฐ์ด ์ฆ์ ์ฒ๋ฆฌ๋ฅผ ์๊ตฌํ๋์ง ํ๋จํ๋ค.",
|
| 172 |
-
"criteria": {"urgent": "์ฆ์ ์ฒ๋ฆฌ ์๊ตฌ", "normal": "์ผ๋ฐ ๋ฌธ์"},
|
| 173 |
-
},
|
| 174 |
-
},
|
| 175 |
-
)
|
| 176 |
-
# {'๋ถ์': {'choice': 'billing', 'confidence': 0.9โฆ, 'probabilities': {...}},
|
| 177 |
-
# '๊ธด๊ธ': {'choice': 'urgent', 'confidence': 0.9โฆ, 'probabilities': {...}}}
|
| 178 |
-
```
|
| 179 |
-
|
| 180 |
-
- **`state`**: ํ๋จํ ๋ด์ฉ. `{"์ด๋ฆ": ๊ฐ}`์ด ํ๋กฌํํธ์ ํ ์ค์ฉ ๋ค์ด๊ฐ๋๋ค. ๋ฌธ์ฅ ํ๋๋ฉด ๊ทธ๋ฅ ๋ฌธ์์ด๋ก ๋ฃ์ด๋ ๋ฉ๋๋ค.
|
| 181 |
-
- **`instructions`**: ๋ฌด์์ ์ด๋ค ๊ธฐ์ค์ผ๋ก ๊ณ ๋ฅผ์ง. ํ๋จ ๊ธฐ์ค์ ํ๋ ๋ฌธ์ฅ ๋ง๋ถ์ด๋ฉด(์: โ๋ฐ์ด๋ฅผ ๊ณ ๋ คํ๋คโ) ์ ํ๋๊ฐ ํฌ๊ฒ ์ค๋ฆ
๋๋ค.
|
| 182 |
-
- **`criteria`**: `{ID: ์ค๋ช
}`, 2~26๊ฐ. ID๋ ๊ฒฐ๊ณผ๋ก ๋๋ ค๋ฐ๋ ๊ฐ์ด๊ณ , ๋ชจ๋ธ์ ์ค๋ช
์ ๋ณด๊ณ ๊ณ ๋ฆ
๋๋ค. ID๊ฐ ํ์ ์์ผ๋ฉด `["๊ฒฐ์ ยทํ๋ถ", "๋ฐฐ์ก"]`์ฒ๋ผ ๋ฆฌ์คํธ๋ก ๋ฃ์ด๋ ๋ฉ๋๋ค.
|
| 183 |
-
|
| 184 |
-
#### 3. ํ ์ค๋ก
|
| 185 |
-
|
| 186 |
-
```python
|
| 187 |
-
judge("์ง๋๋ฌ ์๊ธ์ด ๋ ๋ฒ ๋น ์ ธ๋๊ฐ์ด์", choices=["๊ฒฐ์ ยทํ๋ถ", "๋ฐฐ์ก", "๊ธฐํ"],
|
| 188 |
-
instruction="๊ณ ๊ฐ ๋ฌธ์๋ฅผ ๋ด๋น ๋ถ์๋ก ๋ถ๋ฅํ๋ค.")
|
| 189 |
-
```
|
| 190 |
-
|
| 191 |
-
`judge.decide`์์ ์ง๋ฌธ์ด ํ๋์ผ ๋์ ๊ฐ์ต๋๋ค. ๋ฆฌ์คํธ๋ฅผ ๋ฃ๊ณ `batch_size=8`์ฒ๋ผ ์ฃผ๋ฉด ๋ฌถ์ด์ ๊ณ์ฐํฉ๋๋ค.
|
| 192 |
-
|
| 193 |
-
---
|
| 194 |
-
|
| 195 |
-
`trust_remote_code=True`๋ ์ด ์ ์ฅ์์ [`judge_pipeline.py`](judge_pipeline.py)์ [`judge.py`](judge.py)(ํ๋กฌํํธ ๋ง๋ค๊ธฐ์ ๋ณด๊ธฐ ์ ์ ๊ณ์ฐ)๋ฅผ ์คํํ๋ค๋ ๋ป์
๋๋ค. ์๊ฒฉ ์ฝ๋๋ฅผ ์ฐ๊ณ ์ถ์ง ์์ผ๋ฉด `judge.py`๋ฅผ ๋ด๋ ค๋ฐ์ `from judge import Judge; judge = Judge()`๋ก ๋๊ฐ์ด ์ธ ์ ์์ต๋๋ค. [`quickstart.ipynb`](quickstart.ipynb)์ ์์๋ฅผ ๋ชจ์ ๋์์ต๋๋ค.
|
| 196 |
-
|
| 197 |
-
## ์ฌ์ฉ ์์
|
| 198 |
-
|
| 199 |
-
์ด ๋ชจ๋ธ์ **โ๋ฌด
|
| 200 |
-
|
| 201 |
-
### 1. ๊ณ ๊ฐ ๋ฌธ์ ๋ถ๋ฅ โ ๋ถ์์ ๊ธด๊ธ๋๋ฅผ ํ ๋ฒ์
|
| 202 |
-
|
| 203 |
-
๋ฌธ์ ํ๋๋ฅผ ์ฌ๋ฌ ๊ด์ ์ผ๋ก ๋์์ ๋ถ๋ฅํฉ๋๋ค. ์ง๋ฌธ๋ง๋ค ๋ณด๊ธฐ ID๋ฅผ ์ ํด ๋๋ฉด ๊ฒฐ๊ณผ๋ฅผ ๋ฐ๋ก ์
๋ฌด ์ฝ๋์ ์ฐ๊ฒฐํ ์ ์์ต๋๋ค.
|
| 204 |
-
|
| 205 |
-
```python
|
| 206 |
-
def route_ticket(text):
|
| 207 |
-
r = judge.decide(
|
| 208 |
-
state={"๊ณ ๊ฐ ๋ฌธ์": text},
|
| 209 |
-
questions={
|
| 210 |
-
"๋ถ์": {
|
| 211 |
-
"instructions": "๊ณ ๊ฐ ๋ฌธ์๋ฅผ ๋ด๋น ๋ถ์๋ก ๋ถ๋ฅํ๋ค. ์ฌ๋ฌ ๋ด์ฉ์ด ์์ฌ ์์ผ๋ฉด ๊ณ ๊ฐ์ด ํด๊ฒฐ์ ์ํ๋ ๋ฌธ์ ๋ฅผ ์ฐ์ ํ๋ค.",
|
| 212 |
-
"criteria": {"billing": "๊ฒฐ์ ยทํ๋ถ", "delivery": "๋ฐฐ์ก", "account": "๊ณ์ ยท๋ก๊ทธ์ธ",
|
| 213 |
-
"product": "์ ํ ์ฌ์ฉยท๊ณ ์ฅ", "other": "๊ธฐํ"},
|
| 214 |
-
},
|
| 215 |
-
"๊ธด๊ธ": {
|
| 216 |
-
"instructions": "๊ณ ๊ฐ์ด ์ฆ์ ์ฒ๋ฆฌ๋ฅผ ์๊ตฌํ๊ฑฐ๋ ๊ธ์ ํผํด๊ฐ ์งํ ์ค์ธ์ง ํ๋จํ๋ค.",
|
| 217 |
-
"criteria": {"urgent": "์ฆ์ ์ฒ๋ฆฌ ํ์", "normal": "์ผ๋ฐ ์ฒ๋ฆฌ"},
|
| 218 |
-
},
|
| 219 |
-
},
|
| 220 |
-
)
|
| 221 |
-
return r["๋ถ์"]["choice"], r["๊ธด๊ธ"]["choice"]
|
| 222 |
-
|
| 223 |
-
route_ticket("์ง๋๋ฌ ์๊ธ์ด ๋ ๋ฒ ๋น ์ ธ๋๊ฐ์ด์. ์ค๋ ์์ ํ๋ถํด ์ฃผ์ธ์.") # ('billing', 'urgent')
|
| 224 |
-
```
|
| 225 |
-
|
| 226 |
-
- ์ง์นจ์ **ํท๊ฐ๋ฆฌ๋ ๊ฒฝ์ฐ์ ๊ธฐ์ค**์ ํ ๋ฌธ์ฅ ๋ฃ์ผ๋ฉด(โ์ฌ๋ฌ ๋ด์ฉ์ด ์์ฌ ์์ผ๋ฉด โฆ์ ์ฐ์ ํ๋คโ) ์ ํ๋๊ฐ ์ค๋ฆ
๋๋ค.
|
| 227 |
-
- ๋ณด๊ธฐ์ `๊ธฐํ`๋ฅผ ๋๋ฉด ์ด๋์๋ ์ ๋ง๋ ๋ฌธ์๋ฅผ ์ต์ง๋ก ๋ผ์ ๋ฃ์ง ์์ต๋๋ค.
|
| 228 |
-
|
| 229 |
-
### 2. ๋ฆฌ๋ทฐ ๊ฐ์ ๋ถ์ โ ๋๋ ์ฒ๋ฆฌ์ ์ฌ๋ ๊ฒํ ๊ธฐ์ค
|
| 230 |
-
|
| 231 |
-
๋ฆฌ์คํธ๋ก ๋ฃ์ผ๋ฉด ๋ฌถ์ด์ ๊ณ์ฐํฉ๋๋ค. ํ์ ์ด ๋ฎ์ ๊ฑด ๋ฐ๋ก ๋ชจ์ ์ฌ๋์ด ๋ด
๋๋ค.
|
| 232 |
-
|
| 233 |
-
```python
|
| 234 |
-
reviews = ["๋ฐฐ์ก ์ฐธ ๋น ๋ฅด๋ค์. 2์ฃผ ๊ฑธ๋ ธ์ด์", "๊ฐ๊ฒฉ ๋๋น ๊ด์ฐฎ์์", "๋ค์๋ ์ ์ฝ๋๋ค", "๊ทธ๋ฅ ๊ทธ๋์"]
|
| 235 |
-
results = judge.sentiment(reviews)
|
| 236 |
-
|
| 237 |
-
auto = [(t, r["choice"]) for t, r in zip(reviews, results) if r["confidence"] >= 0.7]
|
| 238 |
-
review = [t for t, r in zip(reviews, results) if r["confidence"] < 0.7] # ์ฌ๋์ด ํ์ธ
|
| 239 |
-
```
|
| 240 |
-
|
| 241 |
-
- **๋ฐ์ดยท๋น๊ผผ**(โ๋ฐฐ์ก ์ฐธ ๋น ๋ฅด๋ค์. 2์ฃผ ๊ฑธ๋ ธ์ด์โ)์ ๋์ ํ์ ์ผ๋ก ํ๋ฆฌ๊ธฐ๋ ํฉ๋๋ค. ์ค์ํ ๊ณณ์๋ ํ๋ณธ์ ์ฌ๋์ด ๋ค์ ๋ณด์ธ์.
|
| 242 |
-
- ๊ธฐ์ค๊ฐ 0.7์ ์์์
๋๋ค. ์ค์ ๋ฐ์ดํฐ ์๋ฐฑ ๊ฑด์ ์ ๋ต์ ๋ฌ์ ๋ณด๊ณ โ์ด ๊ธฐ์ค ์ด์์ด๋ฉด ๋ช %๊ฐ ๋ง๋์งโ๋ฅผ ํ์ธํด ์ ํ์ธ์.
|
| 243 |
-
|
| 244 |
-
### 3. ๋ฆฌ๋ทฐ๋ฅผ ์ฌ๋ฌ ์ธก๋ฉด์ผ๋ก โ ๋ฐฐ์กยทํ์งยท๊ฐ๊ฒฉ ๊ฐ๊ฐ
|
| 245 |
-
|
| 246 |
-
ํ
|
| 247 |
-
|
| 248 |
-
```python
|
| 249 |
-
ASPECT = {"pos": "๊ธ์ ์ ์ผ๋ก ์ธ๊ธ", "neg": "๋ถ์ ์ ์ผ๋ก ์ธ๊ธ", "none": "์ธ๊ธํ์ง ์์"}
|
| 250 |
-
|
| 251 |
-
judge.decide(
|
| 252 |
-
state={"๋ฆฌ๋ทฐ": "๋ฐฐ์ก์ ํ๋ฃจ ๋ง์ ์๋๋ฐ ๋ง๊ฐ์ด ์๋ง์ด๋ค์. ์ด ๊ฐ๊ฒฉ์ด๋ฉด ๊ทธ๋ฅ ๊ทธ๋์."},
|
| 253 |
-
questions={
|
| 254 |
-
"๋ฐฐ์ก": {"instructions": "๋ฆฌ๋ทฐ๊ฐ ๋ฐฐ์ก(์๋ยทํฌ์ฅ)์ ์ด๋ป๊ฒ ์ธ๊ธํ๋์ง ๊ณ ๋ฅธ๋ค.", "criteria": ASPECT},
|
| 255 |
-
"ํ์ง": {"instructions": "๋ฆฌ๋ทฐ๊ฐ ์ ํ ํ์ง(๋ง๊ฐยท๋ด๊ตฌ์ฑยท์ฑ๋ฅ)์ ์ด๋ป๊ฒ ์ธ๊ธํ๋์ง ๊ณ ๋ฅธ๋ค.", "criteria": ASPECT},
|
| 256 |
-
"๊ฐ๊ฒฉ": {"instructions": "๋ฆฌ๋ทฐ๊ฐ ๊ฐ๊ฒฉยท๊ฐ์ฑ๋น๋ฅผ ์ด๋ป๊ฒ ์ธ๊ธํ๋์ง ๊ณ ๋ฅธ๋ค. ์ ๋งคํ ํ๊ฐ๋ ์ธ๊ธํ ๊ฒ์ผ๋ก ๋ณด๋ ๊ธ์ ยท๋ถ์ ์ ๋ฌธ๋งฅ์ผ๋ก ํ๋จํ๋ค.", "criteria": ASPECT},
|
| 257 |
-
},
|
| 258 |
-
)
|
| 259 |
-
# {'๋ฐฐ์ก': {'choice': 'pos', โฆ}, 'ํ์ง': {'choice': 'neg', โฆ}, '๊ฐ๊ฒฉ': {โฆ}}
|
| 260 |
-
```
|
| 261 |
-
|
| 262 |
-
### 4. ๋๊ธ ๊ฒ์ โ ํ์ค ์ฌ๋ถ์ ๊ณต๊ฒฉ์ฑ ์์ค
|
| 263 |
-
|
| 264 |
-
`hate`๋ก ์ฐจ๋ณยท๋นํ ์ฌ๋ถ๋ฅผ ๊ฑฐ๋ฅด๊ณ , `offensive`๋ก ๊ณต๊ฒฉ์ฑ ์์ค์ ๋๋๋๋ค. ๊ธฐ์ฌ ๋๊ธ์ด๋ฉด ์ ๋ชฉ์ ๋ฌธ๋งฅ์ผ๋ก ํจ๊ป ๋ฃ์ต๋๋ค.
|
| 265 |
-
|
| 266 |
-
```python
|
| 267 |
-
comment = "์ด๋ฐ ๊ธฐ์ฌ ์ฐ๋ ๊ธฐ์๋ ๋จธ๋ฆฌ๊ฐ ์๋ ๊ฑด์ง"
|
| 268 |
-
|
| 269 |
-
judge.hate(comment) # ๋นํ์ค / ํ์ค
|
| 270 |
-
judge.offensive(comment, news_title="์ ๋ถ, ๋ด๋
์์ฐ์ ๋ฐํ") # ์์ / ๊ณต๊ฒฉ์ / ํ์ค
|
| 271 |
-
```
|
| 272 |
-
|
| 273 |
-
- ๋ ๋ฉ์๋๋ ๊ธฐ์ค์ด ๋ค๋ฆ
๋๋ค. `hate`๋ ์ฑ๋ณยท๋์ดยท์ถ์ ๊ฐ์ ์ง๋จ์ ๋ํ ์ฐจ๋ณยท๋นํ(APEACH ๊ธฐ์ค), `offensive`๋ ๊ฐ์ธ์ ํฅํ ๋ชจ์๊น์ง ํฌํจํ ๊ณต๊ฒฉ์ฑ 3๋จ๊ณ(BEEP ๊ธฐ์ค)์
๋๋ค.
|
| 274 |
-
- ์ฌ๋์๊ฒ ๋ถ์ด์ต์ ์ฃผ๋ ๊ฒฐ์ (์ญ์ ยท์ ์ฌ)์ ์ธ ๋๋ ํ์ ์ด ๋ฎ์ ๊ฑด ๋ฐ๋์ ์ฌ๋์ด ๊ฒํ ํ๊ฒ ํ์ธ์.
|
| 275 |
-
|
| 276 |
-
### 5. ์์ด์ ํธ ๋ผ์ฐํฐ โ ๋๊ตฌ ํธ์ถ / ๋๋ฌป๊ธฐ / ์ง์ ๋ต๋ณ
|
| 277 |
-
|
| 278 |
-
์์ด์ ํธ๊ฐ ๋งค ํด ํฐ ๋ชจ๋ธ์ โ๋ค์์ ๋ญ ํ ์งโ๋ฅผ ๋ฌป๋ ๋์ , ์ด ๋ชจ๋ธ์ด ๋จผ์ ์ ํฉ๋๋ค. ๋๊ตฌ ์ธ์ ์ฑ์ฐ๊ธฐ์ ๋ต๋ณ ์์ฑ๋ง ํฐ ๋ชจ๋ธ์ ๋งก๊น๋๋ค.
|
| 279 |
-
|
| 280 |
-
```python
|
| 281 |
-
tools = [
|
| 282 |
-
{"type": "function", "function": {"name": "call_taxi", "description": "ํ์๋ฅผ ํธ์ถํ๋ค",
|
| 283 |
-
"parameters": {"type": "object", "properties": {"pickup": {"type": "string"}, "destination": {"type": "string"}},
|
| 284 |
-
"required": ["pickup", "destination"]}}},
|
| 285 |
-
{"type": "function", "function": {"name": "get_weather", "description": "์ง์ญ์ ํ์ฌ ๋ ์จ๋ฅผ ์๋ ค์ค๋ค",
|
| 286 |
-
"parameters": {"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]}}},
|
| 287 |
-
]
|
| 288 |
-
messages = [{"role": "user", "content": "๊ฐ๋จ์ญ์์ ์์ธ์ญ๊น์ง ํ์ ๋ถ๋ฌ์ค"}]
|
| 289 |
-
|
| 290 |
-
r = judge.next_action(messages, tools)
|
| 291 |
-
if r["confidence"] < 0.7:
|
| 292 |
-
action = "ํฐ ๋ชจ๋ธ์๊ฒ ๋ค์ ํ๋์ ๋งก๊น"
|
| 293 |
-
elif r["choice"].startswith("CALL:"):
|
| 294 |
-
action = f"ํฐ ๋ชจ๋ธ๋ก {r['choice'][5:]} ์ ์ธ์๋ฅผ ์ฑ์ ํธ์ถ" # ์ด ๋ชจ๋ธ์ ์ธ์๋ฅผ ์ฑ์ฐ์ง ๋ชปํฉ๋๋ค
|
| 295 |
-
elif r["choice"] == "ASK":
|
| 296 |
-
action = "๋น ์ง ํ์ ์ ๋ณด๋ฅผ ์ฌ์ฉ์์๊ฒ ๋๋ฌป๊ธฐ"
|
| 297 |
-
else: # RESPOND
|
| 298 |
-
action = "๋๊ตฌ ์์ด ๋ฐ๋ก ๋ต๋ณ"
|
| 299 |
-
```
|
| 300 |
-
|
| 301 |
-
- ๋๊ตฌ๋ **OpenAI ํ์ ๊ทธ๋๋ก**, ํนํ `required`๋ฅผ ๊ผญ ๋ฃ์ผ์ธ์. ์ด๋ฆ๋ง ์ฃผ๋ฉด ํ์ ์ธ์๋ฅผ ๋ณผ ์ ์์ด ASK์ CALL์ ๊ตฌ๋ณํ์ง ๋ชปํฉ๋๋ค.
|
| 302 |
-
- ๋ํ ๊ธฐ๋ก(์ ํด, ๋๊ตฌ ๊ฒฐ๊ณผ `{"role": "tool", โฆ}`)์ ํจ๊ป ๋ฃ์ผ๋ฉด โ์ด๋ฏธ ์ฒ๋ฆฌ๋์ผ๋ ๊ฒฐ๊ณผ ์๋ด(RESPOND)โ ๊ฐ์ ํ๋จ๋ ํฉ๋๋ค.
|
| 303 |
-
- ๋๊ตฌ๋ ์ต๋ 24๊ฐ๊น์ง ๋ฃ์ ์ ์์ต๋๋ค (๋ณด๊ธฐ 26๊ฐ ์ค 2๊ฐ๊ฐ ASKยทRESPOND).
|
| 304 |
-
|
| 305 |
-
### 6. ์ ์ฑ
์ ๋ฐ๋ฅธ ๊ณ ๊ฐ์ผํฐ ํ๋ ๊ฒฐ์
|
| 306 |
-
|
| 307 |
-
์ ์ฑ
๋ฌธ์์ ๊ณ ๊ฐ ์์ฒญ์ ์ฃผ๋ฉด ์คํ / ํ์ธ / ๋๋ฌป๊ธฐ / ์ด๊ด / ๊ฑฐ์ ์ค ๋ฌด์์ ํ ์ง ๊ณ ๋ฆ
๋๋ค. ์์ธ ์กฐํญ์ด ์ ์ฉ๋๋์ง๊น์ง ๋ฐ์ง๋๋ค.
|
| 308 |
-
|
| 309 |
-
```python
|
| 310 |
-
policy = ("ํด์ธ ์นด๋ ์น์ธ ๊ธ์ก์ด 100,000์ ์ด์์ด๋ฉด ๊ณ ๊ฐ์ ํ์ธ์ ๋ฐ์ ํ์๋ง ์คํํ๋ค. "
|
| 311 |
-
"๋ค๋ง VIP ๋ฑ๊ธ ๊ณ ๊ฐ์ ํ์ธ ์์ด ๋ฐ๋ก ์คํํ๋ค.")
|
| 312 |
-
|
| 313 |
-
judge.policy_action(policy, "ํ์ฝฉ์์ ์นด๋๋ก 149,000์ ๊ฒฐ์ ํ๋ ค๋๋ฐ ์น์ธํด์ค. ๋ด ๋ฑ๊ธ์ ์ผ๋ฐ์ด์ผ.")
|
| 314 |
-
# โ ASK_CONFIRMATION (๊ธ์ก ๊ธฐ์ค์ ๋์๊ณ VIP ์์ธ๊ฐ ์๋)
|
| 315 |
-
```
|
| 316 |
-
|
| 317 |
-
- ์ ์ฑ
์ **์ ํ ์๋ ๊ฒ๋ง** ๊ทผ๊ฑฐ๋ก ํ๋จํ๋๋ก ํ์ตํ์ต๋๋ค. ์ค์ ์
๋ฌด ๊ท์ ์ ๋ชจ๋ธ์ด ์์์ ๋ณด์ถฉํ์ง ์์ผ๋, ํ์ํ ์กฐ๊ฑด์ ์ ์ฑ
๋ฌธ์ฅ์ ๋ค ์ฐ์ธ์.
|
| 318 |
-
- ๋ณด๊ธฐ: `ANSWER`, `ASK_CLARIFICATION`, `ASK_CONFIRMATION`, `CALL_TOOL`, `CALL_MULTIPLE_TOOLS`, `ESCALATE`, `REFUSE`.
|
| 319 |
-
|
| 320 |
-
### 7. ๋ต๋ณ์ด ๊ทผ๊ฑฐ ๋ฌธ์์ ๋ง๋์ง ํ์ธ (RAG ๊ฒ์ฆ)
|
| 321 |
-
|
| 322 |
-
๊ฒ์ํ ๋ฌธ์๋ฅผ ์ ์ ๋ก, ์์ฑ๋ ๋ต๋ณ์ ๋ฌธ์ฅ์ ๊ฐ์ค๋ก ๋ฃ์ต๋๋ค. `contradiction`์ด๋ฉด ๋ฌธ์์ ์ด๊ธ๋ ๋ต์ด๊ณ , `neutral`์ด๋ฉด ๋ฌธ์์ ๊ทผ๊ฑฐ๊ฐ ์๋ ๋ด์ฉ์
๋๋ค.
|
| 323 |
-
|
| 324 |
-
```python
|
| 325 |
-
doc = "์๋์ธ์ ๊ณ์ฝ์ด ๋๋๊ณ ์์ฐจ์ธ์ด ์ง์ ๋น์ด ๋ ๋ถํฐ 30์ผ ์ด๋ด์ ๋ณด์ฆ๊ธ์ ๋๋ ค์ค๋ค."
|
| 326 |
-
answer_sentences = ["๋ณด์ฆ๊ธ์ ์ง์ ๋น์ด ๋ค 30์ผ ์์ ๋๋ ค๋ฐ์ต๋๋ค.",
|
| 327 |
-
"๋ณด์ฆ๊ธ์ ์ง์ ๋น์ด ๋ค 40์ผ ๋ค์ ๋๋ ค๋ฐ์ต๋๋ค.",
|
| 328 |
-
"๋ณด์ฆ๊ธ์๋ ์ฐ 3% ์ด์๊ฐ ๋ถ์ต๋๋ค."]
|
| 329 |
-
|
| 330 |
-
for s, r in zip(answer_sentences, judge.nli([doc] * len(answer_sentences), answer_sentences)):
|
| 331 |
-
print(r["choice"], s)
|
| 332 |
-
# entailment โฆ 30์ผ ์์ โฆ โ ๊ทผ๊ฑฐ ์์
|
| 333 |
-
# contradiction โฆ 40์ผ ๋ค์ โฆ โ ๋ฌธ์์ ์ด๊ธ๋จ
|
| 334 |
-
# neutral โฆ ์ฐ 3% ์ด์ โฆ โ ๋ฌธ์์ ๊ทผ๊ฑฐ ์์
|
| 335 |
-
```
|
| 336 |
-
|
| 337 |
-
- ๋ต๋ณ์ **๋ฌธ์ฅ ๋จ์๋ก ๋๋ ** ๋ฃ์ผ์ธ์. ์ฌ๋ฌ ์ฃผ์ฅ์ด ์์ธ ๊ธด ๋ต๋ณ์ ํ๋จ์ด ํ๋ ค์ง๋๋ค.
|
| 338 |
-
- ํ์ต ์ต๋ ๊ธธ์ด๊ฐ 2,048ํ ํฐ์ด๋ผ ๊ธด ๋ฌธ์๋ ๊ด๋ จ ๋จ๋ฝ๋ง ์๋ผ ๋ฃ์ผ์ธ์.
|
| 339 |
-
|
| 340 |
-
### 8. ์ฝ๊ดยท๋ฌธ์์ ๊ทผ๊ฑฐํ ์/์๋์ค
|
| 341 |
-
|
| 342 |
-
๋ฌธ์๋ฅผ ์ฃผ๊ณ ์ง๋ฌธ์ ์/์๋์ค๋ก ๋ตํ๊ฒ ํฉ๋๋ค. ๋ฌธ์์ ์๋ ์์์ผ๋ก ๋ตํ์ง ์๋๋ก ํ์ตํ์ต๋๋ค.
|
| 343 |
-
|
| 344 |
-
```python
|
| 345 |
-
terms = "๊ตฌ๋งค ํ 7์ผ ์ด๋ด์๋ ๋จ์ ๋ณ์ฌ์ผ๋ก๋ ํ๋ถํ ์ ์๋ค. ๋จ, ํฌ์ฅ์ ๋ฏ์ ์ํํธ์จ์ด๋ ํ๋ถ ๋์์์ ์ ์ธํ๋ค."
|
| 346 |
-
|
| 347 |
-
judge.yes_no("ํฌ์ฅ์ ๋ฏ์ ๊ฒ์ CD๋ฅผ 3์ผ ๋ง์ ํ๋ถํ ์ ์๋์?", terms) # โ ์๋์ค
|
| 348 |
-
judge.yes_no("๋ฏ์ง ์์ ํค๋ณด๋๋ฅผ 5์ผ ๋ง์ ํ๋ถํ ์ ์๋์?", terms) # โ ์
|
| 349 |
-
```
|
| 350 |
-
|
| 351 |
-
### 9. ๋น์ทํ ์ง๋ฌธ ์ฐพ๊ธฐ โ FAQ ์ค๋ณต ํ์ธ
|
| 352 |
-
|
| 353 |
-
์๋ก ๋ค์ด์จ ์ง๋ฌธ์ด ๊ธฐ์กด FAQ์ ๊ฐ์ ๋ป์ธ์ง ํ์ธํฉ๋๋ค. ํ๋ณด๋ ๊ฒ์(์๋ฒ ๋ฉ ๋ฑ)์ผ๋ก ๋จผ์ ์ขํ๊ณ , ์ต์ข
ํ์ธ์ ์ด ๋ชจ๋ธ์ ์ฐ๋ ๊ตฌ์ฑ์ด ์ข์ต๋๋ค.
|
| 354 |
-
|
| 355 |
-
```python
|
| 356 |
-
faq = ["๋น๋ฐ๋ฒํธ๋ฅผ ์์ด๋ฒ๋ ธ์ด์", "๋ฐฐ์ก์ง๋ ์ด๋ป๊ฒ ๋ฐ๊พธ๋์", "ํ์ ํํด๋ ์ด๋์ ํ๋์"]
|
| 357 |
-
q = "๋ก๊ทธ์ธ ๋น๋ฒ์ด ๊ธฐ์ต์ด ์ ๋์"
|
| 358 |
-
|
| 359 |
-
hits = judge.similar([q] * len(faq), faq)
|
| 360 |
-
best = max(range(len(faq)), key=lambda i: hits[i]["probabilities"]["๊ฐ์"])
|
| 361 |
-
faq[best], hits[best]["choice"] # ('๋น๋ฐ๋ฒํธ๋ฅผ ์์ด๋ฒ๋ ธ์ด์', '๊ฐ์')
|
| 362 |
-
```
|
| 363 |
-
|
| 364 |
-
- `similar`๋ ํ์ตํ์ง ์์ ๊ณผ์ ์
๋๋ค (ํ์ตํ์ง ์์ KLUE-STS์์ 85.9%).
|
| 365 |
-
|
| 366 |
-
### 10. ๋ด ๋ถ๋ฅ ์ฒด๊ณ ๊ทธ๋๋ก ์ฐ๊ธฐ
|
| 367 |
-
|
| 368 |
-
์ด๋ค ๋ถ๋ฅ๋ ์ง์นจ๊ณผ ๋ณด๊ธฐ๋ง ์ฐ๋ฉด ๋ฉ๋๋ค. ํ์ตํ์ง ์์ ๊ณผ์ ๋ผ๋ **ํ๋จ ๊ธฐ์ค์ ์ง์นจ์ ์ ์ด ์ฃผ๋ ๊ฒ**์ด ์ ํ๋๋ฅผ ๊ฐ์ฅ ํฌ๊ฒ ์ข์ฐํฉ๋๋ค.
|
| 369 |
-
|
| 370 |
-
```python
|
| 371 |
-
judge.decide(
|
| 372 |
-
state={"๋ณด๊ณ ์ ๋ฌธ์ฅ": "3๋ถ๊ธฐ ๋งค์ถ์ ์ ๋
๋๋น 12% ์ฆ๊ฐํ์ผ๋ ์์
์ด์ต๋ฅ ์ ์ํญ ํ๋ฝํ๋ค."},
|
| 373 |
-
questions={
|
| 374 |
-
"๋
ผ์กฐ": {
|
| 375 |
-
"instructions": "๋ฌธ์ฅ์ด ํ์ฌ ์ค์ ์ ์ด๋ค ๋
ผ์กฐ๋ก ์ ๋ฌํ๋์ง ๊ณ ๋ฅธ๋ค. ์ข์ ์ ๊ณผ ๋์ ์ ์ด ํจ๊ป ์์ผ๋ฉด ํผํฉ์ผ๋ก ๋ณธ๋ค.",
|
| 376 |
-
"criteria": {"positive": "๊ธ์ ์ ", "negative": "๋ถ์ ์ ", "mixed": "ํผํฉ", "neutral": "์ฌ์ค ์ ๋ฌ๋ง"},
|
| 377 |
-
},
|
| 378 |
-
},
|
| 379 |
-
)
|
| 380 |
-
```
|
| 381 |
-
|
| 382 |
-
**์ ์ ๋๋ ์ฐ์์**: ์ซ์ ๋น๊ตยท๊ณ์ฐ์ด ํต์ฌ์ธ ํ๋จ(โ์ด๋ ์ชฝ์ด ๋ ์ผ๊ฐโ), ๋ฌธ์ฅ์์ ๊ฐ ๋ฝ๊ธฐ, ๋ต๋ณ ์์ฑ, ๋ค๋ฅธ ๋ชจ๋ธ ๋ต๋ณ์ ํ์ง ์ฑ์ (LLM-as-a-judge). ์ด๋ฐ ์ผ์ ์์ฑ ๋ชจ๋ธ์ ๋งก๊ธฐ์ธ์.
|
| 383 |
-
|
| 384 |
-
### ์๋ฆฌ: transformers๋ง์ผ๋ก ์ง์ ๊ณ์ฐํ๊ธฐ
|
| 385 |
-
|
| 386 |
-
```python
|
| 387 |
-
import torch, json
|
| 388 |
-
from transformers import AutoModelForCausalLM, AutoTokenizer
|
| 389 |
-
from huggingface_hub import hf_hub_download
|
| 390 |
-
|
| 391 |
-
name = "coderecode95/KJH-Judge-4B-ko"
|
| 392 |
-
tok = AutoTokenizer.from_pretrained(name)
|
| 393 |
-
model = AutoModelForCausalLM.from_pretrained(name, dtype=torch.bfloat16, device_map="auto").eval()
|
| 394 |
-
T = json.load(open(hf_hub_download(name, "calibration.json")))["temperature"] # 1.7179
|
| 395 |
-
|
| 396 |
-
choices = ["๊ธ์ ์ ๊ฐ์ ", "๋ถ์ ์ ๊ฐ์ "]
|
| 397 |
-
prompt = ("๋ฌธ์ฅ์ ์ ๋ฐ์ ์ธ ๊ฐ์ ๊ทน์ฑ์ ํ๋จํ๋ค.\n\n"
|
| 398 |
-
"text: ๋ฐฐ์ก์ ๋๋ ธ์ง๋ง ๋ฌผ๊ฑด์ ์ ๋ง ๋ง์์ ๋ค์ด์\n\n"
|
| 399 |
-
"๋ณด๊ธฐ:\n" + "\n".join(f"{chr(65+i)}. {c}" for i, c in enumerate(choices)) +
|
| 400 |
-
"\n\n์ ๋ต ๋ณด๊ธฐ์ ๊ธฐํธ ํ๋๋ง ๋ตํ์ธ์.")
|
| 401 |
-
ids = tok(f"<|im_start|>user\n{prompt}<|im_end|>\n<|im_start|>assistant\n", return_tensors="pt", add_special_tokens=False).input_ids.to(model.device)
|
| 402 |
-
with torch.no_grad():
|
| 403 |
-
logits = model(ids).logits[0, -1]
|
| 404 |
-
letters = [tok.encode(chr(65 + i), add_special_tokens=False)[0] for i in range(len(choices))]
|
| 405 |
-
probs = torch.softmax(logits[letters].float() / T, -1)
|
| 406 |
-
print({c: round(p, 4) for c, p in zip(choices, probs.tolist())})
|
| 407 |
-
```
|
| 408 |
-
|
| 409 |
-
### ํ๋กฌํํธ ํ์
|
| 410 |
-
|
| 411 |
-
ํ์ต๊ณผ ํ๊ฐ์ ์ด ํ์์
๋๋ค. ์ด ํ์์ ์ง์ผ์ผ ์ ์ฑ๋ฅ์ด ๋์ต๋๋ค.
|
| 412 |
-
|
| 413 |
-
```
|
| 414 |
-
<|im_start|>user
|
| 415 |
-
{๊ณผ์ ์ค๋ช
} โ instructions
|
| 416 |
-
|
| 417 |
-
{ํญ๋ชฉ ์ด๋ฆ}: {๊ฐ} โ state ์ ํญ๋ชฉ๋ง๋ค ํ ์ค. ๊ฐ์ด ๋ฌธ์์ด์ด ์๋๋ฉด JSON
|
| 418 |
-
{ํญ๋ชฉ ์ด๋ฆ}: {๊ฐ}
|
| 419 |
-
|
| 420 |
-
๋ณด๊ธฐ:
|
| 421 |
-
A. {๋ณด๊ธฐ 1} โ criteria ์ ์ค๋ช
|
| 422 |
-
B. {๋ณด๊ธฐ 2}
|
| 423 |
-
โฆ
|
| 424 |
-
|
| 425 |
-
์ ๋ต ๋ณด๊ธฐ์ ๊ธฐํธ ํ๋๋ง ๋ตํ์ธ์.<|im_end|>
|
| 426 |
-
<|im_start|>assistant
|
| 427 |
-
```
|
| 428 |
-
|
| 429 |
-
- `judge.decide()`์ ๋ฉ์๋๋ค์ ์ด ํ์์ ์๋์ผ๋ก ๋ง๋ญ๋๋ค. ์ง์ ๋ง๋ค ๋๋ง ์ ๊ฒฝ
|
| 430 |
-
- ๋ณด๊ธฐ๋ 2~26๊ฐ์
๋๋ค.
|
| 431 |
-
- ๊ณผ์ ์ค๋ช
์ ์งง๊ณ ๊ตฌ์ฒด์ ์ผ๋ก ์ฐ์ธ์. ํ๋จ ๊ธฐ์ค์ ํ๋ ๋ฌธ์ฅ ๋ง๋ถ์ด๋ฉด(์: โ๋ฐ์ด๋ฅผ ๊ณ ๋ คํ๋คโ, โ์ ๋ณด๊ฐ ์๋ค๋ ์ด์ ๋ง์ผ๋ก ๋ชจ์์ ๊ณ ๋ฅด์ง ์๋๋คโ) ์ ํ๋๊ฐ ํฌ๊ฒ ์ค๋ฆ
๋๋ค.
|
| 432 |
-
- `generate()`๋ก ์ธ ๊ฒฝ์ฐ `max_new_tokens=1`๋ก ๋ณด๊ธฐ ๊ธฐํธ ํ๋๋ง ๋ฐ์ผ์ธ์ (์ด ์ ์ฅ์์ `generation_config.json`์ `do_sample: false`์
๋๋ค). ํ๋ฅ ์ด ํ์ํ๋ฉด ์์ฒ๋ผ logits๋ฅผ ์ฝ์ผ์ธ์.
|
| 433 |
-
|
| 434 |
-
## ์ฑ๋ฅ
|
| 435 |
-
|
| 436 |
-
### 1. ํ์ตํ์ง ์์ ๊ณต๊ฐ ๋ฒค์น๋งํฌ
|
| 437 |
-
|
| 438 |
-
์ด ๋ชจ๋ธ์ ํ์ต์ ์ฐ์ง ์์ ์ถ์ฒ์ ๊ณต๊ฐ ๋ฐ์ดํฐ์
๋๋ค (KLUE-STS๋ ํ์ต์ ์ด KLUE NLIยทYNAT์ ๊ฐ์ KLUE ๋ฌถ์์ด์ง๋ง, STS ๊ณผ์ ๋ ํ์ตํ์ง ์์์ต๋๋ค). 0-shot, ์ ํ๋กฌํํธ ํ์, ๋ณด๊ธฐ ๊ธฐํธ ์ ์ ๋ฐฉ์์ผ๋ก ์์ต๋๋ค (ํ๋ณธ์ ๊ณ ์ ์๋, ๊ดํธ๋ 95% ์ ๋ขฐ๊ตฌ๊ฐ). ์ฌํ ์คํฌ๋ฆฝํธ: [`eval/bench_heldout.py`](eval/bench_heldout.py).
|
| 439 |
-
|
| 440 |
-
<!-- HELDOUT:start -->
|
| 441 |
-
| ๋ฒค์น๋งํฌ | ๋ฌด์์ ์ฌ๋ | ๋ฌธํญ | ์ ํ๋ (95% ๊ตฌ๊ฐ) | ๋ฌด์์ | ์ถ์ฒ ยท ๋ผ์ด์ ์ค |
|
| 442 |
-
|---|---|---:|---:|---:|---|
|
| 443 |
-
| NSMC | ์ํ ๋ฆฌ๋ทฐ ๊ฐ์ฑ (๊ธ์ /๋ถ์ ) | 1,000 | **85.7%** (83.4~87.7) | 50% | e9t/nsmc ยท ratings_test ยท CC0 1.0 |
|
| 444 |
-
| KorNLI (XNLI) | ๋ฌธ์ฅ ๊ด๊ณ 3๋ถ๋ฅ (XNLI ํ๊ตญ์ด ๋ฒ์ญ) | 1,000 | **74.5%** (71.7~77.1) | 33% | kakaobrain/kor_nli ยท xnli/test ยท CC BY-SA 4.0 |
|
| 445 |
-
| KLUE-STS | ๋ ๋ฌธ์ฅ์ด ๊ฐ์ ๋ป์ธ์ง (์/์๋์ค) | 519 | **85.9%** (82.7~88.7) | 50% | klue/klue ยท sts/validation (binary-label) ยท CC BY-SA 4.0 |
|
| 446 |
-
| Korean UnSmile | ์
ํยทํ์ค ํํ ์ฌ๋ถ | 1,000 | **82.1%** (79.6~84.4) | 50% | smilegate-ai/kor_unsmile ยท valid (clean ์ฌ๋ถ) ยท CC BY-NC-ND 4.0 |
|
| 447 |
-
| KMMLU | ํ๊ตญ์ด ์ ๋ฌธ ์ง์ 4์ง์ ๋ค (45๊ณผ๋ชฉ) | 990 | **42.6%** (39.6~45.7) | 25% | HAERAE-HUB/KMMLU ยท test ยท CC BY-ND 4.0 |
|
| 448 |
-
| HAE-RAE Bench 1.0 | ํ๊ตญ ๋ฌธํยท์ดํ ์ง์ 5์ง์ ๋ค | 983 | **56.1%** (53.0~59.2) | 21% | HAERAE-HUB/HAE_RAE_BENCH_1.0 ยท test ยท CC BY-NC-ND 4.0 |
|
| 449 |
-
<!-- HELDOUT:end -->
|
| 450 |
-
|
| 451 |
-
<!-- COMPARE:start -->
|
| 452 |
-
**๊ฐ์ ์กฐ๊ฑด ๋น๊ต** ยท ๊ฐ์ ๋ฌธํญ ยท ๊ฐ์ ํ๋กฌํํธ ยท 0-shot ยท ๋ณด๊ธฐ ๊ธฐํธ ์ ์. ๋ค๋ฅธ ๋ชจ๋ธ์ ์๊ฐ(thinking)์ ๋๊ณ ๊ฐ์์ ๋ํ ํ์์ผ๋ก ๋ฌผ์์ต๋๋ค.
|
| 453 |
-
|
| 454 |
-
| ๋ฒค์น๋งํฌ | **KJH-Judge-4B-ko (4B)** | Gemma 4 26B-A4B-it (0-shot) |
|
| 455 |
-
|---|---:|---:|
|
| 456 |
-
| NSMC | **85.7%** | 88.7% |
|
| 457 |
-
| KorNLI (XNLI) | **74.5%** | 77.1% |
|
| 458 |
-
| KLUE-STS | **85.9%** | 88.4% |
|
| 459 |
-
| Korean UnSmile | **82.1%** | 81.3% |
|
| 460 |
-
| KMMLU | **42.6%** | 64.0% |
|
| 461 |
-
| HAE-RAE Bench 1.0 | **56.1%** | 79.7% |
|
| 462 |
-
<!-- COMPARE:end -->
|
| 463 |
-
|
| 464 |
-
์๋ณธ Qwen3-4B์ ์ฌ์ ํ์ต์ ์ด ๋ฐ์ดํฐ๊ฐ ๋ค์ด๊ฐ๋์ง๋ ์ ์ ์์ต๋๋ค. KMMLUยทHAE-RAE๋ ์ ๋ฌธ ์ง์์ ๋ฌป๋ ์ํ์ด๋ผ, ํ์ ๋ฅ๋ ฅ๋ณด๋ค ์๋ณธ ๋ชจ๋ธ์ ์ง์์ด ์ ์๋ฅผ ์ข์ฐํฉ๋๋ค.
|
| 465 |
-
|
| 466 |
-
### 2. Korean JEV Benchmark (์ฐธ๊ณ : ๊ฐ์ ์ถ์ฒ์ ์ํ ๋ฌธํญ)
|
| 467 |
-
|
| 468 |
-
[DaehanKim/korean-jev-benchmark](https://huggingface.co/datasets/DaehanKim/korean-jev-benchmark) 25,418๋ฌธํญ ์ ์ฒด์
๋๋ค. ์ด ์ํ ๋ฌธํญ ์์ฒด๋ก ํ์ตํ์ง๋ ์์์ง๋ง, **๊ฐ์ ์ถ์ฒ ๋ฐ์ดํฐ(KLUE, KoBEST ๋ฑ)์ ํ์ต ๋ถํ ๋ก ํ์ตํ๊ธฐ ๋๋ฌธ์** ๋ค๋ฅธ ๋ชจ๋ธ์ 0-shot ์ ์์ ๊ฐ์ ์กฐ๊ฑด์ ๋น๊ต๊ฐ ์๋๋๋ค.
|
| 469 |
-
|
| 470 |
-
| ํญ๋ชฉ | ๊ฐ |
|
| 471 |
-
|---|---|
|
| 472 |
-
| ์ ์ฒด ์ ํ๋ | **90.37%** (ํ์ต ์ Qwen3-4B 29.56%, ๋ฌด์์ 29.86%) |
|
| 473 |
-
| ํ์ต ๋ฐ์ดํฐ๊ฐ ์๋ ๊ณผ๋ชฉ (Belebele ํ๊ตญ์ด ๋
ํด) | **86.87%** |
|
| 474 |
-
| ๋ณด๊ธฐ๋ฅผ ๊ฑฐ๊พธ๋ก ๋์๋ ๊ฐ์ ๋ต | 97.93% |
|
| 475 |
-
| ๊ธฐ๋ ๋ณด์ ์ค์ฐจ (ECE) | 0.0265 |
|
| 476 |
-
|
| 477 |
-
| ๊ณผ๋ชฉ | ์ ํ๋ | ๊ณผ๋ชฉ | ์ ํ๋ |
|
| 478 |
-
|---|---:|---|---:|
|
| 479 |
-
| KoBEST BoolQ | 95.65% | KLUE YNAT (๋ด์ค ์ฃผ์ ) | 93.93% |
|
| 480 |
-
| KoBEST HellaSwag | 94.65% | KLUE NLI | 92.39% |
|
| 481 |
-
| KoBEST SentiNeg | 93.91% | APEACH (ํ์ค) | 88.64% |
|
| 482 |
-
| KoBEST COPA | 92.55% | KoBEST WiC | 84.96% |
|
| 483 |
-
| SIB-200 | 94.44% | Korean Hate Speech (3๋ถ๋ฅ) | 77.87% |
|
| 484 |
-
| FunctionChat ๋๊ตฌ ๊ณ ๋ฅด๊ธฐ | 94.68% | EnterpriseOps ์ ์ฑ
ํ๋ (7๋ถ๋ฅ) | 83.43% |
|
| 485 |
-
| FunctionChat ๋ํ | 93.50% | ๋ฒ๋ น ์ง๋ฌธ (v2ยทv3, 6๊ฐ ๋ฌถ์) | 90.8~99.2% |
|
| 486 |
-
| FunctionChat ํธ์ถ ํ๋จ | 84.55% | ๋ฒ๋ น ๊ธฐ๊ฐ ๊ณ์ฐ | 69.10% |
|
| 487 |
-
|
| 488 |
-
### ์๋
|
| 489 |
-
|
| 490 |
-
๊ฐ์ธ GPU ์๋ฒ์์ ๊ฐ์ ๋ฌธํญ 60๊ฐ(NSMCยทKorNLI)๋ก ์ฐ ์ฐธ๊ณ ๊ฐ์
๋๋ค (๋คํธ์ํฌ ์๋ณต ํฌํจ, ์ธก์ ์คํฌ๋ฆฝํธ: [`eval/bench_speed.py`](eval/bench_speed.py)).
|
| 491 |
-
|
| 492 |
-
| ์ธก์ | **KJH-Judge-4B-ko** | Gemma 4 26B-A4B-it |
|
| 493 |
-
|---|---:|---:|
|
| 494 |
-
| ํ์ ํ ๋ฒ (์ค์๊ฐ) | **250ms** (์๋ฒ ์ ๊ณ์ฐ 87ms) | 621ms |
|
| 495 |
-
| ๋์ 4๊ฐ์ฉ ๋ณด๋์ ๋ ์ฒ๋ฆฌ๋ | 3.9๊ฑด/์ด | **9.9๊ฑด/์ด** |
|
| 496 |
-
| ์๊ฐ์ ์ผ๊ณ ๋ต์ ์์ฑํ ๋ | | 6.3์ด |
|
| 497 |
-
|
| 498 |
-
- ๋์ ์ฒ๋ฆฌ๋์ ๋น๊ต ๋ชจ๋ธ์ด ์์ฐ์ต๋๋ค. ๋น๊ต ๋ชจ๋ธ์ ์์ฒญ์ ๋ฌถ์ด ์ฒ๋ฆฌํ๋ ์๋น ์์ง์์, ์ด ๋ชจ๋ธ์ ํ๋์ฉ ์ฒ๋ฆฌํ๋ ๋จ์ํ ์๋ฒ์์ ๋์๊ธฐ ๋๋ฌธ์
๋๋ค. ๋๋ ์ฒ๋ฆฌ์๋ ๋ฆฌ์คํธ๋ก ๋ฃ๊ณ `batch_size`๋ฅผ ์ฃผ์ด ๋ฌถ์ด ๊ณ์ฐํ์ธ์.
|
| 499 |
-
- CPU(๋
ธํธ๋ถ, fp32)์์๋ ํ์ ํ ๋ฒ์ 6์ด์์ ์ ๋ถ์ด ๊ฑธ๋ ค ์ค์ฌ์ฉ์ด ์ด๋ ต์ต๋๋ค.
|
| 500 |
-
|
| 501 |
-
## ์ํ
|
| 502 |
-
|
| 503 |
-
**์ํ๋ ๊ฒ**: ๋ณด๊ธฐ๊ฐ ์ ํด์ง ๋ถ๋ฅ, ๋ฌธ์ฅ ๊ด๊ณ ํ๋จ, ์ง๋ฌธ์ ๊ทผ๊ฑฐํ ์/์๋์ค, ์ ์ฑ
ยท๊ท์น์ ๋ฐ๋ฅธ ํ๋ ์ ํ, ์์ด์ ํธ์ ๋ค์ ํ๋(๋๊ตฌ ํธ์ถ / ๋๋ฌป๊ธฐ / ์ง์ ๋ต๋ณ) ๊ฒฐ์ . ์ฒ์ ๋ณด๋ ์ง์๋ฌธ์ด๋ผ๋ ์ด๋ฐ ํ์์ด๋ฉด ์ ๋ฐ๋ฆ
๋๋ค.
|
| 504 |
-
|
| 505 |
-
**๋ชปํ๋ ๊ฒ**
|
| 506 |
-
- **๊ธ ์์ฑ, ๋ฌธ์ฅ์์ ๊ฐ ๋ฝ๊ธฐ**: ๋ณด๊ธฐ๋ฅผ ๊ณ ๋ฅด๋ ๊ฒ๋ง ํฉ๋๋ค. ๋๊ตฌ ์ธ์ ๊ฐ์ ์ฑ์ฐ๊ฑฐ๋ ๋ต๋ณ์ ์ฐ๋ ์ผ์ ์์ฑ ๋ชจ๋ธ์ ๋งก๊ธฐ์ธ์.
|
| 507 |
-
- **์ซ์ ๋น๊ตยท๊ณ์ฐ์ด ํต์ฌ์ธ ํ๋จ**: ๊ฑฐ๋ฆฌยท์๋ยท์ ์ ๊ฐ์ ์์น๋ฅผ ๋น๊ตํด ๊ณ ๋ฅด๋ ์ผ์ ์ฝํฉ๋๋ค.
|
| 508 |
-
- **๋ฐ์ดยท๋น๊ผผ**: โ๋ฐฐ์ก ์ฐธ ๋น ๋ฅด๋ค์. 2์ฃผ ๊ฑธ๋ ธ์ด์โ๋ฅผ ๊ธ์ ์ผ๋ก ๋์ ํ์ ๊ณผ ํจ๊ป ๊ณ ๋ฅด๋ ๊ฒฝ์ฐ๊ฐ ์์ต๋๋ค.
|
| 509 |
-
- **์ง์๋ฌธ ๋ฌธ๊ตฌ์ ๋ฏผ๊ฐ**: โ์ค์ ์กด์ฌํ๋ ์ธ๋ฌผ์ธ๊ฐ์?โ๋ฅผ โ์ค์ ์กด์ฌํ๋์?โ์ฒ๋ผ ์ฝ๋ ๊ฒฝ์ฐ๊ฐ ์์ต๋๋ค. ๊ธฐ์ค์ ๋ช
ํํ ์ฐ์ธ์.
|
| 510 |
-
|
| 511 |
-
๊ถ์ฅ ๊ตฌ์ฑ: ํฐ LLM ์๋จ์์ ์ด ๋ชจ๋ธ์ด โ๋ฌด์์ ํ ์งโ๋ฅผ ๋น ๋ฅด๊ณ ์ธ๊ฒ ์ ํ๊ณ , ํ์ ์ด ๋ฎ์ ๊ฑด ์ฌ๋์ด๋ ํฐ ๋ชจ๋ธ์ ๋๊ธฐ์ธ์.
|
| 512 |
-
|
| 513 |
-
## ํ์ต
|
| 514 |
-
|
| 515 |
-
> ํ์ต ๋ฐ์ดํฐ ๊ตฌ์ฑ, ๋ณด๊ธฐ ์์ ์ญ์ ํ์ต, ์ค์ผ ์ ๊ฑฐ, ํฉ์ฑ ๋ฐ์ดํฐ ๋ง๋๋ ๋ฒ, ํ๋ฅ ๋ณด์ , ์ฒดํฌํฌ์ธํธ๋ณ ์ ํ๋๊น์ง ์์ธํ ๊ณผ์ ์ **[TRAINING.md](TRAINING.md)**์ ์ ๋ฆฌํ์ต๋๋ค.
|
| 516 |
-
|
| 517 |
-
| ํญ๋ชฉ | ๊ฐ |
|
| 518 |
-
|---|---|
|
| 519 |
-
| ์๋ณธ ๋ชจ๋ธ | [Qwen/Qwen3-4B](https://huggingface.co/Qwen/Qwen3-4B) |
|
| 520 |
-
| ๋ฐฉ๋ฒ | SFT, LoRA (r 16, ฮฑ 32, dropout 0.05, qยทkยทvยทoยทgateยทupยทdown) โ ์๋ณธ์ ๋ณํฉ |
|
| 521 |
-
| ํ์ต๋ | 69,144๋ฌธํญ ร ๋ณด๊ธฐ ์์ 2๊ฐ์ง(์์ ์์ + ์ญ์), ์ถ์ฒ ๋น์จ๋๋ก ์์ด 4,430 step ยท ๋ฐฐ์น 32, ์ต๋ ๊ธธ์ด 2,048 |
|
| 522 |
-
| ์ต์ ํ | ํ์ต๋ฅ 2e-4, cosine, warmup 3% |
|
| 523 |
-
| ์ฅ๋น | GPU 1์ฅ, ์ฝ 3.5์๊ฐ |
|
| 524 |
-
| ์ ๋ต ํ์ | ๋ณด๊ธฐ ๊ธฐํธ ํ ๊ธ์ + `<|im_end|>` |
|
| 525 |
-
| ๋ณด์ | ๊ฒ์ฆ์
3,089๋ฌธํญ์ผ๋ก ๋จ์ผ ์จ๋(1.7179)๋ฅผ ๋ง์ถค. ECE 0.066 โ 0.013 |
|
| 526 |
-
|
| 527 |
-
**ํ์ต ๋ฐ์ดํฐ** (๋ชจ๋ ์ ํ๋กฌํํธ ํ์์ผ๋ก ๋ฐ๊ฟ ์ฌ์ฉ, ํ๊ฐ ๋ฌธํญ๊ณผ ๊ฒน์น๋ ๋ฌธ์ฅ์ ์ ์ธ)
|
| 528 |
-
|
| 529 |
-
| ๋ฐ์ดํฐ | ๋ผ์ด์ ์ค |
|
| 530 |
-
|---|---|
|
| 531 |
-
| KLUE NLI ยท YNAT (ํ์ต ๋ถํ ) | CC BY-SA 4.0 |
|
| 532 |
-
| KoBEST BoolQ ยท COPA ยท HellaSwag ยท SentiNeg ยท WiC (ํ์ต ๋ถํ ) | CC BY-SA 4.0 |
|
| 533 |
-
| kocohub/korean-hate-speech (ํ์ต ๋ถํ ) | CC BY-SA 4.0 |
|
| 534 |
-
| APEACH (ํ์ต ๋ถํ ) | CC BY-SA 4.0 |
|
| 535 |
-
| SIB-200 (ํ์ต ๋ถ
|
| 536 |
-
| ์ ์ฑ
ํ๋ ยท ๋ฒ๋ น ์ง๋ฌธ ยท ๋๊ตฌ ํธ์ถ ํ๋จ | ์์ฒด ํฉ์ฑ (๊ท์น์ผ๋ก ์์ฑ, ์ ๋ต์ ์ฝ๋๋ก ๊ณ์ฐ. ์ ์ฑ
ยท๋ฒ๋ นยท๋๊ตฌ๋ ๋ชจ๋ ์ง์ด๋ธ ๊ฒ์ด๋ฉฐ LLM ์์ฑ๋ฌผ์ ์ฐ์ง ์์) |
|
| 537 |
-
|
| 538 |
-
## ๋ผ์ด์ ์ค์ ์ฃผ์
|
| 539 |
-
|
| 540 |
-
-
|
| 541 |
-
-
|
| 542 |
-
-
|
|
|
|
|
|
| 92 |
name: accuracy (0-shot
|
| 93 |
n=983): null
|
| 94 |
---
|
| 95 |
+
|
| 96 |
+
# KJH-Judge-4B-ko
|
| 97 |
+
|
| 98 |
+
> [Korean JEV Benchmark](https://huggingface.co/datasets/DaehanKim/korean-jev-benchmark)๋ฅผ ๋ณด๊ณ ํ์ ๋ชจ๋ธ์ ์ง์ ๋ง๋ค์ด ๋ณธ **๊ฐ์ธ ํ์ต ํ๋ก์ ํธ**์
๋๋ค. ์๋ ์์น๋ ๋ชจ๋ ์ง์ ์ฐ ๊ฒฐ๊ณผ์ด๋ฉฐ, ์ค์๋น์ค์์ ๊ฒ์ฆํ ๋ชจ๋ธ์ ์๋๋๋ค.
|
| 99 |
+
|
| 100 |
+
**์ ํด์ง ๋ณด๊ธฐ ์ค ํ๋๋ฅผ ๊ณจ๋ผ, ๋ณด์ ๋ ํ๋ฅ ๊ณผ ํจ๊ป ๋๋ ค์ฃผ๋ ํ๊ตญ์ด ํ์ ๋ชจ๋ธ์
๋๋ค.** ๊ฐ์ ยท์ฃผ์ ๋ถ๋ฅ, ๋ฌธ์ฅ ๊ด๊ณ(ํจ์ยท๋ชจ์), ํ์ค ํํ ๊ฒ์, ์ ์ฑ
์ ๋ฐ๋ฅธ ํ๋ ์ ํ, ์์ด์ ํธ์ ๋๊ตฌ ํธ์ถ ํ๋จ(๋๊ตฌ ํธ์ถ / ๋๋ฌป๊ธฐ / ์ง์ ๋ต๋ณ) ๊ฐ์ ์ผ์ ์๋๋ค. ๋ค๋ฅธ ๋ชจ๋ธ์ ๋ต๋ณ์ ์ฑ์ ํ๋ LLM-as-a-judge ๋ชจ๋ธ์ด ์๋๋๋ค.
|
| 101 |
+
|
| 102 |
+
> **English summary.** A personal learning project: a Korean decision model fine-tuned from Qwen3-4B. Given a task description, an item, and 2โ26 options, it returns the chosen option with **calibrated probabilities** from a single forward pass (no text generation, ~tens of ms per decision on a GPU). Good for classification, NLI, moderation, policy actions, and tool-call routing. It does not generate text, extract spans, or do numeric reasoning.
|
| 103 |
+
|
| 104 |
+

|
| 105 |
+
|
| 106 |
+
## ์ด ๋ชจ๋ธ์ ํน์ง
|
| 107 |
+
|
| 108 |
+
- **๋ณด๊ธฐ ๊ณ ๋ฅด๊ธฐ๋ง ํฉ๋๋ค.** ๊ธ์ ์์ฑํ์ง ์๊ณ ํ๋กฌํํธ๋ฅผ ํ ๋ฒ ๊ณ์ฐํ ๋ค, ๋ณด๊ธฐ ๊ธฐํธ(A, B, โฆ) ํ ํฐ์ ์ ์๋ง ์ฝ์ต๋๋ค. ๊ทธ๋์ ๋น ๋ฅด๊ณ (GPU ์๋ฒ ์ ๊ณ์ฐ ๊ธฐ์ค ํ์ ํ ๋ฒ ์ฝ 90ms), ๋ต์ด ํญ์ ๋ณด๊ธฐ ์ค ํ๋์
๋๋ค.
|
| 109 |
+
- **ํ๋ฅ ์ด ๋ณด์ ๋์ด ์์ต๋๋ค.** ๊ฒ์ฆ์
์ผ๋ก ๋ง์ถ ์จ๋(1.72)๋ก ๋ณด์ ํด, Korean JEV Benchmark์์ ๊ธฐ๋ ๋ณด์ ์ค์ฐจ(ECE)๊ฐ 0.027์
๋๋ค. โํ์ 70% ๋ฏธ๋ง์ด๋ฉด ์ฌ๋์๊ฒ ๋๊ธฐ๊ธฐโ ๊ฐ์ ๊ธฐ์ค์ ๊ฑธ ์ ์์ต๋๋ค. ๋ค๋ง ํ์ตํ์ง ์์ ์ถ์ฒ์ ๋ฐ์ดํฐ์์๋ ํ๊ท ํ์ ์ด ์ ํ๋๋ณด๋ค ์ต๋ 10%p ์ ๋ ๋๊ฒ ๋๏ฟฝ๏ฟฝ๏ฟฝ์ผ๋, ๊ธฐ์ค๊ฐ์ ์ฐ๋ ค๋ ๋ฐ์ดํฐ์์ ๋ค์ ๋ง์ถ๋ ๊ฒ์ด ์ข์ต๋๋ค.
|
| 110 |
+
- **๋ณด๊ธฐ ์์์ ํ๋ค๋ฆฌ์ง ์์ต๋๋ค.** ๋ณด๊ธฐ๋ฅผ ์ ํํ ๊ฑฐ๊พธ๋ก ๋๊ณ ๋ค์ ๋ฌผ์ด๋ 97.9%๊ฐ ๊ฐ์ ๋ต์
๋๋ค.
|
| 111 |
+
|
| 112 |
+
## ๋น ๋ฅด๊ฒ ์์ํ๊ธฐ
|
| 113 |
+
|
| 114 |
+
```bash
|
| 115 |
+
pip install torch "transformers>=5" accelerate
|
| 116 |
+
```
|
| 117 |
+
|
| 118 |
+
```python
|
| 119 |
+
from transformers import pipeline
|
| 120 |
+
|
| 121 |
+
judge = pipeline(model="coderecode95/KJH-Judge-4B-ko", trust_remote_code=True,
|
| 122 |
+
device=0, dtype="bfloat16") # GPU๊ฐ ์์ผ๋ฉด device, dtype ๋ฅผ ๋นผ์ธ์ (๋งค์ฐ ๋๋ฆผ)
|
| 123 |
+
```
|
| 124 |
+
|
| 125 |
+
์ฐ๋ ๋ฐฉ๋ฒ์ ์ธ ๊ฐ์ง์ด๊ณ , **๊ฒฐ๊ณผ๋ ๋ชจ๋ ๊ฐ์ ๋ชจ์**์
๋๋ค.
|
| 126 |
+
|
| 127 |
+
```python
|
| 128 |
+
{'choice': '๊ธ์ ', 'confidence': 0.97, 'probabilities': {'๊ธ์ ': 0.97, '๋ถ์ ': 0.03}}
|
| 129 |
+
# ๊ณ ๋ฅธ ๋ณด๊ธฐ ๊ทธ ๋ณด๊ธฐ์ ํ๋ฅ (๋ณด์ ๋จ) ๋ณด๊ธฐ๋ณ ํ๋ฅ
|
| 130 |
+
```
|
| 131 |
+
|
| 132 |
+
#### 1. ์์ฃผ ์ฐ๋ ํ์ โ ๋ฉ์๋ ํ๋๋ก
|
| 133 |
+
|
| 134 |
+
ํ์ต ๋์ ๊ฐ์ ์ง์นจยท๋ณด๊ธฐ ๋ฌธ๊ตฌ๊ฐ ์๋์ผ๋ก ๋ค์ด๊ฐ์, ๋ฐ๋ก ํ๋กฌํํธ๋ฅผ ์ธ ํ์๊ฐ ์๊ณ ์ ํ๋๋ ๊ฐ์ฅ ์ ๋์ต๋๋ค.
|
| 135 |
+
|
| 136 |
+
```python
|
| 137 |
+
judge.sentiment("๋ฐฐ์ก์ ๋๋ ธ์ง๋ง ๋ฌผ๊ฑด์ ์ ๋ง ๋ง์์ ๋ค์ด์") # โ ๊ธ์
|
| 138 |
+
judge.nli("๋ณด์ฆ๊ธ์ ํด๊ฑฐ ํ 30์ผ ์ด๋ด ๋ฐํํ๋ค.", "๋ณด์ฆ๊ธ์ ํด๊ฑฐ 40์ผ ๋ค์ ๋ฐ๋๋ค.") # โ contradiction
|
| 139 |
+
judge.next_action("๊ฐ๋จ์ญ์์ ์์ธ์ญ๊น์ง ํ์ ๋ถ๋ฌ์ค", tools) # โ CALL:call_taxi
|
| 140 |
+
```
|
| 141 |
+
|
| 142 |
+
| ๋ฉ์๋ | ํ์ | ๊ณ ๋ฅด๋ ๊ฐ |
|
| 143 |
+
|---|---|---|
|
| 144 |
+
| `sentiment(๋ฌธ์ฅ)` | ๊ฐ์ | ๊ธ์ / ๋ถ์ |
|
| 145 |
+
| `topic(๋ด์ค ์ ๋ชฉ)` | ๋ด์ค ์ฃผ์ | ์ฌํ / IT๊ณผํ / ์ธ๊ณ / ์ํ๋ฌธํ / ์ ์น / ์คํฌ์ธ / ๊ฒฝ์ |
|
| 146 |
+
| `hate(๋ฌธ์ฅ)` | ํ์คยท๋นํ ํํ | ๋นํ์ค / ํ์ค |
|
| 147 |
+
| `offensive(๋๊ธ, news_title=None)` | ๋๊ธ ๊ณต๊ฒฉ์ฑ 3๋จ๊ณ | ์์ / ๊ณต๊ฒฉ์ / ํ์ค |
|
| 148 |
+
| `nli(์ ์ , ๊ฐ์ค)` | ๋ฌธ์ฅ ๊ด๊ณ | entailment / contradiction / neutral |
|
| 149 |
+
| `similar(๋ฌธ์ฅ1, ๋ฌธ์ฅ2)` | ๊ฐ์ ๋ป์ธ์ง | ๊ฐ์ / ๋ค๋ฆ |
|
| 150 |
+
| `yes_no(์ง๋ฌธ, ์ง๋ฌธ)` | ์ง๋ฌธ ๊ทผ๊ฑฐ ์/์๋์ค | ์ / ์๋์ค |
|
| 151 |
+
| `same_meaning(๋จ์ด, ๋ฌธ๋งฅ1, ๋ฌธ๋งฅ2)` | ๋จ์ด ๋ป์ด ๊ฐ์์ง | ๊ฐ์ / ๋ค๋ฆ |
|
| 152 |
+
| `reading(์ง๋ฌธ, ์ง๋ฌธ, ๋ณด๊ธฐ)` | ๋
ํด ๊ฐ๊ด์ | ๋ณด๊ธฐ ์ค ํ๋ |
|
| 153 |
+
| `next_action(๋ํ, ๋๊ตฌ ๋ชฉ๋ก)` | ์์ด์ ํธ ๋ค์ ํ๋ | CALL:<๋๊ตฌ> / ASK / RESPOND |
|
| 154 |
+
| `policy_action(์ ์ฑ
, ๊ณ ๊ฐ ์์ฒญ)` | ์ ์ฑ
์ ๋ฐ๋ฅธ ํ๋ | ANSWER / ASK_CLARIFICATION / ASK_CONFIRMATION / CALL_TOOL / CALL_MULTIPLE_TOOLS / ESCALATE / REFUSE |
|
| 155 |
+
|
| 156 |
+
๋ฌธ์ฅ ํ๋๋ง ๋ฐ๋ ๋ฉ์๋(`sentiment`, `topic`, `hate`, `nli` ๋ฑ)๋ **๋ฆฌ์คํธ๋ฅผ ๋ฃ์ผ๋ฉด ์ฌ๋ฌ ๊ฐ๋ฅผ ํ ๋ฒ์** ํ์ ํฉ๋๋ค.
|
| 157 |
+
|
| 158 |
+
#### 2. ๋ด ํ์ ๋ง๋ค๊ธฐ โ JEV ํ์
|
| 159 |
+
|
| 160 |
+
[Korean JEV Benchmark](https://huggingface.co/datasets/DaehanKim/korean-jev-benchmark)ยทJEV API์ ๊ฐ์ ๋ชจ์์
๋๋ค. **์ํฉ(`state`) ํ๋์ ์ด๋ฆ ๋ถ์ธ ์ง๋ฌธ ์ฌ๋ฌ ๊ฐ**๋ฅผ ํ ๋ฒ์ ๋ฌป๊ณ , ๋ณด๊ธฐ์๋ **๋ด๊ฐ ์ธ ID**๋ฅผ ๋ถ์
๋๋ค. ๊ฒฐ๊ณผ๋ ๊ทธ ID๋ก ๋์์ต๋๋ค.
|
| 161 |
+
|
| 162 |
+
```python
|
| 163 |
+
judge.decide(
|
| 164 |
+
state={"๊ณ ๊ฐ ๋ฌธ์": "์ง๋๋ฌ ์๊ธ์ด ๋ ๋ฒ ๋น ์ ธ๋๊ฐ์ด์. ์ค๋ ์์ ์ฒ๋ฆฌํด ์ฃผ์ธ์."},
|
| 165 |
+
questions={
|
| 166 |
+
"๋ถ์": {
|
| 167 |
+
"instructions": "๊ณ ๊ฐ ๋ฌธ์๋ฅผ ๋ด๋น ๋ถ์๋ก ๋ถ๋ฅํ๋ค.",
|
| 168 |
+
"criteria": {"billing": "๊ฒฐ์ ยทํ๋ถ", "delivery": "๋ฐฐ์ก", "account": "๊ณ์ ยท๋ก๊ทธ์ธ"},
|
| 169 |
+
},
|
| 170 |
+
"๊ธด๊ธ": {
|
| 171 |
+
"instructions": "๊ณ ๊ฐ์ด ์ฆ์ ์ฒ๋ฆฌ๋ฅผ ์๊ตฌํ๋์ง ํ๋จํ๋ค.",
|
| 172 |
+
"criteria": {"urgent": "์ฆ์ ์ฒ๋ฆฌ ์๊ตฌ", "normal": "์ผ๋ฐ ๋ฌธ์"},
|
| 173 |
+
},
|
| 174 |
+
},
|
| 175 |
+
)
|
| 176 |
+
# {'๋ถ์': {'choice': 'billing', 'confidence': 0.9โฆ, 'probabilities': {...}},
|
| 177 |
+
# '๊ธด๊ธ': {'choice': 'urgent', 'confidence': 0.9โฆ, 'probabilities': {...}}}
|
| 178 |
+
```
|
| 179 |
+
|
| 180 |
+
- **`state`**: ํ๋จํ ๋ด์ฉ. `{"์ด๋ฆ": ๊ฐ}`์ด ํ๋กฌํํธ์ ํ ์ค์ฉ ๋ค์ด๊ฐ๋๋ค. ๋ฌธ์ฅ ํ๋๋ฉด ๊ทธ๋ฅ ๋ฌธ์์ด๋ก ๋ฃ์ด๋ ๋ฉ๋๋ค.
|
| 181 |
+
- **`instructions`**: ๋ฌด์์ ์ด๋ค ๊ธฐ์ค์ผ๋ก ๊ณ ๋ฅผ์ง. ํ๋จ ๊ธฐ์ค์ ํ๋ ๋ฌธ์ฅ ๋ง๋ถ์ด๋ฉด(์: โ๋ฐ์ด๋ฅผ ๊ณ ๋ คํ๋คโ) ์ ํ๋๊ฐ ํฌ๊ฒ ์ค๋ฆ
๋๋ค.
|
| 182 |
+
- **`criteria`**: `{ID: ์ค๋ช
}`, 2~26๊ฐ. ID๋ ๊ฒฐ๊ณผ๋ก ๋๋ ค๋ฐ๋ ๊ฐ์ด๊ณ , ๋ชจ๋ธ์ ์ค๋ช
์ ๋ณด๊ณ ๊ณ ๋ฆ
๋๋ค. ID๊ฐ ํ์ ์์ผ๋ฉด `["๊ฒฐ์ ยทํ๋ถ", "๋ฐฐ์ก"]`์ฒ๋ผ ๋ฆฌ์คํธ๋ก ๋ฃ์ด๋ ๋ฉ๋๋ค.
|
| 183 |
+
|
| 184 |
+
#### 3. ํ ์ค๋ก
|
| 185 |
+
|
| 186 |
+
```python
|
| 187 |
+
judge("์ง๋๋ฌ ์๊ธ์ด ๋ ๋ฒ ๋น ์ ธ๋๊ฐ์ด์", choices=["๊ฒฐ์ ยทํ๋ถ", "๋ฐฐ์ก", "๊ธฐํ"],
|
| 188 |
+
instruction="๊ณ ๊ฐ ๋ฌธ์๋ฅผ ๋ด๋น ๋ถ์๋ก ๋ถ๋ฅํ๋ค.")
|
| 189 |
+
```
|
| 190 |
+
|
| 191 |
+
`judge.decide`์์ ์ง๋ฌธ์ด ํ๋์ผ ๋์ ๊ฐ์ต๋๋ค. ๋ฆฌ์คํธ๋ฅผ ๋ฃ๊ณ `batch_size=8`์ฒ๋ผ ์ฃผ๋ฉด ๋ฌถ์ด์ ๊ณ์ฐํฉ๋๋ค.
|
| 192 |
+
|
| 193 |
+
---
|
| 194 |
+
|
| 195 |
+
`trust_remote_code=True`๋ ์ด ์ ์ฅ์์ [`judge_pipeline.py`](judge_pipeline.py)์ [`judge.py`](judge.py)(ํ๋กฌํํธ ๋ง๋ค๊ธฐ์ ๋ณด๊ธฐ ์ ์ ๊ณ์ฐ)๋ฅผ ์คํํ๋ค๋ ๋ป์
๋๋ค. ์๊ฒฉ ์ฝ๋๋ฅผ ์ฐ๊ณ ์ถ์ง ์์ผ๋ฉด `judge.py`๋ฅผ ๋ด๋ ค๋ฐ์ `from judge import Judge; judge = Judge()`๋ก ๋๊ฐ์ด ์ธ ์ ์์ต๋๋ค. [`quickstart.ipynb`](quickstart.ipynb)์ ์์๋ฅผ ๋ชจ์ ๋์์ต๋๋ค.
|
| 196 |
+
|
| 197 |
+
## ์ฌ์ฉ ์์
|
| 198 |
+
|
| 199 |
+
์ด ๋ชจ๋ธ์ **โ๋ฌด๏ฟฝ๏ฟฝ๏ฟฝ์ ํ ์งโ๋ฅผ ๋น ๋ฅด๊ฒ ์ ํ๋ ์๋จ**์ ๋๋ ๊ฒ์ด ๊ฐ์ฅ ์ ๋ง์ต๋๋ค. ์ ํด์ง ๋ณด๊ธฐ ์ค ํ๋๋ฅผ ๊ณ ๋ฅด๋ ํ๋จ์ ์ด ๋ชจ๋ธ์ด ํ๊ณ , ๊ธ ์ฐ๊ธฐ๋ ๊ฐ ์ฑ์ฐ๊ธฐ์ฒ๋ผ ์์ฑ์ด ํ์ํ ์ผ๋ง ํฐ ๋ชจ๋ธ์ด๋ ์ฌ๋์๊ฒ ๋๊ธฐ๋ ๊ตฌ์ฑ์
๋๋ค. ์๋ ์์๋ ๋ชจ๋ ์์์ ๋ง๋ `judge`๋ก ๋ฐ๋ก ๋์๊ฐ๋๋ค. ์ฃผ์์ ์ ์ ๊ฒฐ๊ณผ๋ ์๋ํ ์ ๋ต์ด๊ณ , ์ค์ ํ๋ฅ ์ ์ง์ ์คํํด ํ์ธํ์ธ์.
|
| 200 |
+
|
| 201 |
+
### 1. ๊ณ ๊ฐ ๋ฌธ์ ๋ถ๋ฅ โ ๋ถ์์ ๊ธด๊ธ๋๋ฅผ ํ ๋ฒ์
|
| 202 |
+
|
| 203 |
+
๋ฌธ์ ํ๋๋ฅผ ์ฌ๋ฌ ๊ด์ ์ผ๋ก ๋์์ ๋ถ๋ฅํฉ๋๋ค. ์ง๋ฌธ๋ง๋ค ๋ณด๊ธฐ ID๋ฅผ ์ ํด ๋๋ฉด ๊ฒฐ๊ณผ๋ฅผ ๋ฐ๋ก ์
๋ฌด ์ฝ๋์ ์ฐ๊ฒฐํ ์ ์์ต๋๋ค.
|
| 204 |
+
|
| 205 |
+
```python
|
| 206 |
+
def route_ticket(text):
|
| 207 |
+
r = judge.decide(
|
| 208 |
+
state={"๊ณ ๊ฐ ๋ฌธ์": text},
|
| 209 |
+
questions={
|
| 210 |
+
"๋ถ์": {
|
| 211 |
+
"instructions": "๊ณ ๊ฐ ๋ฌธ์๋ฅผ ๋ด๋น ๋ถ์๋ก ๋ถ๋ฅํ๋ค. ์ฌ๋ฌ ๋ด์ฉ์ด ์์ฌ ์์ผ๋ฉด ๊ณ ๊ฐ์ด ํด๊ฒฐ์ ์ํ๋ ๋ฌธ์ ๋ฅผ ์ฐ์ ํ๋ค.",
|
| 212 |
+
"criteria": {"billing": "๊ฒฐ์ ยทํ๋ถ", "delivery": "๋ฐฐ์ก", "account": "๊ณ์ ยท๋ก๊ทธ์ธ",
|
| 213 |
+
"product": "์ ํ ์ฌ์ฉยท๊ณ ์ฅ", "other": "๊ธฐํ"},
|
| 214 |
+
},
|
| 215 |
+
"๊ธด๊ธ": {
|
| 216 |
+
"instructions": "๊ณ ๊ฐ์ด ์ฆ์ ์ฒ๋ฆฌ๋ฅผ ์๊ตฌํ๊ฑฐ๋ ๊ธ์ ํผํด๊ฐ ์งํ ์ค์ธ์ง ํ๋จํ๋ค.",
|
| 217 |
+
"criteria": {"urgent": "์ฆ์ ์ฒ๋ฆฌ ํ์", "normal": "์ผ๋ฐ ์ฒ๋ฆฌ"},
|
| 218 |
+
},
|
| 219 |
+
},
|
| 220 |
+
)
|
| 221 |
+
return r["๋ถ์"]["choice"], r["๊ธด๊ธ"]["choice"]
|
| 222 |
+
|
| 223 |
+
route_ticket("์ง๋๋ฌ ์๊ธ์ด ๋ ๋ฒ ๋น ์ ธ๋๊ฐ์ด์. ์ค๋ ์์ ํ๋ถํด ์ฃผ์ธ์.") # ('billing', 'urgent')
|
| 224 |
+
```
|
| 225 |
+
|
| 226 |
+
- ์ง์นจ์ **ํท๊ฐ๋ฆฌ๋ ๊ฒฝ์ฐ์ ๊ธฐ์ค**์ ํ ๋ฌธ์ฅ ๋ฃ์ผ๋ฉด(โ์ฌ๋ฌ ๋ด์ฉ์ด ์์ฌ ์์ผ๋ฉด โฆ์ ์ฐ์ ํ๋คโ) ์ ํ๋๊ฐ ์ค๋ฆ
๋๋ค.
|
| 227 |
+
- ๋ณด๊ธฐ์ `๊ธฐํ`๋ฅผ ๋๋ฉด ์ด๋์๋ ์ ๋ง๋ ๋ฌธ์๋ฅผ ์ต์ง๋ก ๋ผ์ ๋ฃ์ง ์์ต๋๋ค.
|
| 228 |
+
|
| 229 |
+
### 2. ๋ฆฌ๋ทฐ ๊ฐ์ ๋ถ์ โ ๋๋ ์ฒ๋ฆฌ์ ์ฌ๋ ๊ฒํ ๊ธฐ์ค
|
| 230 |
+
|
| 231 |
+
๋ฆฌ์คํธ๋ก ๋ฃ์ผ๋ฉด ๋ฌถ์ด์ ๊ณ์ฐํฉ๋๋ค. ํ์ ์ด ๋ฎ์ ๊ฑด ๋ฐ๋ก ๋ชจ์ ์ฌ๋์ด ๋ด
๋๋ค.
|
| 232 |
+
|
| 233 |
+
```python
|
| 234 |
+
reviews = ["๋ฐฐ์ก ์ฐธ ๋น ๋ฅด๋ค์. 2์ฃผ ๊ฑธ๋ ธ์ด์", "๊ฐ๊ฒฉ ๋๋น ๊ด์ฐฎ์์", "๋ค์๋ ์ ์ฝ๋๋ค", "๊ทธ๋ฅ ๊ทธ๋์"]
|
| 235 |
+
results = judge.sentiment(reviews)
|
| 236 |
+
|
| 237 |
+
auto = [(t, r["choice"]) for t, r in zip(reviews, results) if r["confidence"] >= 0.7]
|
| 238 |
+
review = [t for t, r in zip(reviews, results) if r["confidence"] < 0.7] # ์ฌ๋์ด ํ์ธ
|
| 239 |
+
```
|
| 240 |
+
|
| 241 |
+
- **๋ฐ์ดยท๋น๊ผผ**(โ๋ฐฐ์ก ์ฐธ ๋น ๋ฅด๋ค์. 2์ฃผ ๊ฑธ๋ ธ์ด์โ)์ ๋์ ํ์ ์ผ๋ก ํ๋ฆฌ๊ธฐ๋ ํฉ๋๋ค. ์ค์ํ ๊ณณ์๋ ํ๋ณธ์ ์ฌ๋์ด ๋ค์ ๋ณด์ธ์.
|
| 242 |
+
- ๊ธฐ์ค๊ฐ 0.7์ ์์์
๋๋ค. ์ค์ ๋ฐ์ดํฐ ์๋ฐฑ ๊ฑด์ ์ ๋ต์ ๋ฌ์ ๋ณด๊ณ โ์ด ๊ธฐ์ค ์ด์์ด๋ฉด ๋ช %๊ฐ ๋ง๋์งโ๋ฅผ ํ์ธํด ์ ํ์ธ์.
|
| 243 |
+
|
| 244 |
+
### 3. ๋ฆฌ๋ทฐ๋ฅผ ์ฌ๋ฌ ์ธก๋ฉด์ผ๋ก โ ๋ฐฐ์กยทํ์งยท๊ฐ๊ฒฉ ๊ฐ๊ฐ
|
| 245 |
+
|
| 246 |
+
ํ ๋ฆฌ๋ทฐ์์ ์ธก๋ฉด๋ณ๋ก ๋ฐ๋ก ํ๋จํฉ๋๋ค. ๊ฐ์ `state`์ ์ง๋ฌธ๋ง ๋๋ฆฌ๋ฉด ๋ฉ๋๋ค.
|
| 247 |
+
|
| 248 |
+
```python
|
| 249 |
+
ASPECT = {"pos": "๊ธ์ ์ ์ผ๋ก ์ธ๊ธ", "neg": "๋ถ์ ์ ์ผ๋ก ์ธ๊ธ", "none": "์ธ๊ธํ์ง ์์"}
|
| 250 |
+
|
| 251 |
+
judge.decide(
|
| 252 |
+
state={"๋ฆฌ๋ทฐ": "๋ฐฐ์ก์ ํ๋ฃจ ๋ง์ ์๋๋ฐ ๋ง๊ฐ์ด ์๋ง์ด๋ค์. ์ด ๊ฐ๊ฒฉ์ด๋ฉด ๊ทธ๋ฅ ๊ทธ๋์."},
|
| 253 |
+
questions={
|
| 254 |
+
"๋ฐฐ์ก": {"instructions": "๋ฆฌ๋ทฐ๊ฐ ๋ฐฐ์ก(์๋ยทํฌ์ฅ)์ ์ด๋ป๊ฒ ์ธ๊ธํ๋์ง ๊ณ ๋ฅธ๋ค.", "criteria": ASPECT},
|
| 255 |
+
"ํ์ง": {"instructions": "๋ฆฌ๋ทฐ๊ฐ ์ ํ ํ์ง(๋ง๊ฐยท๋ด๊ตฌ์ฑยท์ฑ๋ฅ)์ ์ด๋ป๊ฒ ์ธ๊ธํ๋์ง ๊ณ ๋ฅธ๋ค.", "criteria": ASPECT},
|
| 256 |
+
"๊ฐ๊ฒฉ": {"instructions": "๋ฆฌ๋ทฐ๊ฐ ๊ฐ๊ฒฉยท๊ฐ์ฑ๋น๋ฅผ ์ด๋ป๊ฒ ์ธ๊ธํ๋์ง ๊ณ ๋ฅธ๋ค. ์ ๋งคํ ํ๊ฐ๋ ์ธ๊ธํ ๊ฒ์ผ๋ก ๋ณด๋ ๊ธ์ ยท๋ถ์ ์ ๋ฌธ๋งฅ์ผ๋ก ํ๋จํ๋ค.", "criteria": ASPECT},
|
| 257 |
+
},
|
| 258 |
+
)
|
| 259 |
+
# {'๋ฐฐ์ก': {'choice': 'pos', โฆ}, 'ํ์ง': {'choice': 'neg', โฆ}, '๊ฐ๊ฒฉ': {โฆ}}
|
| 260 |
+
```
|
| 261 |
+
|
| 262 |
+
### 4. ๋๊ธ ๊ฒ์ โ ํ์ค ์ฌ๋ถ์ ๊ณต๊ฒฉ์ฑ ์์ค
|
| 263 |
+
|
| 264 |
+
`hate`๋ก ์ฐจ๋ณยท๋นํ ์ฌ๋ถ๋ฅผ ๊ฑฐ๋ฅด๊ณ , `offensive`๋ก ๊ณต๊ฒฉ์ฑ ์์ค์ ๋๋๋๋ค. ๊ธฐ์ฌ ๋๊ธ์ด๋ฉด ์ ๋ชฉ์ ๋ฌธ๋งฅ์ผ๋ก ํจ๊ป ๋ฃ์ต๋๋ค.
|
| 265 |
+
|
| 266 |
+
```python
|
| 267 |
+
comment = "์ด๋ฐ ๊ธฐ์ฌ ์ฐ๋ ๊ธฐ์๋ ๋จธ๋ฆฌ๊ฐ ์๋ ๊ฑด์ง"
|
| 268 |
+
|
| 269 |
+
judge.hate(comment) # ๋นํ์ค / ํ์ค
|
| 270 |
+
judge.offensive(comment, news_title="์ ๋ถ, ๋ด๋
์์ฐ์ ๋ฐํ") # ์์ / ๊ณต๊ฒฉ์ / ํ์ค
|
| 271 |
+
```
|
| 272 |
+
|
| 273 |
+
- ๋ ๋ฉ์๋๋ ๊ธฐ์ค์ด ๋ค๋ฆ
๋๋ค. `hate`๋ ์ฑ๋ณยท๋์ดยท์ถ์ ๊ฐ์ ์ง๋จ์ ๋ํ ์ฐจ๋ณยท๋นํ(APEACH ๊ธฐ์ค), `offensive`๋ ๊ฐ์ธ์ ํฅํ ๋ชจ์๊น์ง ํฌํจํ ๊ณต๊ฒฉ์ฑ 3๋จ๊ณ(BEEP ๊ธฐ์ค)์
๋๋ค.
|
| 274 |
+
- ์ฌ๋์๊ฒ ๋ถ์ด์ต์ ์ฃผ๋ ๊ฒฐ์ (์ญ์ ยท์ ์ฌ)์ ์ธ ๋๋ ํ์ ์ด ๋ฎ์ ๊ฑด ๋ฐ๋์ ์ฌ๋์ด ๊ฒํ ํ๊ฒ ํ์ธ์.
|
| 275 |
+
|
| 276 |
+
### 5. ์์ด์ ํธ ๋ผ์ฐํฐ โ ๋๊ตฌ ํธ์ถ / ๋๋ฌป๊ธฐ / ์ง์ ๋ต๋ณ
|
| 277 |
+
|
| 278 |
+
์์ด์ ํธ๊ฐ ๋งค ํด ํฐ ๋ชจ๋ธ์ โ๋ค์์ ๋ญ ํ ์งโ๋ฅผ ๋ฌป๋ ๋์ , ์ด ๋ชจ๋ธ์ด ๋จผ์ ์ ํฉ๋๋ค. ๋๊ตฌ ์ธ์ ์ฑ์ฐ๊ธฐ์ ๋ต๋ณ ์์ฑ๋ง ํฐ ๋ชจ๋ธ์ ๋งก๊น๋๋ค.
|
| 279 |
+
|
| 280 |
+
```python
|
| 281 |
+
tools = [
|
| 282 |
+
{"type": "function", "function": {"name": "call_taxi", "description": "ํ์๋ฅผ ํธ์ถํ๋ค",
|
| 283 |
+
"parameters": {"type": "object", "properties": {"pickup": {"type": "string"}, "destination": {"type": "string"}},
|
| 284 |
+
"required": ["pickup", "destination"]}}},
|
| 285 |
+
{"type": "function", "function": {"name": "get_weather", "description": "์ง์ญ์ ํ์ฌ ๋ ์จ๋ฅผ ์๋ ค์ค๋ค",
|
| 286 |
+
"parameters": {"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]}}},
|
| 287 |
+
]
|
| 288 |
+
messages = [{"role": "user", "content": "๊ฐ๋จ์ญ์์ ์์ธ์ญ๊น์ง ํ์ ๋ถ๋ฌ์ค"}]
|
| 289 |
+
|
| 290 |
+
r = judge.next_action(messages, tools)
|
| 291 |
+
if r["confidence"] < 0.7:
|
| 292 |
+
action = "ํฐ ๋ชจ๋ธ์๊ฒ ๋ค์ ํ๋์ ๋งก๊น"
|
| 293 |
+
elif r["choice"].startswith("CALL:"):
|
| 294 |
+
action = f"ํฐ ๋ชจ๋ธ๋ก {r['choice'][5:]} ์ ์ธ์๋ฅผ ์ฑ์ ํธ์ถ" # ์ด ๋ชจ๋ธ์ ์ธ์๋ฅผ ์ฑ์ฐ์ง ๋ชปํฉ๋๋ค
|
| 295 |
+
elif r["choice"] == "ASK":
|
| 296 |
+
action = "๋น ์ง ํ์ ์ ๋ณด๋ฅผ ์ฌ์ฉ์์๊ฒ ๋๋ฌป๊ธฐ"
|
| 297 |
+
else: # RESPOND
|
| 298 |
+
action = "๋๊ตฌ ์์ด ๋ฐ๋ก ๋ต๋ณ"
|
| 299 |
+
```
|
| 300 |
+
|
| 301 |
+
- ๋๊ตฌ๋ **OpenAI ํ์ ๊ทธ๋๋ก**, ํนํ `required`๋ฅผ ๊ผญ ๋ฃ์ผ์ธ์. ์ด๋ฆ๋ง ์ฃผ๋ฉด ํ์ ์ธ์๋ฅผ ๋ณผ ์ ์์ด ASK์ CALL์ ๊ตฌ๋ณํ์ง ๋ชปํฉ๋๋ค.
|
| 302 |
+
- ๋ํ ๊ธฐ๋ก(์ ํด, ๋๊ตฌ ๊ฒฐ๊ณผ `{"role": "tool", โฆ}`)์ ํจ๊ป ๋ฃ์ผ๋ฉด โ์ด๋ฏธ ์ฒ๋ฆฌ๋์ผ๋ ๊ฒฐ๊ณผ ์๋ด(RESPOND)โ ๊ฐ์ ํ๋จ๋ ํฉ๋๋ค.
|
| 303 |
+
- ๋๊ตฌ๋ ์ต๋ 24๊ฐ๊น์ง ๋ฃ์ ์ ์์ต๋๋ค (๋ณด๊ธฐ 26๊ฐ ์ค 2๊ฐ๊ฐ ASKยทRESPOND).
|
| 304 |
+
|
| 305 |
+
### 6. ์ ์ฑ
์ ๋ฐ๋ฅธ ๊ณ ๊ฐ์ผํฐ ํ๋ ๊ฒฐ์
|
| 306 |
+
|
| 307 |
+
์ ์ฑ
๋ฌธ์์ ๊ณ ๊ฐ ์์ฒญ์ ์ฃผ๋ฉด ์คํ / ํ์ธ / ๋๋ฌป๊ธฐ / ์ด๊ด / ๊ฑฐ์ ์ค ๋ฌด์์ ํ ์ง ๊ณ ๋ฆ
๋๋ค. ์์ธ ์กฐํญ์ด ์ ์ฉ๋๋์ง๊น์ง ๋ฐ์ง๋๋ค.
|
| 308 |
+
|
| 309 |
+
```python
|
| 310 |
+
policy = ("ํด์ธ ์นด๋ ์น์ธ ๊ธ์ก์ด 100,000์ ์ด์์ด๋ฉด ๊ณ ๊ฐ์ ํ์ธ์ ๋ฐ์ ํ์๋ง ์คํํ๋ค. "
|
| 311 |
+
"๋ค๋ง VIP ๋ฑ๊ธ ๊ณ ๊ฐ์ ํ์ธ ์์ด ๋ฐ๋ก ์คํํ๋ค.")
|
| 312 |
+
|
| 313 |
+
judge.policy_action(policy, "ํ์ฝฉ์์ ์นด๋๋ก 149,000์ ๊ฒฐ์ ํ๋ ค๋๋ฐ ์น์ธํด์ค. ๋ด ๋ฑ๊ธ์ ์ผ๋ฐ์ด์ผ.")
|
| 314 |
+
# โ ASK_CONFIRMATION (๊ธ์ก ๊ธฐ์ค์ ๋์๊ณ VIP ์์ธ๊ฐ ์๋)
|
| 315 |
+
```
|
| 316 |
+
|
| 317 |
+
- ์ ์ฑ
์ **์ ํ ์๋ ๊ฒ๋ง** ๊ทผ๊ฑฐ๋ก ํ๋จํ๋๋ก ํ์ตํ์ต๋๋ค. ์ค์ ์
๋ฌด ๊ท์ ์ ๋ชจ๋ธ์ด ์์์ ๋ณด์ถฉํ์ง ์์ผ๋, ํ์ํ ์กฐ๊ฑด์ ์ ์ฑ
๋ฌธ์ฅ์ ๋ค ์ฐ์ธ์.
|
| 318 |
+
- ๋ณด๊ธฐ: `ANSWER`, `ASK_CLARIFICATION`, `ASK_CONFIRMATION`, `CALL_TOOL`, `CALL_MULTIPLE_TOOLS`, `ESCALATE`, `REFUSE`.
|
| 319 |
+
|
| 320 |
+
### 7. ๋ต๋ณ์ด ๊ทผ๊ฑฐ ๋ฌธ์์ ๋ง๋์ง ํ์ธ (RAG ๊ฒ์ฆ)
|
| 321 |
+
|
| 322 |
+
๊ฒ์ํ ๋ฌธ์๋ฅผ ์ ์ ๋ก, ์์ฑ๋ ๋ต๋ณ์ ๋ฌธ์ฅ์ ๊ฐ์ค๋ก ๋ฃ์ต๋๋ค. `contradiction`์ด๋ฉด ๋ฌธ์์ ์ด๊ธ๋ ๋ต์ด๊ณ , `neutral`์ด๋ฉด ๋ฌธ์์ ๊ทผ๊ฑฐ๊ฐ ์๋ ๋ด์ฉ์
๋๋ค.
|
| 323 |
+
|
| 324 |
+
```python
|
| 325 |
+
doc = "์๋์ธ์ ๊ณ์ฝ์ด ๋๋๊ณ ์์ฐจ์ธ์ด ์ง์ ๋น์ด ๋ ๋ถํฐ 30์ผ ์ด๋ด์ ๋ณด์ฆ๊ธ์ ๋๋ ค์ค๋ค."
|
| 326 |
+
answer_sentences = ["๋ณด์ฆ๊ธ์ ์ง์ ๋น์ด ๋ค 30์ผ ์์ ๋๋ ค๋ฐ์ต๋๋ค.",
|
| 327 |
+
"๋ณด์ฆ๊ธ์ ์ง์ ๋น์ด ๋ค 40์ผ ๋ค์ ๋๋ ค๋ฐ์ต๋๋ค.",
|
| 328 |
+
"๋ณด์ฆ๊ธ์๋ ์ฐ 3% ์ด์๊ฐ ๋ถ์ต๋๋ค."]
|
| 329 |
+
|
| 330 |
+
for s, r in zip(answer_sentences, judge.nli([doc] * len(answer_sentences), answer_sentences)):
|
| 331 |
+
print(r["choice"], s)
|
| 332 |
+
# entailment โฆ 30์ผ ์์ โฆ โ ๊ทผ๊ฑฐ ์์
|
| 333 |
+
# contradiction โฆ 40์ผ ๋ค์ โฆ โ ๋ฌธ์์ ์ด๊ธ๋จ
|
| 334 |
+
# neutral โฆ ์ฐ 3% ์ด์ โฆ โ ๋ฌธ์์ ๊ทผ๊ฑฐ ์์
|
| 335 |
+
```
|
| 336 |
+
|
| 337 |
+
- ๋ต๋ณ์ **๋ฌธ์ฅ ๋จ์๋ก ๋๋ ** ๋ฃ์ผ์ธ์. ์ฌ๋ฌ ์ฃผ์ฅ์ด ์์ธ ๊ธด ๋ต๋ณ์ ํ๋จ์ด ํ๋ ค์ง๋๋ค.
|
| 338 |
+
- ํ์ต ์ต๋ ๊ธธ์ด๊ฐ 2,048ํ ํฐ์ด๋ผ ๊ธด ๋ฌธ์๋ ๊ด๋ จ ๋จ๋ฝ๋ง ์๋ผ ๋ฃ์ผ์ธ์.
|
| 339 |
+
|
| 340 |
+
### 8. ์ฝ๊ดยท๋ฌธ์์ ๊ทผ๊ฑฐํ ์/์๋์ค
|
| 341 |
+
|
| 342 |
+
๋ฌธ์๋ฅผ ์ฃผ๊ณ ์ง๋ฌธ์ ์/์๋์ค๋ก ๋ตํ๊ฒ ํฉ๋๋ค. ๋ฌธ์์ ์๋ ์์์ผ๋ก ๋ตํ์ง ์๋๋ก ํ์ตํ์ต๋๋ค.
|
| 343 |
+
|
| 344 |
+
```python
|
| 345 |
+
terms = "๊ตฌ๋งค ํ 7์ผ ์ด๋ด์๋ ๋จ์ ๋ณ์ฌ์ผ๋ก๋ ํ๋ถํ ์ ์๋ค. ๋จ, ํฌ์ฅ์ ๋ฏ์ ์ํํธ์จ์ด๋ ํ๋ถ ๋์์์ ์ ์ธํ๋ค."
|
| 346 |
+
|
| 347 |
+
judge.yes_no("ํฌ์ฅ์ ๋ฏ์ ๊ฒ์ CD๋ฅผ 3์ผ ๋ง์ ํ๋ถํ ์ ์๋์?", terms) # โ ์๋์ค
|
| 348 |
+
judge.yes_no("๋ฏ์ง ์์ ํค๋ณด๋๋ฅผ 5์ผ ๋ง์ ํ๋ถํ ์ ์๋์?", terms) # โ ์
|
| 349 |
+
```
|
| 350 |
+
|
| 351 |
+
### 9. ๋น์ทํ ์ง๋ฌธ ์ฐพ๊ธฐ โ FAQ ์ค๋ณต ํ์ธ
|
| 352 |
+
|
| 353 |
+
์๋ก ๋ค์ด์จ ์ง๋ฌธ์ด ๊ธฐ์กด FAQ์ ๊ฐ์ ๋ป์ธ์ง ํ์ธํฉ๋๋ค. ํ๋ณด๋ ๊ฒ์(์๋ฒ ๋ฉ ๋ฑ)์ผ๋ก ๋จผ์ ์ขํ๊ณ , ์ต์ข
ํ์ธ์ ์ด ๋ชจ๋ธ์ ์ฐ๋ ๊ตฌ์ฑ์ด ์ข์ต๋๋ค.
|
| 354 |
+
|
| 355 |
+
```python
|
| 356 |
+
faq = ["๋น๋ฐ๋ฒํธ๋ฅผ ์์ด๋ฒ๋ ธ์ด์", "๋ฐฐ์ก์ง๋ ์ด๋ป๊ฒ ๋ฐ๊พธ๋์", "ํ์ ํํด๋ ์ด๋์ ํ๋์"]
|
| 357 |
+
q = "๋ก๊ทธ์ธ ๋น๋ฒ์ด ๊ธฐ์ต์ด ์ ๋์"
|
| 358 |
+
|
| 359 |
+
hits = judge.similar([q] * len(faq), faq)
|
| 360 |
+
best = max(range(len(faq)), key=lambda i: hits[i]["probabilities"]["๊ฐ์"])
|
| 361 |
+
faq[best], hits[best]["choice"] # ('๋น๋ฐ๋ฒํธ๋ฅผ ์์ด๋ฒ๋ ธ์ด์', '๊ฐ์')
|
| 362 |
+
```
|
| 363 |
+
|
| 364 |
+
- `similar`๋ ํ์ตํ์ง ์์ ๊ณผ์ ์
๋๋ค (ํ์ตํ์ง ์์ KLUE-STS์์ 85.9%).
|
| 365 |
+
|
| 366 |
+
### 10. ๋ด ๋ถ๋ฅ ์ฒด๊ณ ๊ทธ๋๋ก ์ฐ๊ธฐ
|
| 367 |
+
|
| 368 |
+
์ด๋ค ๋ถ๋ฅ๋ ์ง์นจ๊ณผ ๋ณด๊ธฐ๋ง ์ฐ๋ฉด ๋ฉ๋๋ค. ํ์ตํ์ง ์์ ๊ณผ์ ๋ผ๋ **ํ๋จ ๊ธฐ์ค์ ์ง์นจ์ ์ ์ด ์ฃผ๋ ๊ฒ**์ด ์ ํ๋๋ฅผ ๊ฐ์ฅ ํฌ๊ฒ ์ข์ฐํฉ๋๋ค.
|
| 369 |
+
|
| 370 |
+
```python
|
| 371 |
+
judge.decide(
|
| 372 |
+
state={"๋ณด๊ณ ์ ๋ฌธ์ฅ": "3๋ถ๊ธฐ ๋งค์ถ์ ์ ๋
๋๋น 12% ์ฆ๊ฐํ์ผ๋ ์์
์ด์ต๋ฅ ์ ์ํญ ํ๋ฝํ๋ค."},
|
| 373 |
+
questions={
|
| 374 |
+
"๋
ผ์กฐ": {
|
| 375 |
+
"instructions": "๋ฌธ์ฅ์ด ํ์ฌ ์ค์ ์ ์ด๋ค ๋
ผ์กฐ๋ก ์ ๋ฌํ๋์ง ๊ณ ๋ฅธ๋ค. ์ข์ ์ ๊ณผ ๋์ ์ ์ด ํจ๊ป ์์ผ๋ฉด ํผํฉ์ผ๋ก ๋ณธ๋ค.",
|
| 376 |
+
"criteria": {"positive": "๊ธ์ ์ ", "negative": "๋ถ์ ์ ", "mixed": "ํผํฉ", "neutral": "์ฌ์ค ์ ๋ฌ๋ง"},
|
| 377 |
+
},
|
| 378 |
+
},
|
| 379 |
+
)
|
| 380 |
+
```
|
| 381 |
+
|
| 382 |
+
**์ ์ ๋๋ ์ฐ์์**: ์ซ์ ๋น๊ตยท๊ณ์ฐ์ด ํต์ฌ์ธ ํ๋จ(โ์ด๋ ์ชฝ์ด ๋ ์ผ๊ฐโ), ๋ฌธ์ฅ์์ ๊ฐ ๋ฝ๊ธฐ, ๋ต๋ณ ์์ฑ, ๋ค๋ฅธ ๋ชจ๋ธ ๋ต๋ณ์ ํ์ง ์ฑ์ (LLM-as-a-judge). ์ด๋ฐ ์ผ์ ์์ฑ ๋ชจ๋ธ์ ๋งก๊ธฐ์ธ์.
|
| 383 |
+
|
| 384 |
+
### ์๋ฆฌ: transformers๋ง์ผ๋ก ์ง์ ๊ณ์ฐํ๊ธฐ
|
| 385 |
+
|
| 386 |
+
```python
|
| 387 |
+
import torch, json
|
| 388 |
+
from transformers import AutoModelForCausalLM, AutoTokenizer
|
| 389 |
+
from huggingface_hub import hf_hub_download
|
| 390 |
+
|
| 391 |
+
name = "coderecode95/KJH-Judge-4B-ko"
|
| 392 |
+
tok = AutoTokenizer.from_pretrained(name)
|
| 393 |
+
model = AutoModelForCausalLM.from_pretrained(name, dtype=torch.bfloat16, device_map="auto").eval()
|
| 394 |
+
T = json.load(open(hf_hub_download(name, "calibration.json")))["temperature"] # 1.7179
|
| 395 |
+
|
| 396 |
+
choices = ["๊ธ์ ์ ๊ฐ์ ", "๋ถ์ ์ ๊ฐ์ "]
|
| 397 |
+
prompt = ("๋ฌธ์ฅ์ ์ ๋ฐ์ ์ธ ๊ฐ์ ๊ทน์ฑ์ ํ๋จํ๋ค.\n\n"
|
| 398 |
+
"text: ๋ฐฐ์ก์ ๋๋ ธ์ง๋ง ๋ฌผ๊ฑด์ ์ ๋ง ๋ง์์ ๋ค์ด์\n\n"
|
| 399 |
+
"๋ณด๊ธฐ:\n" + "\n".join(f"{chr(65+i)}. {c}" for i, c in enumerate(choices)) +
|
| 400 |
+
"\n\n์ ๋ต ๋ณด๊ธฐ์ ๊ธฐํธ ํ๋๋ง ๋ตํ์ธ์.")
|
| 401 |
+
ids = tok(f"<|im_start|>user\n{prompt}<|im_end|>\n<|im_start|>assistant\n", return_tensors="pt", add_special_tokens=False).input_ids.to(model.device)
|
| 402 |
+
with torch.no_grad():
|
| 403 |
+
logits = model(ids).logits[0, -1]
|
| 404 |
+
letters = [tok.encode(chr(65 + i), add_special_tokens=False)[0] for i in range(len(choices))]
|
| 405 |
+
probs = torch.softmax(logits[letters].float() / T, -1)
|
| 406 |
+
print({c: round(p, 4) for c, p in zip(choices, probs.tolist())})
|
| 407 |
+
```
|
| 408 |
+
|
| 409 |
+
### ํ๋กฌํํธ ํ์
|
| 410 |
+
|
| 411 |
+
ํ์ต๊ณผ ํ๊ฐ์ ์ด ํ์์
๋๋ค. ์ด ํ์์ ์ง์ผ์ผ ์ ์ฑ๋ฅ์ด ๋์ต๋๋ค.
|
| 412 |
+
|
| 413 |
+
```
|
| 414 |
+
<|im_start|>user
|
| 415 |
+
{๊ณผ์ ์ค๋ช
} โ instructions
|
| 416 |
+
|
| 417 |
+
{ํญ๋ชฉ ์ด๋ฆ}: {๊ฐ} โ state ์ ํญ๋ชฉ๋ง๋ค ํ ์ค. ๊ฐ์ด ๋ฌธ์์ด์ด ์๋๋ฉด JSON
|
| 418 |
+
{ํญ๋ชฉ ์ด๋ฆ}: {๊ฐ}
|
| 419 |
+
|
| 420 |
+
๋ณด๊ธฐ:
|
| 421 |
+
A. {๋ณด๊ธฐ 1} โ criteria ์ ์ค๋ช
|
| 422 |
+
B. {๋ณด๊ธฐ 2}
|
| 423 |
+
โฆ
|
| 424 |
+
|
| 425 |
+
์ ๋ต ๋ณด๊ธฐ์ ๊ธฐํธ ํ๋๋ง ๋ตํ์ธ์.<|im_end|>
|
| 426 |
+
<|im_start|>assistant
|
| 427 |
+
```
|
| 428 |
+
|
| 429 |
+
- `judge.decide()`์ ๋ฉ์๋๋ค์ ์ด ํ์์ ์๋์ผ๋ก ๋ง๋ญ๋๋ค. ์ง์ ๋ง๋ค ๋๋ง ์ ๊ฒฝ ์ฐ๋ฉด ๋ฉ๋๋ค.
|
| 430 |
+
- ๋ณด๊ธฐ๋ 2~26๊ฐ์
๋๋ค.
|
| 431 |
+
- ๊ณผ์ ์ค๋ช
์ ์งง๊ณ ๊ตฌ์ฒด์ ์ผ๋ก ์ฐ์ธ์. ํ๋จ ๊ธฐ์ค์ ํ๋ ๋ฌธ์ฅ ๋ง๋ถ์ด๋ฉด(์: โ๋ฐ์ด๋ฅผ ๊ณ ๋ คํ๋คโ, โ์ ๋ณด๊ฐ ์๋ค๋ ์ด์ ๋ง์ผ๋ก ๋ชจ์์ ๊ณ ๋ฅด์ง ์๋๋คโ) ์ ํ๋๊ฐ ํฌ๊ฒ ์ค๋ฆ
๋๋ค.
|
| 432 |
+
- `generate()`๋ก ์ธ ๊ฒฝ์ฐ `max_new_tokens=1`๋ก ๋ณด๊ธฐ ๊ธฐํธ ํ๋๋ง ๋ฐ์ผ์ธ์ (์ด ์ ์ฅ์์ `generation_config.json`์ `do_sample: false`์
๋๋ค). ํ๋ฅ ์ด ํ์ํ๋ฉด ์์ฒ๋ผ logits๋ฅผ ์ฝ์ผ์ธ์.
|
| 433 |
+
|
| 434 |
+
## ์ฑ๋ฅ
|
| 435 |
+
|
| 436 |
+
### 1. ํ์ตํ์ง ์์ ๊ณต๊ฐ ๋ฒค์น๋งํฌ
|
| 437 |
+
|
| 438 |
+
์ด ๋ชจ๋ธ์ ํ์ต์ ์ฐ์ง ์์ ์ถ์ฒ์ ๊ณต๊ฐ ๋ฐ์ดํฐ์
๋๋ค (KLUE-STS๋ ํ์ต์ ์ด KLUE NLIยทYNAT์ ๊ฐ์ KLUE ๋ฌถ์์ด์ง๋ง, STS ๊ณผ์ ๋ ํ์ตํ์ง ์์์ต๋๋ค). 0-shot, ์ ํ๋กฌํํธ ํ์, ๋ณด๊ธฐ ๊ธฐํธ ์ ์ ๋ฐฉ์์ผ๋ก ์์ต๋๋ค (ํ๋ณธ์ ๊ณ ์ ์๋, ๊ดํธ๋ 95% ์ ๋ขฐ๊ตฌ๊ฐ). ์ฌํ ์คํฌ๋ฆฝํธ: [`eval/bench_heldout.py`](eval/bench_heldout.py).
|
| 439 |
+
|
| 440 |
+
<!-- HELDOUT:start -->
|
| 441 |
+
| ๋ฒค์น๋งํฌ | ๋ฌด์์ ์ฌ๋ | ๋ฌธํญ | ์ ํ๋ (95% ๊ตฌ๊ฐ) | ๋ฌด์์ | ์ถ์ฒ ยท ๋ผ์ด์ ์ค |
|
| 442 |
+
|---|---|---:|---:|---:|---|
|
| 443 |
+
| NSMC | ์ํ ๋ฆฌ๋ทฐ ๊ฐ์ฑ (๊ธ์ /๋ถ์ ) | 1,000 | **85.7%** (83.4~87.7) | 50% | e9t/nsmc ยท ratings_test ยท CC0 1.0 |
|
| 444 |
+
| KorNLI (XNLI) | ๋ฌธ์ฅ ๊ด๊ณ 3๋ถ๋ฅ (XNLI ํ๊ตญ์ด ๋ฒ์ญ) | 1,000 | **74.5%** (71.7~77.1) | 33% | kakaobrain/kor_nli ยท xnli/test ยท CC BY-SA 4.0 |
|
| 445 |
+
| KLUE-STS | ๋ ๋ฌธ์ฅ์ด ๊ฐ์ ๋ป์ธ์ง (์/์๋์ค) | 519 | **85.9%** (82.7~88.7) | 50% | klue/klue ยท sts/validation (binary-label) ยท CC BY-SA 4.0 |
|
| 446 |
+
| Korean UnSmile | ์
ํยทํ์ค ํํ ์ฌ๋ถ | 1,000 | **82.1%** (79.6~84.4) | 50% | smilegate-ai/kor_unsmile ยท valid (clean ์ฌ๋ถ) ยท CC BY-NC-ND 4.0 |
|
| 447 |
+
| KMMLU | ํ๊ตญ์ด ์ ๋ฌธ ์ง์ 4์ง์ ๋ค (45๊ณผ๋ชฉ) | 990 | **42.6%** (39.6~45.7) | 25% | HAERAE-HUB/KMMLU ยท test ยท CC BY-ND 4.0 |
|
| 448 |
+
| HAE-RAE Bench 1.0 | ํ๊ตญ ๋ฌธํยท์ดํ ์ง์ 5์ง์ ๋ค | 983 | **56.1%** (53.0~59.2) | 21% | HAERAE-HUB/HAE_RAE_BENCH_1.0 ยท test ยท CC BY-NC-ND 4.0 |
|
| 449 |
+
<!-- HELDOUT:end -->
|
| 450 |
+
|
| 451 |
+
<!-- COMPARE:start -->
|
| 452 |
+
**๊ฐ์ ์กฐ๊ฑด ๋น๊ต** ยท ๊ฐ์ ๋ฌธํญ ยท ๊ฐ์ ํ๋กฌํํธ ยท 0-shot ยท ๋ณด๊ธฐ ๊ธฐํธ ์ ์. ๋ค๋ฅธ ๋ชจ๋ธ์ ์๊ฐ(thinking)์ ๋๊ณ ๊ฐ์์ ๋ํ ํ์์ผ๋ก ๋ฌผ์์ต๋๋ค.
|
| 453 |
+
|
| 454 |
+
| ๋ฒค์น๋งํฌ | **KJH-Judge-4B-ko (4B)** | Gemma 4 26B-A4B-it (0-shot) |
|
| 455 |
+
|---|---:|---:|
|
| 456 |
+
| NSMC | **85.7%** | 88.7% |
|
| 457 |
+
| KorNLI (XNLI) | **74.5%** | 77.1% |
|
| 458 |
+
| KLUE-STS | **85.9%** | 88.4% |
|
| 459 |
+
| Korean UnSmile | **82.1%** | 81.3% |
|
| 460 |
+
| KMMLU | **42.6%** | 64.0% |
|
| 461 |
+
| HAE-RAE Bench 1.0 | **56.1%** | 79.7% |
|
| 462 |
+
<!-- COMPARE:end -->
|
| 463 |
+
|
| 464 |
+
์๋ณธ Qwen3-4B์ ์ฌ์ ํ์ต์ ์ด ๋ฐ์ดํฐ๊ฐ ๋ค์ด๊ฐ๋์ง๋ ์ ์ ์์ต๋๋ค. KMMLUยทHAE-RAE๋ ์ ๋ฌธ ์ง์์ ๋ฌป๋ ์ํ์ด๋ผ, ํ์ ๋ฅ๋ ฅ๋ณด๋ค ์๋ณธ ๋ชจ๋ธ์ ์ง์์ด ์ ์๋ฅผ ์ข์ฐํฉ๋๋ค.
|
| 465 |
+
|
| 466 |
+
### 2. Korean JEV Benchmark (์ฐธ๊ณ : ๊ฐ์ ์ถ์ฒ์ ์ํ ๋ฌธํญ)
|
| 467 |
+
|
| 468 |
+
[DaehanKim/korean-jev-benchmark](https://huggingface.co/datasets/DaehanKim/korean-jev-benchmark) 25,418๋ฌธํญ ์ ์ฒด์
๋๋ค. ์ด ์ํ ๋ฌธํญ ์์ฒด๋ก ํ์ตํ์ง๋ ์์์ง๋ง, **๊ฐ์ ์ถ์ฒ ๋ฐ์ดํฐ(KLUE, KoBEST ๋ฑ)์ ํ์ต ๋ถํ ๋ก ํ์ตํ๊ธฐ ๋๋ฌธ์** ๋ค๋ฅธ ๋ชจ๋ธ์ 0-shot ์ ์์ ๊ฐ์ ์กฐ๊ฑด์ ๋น๊ต๊ฐ ์๋๋๋ค.
|
| 469 |
+
|
| 470 |
+
| ํญ๋ชฉ | ๊ฐ |
|
| 471 |
+
|---|---|
|
| 472 |
+
| ์ ์ฒด ์ ํ๋ | **90.37%** (ํ์ต ์ Qwen3-4B 29.56%, ๋ฌด์์ 29.86%) |
|
| 473 |
+
| ํ์ต ๋ฐ์ดํฐ๊ฐ ์๋ ๊ณผ๋ชฉ (Belebele ํ๊ตญ์ด ๋
ํด) | **86.87%** |
|
| 474 |
+
| ๋ณด๊ธฐ๋ฅผ ๊ฑฐ๊พธ๋ก ๋์๋ ๊ฐ์ ๋ต | 97.93% |
|
| 475 |
+
| ๊ธฐ๋ ๋ณด์ ์ค์ฐจ (ECE) | 0.0265 |
|
| 476 |
+
|
| 477 |
+
| ๊ณผ๋ชฉ | ์ ํ๋ | ๊ณผ๋ชฉ | ์ ํ๋ |
|
| 478 |
+
|---|---:|---|---:|
|
| 479 |
+
| KoBEST BoolQ | 95.65% | KLUE YNAT (๋ด์ค ์ฃผ์ ) | 93.93% |
|
| 480 |
+
| KoBEST HellaSwag | 94.65% | KLUE NLI | 92.39% |
|
| 481 |
+
| KoBEST SentiNeg | 93.91% | APEACH (ํ์ค) | 88.64% |
|
| 482 |
+
| KoBEST COPA | 92.55% | KoBEST WiC | 84.96% |
|
| 483 |
+
| SIB-200 | 94.44% | Korean Hate Speech (3๋ถ๋ฅ) | 77.87% |
|
| 484 |
+
| FunctionChat ๋๊ตฌ ๊ณ ๋ฅด๊ธฐ | 94.68% | EnterpriseOps ์ ์ฑ
ํ๋ (7๋ถ๋ฅ) | 83.43% |
|
| 485 |
+
| FunctionChat ๋ํ | 93.50% | ๋ฒ๋ น ์ง๋ฌธ (v2ยทv3, 6๊ฐ ๋ฌถ์) | 90.8~99.2% |
|
| 486 |
+
| FunctionChat ํธ์ถ ํ๋จ | 84.55% | ๋ฒ๋ น ๊ธฐ๊ฐ ๊ณ์ฐ | 69.10% |
|
| 487 |
+
|
| 488 |
+
### ์๋
|
| 489 |
+
|
| 490 |
+
๊ฐ์ธ GPU ์๋ฒ์์ ๊ฐ์ ๋ฌธํญ 60๊ฐ(NSMCยทKorNLI)๋ก ์ฐ ์ฐธ๊ณ ๊ฐ์
๋๋ค (๋คํธ์ํฌ ์๋ณต ํฌํจ, ์ธก์ ์คํฌ๋ฆฝํธ: [`eval/bench_speed.py`](eval/bench_speed.py)).
|
| 491 |
+
|
| 492 |
+
| ์ธก์ | **KJH-Judge-4B-ko** | Gemma 4 26B-A4B-it |
|
| 493 |
+
|---|---:|---:|
|
| 494 |
+
| ํ์ ํ ๋ฒ (์ค์๊ฐ) | **250ms** (์๋ฒ ์ ๊ณ์ฐ 87ms) | 621ms |
|
| 495 |
+
| ๋์ 4๊ฐ์ฉ ๋ณด๋์ ๋ ์ฒ๋ฆฌ๋ | 3.9๊ฑด/์ด | **9.9๊ฑด/์ด** |
|
| 496 |
+
| ์๊ฐ์ ์ผ๊ณ ๋ต์ ์์ฑํ ๋ | | 6.3์ด |
|
| 497 |
+
|
| 498 |
+
- ๋์ ์ฒ๋ฆฌ๋์ ๋น๊ต ๋ชจ๋ธ์ด ์์ฐ์ต๋๋ค. ๋น๊ต ๋ชจ๋ธ์ ์์ฒญ์ ๋ฌถ์ด ์ฒ๋ฆฌํ๋ ์๋น ์์ง์์, ์ด ๋ชจ๋ธ์ ํ๋์ฉ ์ฒ๋ฆฌํ๋ ๋จ์ํ ์๋ฒ์์ ๋์๊ธฐ ๋๋ฌธ์
๋๋ค. ๋๋ ์ฒ๋ฆฌ์๋ ๋ฆฌ์คํธ๋ก ๋ฃ๊ณ `batch_size`๋ฅผ ์ฃผ์ด ๋ฌถ์ด ๊ณ์ฐํ์ธ์.
|
| 499 |
+
- CPU(๋
ธํธ๋ถ, fp32)์์๋ ํ์ ํ ๋ฒ์ 6์ด์์ ์ ๋ถ์ด ๊ฑธ๋ ค ์ค์ฌ์ฉ์ด ์ด๋ ต์ต๋๋ค.
|
| 500 |
+
|
| 501 |
+
## ์ํ๋ ๊ฒ๊ณผ ๋ชปํ๋ ๊ฒ
|
| 502 |
+
|
| 503 |
+
**์ํ๋ ๊ฒ**: ๋ณด๊ธฐ๊ฐ ์ ํด์ง ๋ถ๋ฅ, ๋ฌธ์ฅ ๊ด๊ณ ํ๋จ, ์ง๋ฌธ์ ๊ทผ๊ฑฐํ ์/์๋์ค, ์ ์ฑ
ยท๊ท์น์ ๋ฐ๋ฅธ ํ๋ ์ ํ, ์์ด์ ํธ์ ๋ค์ ํ๋(๋๊ตฌ ํธ์ถ / ๋๋ฌป๊ธฐ / ์ง์ ๋ต๋ณ) ๊ฒฐ์ . ์ฒ์ ๋ณด๋ ์ง์๋ฌธ์ด๋ผ๋ ์ด๋ฐ ํ์์ด๋ฉด ์ ๋ฐ๋ฆ
๋๋ค.
|
| 504 |
+
|
| 505 |
+
**๋ชปํ๋ ๊ฒ**
|
| 506 |
+
- **๊ธ ์์ฑ, ๋ฌธ์ฅ์์ ๊ฐ ๋ฝ๊ธฐ**: ๋ณด๊ธฐ๋ฅผ ๊ณ ๋ฅด๋ ๊ฒ๋ง ํฉ๋๋ค. ๋๊ตฌ ์ธ์ ๊ฐ์ ์ฑ์ฐ๊ฑฐ๋ ๋ต๋ณ์ ์ฐ๋ ์ผ์ ์์ฑ ๋ชจ๋ธ์ ๋งก๊ธฐ์ธ์.
|
| 507 |
+
- **์ซ์ ๋น๊ตยท๊ณ์ฐ์ด ํต์ฌ์ธ ํ๋จ**: ๊ฑฐ๋ฆฌยท์๋ยท์ ์ ๊ฐ์ ์์น๋ฅผ ๋น๊ตํด ๊ณ ๋ฅด๋ ์ผ์ ์ฝํฉ๋๋ค.
|
| 508 |
+
- **๋ฐ์ดยท๋น๊ผผ**: โ๋ฐฐ์ก ์ฐธ ๋น ๋ฅด๋ค์. 2์ฃผ ๊ฑธ๋ ธ์ด์โ๋ฅผ ๊ธ์ ์ผ๋ก ๋์ ํ์ ๊ณผ ํจ๊ป ๊ณ ๋ฅด๋ ๊ฒฝ์ฐ๊ฐ ์์ต๋๋ค.
|
| 509 |
+
- **์ง์๋ฌธ ๋ฌธ๊ตฌ์ ๋ฏผ๊ฐ**: โ์ค์ ์กด์ฌํ๋ ์ธ๋ฌผ์ธ๊ฐ์?โ๋ฅผ โ์ค์ ์กด์ฌํ๋์?โ์ฒ๋ผ ์ฝ๋ ๊ฒฝ์ฐ๊ฐ ์์ต๋๋ค. ๊ธฐ์ค์ ๋ช
ํํ ์ฐ์ธ์.
|
| 510 |
+
|
| 511 |
+
๊ถ์ฅ ๊ตฌ์ฑ: ํฐ LLM ์๋จ์์ ์ด ๋ชจ๋ธ์ด โ๋ฌด์์ ํ ์งโ๋ฅผ ๋น ๋ฅด๊ณ ์ธ๊ฒ ์ ํ๊ณ , ํ์ ์ด ๋ฎ์ ๊ฑด ์ฌ๋์ด๋ ํฐ ๋ชจ๋ธ์ ๋๊ธฐ์ธ์.
|
| 512 |
+
|
| 513 |
+
## ํ์ต
|
| 514 |
+
|
| 515 |
+
> ํ์ต ๋ฐ์ดํฐ ๊ตฌ์ฑ, ๋ณด๊ธฐ ์์ ์ญ์ ํ์ต, ์ค์ผ ์ ๊ฑฐ, ํฉ์ฑ ๋ฐ์ดํฐ ๋ง๋๋ ๋ฒ, ํ๋ฅ ๋ณด์ , ์ฒดํฌํฌ์ธํธ๋ณ ์ ํ๋๊น์ง ์์ธํ ๊ณผ์ ์ **[TRAINING.md](TRAINING.md)**์ ์ ๋ฆฌํ์ต๋๋ค.
|
| 516 |
+
|
| 517 |
+
| ํญ๋ชฉ | ๊ฐ |
|
| 518 |
+
|---|---|
|
| 519 |
+
| ์๋ณธ ๋ชจ๋ธ | [Qwen/Qwen3-4B](https://huggingface.co/Qwen/Qwen3-4B) |
|
| 520 |
+
| ๋ฐฉ๋ฒ | SFT, LoRA (r 16, ฮฑ 32, dropout 0.05, qยทkยทvยทoยทgateยทupยทdown) โ ์๋ณธ์ ๋ณํฉ |
|
| 521 |
+
| ํ์ต๋ | 69,144๋ฌธํญ ร ๋ณด๊ธฐ ์์ 2๊ฐ์ง(์์ ์์ + ์ญ์), ์ถ์ฒ ๋น์จ๋๋ก ์์ด 4,430 step ยท ๋ฐฐ์น 32, ์ต๋ ๊ธธ์ด 2,048 |
|
| 522 |
+
| ์ต์ ํ | ํ์ต๋ฅ 2e-4, cosine, warmup 3% |
|
| 523 |
+
| ์ฅ๋น | GPU 1์ฅ, ์ฝ 3.5์๊ฐ |
|
| 524 |
+
| ์ ๋ต ํ์ | ๋ณด๊ธฐ ๊ธฐํธ ํ ๊ธ์ + `<|im_end|>` |
|
| 525 |
+
| ๋ณด์ | ๊ฒ์ฆ์
3,089๋ฌธํญ์ผ๋ก ๋จ์ผ ์จ๋(1.7179)๋ฅผ ๋ง์ถค. ECE 0.066 โ 0.013 |
|
| 526 |
+
|
| 527 |
+
**ํ์ต ๋ฐ์ดํฐ** (๋ชจ๋ ์ ํ๋กฌํํธ ํ์์ผ๋ก ๋ฐ๊ฟ ์ฌ์ฉ, ํ๊ฐ ๋ฌธํญ๊ณผ ๊ฒน์น๋ ๋ฌธ์ฅ์ ์ ์ธ)
|
| 528 |
+
|
| 529 |
+
| ๋ฐ์ดํฐ | ๋ผ์ด์ ์ค |
|
| 530 |
+
|---|---|
|
| 531 |
+
| KLUE NLI ยท YNAT (ํ์ต ๋ถํ ) | CC BY-SA 4.0 |
|
| 532 |
+
| KoBEST BoolQ ยท COPA ยท HellaSwag ยท SentiNeg ยท WiC (ํ์ต ๋ถํ ) | CC BY-SA 4.0 |
|
| 533 |
+
| kocohub/korean-hate-speech (ํ์ต ๋ถํ ) | CC BY-SA 4.0 |
|
| 534 |
+
| APEACH (ํ์ต ๋ถํ ) | CC BY-SA 4.0 |
|
| 535 |
+
| SIB-200 (ํ์ต ๋ถ๏ฟฝ๏ฟฝ) | CC BY-SA 4.0 |
|
| 536 |
+
| ์ ์ฑ
ํ๋ ยท ๋ฒ๋ น ์ง๋ฌธ ยท ๋๊ตฌ ํธ์ถ ํ๋จ | ์์ฒด ํฉ์ฑ (๊ท์น์ผ๋ก ์์ฑ, ์ ๋ต์ ์ฝ๋๋ก ๊ณ์ฐ. ์ ์ฑ
ยท๋ฒ๋ นยท๋๊ตฌ๋ ๋ชจ๋ ์ง์ด๋ธ ๊ฒ์ด๋ฉฐ LLM ์์ฑ๋ฌผ์ ์ฐ์ง ์์) |
|
| 537 |
+
|
| 538 |
+
## ๋ผ์ด์ ์ค์ ์ฃผ์
|
| 539 |
+
- ๊ณต๊ฐ ํ์ต ๋ฐ์ดํฐ๋ ๋ชจ๋ CC BY-SA 4.0์
๋๋ค.
|
| 540 |
+
- [`judge.py`](judge.py)์ ๊ณผ์ ๋ณ ์ง์นจยท๋ณด๊ธฐ ๋ฌธ๊ตฌ(`TASKS`, `CRITERIA`)์ ํ๊ฐ ์คํฌ๋ฆฝํธ์ ์ง์นจ ์ผ๋ถ๋ [Korean JEV Benchmark](https://huggingface.co/datasets/DaehanKim/korean-jev-benchmark)(DaehanKim)์ ๊ณผ์ ๋ฌธ๊ตฌ๋ฅผ ๊ทธ๋๋ก ์ด ๊ฒ์ผ๋ก, [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/)์ ๋ฐ๋ฆ
๋๋ค.
|
| 541 |
+
- `space/` ํด๋(์ผ๋ฆด ํ์ด์ง)๋ KoBESTยทKLUE ๋ฌธ์ฅ์ ํฌํจํ๊ณ ์์ด CC BY-SA 4.0์
๋๋ค.
|
| 542 |
+
- ํ์ค ํํ ํ์ , ์ ์ฑ
ํ๋จ ๋ฑ ์ฌ๋์๊ฒ ์ํฅ์ ์ฃผ๋ ๊ฒฐ์ ์ ์ธ ๋๋ ํ์ ์ด ๋ฎ์ ๊ฒฐ๊ณผ๋ฅผ ์ฌ๋์ด ๊ฒํ ํ๋๋ก ํ์ธ์.
|
| 543 |
+
- ๋ฒ๋ฅ ยท๊ธ์ต ํ๋จ์ ๊ทผ๊ฑฐ๋ก ์ฐ์ง ๋ง์ธ์. ์ฃผ์ด์ง ๊ธ ์์์ ๋ด์ฉ์ ์ฐพ๊ณ ๋์กฐํ๋ ๋๊ตฌ์
๋๋ค.
|