KJH-Judge-4B-ko / TRAINING.md
coderecode95's picture
Upload folder using huggingface_hub
cca00cc verified
|
Raw History Blame Contribute Delete
12.9 kB

KJH-Judge-4B-ko๋Š” ์–ด๋–ป๊ฒŒ ๋งŒ๋“ค์—ˆ๋‚˜

์ด ๋ฌธ์„œ๋Š” ํ•™์Šต ๋ชฉํ‘œ, ๋ฐ์ดํ„ฐ ๊ตฌ์„ฑ, ํ•™์Šต ์ „๋žต, ๋ณด์ •, ํ‰๊ฐ€ ๋ฐฉ๋ฒ•์„ ์ •๋ฆฌํ•œ ๊ฒƒ์ž…๋‹ˆ๋‹ค. ์‚ฌ์šฉ๋ฒ•์€ README๋ฅผ ๋ณด์„ธ์š”.

1. ๋ชฉํ‘œ: โ€œ๊ณ ๋ฅด๋Š”โ€ ๋ชจ๋ธ

์—์ด์ „ํŠธยท๊ฒ€์ˆ˜ยท๋ถ„๋ฅ˜ ํŒŒ์ดํ”„๋ผ์ธ์—์„œ ํ•„์š”ํ•œ ํŒ๋‹จ์˜ ๋Œ€๋ถ€๋ถ„์€ ์ •ํ•ด์ง„ ์„ ํƒ์ง€ ์ค‘ ํ•˜๋‚˜๋ฅผ ๊ณ ๋ฅด๋Š” ์ผ์ž…๋‹ˆ๋‹ค (์ด ๋ฌธ์˜๋Š” ์–ด๋А ๋ถ€์„œ? ์ด ๋Œ“๊ธ€์€ ํ˜์˜ค์ธ๊ฐ€? ๋‹ค์Œ ํ–‰๋™์€ ๋„๊ตฌ ํ˜ธ์ถœ์ธ๊ฐ€ ๋˜๋ฌป๊ธฐ์ธ๊ฐ€?). ์ด๋Ÿฐ ํŒ๋‹จ์— ํฐ ์ƒ์„ฑ ๋ชจ๋ธ์„ ์“ฐ๋ฉด ๋А๋ฆฌ๊ณ  ๋น„์‹ธ๋ฉฐ, ๋‹ต์ด ํ˜•์‹์„ ๋ฒ—์–ด๋‚˜๊ธฐ๋„ ํ•ฉ๋‹ˆ๋‹ค.

๊ทธ๋ž˜์„œ ์ด ๋ชจ๋ธ์€ ์ฒ˜์Œ๋ถ€ํ„ฐ ๋‹ค์Œ์„ ๋ชฉํ‘œ๋กœ ๋งŒ๋“ค์—ˆ์Šต๋‹ˆ๋‹ค.

๋ชฉํ‘œ ์„ค๊ณ„
๋น ๋ฅด๊ฒŒ ๊ธ€์„ ์ƒ์„ฑํ•˜์ง€ ์•Š๋Š”๋‹ค. ํ”„๋กฌํ”„ํŠธ๋ฅผ ํ•œ ๋ฒˆ ๊ณ„์‚ฐํ•˜๊ณ  ๋‹ค์Œ ํ† ํฐ์˜ ๋ณด๊ธฐ ๊ธฐํ˜ธ(A, B, โ€ฆ) ์ ์ˆ˜๋งŒ ์ฝ๋Š”๋‹ค
๋‹ต์ด ํ•ญ์ƒ ๋ณด๊ธฐ ์ค‘ ํ•˜๋‚˜ ๋ณด๊ธฐ ๊ธฐํ˜ธ ํ† ํฐ๋ผ๋ฆฌ๋งŒ softmax ํ•œ๋‹ค
ํ™•๋ฅ ์„ ๋ฏฟ์„ ์ˆ˜ ์žˆ๊ฒŒ ํ•™์Šต ํ›„ ๊ฒ€์ฆ์…‹์œผ๋กœ ์˜จ๋„๋ฅผ ๋งž์ถฐ(temperature scaling) ํ™•๋ฅ ์„ ๋ณด์ •ํ•œ๋‹ค
๋ณด๊ธฐ ์ˆœ์„œ์— ํ”๋“ค๋ฆฌ์ง€ ์•Š๊ฒŒ ํ•™์Šต ๋ฐ์ดํ„ฐ์— ๊ฐ™์€ ๋ฌธํ•ญ์„ ์ •ํ™•ํžˆ ๊ฑฐ๊พธ๋กœ ๋†“์€ ์ˆœ์„œ๋กœ๋„ ๋„ฃ๋Š”๋‹ค
์ฒ˜์Œ ๋ณด๋Š” ์ง€์‹œ๋ฌธ๋„ ๋”ฐ๋ฅด๊ฒŒ 13๊ฐœ ์ถœ์ฒ˜์˜ ์„œ๋กœ ๋‹ค๋ฅธ ๊ณผ์ œ๋ฅผ ๊ฐ™์€ ํ˜•์‹(๊ณผ์ œ ์„ค๋ช… + ํ•ญ๋ชฉ + ๋ณด๊ธฐ)์œผ๋กœ ์„ž์–ด ํ•™์Šตํ•œ๋‹ค

2. ์›๋ณธ ๋ชจ๋ธ

Qwen/Qwen3-4B (4.02B, 36์ธต, Apache 2.0). ํ•œ๊ตญ์–ด๋ฅผ ํฌํ•จํ•œ ๋‹ค๊ตญ์–ด ์‚ฌ์ „ํ•™์Šต์ด ๋˜์–ด ์žˆ๊ณ , ํฌ๊ธฐ๊ฐ€ GPU ํ•œ ์žฅ์—์„œ ๋น ๋ฅด๊ฒŒ ๋Œ๋ฆฌ๊ธฐ ์ข‹์Šต๋‹ˆ๋‹ค.

์›๋ณธ ๋ชจ๋ธ์„ ์ด ํ”„๋กฌํ”„ํŠธ ํ˜•์‹ ๊ทธ๋Œ€๋กœ ์“ฐ๋ฉด ๋ณด๊ธฐ ๊ธฐํ˜ธ ๋Œ€์‹  ์ƒ๊ฐ(<think>)๋ถ€ํ„ฐ ์‹œ์ž‘ํ•˜๋ ค ํ•ด์„œ, ์ด ์ฑ„์  ๋ฐฉ์‹์œผ๋กœ๋Š” Korean JEV Benchmark์—์„œ 29.6%(๋ฌด์ž‘์œ„ 29.9%)์˜€์Šต๋‹ˆ๋‹ค. ์›๋ณธ์˜ ์‹ค๋ ฅ์ด ๊ทธ ์ •๋„๋ผ๋Š” ๋œป์ด ์•„๋‹ˆ๋ผ, ์ด ํ˜•์‹์œผ๋กœ ๋ฐ”๋กœ ๋‹ตํ•˜๋„๋ก ๋งž์ถฐ ์ฃผ๋Š” ๊ฒƒ์ด ํ•™์Šต์˜ ์ฒซ ๋ฒˆ์งธ ์—ญํ• ์ด๋ผ๋Š” ๋œป์ž…๋‹ˆ๋‹ค.

3. ํ•™์Šต ๋ฐ์ดํ„ฐ ๊ตฌ์„ฑ

3.1 ์ถœ์ฒ˜์™€ ์–‘

๊ณต๊ฐœ ๋ฐ์ดํ„ฐ 10๊ฐœ์™€ ์ž์ฒด ํ•ฉ์„ฑ 3๊ฐœ, ๋ชจ๋‘ ํ•™์Šต ๋ถ„ํ• ๋งŒ ์ผ์Šต๋‹ˆ๋‹ค.

์˜์—ญ ๋ฐ์ดํ„ฐ ํ•™์Šต ๋ฌธํ•ญ ๋ณด๊ธฐ ์ˆ˜ ๋ผ์ด์„ ์Šค
๋ฌธ์žฅ ๊ด€๊ณ„ KLUE NLI 15,000 3 CC BY-SA 4.0
๋‰ด์Šค ์ฃผ์ œ KLUE YNAT 15,000 7 CC BY-SA 4.0
์ง€๋ฌธ ์˜ˆ/์•„๋‹ˆ์˜ค KoBEST BoolQ 3,661 2 CC BY-SA 4.0
์›์ธยท๊ฒฐ๊ณผ KoBEST COPA 2,973 2 CC BY-SA 4.0
์ด์–ด์งˆ ๋ฌธ์žฅ KoBEST HellaSwag 1,892 4 CC BY-SA 4.0
๊ฐ์„ฑ(๋ถ€์ • ํ‘œํ˜„) KoBEST SentiNeg 3,633 2 CC BY-SA 4.0
๋‹จ์–ด ๋œป ๊ตฌ๋ณ„ KoBEST WiC 3,297 2 CC BY-SA 4.0
ํ˜์˜ค ํ‘œํ˜„ 3๋‹จ๊ณ„ korean-hate-speech 7,590 3 CC BY-SA 4.0
ํ˜์˜ค ํ‘œํ˜„ ์—ฌ๋ถ€ APEACH 7,589 2 CC BY-SA 4.0
์ฃผ์ œ ๋ถ„๋ฅ˜ SIB-200 (ํ•œ๊ตญ์–ด) 701 7 CC BY-SA 4.0
์ •์ฑ…์— ๋”ฐ๋ฅธ ํ–‰๋™ ํ•ฉ์„ฑ (EnterpriseOps ํ˜•์‹) 2,026 7 ์ž์ฒด ์ƒ์„ฑ
๋ฒ•๋ น ์งˆ๋ฌธ ํ•ฉ์„ฑ (๊ธฐํ•œยท๋ฒŒ๊ธˆยท๊ณผํƒœ๋ฃŒยท์ง•์—ญ ์ƒํ•œ) 2,875 2~11 ์ž์ฒด ์ƒ์„ฑ
๋„๊ตฌ ํ˜ธ์ถœ ํŒ๋‹จ ํ•ฉ์„ฑ (FunctionChat ํ˜•์‹) 2,907 4~9 ์ž์ฒด ์ƒ์„ฑ
ํ•ฉ๊ณ„ 69,144๋ฌธํ•ญ
  • ์–‘์ด ๋งŽ์€ KLUE NLI ยท YNAT๋Š” 15,000๋ฌธํ•ญ์œผ๋กœ ์ž˜๋ผ ํ•œ ๊ณผ์ œ๊ฐ€ ํ•™์Šต์„ ๋…์ฐจ์ง€ํ•˜์ง€ ์•Š๊ฒŒ ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ์ถœ์ฒ˜๋งˆ๋‹ค ์ตœ๋Œ€ 300๋ฌธํ•ญ(์ „์ฒด 3,089๋ฌธํ•ญ)์„ ๊ฒ€์ฆ์…‹์œผ๋กœ ๋”ฐ๋กœ ๋–ผ์–ด, ํ•™์Šต ์ค‘ ์†์‹ค ํ™•์ธ๊ณผ ํ™•๋ฅ  ๋ณด์ •์— ์ผ์Šต๋‹ˆ๋‹ค.
  • Belebele(ํ•œ๊ตญ์–ด ๋…ํ•ด)๋Š” ์ผ๋ถ€๋Ÿฌ ํ•™์Šต์— ๋„ฃ์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค. ์ฒ˜์Œ ๋ณด๋Š” ๊ณผ์ œ์— ์–ผ๋งˆ๋‚˜ ์ผ๋ฐ˜ํ™”๋˜๋Š”์ง€ ์žฌ๊ธฐ ์œ„ํ•ด์„œ์ž…๋‹ˆ๋‹ค (๊ฒฐ๊ณผ 86.9%).

3.2 ํ•˜๋‚˜์˜ ํ˜•์‹์œผ๋กœ ํ†ต์ผ

๋ชจ๋“  ๋ฐ์ดํ„ฐ๋ฅผ ๊ฐ™์€ ๋Œ€ํ™” ํ˜•์‹์œผ๋กœ ๋ฐ”๊ฟจ์Šต๋‹ˆ๋‹ค. ์ •๋‹ต์€ ๋ณด๊ธฐ ๊ธฐํ˜ธ ํ•œ ๊ธ€์ž์ž…๋‹ˆ๋‹ค.

<|im_start|>user
๋ฌธ์žฅ์˜ ์ „๋ฐ˜์ ์ธ ๊ฐ์ • ๊ทน์„ฑ์„ ํŒ๋‹จํ•œ๋‹ค. ๋ถ€์ • ํ‘œํ˜„๊ณผ ๋ฐ˜์–ด๋ฅผ ๊ณ ๋ คํ•œ๋‹ค.

text: ํƒ๋ฐฐ์‚ฌ ์ •๋ง ๋งˆ์Œ์— ๋“ฌ

๋ณด๊ธฐ:
A. ๊ธ์ •์  ๊ฐ์ •
B. ๋ถ€์ •์  ๊ฐ์ •

์ •๋‹ต ๋ณด๊ธฐ์˜ ๊ธฐํ˜ธ ํ•˜๋‚˜๋งŒ ๋‹ตํ•˜์„ธ์š”.<|im_end|>
<|im_start|>assistant
A<|im_end|>

๊ณผ์ œ ์„ค๋ช…์€ ๊ณผ์ œ๋งˆ๋‹ค ํŒ๋‹จ ๊ธฐ์ค€์„ ํ•œ๋‘ ๋ฌธ์žฅ ๋‹ด์•˜์Šต๋‹ˆ๋‹ค (์˜ˆ: ๋ฌธ์žฅ ๊ด€๊ณ„์—์„œ๋Š” โ€œ์ •๋ณด๊ฐ€ ์—†๋‹ค๋Š” ์ด์œ ๋งŒ์œผ๋กœ ๋ชจ์ˆœ์„ ๊ณ ๋ฅด์ง€ ์•Š๋Š”๋‹คโ€). ๊ฐ™์€ ํ˜•์‹์— ๋‹ค์–‘ํ•œ ๊ณผ์ œ ์„ค๋ช…์ด ์„ž์—ฌ ์žˆ์–ด์„œ, ํ•™์Šตํ•˜์ง€ ์•Š์€ ์ง€์‹œ๋ฌธ๋„ ๋”ฐ๋ฅด๊ฒŒ ๋ฉ๋‹ˆ๋‹ค.

ํ•™์Šต์— ์“ด ๊ณผ์ œ ์„ค๋ช…๊ณผ ๋ณด๊ธฐ ๋ฌธ๊ตฌ๋Š” judge.py์˜ TASKSยทCRITERIA์— ๊ทธ๋Œ€๋กœ ๋“ค์–ด ์žˆ์Šต๋‹ˆ๋‹ค. judge.sentiment(), judge.nli() ๊ฐ™์€ ๋ฉ”์„œ๋“œ๋Š” ์ด ๋ฌธ๊ตฌ๋กœ ํ”„๋กฌํ”„ํŠธ๋ฅผ ๋งŒ๋“ค๊ธฐ ๋•Œ๋ฌธ์— ํ•™์Šต ๋•Œ์™€ ๊ฐ™์€ ์กฐ๊ฑด์œผ๋กœ ํŒ์ •ํ•ฉ๋‹ˆ๋‹ค.

3.3 ๋ณด๊ธฐ ์ˆœ์„œ ์„ž๊ธฐ์™€ ์—ญ์ˆœ ๋„ฃ๊ธฐ

  • ๋ณด๊ธฐ ์ˆœ์„œ๋Š” ๋ฌธํ•ญ๋งˆ๋‹ค ๋ฌด์ž‘์œ„๋กœ ์„ž์—ˆ์Šต๋‹ˆ๋‹ค. ์ •๋‹ต ๊ธฐํ˜ธ๊ฐ€ A๋‚˜ B์— ๋ชฐ๋ฆฌ๋ฉด ๋ชจ๋ธ์ด ๋‚ด์šฉ ๋Œ€์‹  ์œ„์น˜๋ฅผ ์™ธ์šฐ๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค (์›๋ณธ ๋ชจ๋ธ์€ ์ด ํ˜•์‹์—์„œ ๊ฑฐ์˜ ๋Š˜ A๋ฅผ ๊ณจ๋ž์Šต๋‹ˆ๋‹ค).
  • ํ•™์Šต ๋ฐ์ดํ„ฐ์—๋Š” ์„ž์€ ์ˆœ์„œ์™€ ๊ทธ ์ •ํ™•ํ•œ ์—ญ์ˆœ, ๋‘ ๊ฐ€์ง€๋ฅผ ๋ชจ๋‘ ๋„ฃ์—ˆ์Šต๋‹ˆ๋‹ค (๊ทธ๋ž˜์„œ ํ•™์Šต ํ–‰์€ 138,288๊ฐœ). ๋ณด๊ธฐ๋ฅผ ๊ฑฐ๊พธ๋กœ ๋†“์•„๋„ ๊ฐ™์€ ๋‚ด์šฉ์„ ๊ณ ๋ฅด๋„๋ก ์ง์ ‘ ๊ฐ€๋ฅด์นœ ๊ฒƒ์ด๊ณ , ๊ฒฐ๊ณผ์ ์œผ๋กœ ๋ณด๊ธฐ ์ˆœ์„œ๋ฅผ ๋’ค์ง‘์–ด๋„ 97.9%๊ฐ€ ๊ฐ™์€ ๋‹ต์„ ๋ƒ…๋‹ˆ๋‹ค.
  • ๋ฌธํ•ญ๊ณผ ๊ทธ ์—ญ์ˆœ์€ ๊ฒ€์ฆ์…‹ ๋ถ„๋ฆฌ ยท ์ˆ˜ ์ œํ•œ์—์„œ ํ•ญ์ƒ ํ•จ๊ป˜ ๋‚จ๊ฑฐ๋‚˜ ํ•จ๊ป˜ ๋น ์ง€๊ฒŒ ํ–ˆ์Šต๋‹ˆ๋‹ค.

3.4 ํ‰๊ฐ€ ๋ฌธํ•ญ๊ณผ ๊ฒน์น˜์ง€ ์•Š๊ฒŒ (์˜ค์—ผ ์ œ๊ฑฐ)

ํ‰๊ฐ€์— ์“ธ Korean JEV Benchmark 25,418๋ฌธํ•ญ์˜ ๋ฌธ์žฅยท๋ณด๊ธฐ 33,174๊ฐœ๋ฅผ ์ •๊ทœํ™”ํ•ด ๋ชฉ๋ก์„ ๋งŒ๋“ค๊ณ , ํ•™์Šต ๋ฌธํ•ญ์˜ ํ•„๋“œ ์ค‘ 10์ž ์ด์ƒ์ธ ๋ฌธ์žฅ์ด ์ด ๋ชฉ๋ก์— ์žˆ์œผ๋ฉด ๊ทธ ๋ฌธํ•ญ์„ ๋บ์Šต๋‹ˆ๋‹ค. ์‹ค์ œ๋กœ ๋น ์ง„ ๋ฌธํ•ญ์€ KoBEST COPA 44๊ฐœ, WiC 30๊ฐœ ๋“ฑ ์†Œ์ˆ˜์˜€์Šต๋‹ˆ๋‹ค. ๊ฐ™์€ ๋ฐ์ดํ„ฐ ์•ˆ์˜ ์ค‘๋ณต๋„ ํ•จ๊ป˜ ๋บ์Šต๋‹ˆ๋‹ค.

3.5 ํ•ฉ์„ฑ ๋ฐ์ดํ„ฐ

์ •์ฑ…ยท๋ฒ•๋ นยท๋„๊ตฌ ํ˜ธ์ถœ์€ ํ•œ๊ตญ์–ด ํ•™์Šต ๋ฐ์ดํ„ฐ๊ฐ€ ๊ฑฐ์˜ ์—†์–ด์„œ ๊ทœ์น™์œผ๋กœ ์ง์ ‘ ๋งŒ๋“ค์—ˆ์Šต๋‹ˆ๋‹ค. LLM์ด ๋งŒ๋“  ๊ธ€์€ ์“ฐ์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค.

ํ•ฉ์„ฑ ๋งŒ๋“œ๋Š” ๋ฐฉ๋ฒ• ์ •๋‹ต ํ™•์ธ
๋„๊ตฌ ํ˜ธ์ถœ ํŒ๋‹จ ์ง€์–ด๋‚ธ ๋„๊ตฌ 28๊ฐœ(14๊ฐœ ๋ฌถ์Œ ร— 2)์™€ ์š”์ฒญ ๋ฌธ์žฅ ํ‹€๋กœ ๋Œ€ํ™”๋ฅผ ๋งŒ๋“ ๋‹ค. ํ•„์ˆ˜ ์ธ์ž๊ฐ€ ๋‹ค ์žˆ์œผ๋ฉด CALL, ํ•˜๋‚˜ ๋น ์ง€๋ฉด ASK, ๋„๊ตฌ ๊ฒฐ๊ณผ ์ดํ›„ยท์ง€์›ํ•˜์ง€ ์•Š๋Š” ์š”์ฒญยท์žก๋‹ด์ด๋ฉด RESPOND. ๊ฐ™์€ ๋ฌถ์Œ์˜ ๋น„์Šทํ•œ ๋„๊ตฌ๋ฅผ ํ•จ๊ป˜ ๋„ฃ์–ด ํ—ท๊ฐˆ๋ฆฌ๊ฒŒ ํ•œ๋‹ค ๋งŒ๋“  ๋Œ€ํ™”๋ฅผ ๋‹ค์‹œ ์ฝ์–ด ์ธ์ž ๊ฐ’์ด ์‹ค์ œ๋กœ ์žˆ๋Š”์ง€ ๋‹ค์‹œ ํ™•์ธ. ๋‹ค๋ฅด๋ฉด ๋ฒ„๋ฆผ
๋ฒ•๋ น ์งˆ๋ฌธ ์ง€์–ด๋‚ธ ๋ฒ•๋ น ์กฐํ•ญ๊ณผ ์‚ฌ์‹ค๊ด€๊ณ„๋กœ ๊ธฐํ•œยท๋ฒŒ๊ธˆ ์ƒํ•œยท๊ณผํƒœ๋ฃŒ ์ƒํ•œยท์ง•์—ญ ์ƒํ•œยท๊ฐœ์ˆ˜ ์งˆ๋ฌธ์„ ๋งŒ๋“ ๋‹ค (์ดˆ์ผ ๋ถˆ์‚ฐ์ž…, ๋ง์ผ ํœด์ผ ์—ฐ์žฅ, ์ƒ์Šต ๊ฐ€์ค‘ ๊ฐ™์€ ๋ณ€ํ˜• ํฌํ•จ) ๋งŒ๋“  ๋ฌธ์žฅ์„ ๋‹ค์‹œ ํŒŒ์‹ฑํ•ด ๋…๋ฆฝ์ ์œผ๋กœ ๋‹ค์‹œ ํ’€๊ณ , ๊ตฌ์„ฑ ์ •๋‹ต๊ณผ ๋‹ค๋ฅด๋ฉด ๋ฒ„๋ฆผ
์ •์ฑ…์— ๋”ฐ๋ฅธ ํ–‰๋™ ๋ชฉํ‘œ ํ–‰๋™(๋„๊ตฌ ์‹คํ–‰, ์—ฌ๋Ÿฌ ๋„๊ตฌ, ๋‹ต๋ณ€, ์ƒ๋‹ด์‚ฌ ์ด๊ด€, ์ •๋ณด ๋˜๋ฌป๊ธฐ, ์‹คํ–‰ ์ „ ํ™•์ธ, ๊ฑฐ์ ˆ)์„ ๋จผ์ € ์ •ํ•˜๊ณ , ๊ธฐ๋ณธ ๊ทœ์น™ ยท ์˜ˆ์™ธ(์ ์šฉ ๋ฒ”์œ„ยท๋“ฑ๊ธ‰) ยท ๊ทธ ๋ฐ–์˜ ๊ทœ์น™๊ณผ ๊ณ ๊ฐ ์š”์ฒญ์„ ๋ฌด์ž‘์œ„๋กœ ๋งŒ๋“ ๋‹ค. ์˜ˆ์™ธ๊ฐ€ ์‹ค์ œ๋กœ ์ ์šฉ๋˜๋Š” ๋ฌธํ•ญ๊ณผ ์•ˆ ๋˜๋Š” ๋ฌธํ•ญ์ด ๋ฐ˜๋ฐ˜ ๊ทœ์น™ ํ’€์ด๊ธฐ๊ฐ€ ๋ชฉํ‘œ ํ–‰๋™์„ ๋‚ด๋Š” ๊ฒƒ๋งŒ ๋‚จ๊ธฐ๊ณ , ๋ฌธ์žฅ์œผ๋กœ ๋งŒ๋“  ๋’ค ์ˆซ์žยท์ƒํƒœยท๋“ฑ๊ธ‰์„ ๋‹ค์‹œ ์ฝ์–ด ๋…๋ฆฝ์ ์œผ๋กœ ๋‹ค์‹œ ํ’€์–ด ๋‹ค๋ฅด๋ฉด ๋ฒ„๋ฆผ

ํ•ฉ์„ฑ ๋ฐ์ดํ„ฐ๋Š” ํ‰๊ฐ€ ๋ฌธํ•ญ์„ ์˜ฎ๊ธฐ์ง€ ์•Š์•˜๊ณ , ํ‰๊ฐ€์™€ ๊ฐ™์€ ์ข…๋ฅ˜์˜ ์งˆ๋ฌธ๋งŒ ์ƒˆ๋กœ ๋งŒ๋“ค์—ˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋ž˜์„œ ์ด ์„ธ ์˜์—ญ์˜ Korean JEV ์ ์ˆ˜๋Š” โ€œ์™„์ „ํžˆ ์ฒ˜์Œ ๋ณด๋Š” ๊ณผ์ œโ€๋ผ๊ธฐ๋ณด๋‹ค โ€œ๊ฐ™์€ ์ข…๋ฅ˜์˜ ์ƒˆ ๋ฌธํ•ญโ€์— ๋Œ€ํ•œ ์ ์ˆ˜์ž…๋‹ˆ๋‹ค.

4. ํ•™์Šต ์ „๋žต

ํ•ญ๋ชฉ ๊ฐ’ ์ด์œ 
๋ฐฉ๋ฒ• SFT + LoRA ์›๋ณธ์˜ ์–ธ์–ด ๋Šฅ๋ ฅ์„ ์ง€ํ‚ค๋ฉด์„œ ํ˜•์‹๊ณผ ํŒ๋‹จ ๊ธฐ์ค€๋งŒ ๋งž์ถ˜๋‹ค
LoRA r 16, ฮฑ 32, dropout 0.05, ์ฃผ์˜ยทMLP 7๊ฐœ ๋ชจ๋“ˆ ์ „๋ถ€ (q, k, v, o, gate, up, down) ํ˜•์‹ ๋งž์ถ”๊ธฐ + ํŒ๋‹จ ๊ธฐ์ค€ ํ•™์Šต์— ์ถฉ๋ถ„ํ•œ ์šฉ๋Ÿ‰
ํ•™์Šตํ•˜๋Š” ํ† ํฐ **๋‹ต ๊ธฐํ˜ธ์™€ `< im_end
์–‘ 13๊ฐœ ์ถœ์ฒ˜๋ฅผ ๋น„์œจ๋Œ€๋กœ ์„ž์–ด, ๋ชจ๋“  ํ–‰์„ ํ•œ ๋ฒˆ ์ด์ƒ ๋ณผ ๋•Œ๊นŒ์ง€ (์•ฝ 141,760ํ–‰ = 4,430 step ร— 32) ํ•œ ์ถœ์ฒ˜๊ฐ€ ๋ชฐ๋ ค ๋‚˜์˜ค์ง€ ์•Š๊ฒŒ ๊ณ ๋ฅด๊ฒŒ ์„ž๊ณ , ๊ฐ™์€ ๋ฌธํ•ญ์„ ์—ฌ๋Ÿฌ ๋ฒˆ ๋ฐ˜๋ณตํ•˜์ง€ ์•Š๋Š”๋‹ค (์ผ๋ถ€ ํ–‰๋งŒ ๋‘ ๋ฒˆ)
๋ฐฐ์น˜ 16 ร— ๊ธฐ์šธ๊ธฐ ๋ˆ„์  2 = 32
ํ•™์Šต๋ฅ  2e-4, cosine, warmup 3%
์ตœ๋Œ€ ๊ธธ์ด 2,048 ํ† ํฐ ๋„๊ตฌ ๋ชฉ๋ก์ด ๊ธด ๋ฌธํ•ญ๊นŒ์ง€ ํฌํ•จ
์žฅ๋น„ GPU 1์žฅ, ์•ฝ 3.5์‹œ๊ฐ„
๋งˆ์ง€๋ง‰ ์ฒ˜๋ฆฌ LoRA๋ฅผ ์›๋ณธ์— ํ•ฉ์ณ ํ•˜๋‚˜์˜ ๋ชจ๋ธ๋กœ ์ €์žฅ ์“ธ ๋•Œ ์ถ”๊ฐ€ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ์—†์ด ํ‘œ์ค€ transformers๋กœ ๋กœ๋“œ

ํ•™์Šต ์ค‘ ํ™•์ธ

500 step๋งˆ๋‹ค ์ฒดํฌํฌ์ธํŠธ๋ฅผ ์ €์žฅํ•˜๊ณ , Korean JEV Benchmark์—์„œ ๊ณผ๋ชฉ๋งˆ๋‹ค 40๋ฌธํ•ญ(์ด 880๋ฌธํ•ญ)์„ ๋ฝ‘์•„ ์ •ํ™•๋„๋ฅผ ์Ÿ€์Šต๋‹ˆ๋‹ค.

step 500 1,000 1,500 2,000 2,500 3,000 3,500 4,000 4,430
์ „์ฒด (880๋ฌธํ•ญ) 88.1 85.3 88.1 86.9 88.2 90.2 90.6 89.7 90.1
ํ•™์Šต ์•ˆ ํ•œ ๊ณผ๋ชฉ (Belebele, 40๋ฌธํ•ญ) 77.5 82.5 85.0 87.5 82.5 85.0 90.0 87.5 87.5
๊ฒ€์ฆ ์†์‹ค 0.194 0.180 0.161 0.159 0.182 0.161 0.161 0.191 0.186

500 step ๋งŒ์— ํ˜•์‹์€ ๊ฑฐ์˜ ๋‹ค ์ตํžˆ๊ณ , ์ดํ›„์—๋Š” ํŒ๋‹จ ์ •ํ™•๋„๊ฐ€ ์ฒœ์ฒœํžˆ ์˜ค๋ฆ…๋‹ˆ๋‹ค. 3,000 step ์ดํ›„๋Š” ํ‘œ๋ณธ ์˜ค์ฐจ(ยฑ1~3%p) ์•ˆ์—์„œ ๋น„์Šทํ•ด์„œ, ํ•™์Šต๋ฅ ์ด ๋๊นŒ์ง€ ๋‚ด๋ ค๊ฐ„ ๋งˆ์ง€๋ง‰ ์ฒดํฌํฌ์ธํŠธ(4,430)๋ฅผ ์ตœ์ข… ๋ชจ๋ธ๋กœ ์ผ์Šต๋‹ˆ๋‹ค.

5. ํ™•๋ฅ  ๋ณด์ •

ํ•™์Šต ์งํ›„์˜ ํ™•๋ฅ ์€ ์‹ค์ œ ์ •๋‹ต๋ฅ ๋ณด๋‹ค ์•ฝ๊ฐ„ ์ž์‹ ๋งŒ๋งŒํ–ˆ์Šต๋‹ˆ๋‹ค. ๊ฒ€์ฆ์…‹ 3,089๋ฌธํ•ญ์—์„œ ํ•˜๋‚˜์˜ ์˜จ๋„ T๋ฅผ ์ฐพ์•„(์Œ์˜ ๋กœ๊ทธ์šฐ๋„ ์ตœ์†Œํ™”) ๋ชจ๋“  ํŒ์ •์— softmax(์ ์ˆ˜ / T)๋ฅผ ์”๋‹ˆ๋‹ค.

๋ณด์ • ์ „ ๋ณด์ • ํ›„ (T = 1.7179)
๊ฒ€์ฆ์…‹ ์Œ์˜ ๋กœ๊ทธ์šฐ๋„ 0.373 0.310
๊ฒ€์ฆ์…‹ ECE 0.066 0.013
Korean JEV ์ „์ฒด ECE 0.027

์˜จ๋„ ๋ณด์ •์€ ์ˆœ์œ„๋ฅผ ๋ฐ”๊พธ์ง€ ์•Š์œผ๋ฏ€๋กœ ์ •ํ™•๋„๋Š” ๊ทธ๋Œ€๋กœ์ด๊ณ , ํ™•๋ฅ ๋งŒ ์‹ค์ œ ์ •๋‹ต๋ฅ ์— ๋งž์ถฐ์ง‘๋‹ˆ๋‹ค. ๊ทธ๋ž˜์„œ โ€œํ™•์‹  70% ๋ฏธ๋งŒ์ด๋ฉด ์‚ฌ๋žŒ์—๊ฒŒโ€์ฒ˜๋Ÿผ ํ™•๋ฅ ์„ ๊ธฐ์ค€์œผ๋กœ ์“ธ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋‹ค๋งŒ ์ด ์˜จ๋„๋Š” ํ•™์Šต๊ณผ ๊ฐ™์€ ์ถœ์ฒ˜์˜ ๊ฒ€์ฆ์…‹์—์„œ ๋งž์ถ˜ ๊ฒƒ์ด๋ผ, ํ•™์Šตํ•˜์ง€ ์•Š์€ ๋ฒค์น˜๋งˆํฌ์—์„œ๋Š” ํ‰๊ท  ํ™•์‹ ์ด ์ •ํ™•๋„๋ณด๋‹ค ๋†’๊ฒŒ ๋‚˜์™”์Šต๋‹ˆ๋‹ค.

๋ฒค์น˜๋งˆํฌ ์ •ํ™•๋„ ํ‰๊ท  ํ™•์‹  ์ฐจ์ด
NSMC 85.7 94.9 +9.2
Korean UnSmile 82.1 91.4 +9.3
KorNLI 74.5 83.6 +9.1
KLUE-STS 85.9 87.4 +1.5
KMMLU 42.6 52.9 +10.2
HAE-RAE 1.0 56.1 57.1 +1.0

๋ณด์ • ์˜จ๋„๋Š” calibration.json์— ์žˆ๊ณ  judge.py๊ฐ€ ์ž๋™์œผ๋กœ ์ ์šฉํ•ฉ๋‹ˆ๋‹ค.

6. ํ‰๊ฐ€

ํ‰๊ฐ€ ๋ฌด์—‡์„ ๋ณด๋‚˜ ๊ฒฐ๊ณผ
ํ•™์Šตํ•˜์ง€ ์•Š์€ ๊ณต๊ฐœ ๋ฒค์น˜๋งˆํฌ 6์ข… ๋‹ค๋ฅธ ์ถœ์ฒ˜ ๋ฐ์ดํ„ฐ์—์„œ์˜ ์ผ๋ฐ˜ํ™” NSMC 85.7 ยท KLUE-STS 85.9 ยท UnSmile 82.1 ยท KorNLI 74.5 ยท HAE-RAE 56.1 ยท KMMLU 42.6
Korean JEV Benchmark 25,418๋ฌธํ•ญ ํ•™์Šตํ•œ ๊ณผ์ œ ์ข…๋ฅ˜์˜ ์ƒˆ ๋ฌธํ•ญ 90.37% (๊ฐ™์€ ์ถœ์ฒ˜ ํ•™์Šต ๋ถ„ํ• ๋กœ ํ•™์Šตํ–ˆ์œผ๋ฏ€๋กœ ๋‹ค๋ฅธ ๋ชจ๋ธ๊ณผ์˜ 0-shot ๋น„๊ต ์•„๋‹˜)
๋ณด๊ธฐ ์—ญ์ˆœ ์ผ์น˜ ์œ„์น˜๊ฐ€ ์•„๋‹Œ ๋‚ด์šฉ์œผ๋กœ ๊ณ ๋ฅด๋Š”์ง€ 97.93%
ECE ํ™•๋ฅ ์„ ๋ฏฟ์„ ์ˆ˜ ์žˆ๋Š”์ง€ 0.0265

์žฌํ˜„ ์Šคํฌ๋ฆฝํŠธ: eval/bench_heldout.py (ํ•™์Šตํ•˜์ง€ ์•Š์€ ๋ฒค์น˜๋งˆํฌ), eval/bench_compare.py (๋‹ค๋ฅธ ๋ชจ๋ธ๊ณผ ๊ฐ™์€ ์กฐ๊ฑด ๋น„๊ต), eval/bench_speed.py (์†๋„). --url๋กœ ์“ฐ๋Š” ํŒ์ • ์„œ๋ฒ„๋Š” ์ด ์ €์žฅ์†Œ์— ์—†์œผ๋‹ˆ, ์ง์ ‘ ๋Œ๋ฆด ๋•Œ๋Š” --model .๋กœ ๋‚ด๋ ค๋ฐ›์€ ๋ชจ๋ธ์„ ์“ฐ์„ธ์š”.

7. ํ•ด ๋ณด๊ณ  ์•Œ๊ฒŒ ๋œ ๊ฒƒ

  • ํ˜•์‹์ด ์ ˆ๋ฐ˜์ด๋‹ค. ์›๋ณธ ๋ชจ๋ธ์€ ๊ฐ™์€ ์ง€์‹์ด ์žˆ์–ด๋„ ์ด ํ˜•์‹์œผ๋กœ ๋ฐ”๋กœ ๋‹ตํ•˜์ง€ ๋ชปํ–ˆ๋‹ค(29.6%). ํŒ์ • ๋ชจ๋ธ์—์„œ๋Š” ๋‹ต์„ ๋‚ด๋Š” ์ž๋ฆฌ์™€ ๋ฐฉ์‹์„ ๋งž์ถ”๋Š” ๊ฒƒ์ด ๊ฐ€์žฅ ํฐ ์ฐจ์ด๋ฅผ ๋งŒ๋“ ๋‹ค.
  • ์—ญ์ˆœ ๋ฐ์ดํ„ฐ๋Š” ๊ฐ’์‹ธ๊ณ  ํšจ๊ณผ๊ฐ€ ํฌ๋‹ค. ๊ฐ™์€ ๋ฌธํ•ญ์„ ๊ฑฐ๊พธ๋กœ ํ•œ ๋ฒˆ ๋” ๋„ฃ๋Š” ๊ฒƒ๋งŒ์œผ๋กœ ๋ณด๊ธฐ ์ˆœ์„œ ๊ฐ•๊ฑด์„ฑ์ด 97.9%๊ฐ€ ๋๋‹ค.
  • ์ง€์‹œ๋ฌธ์˜ ํŒ๋‹จ ๊ธฐ์ค€ ํ•œ ๋ฌธ์žฅ์ด ์ค‘์š”ํ•˜๋‹ค. ํ•™์Šตํ•˜์ง€ ์•Š์€ ๊ณผ์ œ์—์„œ๋„ ๊ธฐ์ค€์„ ๋ช…ํ™•ํžˆ ์“ฐ๋ฉด ์ •ํ™•๋„๊ฐ€ ํฌ๊ฒŒ ์˜ค๋ฅธ๋‹ค. ๋ฐ˜๋Œ€๋กœ ๊ธฐ์ค€์ด ์• ๋งคํ•˜๋ฉด(โ€œ๊ธด๊ธ‰๋„โ€์ฒ˜๋Ÿผ) ํ™•์‹ ๋„ ์ •ํ™•๋„๋„ ๋‚ฎ๋‹ค.
  • ๋ณด์ •์€ ๋งž์ถ˜ ๋ถ„ํฌ ์•ˆ์—์„œ๋งŒ ๋งž๋Š”๋‹ค. ๊ฒ€์ฆ์…‹ ECE๋Š” 0.013๊นŒ์ง€ ๋‚ด๋ ค๊ฐ”์ง€๋งŒ, ํ•™์Šตํ•˜์ง€ ์•Š์€ ์ถœ์ฒ˜์˜ ๋ฐ์ดํ„ฐ์—์„œ๋Š” ํ™•์‹ ์ด ์ •ํ™•๋„๋ณด๋‹ค ์ตœ๋Œ€ 10%p ๋†’์•˜๋‹ค. ํ™•๋ฅ ์„ ๊ธฐ์ค€์œผ๋กœ ์“ฐ๋ ค๋ฉด ์‹ค์ œ๋กœ ์“ธ ๋ฐ์ดํ„ฐ์—์„œ ๋‹ค์‹œ ํ™•์ธํ•ด์•ผ ํ•œ๋‹ค.
  • ์ด ๋ฐฉ์‹์ด ๋ชปํ•˜๋Š” ๊ฒƒ๋„ ๋ถ„๋ช…ํ•˜๋‹ค. ์ˆซ์ž ๋น„๊ตยท๊ณ„์‚ฐ, ๋ฌธ์žฅ์—์„œ ๊ฐ’ ๋ฝ‘๊ธฐ, ๊ธ€ ์ƒ์„ฑ์€ ์ด ๋ชจ๋ธ์˜ ๋ชซ์ด ์•„๋‹ˆ๋‹ค. ๋ฐ˜์–ดยท๋น„๊ผผ์€ ํ™•์‹ ์ด ๋†’์€ ์ฑ„๋กœ ํ‹€๋ฆฌ๋Š” ๊ฒฝ์šฐ๊ฐ€ ์žˆ๋‹ค.