# KJH-Judge-4B-ko는 어떻게 만들었나 이 문서는 학습 목표, 데이터 구성, 학습 전략, 보정, 평가 방법을 정리한 것입니다. 사용법은 [README](README.md)를 보세요. ## 1. 목표: “고르는” 모델 에이전트·검수·분류 파이프라인에서 필요한 판단의 대부분은 **정해진 선택지 중 하나를 고르는 일**입니다 (이 문의는 어느 부서? 이 댓글은 혐오인가? 다음 행동은 도구 호출인가 되묻기인가?). 이런 판단에 큰 생성 모델을 쓰면 느리고 비싸며, 답이 형식을 벗어나기도 합니다. 그래서 이 모델은 처음부터 다음을 목표로 만들었습니다. | 목표 | 설계 | |---|---| | 빠르게 | 글을 생성하지 않는다. 프롬프트를 한 번 계산하고 다음 토큰의 보기 기호(A, B, …) 점수만 읽는다 | | 답이 항상 보기 중 하나 | 보기 기호 토큰끼리만 softmax 한다 | | 확률을 믿을 수 있게 | 학습 후 검증셋으로 온도를 맞춰(temperature scaling) 확률을 보정한다 | | 보기 순서에 흔들리지 않게 | 학습 데이터에 같은 문항을 정확히 거꾸로 놓은 순서로도 넣는다 | | 처음 보는 지시문도 따르게 | 13개 출처의 서로 다른 과제를 같은 형식(과제 설명 + 항목 + 보기)으로 섞어 학습한다 | ## 2. 원본 모델 [Qwen/Qwen3-4B](https://huggingface.co/Qwen/Qwen3-4B) (4.02B, 36층, Apache 2.0). 한국어를 포함한 다국어 사전학습이 되어 있고, 크기가 GPU 한 장에서 빠르게 돌리기 좋습니다. 원본 모델을 이 프롬프트 형식 그대로 쓰면 보기 기호 대신 생각(``)부터 시작하려 해서, 이 채점 방식으로는 Korean JEV Benchmark에서 29.6%(무작위 29.9%)였습니다. 원본의 실력이 그 정도라는 뜻이 아니라, **이 형식으로 바로 답하도록 맞춰 주는 것**이 학습의 첫 번째 역할이라는 뜻입니다. ## 3. 학습 데이터 구성 ### 3.1 출처와 양 공개 데이터 10개와 자체 합성 3개, 모두 **학습 분할만** 썼습니다. | 영역 | 데이터 | 학습 문항 | 보기 수 | 라이선스 | |---|---|---:|---|---| | 문장 관계 | KLUE NLI | 15,000 | 3 | CC BY-SA 4.0 | | 뉴스 주제 | KLUE YNAT | 15,000 | 7 | CC BY-SA 4.0 | | 지문 예/아니오 | KoBEST BoolQ | 3,661 | 2 | CC BY-SA 4.0 | | 원인·결과 | KoBEST COPA | 2,973 | 2 | CC BY-SA 4.0 | | 이어질 문장 | KoBEST HellaSwag | 1,892 | 4 | CC BY-SA 4.0 | | 감성(부정 표현) | KoBEST SentiNeg | 3,633 | 2 | CC BY-SA 4.0 | | 단어 뜻 구별 | KoBEST WiC | 3,297 | 2 | CC BY-SA 4.0 | | 혐오 표현 3단계 | korean-hate-speech | 7,590 | 3 | CC BY-SA 4.0 | | 혐오 표현 여부 | APEACH | 7,589 | 2 | CC BY-SA 4.0 | | 주제 분류 | SIB-200 (한국어) | 701 | 7 | CC BY-SA 4.0 | | 정책에 따른 행동 | 합성 (EnterpriseOps 형식) | 2,026 | 7 | 자체 생성 | | 법령 질문 | 합성 (기한·벌금·과태료·징역 상한) | 2,875 | 2~11 | 자체 생성 | | 도구 호출 판단 | 합성 (FunctionChat 형식) | 2,907 | 4~9 | 자체 생성 | | **합계** | | **69,144문항** | | | - 양이 많은 KLUE NLI · YNAT는 15,000문항으로 잘라 한 과제가 학습을 독차지하지 않게 했습니다. - 출처마다 최대 300문항(전체 3,089문항)을 검증셋으로 따로 떼어, 학습 중 손실 확인과 확률 보정에 썼습니다. - **Belebele(한국어 독해)는 일부러 학습에 넣지 않았습니다.** 처음 보는 과제에 얼마나 일반화되는지 재기 위해서입니다 (결과 86.9%). ### 3.2 하나의 형식으로 통일 모든 데이터를 같은 대화 형식으로 바꿨습니다. 정답은 보기 기호 한 글자입니다. ``` <|im_start|>user 문장의 전반적인 감정 극성을 판단한다. 부정 표현과 반어를 고려한다. text: 택배사 정말 마음에 듬 보기: A. 긍정적 감정 B. 부정적 감정 정답 보기의 기호 하나만 답하세요.<|im_end|> <|im_start|>assistant A<|im_end|> ``` 과제 설명은 과제마다 판단 기준을 한두 문장 담았습니다 (예: 문장 관계에서는 “정보가 없다는 이유만으로 모순을 고르지 않는다”). 같은 형식에 다양한 과제 설명이 섞여 있어서, 학습하지 않은 지시문도 따르게 됩니다. 학습에 쓴 과제 설명과 보기 문구는 [`judge.py`](judge.py)의 `TASKS`·`CRITERIA`에 그대로 들어 있습니다. `judge.sentiment()`, `judge.nli()` 같은 메서드는 이 문구로 프롬프트를 만들기 때문에 학습 때와 같은 조건으로 판정합니다. ### 3.3 보기 순서 섞기와 역순 넣기 - 보기 순서는 문항마다 무작위로 섞었습니다. 정답 기호가 A나 B에 몰리면 모델이 내용 대신 위치를 외우기 때문입니다 (원본 모델은 이 형식에서 거의 늘 A를 골랐습니다). - 학습 데이터에는 **섞은 순서와 그 정확한 역순, 두 가지를 모두** 넣었습니다 (그래서 학습 행은 138,288개). 보기를 거꾸로 놓아도 같은 내용을 고르도록 직접 가르친 것이고, 결과적으로 보기 순서를 뒤집어도 97.9%가 같은 답을 냅니다. - 문항과 그 역순은 검증셋 분리 · 수 제한에서 항상 함께 남거나 함께 빠지게 했습니다. ### 3.4 평가 문항과 겹치지 않게 (오염 제거) 평가에 쓸 Korean JEV Benchmark 25,418문항의 문장·보기 33,174개를 정규화해 목록을 만들고, 학습 문항의 필드 중 10자 이상인 문장이 이 목록에 있으면 그 문항을 뺐습니다. 실제로 빠진 문항은 KoBEST COPA 44개, WiC 30개 등 소수였습니다. 같은 데이터 안의 중복도 함께 뺐습니다. ### 3.5 합성 데이터 정책·법령·도구 호출은 한국어 학습 데이터가 거의 없어서 **규칙으로 직접 만들었습니다.** LLM이 만든 글은 쓰지 않았습니다. | 합성 | 만드는 방법 | 정답 확인 | |---|---|---| | 도구 호출 판단 | 지어낸 도구 28개(14개 묶음 × 2)와 요청 문장 틀로 대화를 만든다. 필수 인자가 다 있으면 CALL, 하나 빠지면 ASK, 도구 결과 이후·지원하지 않는 요청·잡담이면 RESPOND. 같은 묶음의 비슷한 도구를 함께 넣어 헷갈리게 한다 | 만든 대화를 다시 읽어 인자 값이 실제로 있는지 다시 확인. 다르면 버림 | | 법령 질문 | 지어낸 법령 조항과 사실관계로 기한·벌금 상한·과태료 상한·징역 상한·개수 질문을 만든다 (초일 불산입, 말일 휴일 연장, 상습 가중 같은 변형 포함) | 만든 문장을 다시 파싱해 독립적으로 다시 풀고, 구성 정답과 다르면 버림 | | 정책에 따른 행동 | 목표 행동(도구 실행, 여러 도구, 답변, 상담사 이관, 정보 되묻기, 실행 전 확인, 거절)을 먼저 정하고, 기본 규칙 · 예외(적용 범위·등급) · 그 밖의 규칙과 고객 요청을 무작위로 만든다. 예외가 실제로 적용되는 문항과 안 되는 문항이 반반 | 규칙 풀이기가 목표 행동을 내는 것만 남기고, 문장으로 만든 뒤 숫자·상태·등급을 다시 읽어 독립적으로 다시 풀어 다르면 버림 | 합성 데이터는 평가 문항을 옮기지 않았고, 평가와 **같은 종류의 질문**만 새로 만들었습니다. 그래서 이 세 영역의 Korean JEV 점수는 “완전히 처음 보는 과제”라기보다 “같은 종류의 새 문항”에 대한 점수입니다. ## 4. 학습 전략 | 항목 | 값 | 이유 | |---|---|---| | 방법 | SFT + LoRA | 원본의 언어 능력을 지키면서 형식과 판단 기준만 맞춘다 | | LoRA | r 16, α 32, dropout 0.05, 주의·MLP 7개 모듈 전부 (q, k, v, o, gate, up, down) | 형식 맞추기 + 판단 기준 학습에 충분한 용량 | | **학습하는 토큰** | **답 기호와 `<|im_end|>`만** | 프롬프트를 외우지 않고 “고르기”만 배운다. 학습 시작 전 첫 배치에서 라벨이 정확히 이 두 토큰에만 걸렸는지 자동 점검 | | 양 | 13개 출처를 비율대로 섞어, 모든 행을 한 번 이상 볼 때까지 (약 141,760행 = 4,430 step × 32) | 한 출처가 몰려 나오지 않게 고르게 섞고, 같은 문항을 여러 번 반복하지 않는다 (일부 행만 두 번) | | 배치 | 16 × 기울기 누적 2 = 32 | | | 학습률 | 2e-4, cosine, warmup 3% | | | 최대 길이 | 2,048 토큰 | 도구 목록이 긴 문항까지 포함 | | 장비 | GPU 1장, 약 3.5시간 | | | 마지막 처리 | LoRA를 원본에 합쳐 하나의 모델로 저장 | 쓸 때 추가 라이브러리 없이 표준 transformers로 로드 | ### 학습 중 확인 500 step마다 체크포인트를 저장하고, Korean JEV Benchmark에서 과목마다 40문항(총 880문항)을 뽑아 정확도를 쟀습니다. | step | 500 | 1,000 | 1,500 | 2,000 | 2,500 | 3,000 | 3,500 | 4,000 | 4,430 | |---|---|---|---|---|---|---|---|---|---| | 전체 (880문항) | 88.1 | 85.3 | 88.1 | 86.9 | 88.2 | 90.2 | 90.6 | 89.7 | 90.1 | | 학습 안 한 과목 (Belebele, 40문항) | 77.5 | 82.5 | 85.0 | 87.5 | 82.5 | 85.0 | 90.0 | 87.5 | 87.5 | | 검증 손실 | 0.194 | 0.180 | 0.161 | 0.159 | 0.182 | 0.161 | 0.161 | 0.191 | 0.186 | 500 step 만에 형식은 거의 다 익히고, 이후에는 판단 정확도가 천천히 오릅니다. 3,000 step 이후는 표본 오차(±1~3%p) 안에서 비슷해서, 학습률이 끝까지 내려간 마지막 체크포인트(4,430)를 최종 모델로 썼습니다. ## 5. 확률 보정 학습 직후의 확률은 실제 정답률보다 약간 자신만만했습니다. 검증셋 3,089문항에서 **하나의 온도 T**를 찾아(음의 로그우도 최소화) 모든 판정에 `softmax(점수 / T)`를 씁니다. | | 보정 전 | 보정 후 (T = 1.7179) | |---|---|---| | 검증셋 음의 로그우도 | 0.373 | 0.310 | | 검증셋 ECE | 0.066 | **0.013** | | Korean JEV 전체 ECE | | 0.027 | 온도 보정은 순위를 바꾸지 않으므로 정확도는 그대로이고, 확률만 실제 정답률에 맞춰집니다. 그래서 “확신 70% 미만이면 사람에게”처럼 확률을 기준으로 쓸 수 있습니다. 다만 이 온도는 학습과 같은 출처의 검증셋에서 맞춘 것이라, 학습하지 않은 벤치마크에서는 평균 확신이 정확도보다 높게 나왔습니다. | 벤치마크 | 정확도 | 평균 확신 | 차이 | |---|---:|---:|---:| | NSMC | 85.7 | 94.9 | +9.2 | | Korean UnSmile | 82.1 | 91.4 | +9.3 | | KorNLI | 74.5 | 83.6 | +9.1 | | KLUE-STS | 85.9 | 87.4 | +1.5 | | KMMLU | 42.6 | 52.9 | +10.2 | | HAE-RAE 1.0 | 56.1 | 57.1 | +1.0 | 보정 온도는 [`calibration.json`](calibration.json)에 있고 [`judge.py`](judge.py)가 자동으로 적용합니다. ## 6. 평가 | 평가 | 무엇을 보나 | 결과 | |---|---|---| | 학습하지 않은 공개 벤치마크 6종 | 다른 출처 데이터에서의 일반화 | NSMC 85.7 · KLUE-STS 85.9 · UnSmile 82.1 · KorNLI 74.5 · HAE-RAE 56.1 · KMMLU 42.6 | | Korean JEV Benchmark 25,418문항 | 학습한 과제 종류의 새 문항 | 90.37% (같은 출처 학습 분할로 학습했으므로 다른 모델과의 0-shot 비교 아님) | | 보기 역순 일치 | 위치가 아닌 내용으로 고르는지 | 97.93% | | ECE | 확률을 믿을 수 있는지 | 0.0265 | 재현 스크립트: [`eval/bench_heldout.py`](eval/bench_heldout.py) (학습하지 않은 벤치마크), [`eval/bench_compare.py`](eval/bench_compare.py) (다른 모델과 같은 조건 비교), [`eval/bench_speed.py`](eval/bench_speed.py) (속도). `--url`로 쓰는 판정 서버는 이 저장소에 없으니, 직접 돌릴 때는 `--model .`로 내려받은 모델을 쓰세요. ## 7. 해 보고 알게 된 것 - **형식이 절반이다.** 원본 모델은 같은 지식이 있어도 이 형식으로 바로 답하지 못했다(29.6%). 판정 모델에서는 답을 내는 자리와 방식을 맞추는 것이 가장 큰 차이를 만든다. - **역순 데이터는 값싸고 효과가 크다.** 같은 문항을 거꾸로 한 번 더 넣는 것만으로 보기 순서 강건성이 97.9%가 됐다. - **지시문의 판단 기준 한 문장이 중요하다.** 학습하지 않은 과제에서도 기준을 명확히 쓰면 정확도가 크게 오른다. 반대로 기준이 애매하면(“긴급도”처럼) 확신도 정확도도 낮다. - **보정은 맞춘 분포 안에서만 맞는다.** 검증셋 ECE는 0.013까지 내려갔지만, 학습하지 않은 출처의 데이터에서는 확신이 정확도보다 최대 10%p 높았다. 확률을 기준으로 쓰려면 실제로 쓸 데이터에서 다시 확인해야 한다. - **이 방식이 못하는 것도 분명하다.** 숫자 비교·계산, 문장에서 값 뽑기, 글 생성은 이 모델의 몫이 아니다. 반어·비꼼은 확신이 높은 채로 틀리는 경우가 있다.