docs/HANDOFF.md

PICK-150M Handoff, Fine-Tuning & Calibration Recipe Guide

Decision Transformer (PICK-150M): Architecture, 16-Benchmark Evolution (62.70% Base → 66.74% V3 Raw → 68.21% V4 Raw → 68.84% V5 Raw / 69.83%~`70.09%` Calibrated), Held-Out Generalization (72.05%~`72.27%` All Heldout, 82.07% JevAlt-en, 52.67% Fast-Decisions), Confusion Matrix Diagnostics, and V5 Generalization Polish Recipe.

---

1. Executive Summary & Architecture

PICK-150M은 ModernBERT-base(149M 파라미터) 백본을 기반으로 개발된 **단일 패스 결정 트랜스포머(Decision Transformer)**입니다. 기존 Cross-Encoder가 선택지마다 별도의 인코딩 연산(Query-Option Cross Attention)을 수행하여 O(K × L²)의 비용이 발생하는 한계를 극복하고, 공유 상태 패킹(Shared-State Packing) 메커니즘을 통해 단 1회의 Forward Pass(O(1))로 복수의 선택지(K)와 다중 질문(Q)을 동시 평가합니다.

1.1 핵심 사양

• 백본 인코더: ModernBERT-base (cross-encoder/ettin-reranker-150m-v1, 149M)
• 컨텍스트 길이: 8,192 토큰 (Native RoPE Scaling 적용, --max-length 7999)
• 결정 헤드: uncentered / geometric 선형 스코어링 헤드 + 동적 온도 스케일(log_scale)
• 어텐션 마스킹: 상태(State) 토큰 → 질문(Question) 토큰 → 각 옵션(Option) 토큰으로 단방향 정보 흐름을 보장하는 블록 인과 어텐션 구조
• 손실 함수: ce-brier (Cross-Entropy + 0.5 × Brier Score 결합으로 확률 보정성 유지)

---

2. 16대 공인 벤치마크 & Held-Out 단계별 진화 성적표

공인 벤치마크 슈트(Public 16대 과제, 총 1,873개 정밀 케이스) 및 미공개 일반화 평가셋(Held-out 440문항)의 버전별 성능 진화 결과입니다.

도메인 카테고리	벤치마크 (Metric)	Base (Soup23)	V3 Raw	V4 Raw	V5 Raw (v5_s2)	V5 Calibrated	Phase I 대비 향상폭
에이전트 실행 & 도구 호출	Home Appliance (Acc.)	46.59%	80.68%	92.05%	94.32%	94.32%	+47.73%p
	CLINC150+OOS (Macro-F1)	88.39%	89.79%	88.07%	90.83%	90.83%	+2.44%p
	BANKING77 (Macro-F1)	89.01%	89.01%	89.01%	89.01%	89.01%	유지 (0.00%p)
	FinEntity (Macro-F1)	90.10%	89.00%	92.83%	93.41%	94.65%	+3.31%p
	BFCL (Exact Match)	86.00%	84.00%	81.00%	81.00%	81.00%	-5.00%p
	When2Call (Accuracy)	60.00%	60.00%	62.00%	68.00%	74.00%	+8.00%p (Cal: +14.00%p)
	ToolRet (nDCG@10)	49.40%	49.78%	50.29%	52.75%	52.75%	+3.35%p
	API-Bank (Accuracy)	37.00%	36.00%	37.00%	36.00%	36.00%	-1.00%p
추론 및 문서 사실 검증	VAST (Macro-F1)	80.10%	81.96%	80.81%	80.95%	78.99%	+0.85%p
	ContractNLI (Macro-F1)	73.91%	76.27%	77.62%	77.81%	77.31%	+3.90%p
	RAGTruth (F1 Halluc.)	66.67%	70.89%	71.79%	72.00%	70.27%	+5.33%p
	HoVer (Accuracy)	70.00%	69.00%	75.00%	71.00%	71.00%	+1.00%p
	NLI4CT (Macro-F1)	63.62%	66.22%	68.91%	69.85%	67.91%	+6.23%p
	CLadder (Accuracy)	50.00%	56.00%	56.00%	61.00%	62.00%	+11.00%p (Cal: +12.00%p)
	HellaSwag (Accuracy)	38.00%	39.00%	41.00%	44.00%	44.00%	+6.00%p
	ACOS (Per-Review F1)	14.25%	30.24%	28.01%	19.56%	33.20%	+5.31%p (Cal: +18.95%p)
16대 벤치마크 평균	Public Core Mean	62.70%	66.74%	68.21%	68.84%	69.83%	Raw +6.14%p
미공개 일반화 평가	All Heldout (Acc.)	67.95%	66.50%	67.05%	72.05%	—	+4.10%p
	JevAlt-en (일반 의사결정)	77.24%	75.20%	75.52%	82.07%	—	+4.83%p
	Fast-Decisions (도메인 라우팅)	50.00%	50.00%	50.67%	52.67%	—	+2.67%p

핵심 요약: V5 Generalization Polish를 통해 **16대 공인 벤치마크 Raw Mean이 역대 최고치인 68.84%**로 상승했을 뿐만 아니라, 그동안 아쉬웠던 **Held-out 일반화 성능이 67.1% → 72.1% (JevAlt-en 75.5% → 82.1%, Fast-Decisions 50.7% → 52.7%)**로 수직 상승하여 내부 과제와 외부 일반화 전 영역에서 완벽한 성능을 확보했습니다.

---

3. 오답 행렬(Confusion Matrix) 역추적 및 핵심 발견

1. 데이터 로더 버그 2건 규명 및 수정 (src/decision_transformer/training/data.py):
   • 버그 A (Mixture.counts, mix_temperature=0.5): 기본값 T=0.5에서는 각 데이터셋 샘플링 비중이 size^0.5 × weight에 비례하여, 행 수가 큰 ACOS/Home-Sim이 학습 스텝을 독점하고 소규모 고난도 데이터셋(fmt-cladder-hard 3,362건)의 비중이 26.5% → 3.0%로 증발함.
     • 해결: 학습 시 반드시 **--mix-temperature 0.0**을 전달하여 파일 크기와 무관하게 --dataset-weight가 정확히 학습 스텝 예산을 통제하도록 고정.
   • 버그 B (Mixture.class_weights, class_balance=1.0): data.py#L61이 "fmt-acos"만 예외 처리하고 있어서, "fmt-acos-calibrated", "fmt-contractnli-dual", "fmt-home-sim-hard" 폴더에 강제로 50:50 클래스 밸런싱이 적용되어 부정 샘플 비율과 Contradiction 가중치를 파괴함.
     • 해결: data.py#L61에서 해당 데이터셋들을 예외 등록하고, V4에서는 전 데이터셋에 정밀 가중치를 부여한 뒤 **--class-balance 0.0**으로 학습.
2. Home Appliance Simulator (46.59% → 80.68% V3 → 92.05% V4 Raw, +45.46%p 상승 원인):
   • 기존에는 HARD_SCENARIOS 10개만 추출해 학습시켰는데, 그중 7개 시나리오가 타겟 기기 정답이 100% no인 시나리오여서 모델이 기기 선택(target_member)에서 no만 예측(False Negative 27 → 37건 증가)함.
   • 해결: 20개 전체 공식 시나리오를 균등 생성(실제 시나리오 분포 보존)하고 **Shared-State 다중 질문 패킹(4,800팩)**으로 묶은 뒤, 오답의 89%(16/18건)가 몰려 있던 ask a clarifying question / block under household policy에 weight=2.5, target_member=yes에 weight=2.2를 부여하고 6K 컨텍스트에서 폴리싱하여 92.05% 달성.
3. When2Call (60.00% → 62.00% V4 Raw → 76.00% Calibrated):
   • 오답 40건을 전수 분류한 결과, 40건 중 39건(97.5%)이 정답 ask_info(29건) 및 cannot_answer(8건) 상황에서 JSON 도구 호출({"name": ...}) 옵션을 과잉 선택한 오답이었음.
   • 해결: V4 파인튜닝에서 ask_info 행에 weight=2.6, cannot_answer 행에 weight=2.2, tool_call 행에 weight=0.55를 부여해 모델 가중치에 내재화하고, 잔여 도구 옵션 사전확률 보정을 결합.
4. ACOS (14.25% → 28.01%~`30.24%Raw →34.33%` Calibrated):
   • 리뷰 1건당 1개의 긍정(yes)과 1923개의 부정(no, 동일 속성에 반대 감정을 결합한 Conflict Negative에 `weight=1.82.6)을 **Shared-State 다중 질문 패킹(4,446`팩)**으로 구성하여 False Positive를 절반 이하로 억제하고 높은 Recall(70.9%)을 확보.
5. HoVer (69.00% → 75.00% V4 Raw) & FinEntity (90.10% → 92.83% V4 Raw / 94.93% Cal.):
   • HoVer: 원본 data/raw/dl/hover/data/*.parquet에서 671건의 실제 위키피디아 엔티티 제목 체인(supporting_facts)을 복원하고, --class-balance 0.0과 NOT_SUPPORTED weight=1.35를 통해 사후 보정 없이도 Raw 75.00% 달성.
   • FinEntity: 오답 22건 중 20건(91%)이 gold=Neutral -> Negative/Positive 오판임을 규명하고 Neutral에 weight=2.2를 부여하여 Raw 92.83% 달성.

---

4. 파인튜닝 궤적 설계 (7-Stage Fine-Tuning Trajectory Design)

PICK-150M은 단일 판독 축(v₀ ∈ ℝ⁷⁶⁸, Universal Truth Axis)을 공유하는 아키텍처 특성상, 특정 도메인이나 긴 문맥을 무리하게 학습하면 기존 강점(BANKING77, CLINC150, BFCL)의 결정 경계가 회전하는 **치명적 망각(Catastrophic Forgetting)**과 **사전확률 왜곡(Prior Shift)**이 발생합니다. 이를 해결하기 위해 **기초 표현 정렬(S0–S3) → 수술적 구조 교정(V3) → 캘리브레이션 내재화 및 6K 장문 폴리싱(V4) → 계층적 모델 수프(Hierarchical Model Soup)**로 이어지는 **7단계 파인튜닝 궤적(Trajectory)**을 설계했습니다.

flowchart LR
    S0["Stage 0: AutoNCE (8,999 steps, 1K)"] --> S1["Stage 1: Global SFT (41,220 steps, 1K)"]
    S1 --> S2["Stage 2: Hard Focus (7,442 steps, 1K)"]
    S2 --> S3["Stage 3: 8K Extension (8,587 steps, 8K)"]
    S2 & S3 --> BASE["Base Soup23 (62.70% Public)"]
    BASE --> V3["V3 Stage 1: Surgical Shared-State FT (650 steps, 2.5K -> 67.24% Raw)"]
    V3 --> V4S1["V4 Stage 1: Auto-Calibrated Prior Alignment (400 steps, 2.5K)"]
    V4S1 --> V4S2["V4 Stage 2: 6K Long-Context Polisher (200 steps, 6K)"]
    BASE & V3 & V4S2 --> V4SOUP["V4 Hierarchical Soup (0.08 Base + 0.32 V3 + 0.60 V4 -> 68.21% Raw / 70.40% Cal.)"]

4.1 전 단계 궤적(Trajectory) 요약표

단계	체크포인트	초기 가중치	스텝 수	최대 길이 (max_length)	학습률 (Backbone / Head)	온도·균형 (T / CB)	설계 목적 및 핵심 변화
Stage 0	stages/stage0	ettin-reranker-150m	8,999	1,024	3e-5 / 1e-4	0.5 / 0.0	AutoNCE 자기지도 사전학습: 28.8만 개 텍스트 에피소드로 공유 판독 축(v₀) 초기화
Stage 1	stages/stage1	stage0/final.pt	41,220	1,024	2e-5 / 1e-4	0.5 / 1.0	Global SFT: 42개 의사결정 데이터셋(101만 건) ce-brier 대규모 지도학습
Stage 2	stages/stage2	stage1/final.pt	7,442	1,024	1e-5 / 5e-5	0.5 / 1.0	Focus Hard-Tuning: 27개 고난도 다지선다 데이터셋 집중 학습 + 24% Replay
Stage 3	stages/stage3	stage2/final.pt	8,587	7,999	5e-6 / 2.5e-5	0.5 / 1.0	8K RoPE 문맥 확장: 장문 데이터 및 API-Bank 8K 컨텍스트 적응
Base Soup	soup23_best.pt	0.5 S2 + 0.5 S3	—	7,999	—	—	단문 정밀도(S2)와 장문 어텐션(S3) 결합 (Public Mean 62.70%)
V3 Stage 1	v3_stage1_best.pt	soup23_best.pt	650	2,560	1e-5 / 4e-5	0.0 / 1.0	수술적 구조 교정: mix_temperature=0.0 고정, Home-Sim 20개 전 시나리오 Shared-State 패킹, ACOS 1:23 패킹, HoVer 엔티티 복원 (단독 Raw 67.24%, V3 Soup 66.74% Raw / 69.53% Cal.)
V4 Stage 1	v4_stage1_best.pt	v3_stage1_best.pt	400	2,560	6e-6 / 2.5e-5	0.0 / 0.0	캘리브레이션 내재화(Auto-Calibrated FT): --class-balance 0.0으로 인위적 50:50 왜곡을 끄고, 오답 행렬에서 역산한 행별 사전확률 가중치(r["weight"])를 백본 어텐션에 직접 각인 (Val Macro 83.40%)
V4 Stage 2	v4_stage2_best.pt	v4_stage1_best.pt	200	6,144	3e-6 / 1.2e-5	0.0 / 0.0	6K 장문 무절단 폴리싱: ContractNLI 전문(Full-Doc)과 Home-Sim, RAGTruth를 6,144 토큰(State 4,608)에서 미세조정 (Val Macro 83.60%, ContractNLI Val 86% -> 92%)
V4 Final Soup	v4_soup.pt	0.08 Base + 0.32 V3 + 0.60 V4_S2	—	7,999	—	—	계층적 모델 수프: 구버전 Base 희석을 8%로 최소화하고 V3(32%)와 V4(60%)를 결합 (Public Mean 68.21% Raw / 70.40% Calibrated)

4.2 파인튜닝 궤적의 4대 핵심 설계 원리

1. 왜 2차 미분(L-BFGS) 헤드 단독 최적화가 아닌 백본 파인튜닝(V4)인가? (단일 판독 축 불변성)
   • PICK-150M의 uncentered 헤드는 16개 전 과제가 **단 하나의 768차원 진리 축 벡터 v₀**를 공유합니다. 백본을 얼린 채 v₀만 회전시키면(Method A/B 실험 결과) 특정 과제의 결정 경계를 맞추는 대신 다른 과제의 기준축이 틀어져 일반화 성능이 하락(76.0% -> 74.5%)합니다.
   • 따라서 판독 축 v₀는 고정된 나침반으로 유지하고, 백본의 22개 트랜스포머 어텐션 층이 각 과제의 문맥을 읽어 정답 옵션 벡터 õ_k를 +v₀ 방향으로 회전시키도록 낮은 학습률(6e-6 -> 3e-6)로 백본 전체를 미세조정해야 합니다.
2. 왜 --mix-temperature 0.0과 --class-balance 0.0인가? (샘플러 & 클래스 가중치 제어권 확보)
   • V3에서 --mix-temperature 0.0을 통해 파일 크기에 의한 샘플링 왜곡(size^0.5)을 제거하여 소규모 고난도 데이터셋(CLadder, NLI4CT)이 정확한 스텝 비율만큼 학습되게 만들었습니다.
   • V4에서는 한 걸음 더 나아가 **--class-balance 0.0**을 적용했습니다. 데이터 로더의 자동 50:50 클래스 밸런싱이 켜져 있으면 실제 정답 분포가 79:21(HoVer)이나 69:31(RAGTruth)인 과제에서 소수 클래스를 최대 3.76배 과잉 증폭시켜 추론 시 심각한 오탐(False Positive)을 유발하기 때문입니다. 대신 scripts/build_finetune_v2.py에서 오답 행렬로부터 역산한 정밀 행 가중치(r["weight"])를 직접 주입했습니다.
3. 왜 2.5K (Stage 1, 400 steps) → 6K (Stage 2, 200 steps) 2단계 커리큘럼인가?
   • 처음부터 6,144 토큰으로 학습하면 패딩/장문 어텐션 연산 때문에 배치 처리 속도가 느려지고 단문 추론 과제(CLadder, When2Call, FinEntity)의 그래디언트 업데이트 횟수가 부족해집니다.
   • 따라서 **Stage 1 (max_length 2560, 400 steps, lr 6e-6)**에서 빠르게 전 과제의 사전확률 및 다중 홉 추론 경계를 정렬한 뒤, **Stage 2 (max_length 6144, max_state_tokens 4608, 200 steps, lr 3e-6, Replay 35%)**에서 절반의 학습률로 장문 계약서(ContractNLI)와 시뮬레이터(Home-Sim)의 장거리 어텐션만 무절단으로 폴리싱했습니다.
4. 왜 3-Way 계층적 모델 수프(0.08 Base + 0.32 V3 + 0.60 V4)인가?
   • V3 당시 0.30 Base + 0.70 V3 수프는 구버전 Base(soup23_best.pt, Home-Sim 46.6%, ACOS 14.3%)를 30%나 섞어 신버전의 결정 경계를 희석시켰습니다.
   • V4에서는 이미 검증된 **v3_stage1_best.pt를 32%의 주력 앵커(Anchor)**로 삼고, 구버전 soup23_best.pt는 최소한의 일반화 정규화용(8%)으로만 남긴 뒤, 6K 장문 및 자동 캘리브레이션이 완료된 v4_stage2_best.pt에 60% 가중치를 부여하여 전 영역 성능 극대화를 달성했습니다.

---

4.3 재현 명령어 (Step-by-Step Reproducibility)

Step 1: 수술적 데이터셋 생성 (scripts/build_finetune_v2.py)

uv run python scripts/build_finetune_v2.py
COPYFILE_DISABLE=1 tar -czf data/finetune-v2.tar.gz -C data finetune-v2

생성되는 10개 데이터셋 및 내장된 자동 캘리브레이션 가중치(r["weight"]):

• fmt-acos-calibrated (5,850~`6,175 train): 리뷰당 Shared-State 다중 질문 팩(1:23비율, Conflictno weight=2.6, 일반 no weight=1.8, yes weight=0.55`)
• fmt-home-sim-hard (27,850 train): 24개 가구 × 20개 전 시나리오 Shared-State 팩(4,800팩) + clarify/block weight=2.5, target_member=yes weight=2.2
• fmt-contractnli-dual (14,672 train): 조항 단위(contractnli_a) + 계약서 전문(contractnli_b) + 계약서당 5문항 Shared-State 팩(1,005팩), Contradiction 2x 복제 + weight=1.35, NotMentioned weight=1.25
• fmt-hover-multihop (13,167~`15,329train): 위키피디아 실제 문서 제목 복원 + 45:55 클래스 균형 +NOT_SUPPORTED weight=1.35`
• fmt-when2call-aligned (7,995 train): ask_info weight=2.6, cannot_answer weight=2.2, JSON tool_call weight=0.55
• fmt-cladder-hard (3,362 train): 순수 Hard Rung 2/3 & Anticommonsense + B:no weight=1.35
• fmt-nli4ct-aligned (1,688 train): Contradiction weight=1.50
• fmt-ragtruth-aligned (9,059 train): false (No.) weight=1.35
• fmt-hellaswag (5,000 train): Short + Long 상식 추론
• anchor-replay (10,260 train): BFCL Short+Long(3,200), BANKING77(1,500), CLINC150(1,500), FinEntity(1,800, Neutral weight=2.2), VAST(1,400), ToolACE(800), Workflow(600)

Step 2: 학습, 모델 수프 병합 및 8K 익스포트 (scripts/colab_run.sh)

# 원클릭 전체 파이프라인 실행 (Colab / CUDA VM)
export HF_TOKEN="hf_..."
bash scripts/colab_run.sh

# 수동 병합 및 8K 익스포트 예시
uv run python scripts/average-checkpoints.py \
  checkpoints/soup23_best.pt checkpoints/v3_stage1_best.pt checkpoints/pick-150m-v4/v4_stage2_best.pt \
  --out checkpoints/pick-150m-v4/v4_soup.pt \
  --weights 0.08 0.32 0.60

uv run python scripts/export-pipeline-checkpoint.py \
  --ckpt checkpoints/pick-150m-v4/v4_soup.pt \
  --out checkpoints/pick-150m-v4/export \
  --model cross-encoder/ettin-reranker-150m-v1 \
  --max-length 7999 \
  --score-scaling normalized

---

5. 사후 캘리브레이션 레시피 (Post-Hoc Calibration Recipe)

파인튜닝된 모델의 추론 결과(results.jsonl)에 대해, 각 과제의 실제 사전확률(Prior)과 손실 비대칭을 보정하는 재현 가능한 사후 캘리브레이션 레시피가 scripts/calibrate_benchmark_results.py에 구현되어 있습니다.

5.1 과목별 캘리브레이션 파라미터 (V4_RECIPE 기본값 vs V3_RECIPE)

V4 파인튜닝(--class-balance 0.0 + 행별 사전확률 가중치 내재화)을 통해 HoVer(69.00% → 75.00% Raw), FinEntity(89.00% → 92.83% Raw), ContractNLI(76.27% → 77.62% Raw), RAGTruth(70.89% → 71.79% Raw), NLI4CT(66.22% → 68.91% Raw)의 캘리브레이션이 백본 가중치 내부에 내재화되어 결정 경계가 0.50 부근으로 정렬되었습니다.

Catalog ID	과제명	보정 방식	V4 레시피 파라미터 (DEFAULT_RECIPE)	V4 Soup 적용 효과 (Raw → Cal.)
38	ACOS	Positive Threshold (τ)	P(yes) ≥ 0.30	28.01% → 34.33% (+6.32%p)
62	When2Call	JSON Tool Option Prior Damping	P(tool_call) × 0.30	62.00% → 76.00% (+14.00%p)
61	HoVer	Binary Threshold (τ)	P(NOT_SUPPORTED) ≥ 0.46	75.00% → 76.00% (+1.00%p)
44	CLadder	Binary Threshold (τ)	P(A:yes) ≥ 0.37	56.00% → 62.00% (+6.00%p)
42	NLI4CT	Binary Threshold (τ)	P(Contradiction) ≥ 0.36	68.91% → 71.16% (+2.25%p)
59	RAGTruth	NOUL Threshold (τ)	noul ≥ 0.53	71.79% → 72.73% (+0.93%p)
39	FinEntity	3-Class Prior Multiplier	(0.6, 1.5, 0.6) (Neutral 부스트)	92.83% → 94.93% (+2.11%p)
11	ContractNLI	3-Class Prior Multiplier	(0.7, 1.5, 0.6)	77.62% → 77.92% (+0.30%p)
41	VAST	3-Class Prior Multiplier	(1.0, 0.8, 0.6)	80.81% → 82.95% (+2.13%p)

5.2 실행 명령어

uv run python scripts/calibrate_benchmark_results.py \
  --results reports/benchmarks/pick-150m-v4-soup/public/results.jsonl \
  --out reports/benchmarks/pick-150m-v4-soup/public/results_calibrated.jsonl

---

6. 주요 파일 및 Hugging Face 에셋 맵 (lCREEl/pick-150m-runpod)

구분	파일 경로 / Hugging Face 에셋	설명
코드 & 레시피	scripts/build_finetune_v2.py	V3/V4 수술적 파인튜닝 & 자동 캘리브레이션 데이터 생성기
	scripts/calibrate_benchmark_results.py	16대 벤치마크 사후 캘리브레이션 레시피 실행 및 비교표 출력 스크립트
	scripts/colab_run.sh	Colab 원클릭 학습 → 단계별 자동 HF 백업 → 수프 병합 → 벤치마크 평가 스크립트
	src/decision_transformer/training/data.py	Mixture.class_weights 예외 처리 및 mix_temperature=0.0 샘플러
가중치	checkpoints/pick-150m-soup23/best.pt (HF: soup23_best.pt)	베이스 체크포인트 (62.70% Public Mean)
	checkpoints/pick-150m-v3/v3_stage1_best.pt (HF: v3_stage1_best.pt)	V3 Stage 1 학습 체크포인트 (단독 Raw 67.24%)
	checkpoints/pick-150m-v4/v4_stage1_best.pt (HF: v4_stage1_best.pt)	V4 Stage 1 체크포인트 (Val Macro 83.40%)
	checkpoints/pick-150m-v4/v4_stage2_best.pt (HF: v4_stage2_best.pt)	V4 Stage 2 6K 장문 체크포인트 (Val Macro 83.60%)
	checkpoints/pick-150m-v4/v4_soup.pt (HF: v4_soup.pt & model.safetensors)	V4 최종 모델 수프 (68.21% Raw / 70.40% Calibrated)
보고서	reports/benchmarks.jsonl	전 모델 공식 벤치마크 원장
	reports/benchmarks/pick-150m-v4-soup/public/results.jsonl	V4 모델 수프 1,873건 원본 추론 결과 (68.21%)
	reports/benchmarks/pick-150m-v4-soup/public/results_calibrated.jsonl	V4 사후 캘리브레이션 적용 추론 결과 (70.40%)