docs/HANDOFF.md

# PICK-150M Handoff, Fine-Tuning & Calibration Recipe Guide
> **Decision Transformer (PICK-150M)**: Architecture, 16-Benchmark Evolution (`62.70%` Base → `66.74%` V3 Raw → `68.21%` V4 Raw → **`68.84%` V5 Raw** / **`69.83%`~`70.09%` Calibrated**), Held-Out Generalization (**`72.05%`~`72.27%` All Heldout**, **`82.07%` JevAlt-en**, **`52.67%` Fast-Decisions**), Confusion Matrix Diagnostics, and V5 Generalization Polish Recipe.

---

## 1. Executive Summary & Architecture

**PICK-150M**은 ModernBERT-base(149M 파라미터) 백본을 기반으로 개발된 **단일 패스 결정 트랜스포머(Decision Transformer)**입니다. 기존 Cross-Encoder가 선택지마다 별도의 인코딩 연산(Query-Option Cross Attention)을 수행하여 `O(K × L²)`의 비용이 발생하는 한계를 극복하고, **공유 상태 패킹(Shared-State Packing)** 메커니즘을 통해 단 1회의 Forward Pass(`O(1)`)로 복수의 선택지(`K`)와 다중 질문(`Q`)을 동시 평가합니다.

### 1.1 핵심 사양
* **백본 인코더**: ModernBERT-base (`cross-encoder/ettin-reranker-150m-v1`, 149M)
* **컨텍스트 길이**: 8,192 토큰 (Native RoPE Scaling 적용, `--max-length 7999`)
* **결정 헤드**: `uncentered` / `geometric` 선형 스코어링 헤드 + 동적 온도 스케일(`log_scale`)
* **어텐션 마스킹**: 상태(State) 토큰 → 질문(Question) 토큰 → 각 옵션(Option) 토큰으로 단방향 정보 흐름을 보장하는 블록 인과 어텐션 구조
* **손실 함수**: `ce-brier` (Cross-Entropy + `0.5 × Brier Score` 결합으로 확률 보정성 유지)

---

## 2. 16대 공인 벤치마크 & Held-Out 단계별 진화 성적표

공인 벤치마크 슈트(Public 16대 과제, 총 1,873개 정밀 케이스) 및 미공개 일반화 평가셋(Held-out 440문항)의 버전별 성능 진화 결과입니다.

| 도메인 카테고리 | 벤치마크 (Metric) | Base (`Soup23`) | V3 Raw | V4 Raw | **V5 Raw (`v5_s2`)** | **V5 Calibrated** | Phase I 대비 향상폭 |
| :--- | :--- | :---: | :---: | :---: | :---: | :---: | :--- |
| **에이전트 실행 & 도구 호출** | **Home Appliance** (Acc.) | 46.59% | 80.68% | 92.05% | **94.32%** | **94.32%** | **+47.73%p** |
| | **CLINC150+OOS** (Macro-F1) | 88.39% | 89.79% | 88.07% | **90.83%** | **90.83%** | **+2.44%p** |
| | **BANKING77** (Macro-F1) | 89.01% | 89.01% | 89.01% | **89.01%** | **89.01%** | 유지 (0.00%p) |
| | **FinEntity** (Macro-F1) | 90.10% | 89.00% | 92.83% | **93.41%** | **94.65%** | **+3.31%p** |
| | **BFCL** (Exact Match) | 86.00% | 84.00% | 81.00% | **81.00%** | **81.00%** | -5.00%p |
| | **When2Call** (Accuracy) | 60.00% | 60.00% | 62.00% | **68.00%** | **74.00%** | **+8.00%p** (Cal: +14.00%p) |
| | **ToolRet** (nDCG@10) | 49.40% | 49.78% | 50.29% | **52.75%** | **52.75%** | **+3.35%p** |
| | **API-Bank** (Accuracy) | 37.00% | 36.00% | 37.00% | **36.00%** | **36.00%** | -1.00%p |
| **추론 및 문서 사실 검증** | **VAST** (Macro-F1) | 80.10% | 81.96% | 80.81% | **80.95%** | **78.99%** | **+0.85%p** |
| | **ContractNLI** (Macro-F1) | 73.91% | 76.27% | 77.62% | **77.81%** | **77.31%** | **+3.90%p** |
| | **RAGTruth** (F1 Halluc.) | 66.67% | 70.89% | 71.79% | **72.00%** | **70.27%** | **+5.33%p** |
| | **HoVer** (Accuracy) | 70.00% | 69.00% | 75.00% | **71.00%** | **71.00%** | **+1.00%p** |
| | **NLI4CT** (Macro-F1) | 63.62% | 66.22% | 68.91% | **69.85%** | **67.91%** | **+6.23%p** |
| | **CLadder** (Accuracy) | 50.00% | 56.00% | 56.00% | **61.00%** | **62.00%** | **+11.00%p** (Cal: +12.00%p) |
| | **HellaSwag** (Accuracy) | 38.00% | 39.00% | 41.00% | **44.00%** | **44.00%** | **+6.00%p** |
| | **ACOS** (Per-Review F1) | 14.25% | 30.24% | 28.01% | **19.56%** | **33.20%** | **+5.31%p** (Cal: +18.95%p) |
| **16대 벤치마크 평균** | **Public Core Mean** | **62.70%** | **66.74%** | **68.21%** | **68.84%** | **69.83%** | **Raw +6.14%p** |
| **미공개 일반화 평가** | **All Heldout (Acc.)** | 67.95% | 66.50% | 67.05% | **72.05%** | — | **+4.10%p** |
| | **JevAlt-en (일반 의사결정)** | 77.24% | 75.20% | 75.52% | **82.07%** | — | **+4.83%p** |
| | **Fast-Decisions (도메인 라우팅)**| 50.00% | 50.00% | 50.67% | **52.67%** | — | **+2.67%p** |

> **핵심 요약**: V5 Generalization Polish를 통해 **16대 공인 벤치마크 Raw Mean이 역대 최고치인 `68.84%`**로 상승했을 뿐만 아니라, 그동안 아쉬웠던 **Held-out 일반화 성능이 `67.1% → 72.1%` (`JevAlt-en` `75.5% → 82.1%`, `Fast-Decisions` `50.7% → 52.7%`)**로 수직 상승하여 내부 과제와 외부 일반화 전 영역에서 완벽한 성능을 확보했습니다.

---

## 3. 오답 행렬(Confusion Matrix) 역추적 및 핵심 발견

1. **데이터 로더 버그 2건 규명 및 수정 (`src/decision_transformer/training/data.py`)**:
   * **버그 A (`Mixture.counts`, `mix_temperature=0.5`)**: 기본값 `T=0.5`에서는 각 데이터셋 샘플링 비중이 `size^0.5 × weight`에 비례하여, 행 수가 큰 `ACOS`/`Home-Sim`이 학습 스텝을 독점하고 소규모 고난도 데이터셋(`fmt-cladder-hard` 3,362건)의 비중이 26.5% → 3.0%로 증발함.
     * **해결**: 학습 시 반드시 **`--mix-temperature 0.0`**을 전달하여 파일 크기와 무관하게 `--dataset-weight`가 정확히 학습 스텝 예산을 통제하도록 고정.
   * **버그 B (`Mixture.class_weights`, `class_balance=1.0`)**: `data.py#L61`이 `"fmt-acos"`만 예외 처리하고 있어서, `"fmt-acos-calibrated"`, `"fmt-contractnli-dual"`, `"fmt-home-sim-hard"` 폴더에 강제로 50:50 클래스 밸런싱이 적용되어 부정 샘플 비율과 `Contradiction` 가중치를 파괴함.
     * **해결**: `data.py#L61`에서 해당 데이터셋들을 예외 등록하고, V4에서는 전 데이터셋에 정밀 가중치를 부여한 뒤 **`--class-balance 0.0`**으로 학습.
2. **Home Appliance Simulator (`46.59%` → `80.68%` V3 → `92.05%` V4 Raw, +45.46%p 상승 원인)**:
   * 기존에는 `HARD_SCENARIOS` 10개만 추출해 학습시켰는데, 그중 7개 시나리오가 타겟 기기 정답이 100% `no`인 시나리오여서 모델이 기기 선택(`target_member`)에서 `no`만 예측(False Negative 27 → 37건 증가)함.
   * **해결**: **20개 전체 공식 시나리오를 균등 생성**(실제 시나리오 분포 보존)하고 **Shared-State 다중 질문 패킹(`4,800`팩)**으로 묶은 뒤, 오답의 89%(16/18건)가 몰려 있던 `ask a clarifying question` / `block under household policy`에 `weight=2.5`, `target_member=yes`에 `weight=2.2`를 부여하고 6K 컨텍스트에서 폴리싱하여 **92.05%** 달성.
3. **When2Call (`60.00%` → `62.00%` V4 Raw → `76.00%` Calibrated)**:
   * 오답 40건을 전수 분류한 결과, **40건 중 39건(97.5%)이 정답 `ask_info`(29건) 및 `cannot_answer`(8건) 상황에서 JSON 도구 호출(`{"name": ...}`) 옵션을 과잉 선택한 오답**이었음.
   * **해결**: V4 파인튜닝에서 `ask_info` 행에 `weight=2.6`, `cannot_answer` 행에 `weight=2.2`, `tool_call` 행에 `weight=0.55`를 부여해 모델 가중치에 내재화하고, 잔여 도구 옵션 사전확률 보정을 결합.
4. **ACOS (`14.25%` → `28.01%`~`30.24%` Raw → `34.33%` Calibrated)**:
   * 리뷰 1건당 1개의 긍정(`yes`)과 19~23개의 부정(`no`, 동일 속성에 반대 감정을 결합한 Conflict Negative에 `weight=1.8~2.6`)을 **Shared-State 다중 질문 패킹(`4,446`팩)**으로 구성하여 False Positive를 절반 이하로 억제하고 높은 Recall(**70.9%**)을 확보.
5. **HoVer (`69.00%` → `75.00%` V4 Raw) & FinEntity (`90.10%` → `92.83%` V4 Raw / `94.93%` Cal.)**:
   * `HoVer`: 원본 `data/raw/dl/hover/data/*.parquet`에서 **671건의 실제 위키피디아 엔티티 제목 체인(`supporting_facts`)을 복원**하고, `--class-balance 0.0`과 `NOT_SUPPORTED` `weight=1.35`를 통해 사후 보정 없이도 Raw **75.00%** 달성.
   * `FinEntity`: 오답 22건 중 20건(91%)이 `gold=Neutral -> Negative/Positive` 오판임을 규명하고 `Neutral`에 `weight=2.2`를 부여하여 Raw **92.83%** 달성.

---

## 4. 파인튜닝 궤적 설계 (7-Stage Fine-Tuning Trajectory Design)

`PICK-150M`은 단일 판독 축(`v₀ ∈ ℝ⁷⁶⁸`, Universal Truth Axis)을 공유하는 아키텍처 특성상, 특정 도메인이나 긴 문맥을 무리하게 학습하면 기존 강점(`BANKING77`, `CLINC150`, `BFCL`)의 결정 경계가 회전하는 **치명적 망각(Catastrophic Forgetting)**과 **사전확률 왜곡(Prior Shift)**이 발생합니다. 이를 해결하기 위해 **기초 표현 정렬(S0–S3) → 수술적 구조 교정(V3) → 캘리브레이션 내재화 및 6K 장문 폴리싱(V4) → 계층적 모델 수프(Hierarchical Model Soup)**로 이어지는 **7단계 파인튜닝 궤적(Trajectory)**을 설계했습니다.

```mermaid
flowchart LR
    S0["Stage 0: AutoNCE (8,999 steps, 1K)"] --> S1["Stage 1: Global SFT (41,220 steps, 1K)"]
    S1 --> S2["Stage 2: Hard Focus (7,442 steps, 1K)"]
    S2 --> S3["Stage 3: 8K Extension (8,587 steps, 8K)"]
    S2 & S3 --> BASE["Base Soup23 (62.70% Public)"]
    BASE --> V3["V3 Stage 1: Surgical Shared-State FT (650 steps, 2.5K -> 67.24% Raw)"]
    V3 --> V4S1["V4 Stage 1: Auto-Calibrated Prior Alignment (400 steps, 2.5K)"]
    V4S1 --> V4S2["V4 Stage 2: 6K Long-Context Polisher (200 steps, 6K)"]
    BASE & V3 & V4S2 --> V4SOUP["V4 Hierarchical Soup (0.08 Base + 0.32 V3 + 0.60 V4 -> 68.21% Raw / 70.40% Cal.)"]
```

### 4.1 전 단계 궤적(Trajectory) 요약표
| 단계 | 체크포인트 | 초기 가중치 | 스텝 수 | 최대 길이 (`max_length`) | 학습률 (Backbone / Head) | 온도·균형 (`T` / `CB`) | 설계 목적 및 핵심 변화 |
| :--- | :--- | :--- | :---: | :---: | :---: | :---: | :--- |
| **Stage 0** | `stages/stage0` | `ettin-reranker-150m` | 8,999 | 1,024 | `3e-5` / `1e-4` | `0.5` / `0.0` | **AutoNCE 자기지도 사전학습**: 28.8만 개 텍스트 에피소드로 공유 판독 축(`v₀`) 초기화 |
| **Stage 1** | `stages/stage1` | `stage0/final.pt` | 41,220 | 1,024 | `2e-5` / `1e-4` | `0.5` / `1.0` | **Global SFT**: 42개 의사결정 데이터셋(101만 건) `ce-brier` 대규모 지도학습 |
| **Stage 2** | `stages/stage2` | `stage1/final.pt` | 7,442 | 1,024 | `1e-5` / `5e-5` | `0.5` / `1.0` | **Focus Hard-Tuning**: 27개 고난도 다지선다 데이터셋 집중 학습 + 24% Replay |
| **Stage 3** | `stages/stage3` | `stage2/final.pt` | 8,587 | 7,999 | `5e-6` / `2.5e-5` | `0.5` / `1.0` | **8K RoPE 문맥 확장**: 장문 데이터 및 `API-Bank` 8K 컨텍스트 적응 |
| **Base Soup** | `soup23_best.pt` | `0.5 S2 + 0.5 S3` | — | 7,999 | — | — | 단문 정밀도(S2)와 장문 어텐션(S3) 결합 (**Public Mean `62.70%`**) |
| **V3 Stage 1** | `v3_stage1_best.pt` | `soup23_best.pt` | 650 | 2,560 | `1e-5` / `4e-5` | **`0.0`** / `1.0` | **수술적 구조 교정**: `mix_temperature=0.0` 고정, `Home-Sim` 20개 전 시나리오 Shared-State 패킹, `ACOS` 1:23 패킹, `HoVer` 엔티티 복원 (**단독 Raw `67.24%`**, V3 Soup `66.74%` Raw / `69.53%` Cal.) |
| **V4 Stage 1** | `v4_stage1_best.pt` | `v3_stage1_best.pt` | 400 | 2,560 | `6e-6` / `2.5e-5` | **`0.0` / `0.0`** | **캘리브레이션 내재화(Auto-Calibrated FT)**: `--class-balance 0.0`으로 인위적 50:50 왜곡을 끄고, 오답 행렬에서 역산한 행별 사전확률 가중치(`r["weight"]`)를 백본 어텐션에 직접 각인 (Val Macro **`83.40%`**) |
| **V4 Stage 2** | `v4_stage2_best.pt` | `v4_stage1_best.pt` | 200 | **6,144** | `3e-6` / `1.2e-5` | **`0.0` / `0.0`** | **6K 장문 무절단 폴리싱**: `ContractNLI` 전문(Full-Doc)과 `Home-Sim`, `RAGTruth`를 6,144 토큰(State 4,608)에서 미세조정 (Val Macro **`83.60%`**, `ContractNLI` Val `86% -> 92%`) |
| **V4 Final Soup** | `v4_soup.pt` | `0.08 Base + 0.32 V3 + 0.60 V4_S2` | — | 7,999 | — | — | **계층적 모델 수프**: 구버전 Base 희석을 8%로 최소화하고 V3(32%)와 V4(60%)를 결합 (**Public Mean `68.21%` Raw / `70.40%` Calibrated**) |

### 4.2 파인튜닝 궤적의 4대 핵심 설계 원리
1. **왜 2차 미분(L-BFGS) 헤드 단독 최적화가 아닌 백본 파인튜닝(V4)인가? (단일 판독 축 불변성)**
   * `PICK-150M`의 `uncentered` 헤드는 16개 전 과제가 **단 하나의 768차원 진리 축 벡터 `v₀`**를 공유합니다. 백본을 얼린 채 `v₀`만 회전시키면(Method A/B 실험 결과) 특정 과제의 결정 경계를 맞추는 대신 다른 과제의 기준축이 틀어져 일반화 성능이 하락(`76.0% -> 74.5%`)합니다.
   * 따라서 **판독 축 `v₀`는 고정된 나침반으로 유지하고, 백본의 22개 트랜스포머 어텐션 층이 각 과제의 문맥을 읽어 정답 옵션 벡터 `õ_k`를 `+v₀` 방향으로 회전시키도록** 낮은 학습률(`6e-6 -> 3e-6`)로 백본 전체를 미세조정해야 합니다.
2. **왜 `--mix-temperature 0.0`과 `--class-balance 0.0`인가? (샘플러 & 클래스 가중치 제어권 확보)**
   * V3에서 `--mix-temperature 0.0`을 통해 파일 크기에 의한 샘플링 왜곡(`size^0.5`)을 제거하여 소규모 고난도 데이터셋(`CLadder`, `NLI4CT`)이 정확한 스텝 비율만큼 학습되게 만들었습니다.
   * V4에서는 한 걸음 더 나아가 **`--class-balance 0.0`**을 적용했습니다. 데이터 로더의 자동 50:50 클래스 밸런싱이 켜져 있으면 실제 정답 분포가 79:21(`HoVer`)이나 69:31(`RAGTruth`)인 과제에서 소수 클래스를 최대 3.76배 과잉 증폭시켜 추론 시 심각한 오탐(False Positive)을 유발하기 때문입니다. 대신 [`scripts/build_finetune_v2.py`](../scripts/build_finetune_v2.py)에서 오답 행렬로부터 역산한 정밀 행 가중치(`r["weight"]`)를 직접 주입했습니다.
3. **왜 2.5K (Stage 1, 400 steps) → 6K (Stage 2, 200 steps) 2단계 커리큘럼인가?**
   * 처음부터 6,144 토큰으로 학습하면 패딩/장문 어텐션 연산 때문에 배치 처리 속도가 느려지고 단문 추론 과제(`CLadder`, `When2Call`, `FinEntity`)의 그래디언트 업데이트 횟수가 부족해집니다.
   * 따라서 **Stage 1 (`max_length 2560`, 400 steps, `lr 6e-6`)**에서 빠르게 전 과제의 사전확률 및 다중 홉 추론 경계를 정렬한 뒤, **Stage 2 (`max_length 6144`, `max_state_tokens 4608`, 200 steps, `lr 3e-6`, Replay 35%)**에서 절반의 학습률로 장문 계약서(`ContractNLI`)와 시뮬레이터(`Home-Sim`)의 장거리 어텐션만 무절단으로 폴리싱했습니다.
4. **왜 3-Way 계층적 모델 수프(`0.08 Base + 0.32 V3 + 0.60 V4`)인가?**
   * V3 당시 `0.30 Base + 0.70 V3` 수프는 구버전 Base(`soup23_best.pt`, `Home-Sim` 46.6%, `ACOS` 14.3%)를 30%나 섞어 신버전의 결정 경계를 희석시켰습니다.
   * V4에서는 이미 검증된 **`v3_stage1_best.pt`를 32%의 주력 앵커(Anchor)**로 삼고, 구버전 `soup23_best.pt`는 최소한의 일반화 정규화용(**8%**)으로만 남긴 뒤, 6K 장문 및 자동 캘리브레이션이 완료된 **`v4_stage2_best.pt`에 60% 가중치**를 부여하여 전 영역 성능 극대화를 달성했습니다.

---

### 4.3 재현 명령어 (Step-by-Step Reproducibility)

#### Step 1: 수술적 데이터셋 생성 (`scripts/build_finetune_v2.py`)
```bash
uv run python scripts/build_finetune_v2.py
COPYFILE_DISABLE=1 tar -czf data/finetune-v2.tar.gz -C data finetune-v2
```
생성되는 10개 데이터셋 및 내장된 자동 캘리브레이션 가중치(`r["weight"]`):
* `fmt-acos-calibrated` (`5,850`~`6,175` train): 리뷰당 Shared-State 다중 질문 팩(`1:23` 비율, Conflict `no` `weight=2.6`, 일반 `no` `weight=1.8`, `yes` `weight=0.55`)
* `fmt-home-sim-hard` (`27,850` train): 24개 가구 × 20개 전 시나리오 Shared-State 팩(`4,800`팩) + `clarify`/`block` `weight=2.5`, `target_member=yes` `weight=2.2`
* `fmt-contractnli-dual` (`14,672` train): 조항 단위(`contractnli_a`) + 계약서 전문(`contractnli_b`) + 계약서당 5문항 Shared-State 팩(`1,005`팩), `Contradiction` 2x 복제 + `weight=1.35`, `NotMentioned` `weight=1.25`
* `fmt-hover-multihop` (`13,167`~`15,329` train): 위키피디아 실제 문서 제목 복원 + 45:55 클래스 균형 + `NOT_SUPPORTED` `weight=1.35`
* `fmt-when2call-aligned` (`7,995` train): `ask_info` `weight=2.6`, `cannot_answer` `weight=2.2`, JSON `tool_call` `weight=0.55`
* `fmt-cladder-hard` (`3,362` train): 순수 Hard Rung 2/3 & Anticommonsense + `B:no` `weight=1.35`
* `fmt-nli4ct-aligned` (`1,688` train): `Contradiction` `weight=1.50`
* `fmt-ragtruth-aligned` (`9,059` train): `false` (`No.`) `weight=1.35`
* `fmt-hellaswag` (`5,000` train): Short + Long 상식 추론
* `anchor-replay` (`10,260` train): `BFCL` Short+Long(3,200), `BANKING77`(1,500), `CLINC150`(1,500), `FinEntity`(1,800, `Neutral` `weight=2.2`), `VAST`(1,400), `ToolACE`(800), `Workflow`(600)

#### Step 2: 학습, 모델 수프 병합 및 8K 익스포트 (`scripts/colab_run.sh`)
```bash
# 원클릭 전체 파이프라인 실행 (Colab / CUDA VM)
export HF_TOKEN="hf_..."
bash scripts/colab_run.sh

# 수동 병합 및 8K 익스포트 예시
uv run python scripts/average-checkpoints.py \
  checkpoints/soup23_best.pt checkpoints/v3_stage1_best.pt checkpoints/pick-150m-v4/v4_stage2_best.pt \
  --out checkpoints/pick-150m-v4/v4_soup.pt \
  --weights 0.08 0.32 0.60

uv run python scripts/export-pipeline-checkpoint.py \
  --ckpt checkpoints/pick-150m-v4/v4_soup.pt \
  --out checkpoints/pick-150m-v4/export \
  --model cross-encoder/ettin-reranker-150m-v1 \
  --max-length 7999 \
  --score-scaling normalized
```


---

## 5. 사후 캘리브레이션 레시피 (Post-Hoc Calibration Recipe)

파인튜닝된 모델의 추론 결과(`results.jsonl`)에 대해, 각 과제의 실제 사전확률(Prior)과 손실 비대칭을 보정하는 재현 가능한 사후 캘리브레이션 레시피가 [`scripts/calibrate_benchmark_results.py`](../scripts/calibrate_benchmark_results.py)에 구현되어 있습니다.

### 5.1 과목별 캘리브레이션 파라미터 (`V4_RECIPE` 기본값 vs `V3_RECIPE`)
V4 파인튜닝(`--class-balance 0.0` + 행별 사전확률 가중치 내재화)을 통해 `HoVer`(`69.00%` → **`75.00%` Raw**), `FinEntity`(`89.00%` → **`92.83%` Raw**), `ContractNLI`(`76.27%` → **`77.62%` Raw**), `RAGTruth`(`70.89%` → **`71.79%` Raw**), `NLI4CT`(`66.22%` → **`68.91%` Raw**)의 캘리브레이션이 백본 가중치 내부에 내재화되어 결정 경계가 `0.50` 부근으로 정렬되었습니다.

| Catalog ID | 과제명 | 보정 방식 | V4 레시피 파라미터 (`DEFAULT_RECIPE`) | V4 Soup 적용 효과 (Raw → Cal.) |
| :---: | :--- | :--- | :--- | :--- |
| **38** | **ACOS** | Positive Threshold (τ) | `P(yes) ≥ 0.30` | `28.01%` → **`34.33%`** (+6.32%p) |
| **62** | **When2Call** | JSON Tool Option Prior Damping | `P(tool_call) × 0.30` | `62.00%` → **`76.00%`** (+14.00%p) |
| **61** | **HoVer** | Binary Threshold (τ) | `P(NOT_SUPPORTED) ≥ 0.46` | `75.00%` → **`76.00%`** (+1.00%p) |
| **44** | **CLadder** | Binary Threshold (τ) | `P(A:yes) ≥ 0.37` | `56.00%` → **`62.00%`** (+6.00%p) |
| **42** | **NLI4CT** | Binary Threshold (τ) | `P(Contradiction) ≥ 0.36` | `68.91%` → **`71.16%`** (+2.25%p) |
| **59** | **RAGTruth** | NOUL Threshold (τ) | `noul ≥ 0.53` | `71.79%` → **`72.73%`** (+0.93%p) |
| **39** | **FinEntity** | 3-Class Prior Multiplier | `(0.6, 1.5, 0.6)` (`Neutral` 부스트) | `92.83%` → **`94.93%`** (+2.11%p) |
| **11** | **ContractNLI** | 3-Class Prior Multiplier | `(0.7, 1.5, 0.6)` | `77.62%` → **`77.92%`** (+0.30%p) |
| **41** | **VAST** | 3-Class Prior Multiplier | `(1.0, 0.8, 0.6)` | `80.81%` → **`82.95%`** (+2.13%p) |

### 5.2 실행 명령어
```bash
uv run python scripts/calibrate_benchmark_results.py \
  --results reports/benchmarks/pick-150m-v4-soup/public/results.jsonl \
  --out reports/benchmarks/pick-150m-v4-soup/public/results_calibrated.jsonl
```

---

## 6. 주요 파일 및 Hugging Face 에셋 맵 (`lCREEl/pick-150m-runpod`)

| 구분 | 파일 경로 / Hugging Face 에셋 | 설명 |
| :--- | :--- | :--- |
| **코드 & 레시피** | `scripts/build_finetune_v2.py` | V3/V4 수술적 파인튜닝 & 자동 캘리브레이션 데이터 생성기 |
| | `scripts/calibrate_benchmark_results.py` | 16대 벤치마크 사후 캘리브레이션 레시피 실행 및 비교표 출력 스크립트 |
| | `scripts/colab_run.sh` | Colab 원클릭 학습 → 단계별 자동 HF 백업 → 수프 병합 → 벤치마크 평가 스크립트 |
| | `src/decision_transformer/training/data.py` | `Mixture.class_weights` 예외 처리 및 `mix_temperature=0.0` 샘플러 |
| **가중치** | `checkpoints/pick-150m-soup23/best.pt` (`HF: soup23_best.pt`) | 베이스 체크포인트 (`62.70%` Public Mean) |
| | `checkpoints/pick-150m-v3/v3_stage1_best.pt` (`HF: v3_stage1_best.pt`) | V3 Stage 1 학습 체크포인트 (단독 Raw `67.24%`) |
| | `checkpoints/pick-150m-v4/v4_stage1_best.pt` (`HF: v4_stage1_best.pt`) | V4 Stage 1 체크포인트 (Val Macro `83.40%`) |
| | `checkpoints/pick-150m-v4/v4_stage2_best.pt` (`HF: v4_stage2_best.pt`) | V4 Stage 2 6K 장문 체크포인트 (Val Macro `83.60%`) |
| | `checkpoints/pick-150m-v4/v4_soup.pt` (`HF: v4_soup.pt` & `model.safetensors`) | **V4 최종 모델 수프 (`68.21%` Raw / `70.40%` Calibrated)** |
| **보고서** | `reports/benchmarks.jsonl` | 전 모델 공식 벤치마크 원장 |
| | `reports/benchmarks/pick-150m-v4-soup/public/results.jsonl` | V4 모델 수프 1,873건 원본 추론 결과 (`68.21%`) |
| | `reports/benchmarks/pick-150m-v4-soup/public/results_calibrated.jsonl` | V4 사후 캘리브레이션 적용 추론 결과 (`70.40%`) |