"""다른 모델과 같은 조건으로 비교: bench_heldout.py 와 같은 데이터 · 같은 프롬프트 · 같은 채점(보기 기호 점수, 0-shot). # OpenAI 호환 API로 떠 있는 모델 (vLLM 등) — 키는 환경 변수 OPENAI_API_KEY 로 python eval/bench_compare.py --api http://서버:포트/v1 [--api-model 모델이름] # GPU 서버에서 (모델은 Hugging Face에서 자동으로 받는다) python eval/bench_compare.py --model Qwen/Qwen3-4B # 원본 모델 python eval/bench_compare.py --model google/gemma-3-27b-it --4bit # 큰 모델은 4bit로 (bitsandbytes 필요) python eval/bench_compare.py --model . --format jev # 이 모델 (학습 형식 그대로) 공정성을 위해: - 프롬프트 본문(과제 설명 · 항목 · 보기 · "정답 보기의 기호 하나만 답하세요.")은 모든 모델에 똑같다. - 대화 틀은 각 모델의 chat template 을 쓰고, 생각(thinking) 기능이 있으면 끈다 (Qwen3: enable_thinking=False). - 다음 토큰에서 보기 기호 토큰("A" 또는 " A" 중 높은 쪽)의 점수만 비교한다. 정확도는 온도 보정과 무관하다. """ import argparse import json import random import sys import time from pathlib import Path import torch HERE = Path(__file__).resolve().parent sys.path.insert(0, str(HERE)) sys.path.insert(0, str(HERE.parent)) from bench_heldout import BENCH, load, wilson # noqa: E402 같은 데이터 · 같은 표본 from judge import chat_prefix, render_prompt # noqa: E402 같은 프롬프트 본문 def build_text(tok, prompt, fmt): if fmt == "jev": return chat_prefix(prompt) msgs = [{"role": "user", "content": prompt}] try: return tok.apply_chat_template(msgs, tokenize=False, add_generation_prompt=True, enable_thinking=False) except TypeError: return tok.apply_chat_template(msgs, tokenize=False, add_generation_prompt=True) def letter_variants(tok): out = [] for i in range(26): L = chr(65 + i) ids = set() for s in (L, " " + L): e = tok.encode(s, add_special_tokens=False) if len(e) == 1: ids.add(e[0]) out.append(sorted(ids)) return out @torch.no_grad() def run(model, tok, texts, nchoices, letters, batch): dev = next(model.parameters()).device enc = [tok.encode(t, add_special_tokens=False) for t in texts] order = sorted(range(len(enc)), key=lambda i: len(enc[i])) pred = [None] * len(enc) pad = tok.pad_token_id if tok.pad_token_id is not None else 0 for s in range(0, len(order), batch): grp = order[s:s + batch] n = max(len(enc[i]) for i in grp) x = torch.full((len(grp), n), pad, dtype=torch.long) m = torch.zeros((len(grp), n), dtype=torch.long) for r, i in enumerate(grp): # 오른쪽 채우기: 각 문장의 마지막 자리 점수만 읽는다 x[r, :len(enc[i])] = torch.tensor(enc[i]); m[r, :len(enc[i])] = 1 logits = model(input_ids=x.to(dev), attention_mask=m.to(dev)).logits for r, i in enumerate(grp): row = logits[r, len(enc[i]) - 1].float() sc = [max(row[t].item() for t in letters[k]) for k in range(nchoices[i])] pred[i] = max(range(len(sc)), key=sc.__getitem__) return pred def run_api(base, model_name, prompts, nchoices, workers=8): """API 방식: 같은 프롬프트를 사용자 메시지로 보내고(생각 끔), 첫 토큰 상위 확률에서 허용한 보기 기호 중 가장 높은 것을 고른다. 상위 확률에 보기 기호가 하나도 없으면 실제로 낸 글자를 쓴다.""" import concurrent.futures as cf import os import urllib.request key = os.environ.get("OPENAI_API_KEY", "") hdr = {"Content-Type": "application/json", **({"Authorization": f"Bearer {key}"} if key else {})} def one(i): body = {"model": model_name, "messages": [{"role": "user", "content": prompts[i]}], "max_tokens": 1, "temperature": 0, "logprobs": True, "top_logprobs": 20, "chat_template_kwargs": {"enable_thinking": False}} for k in range(8): try: req = urllib.request.Request(base + "/chat/completions", json.dumps(body, ensure_ascii=False).encode(), hdr) c = json.loads(urllib.request.urlopen(req, timeout=120).read())["choices"][0] allowed = {chr(65 + j): j for j in range(nchoices[i])} best = None for t in (c.get("logprobs") or {}).get("content", [{}])[0].get("top_logprobs", []): L = t["token"].strip() if L in allowed and (best is None or t["logprob"] > best[1]): best = (allowed[L], t["logprob"]) if best: return best[0] txt = (c["message"].get("content") or "").strip()[:1] return allowed.get(txt, -1) except urllib.error.HTTPError as e: if e.code in (400, 401, 403, 404): raise time.sleep(2) except Exception: time.sleep(2) return -1 with cf.ThreadPoolExecutor(workers) as ex: return list(ex.map(one, range(len(prompts)))) def main(): ap = argparse.ArgumentParser() ap.add_argument("--model", help="Hugging Face 모델 id 또는 폴더") ap.add_argument("--api", help="OpenAI 호환 API 주소 (…/v1). 키는 환경 변수 OPENAI_API_KEY") ap.add_argument("--api-model", help="API의 모델 이름 (생략하면 /models 의 첫 번째)") ap.add_argument("--workers", type=int, default=8) ap.add_argument("--format", choices=["chat", "jev"], default="chat", help="jev = 이 모델의 학습 형식 (KJH-Judge 전용)") ap.add_argument("--4bit", dest="q4", action="store_true", help="4bit 양자화로 불러오기 (큰 모델용, bitsandbytes 필요)") ap.add_argument("--n", type=int, default=1000) ap.add_argument("--only", nargs="*") ap.add_argument("--batch", type=int, default=8) a = ap.parse_args() if not (a.model or a.api): ap.error("--model 또는 --api 가 필요합니다") if a.api: import os import urllib.request a.api = a.api.rstrip("/") if not a.api_model: key = os.environ.get("OPENAI_API_KEY", "") req = urllib.request.Request(a.api + "/models", headers={"Authorization": f"Bearer {key}"} if key else {}) a.api_model = json.loads(urllib.request.urlopen(req, timeout=30).read())["data"][0]["id"] name = "api-" + a.api_model.replace("/", "_") tok = model = letters = None else: from transformers import AutoModelForCausalLM, AutoTokenizer tok = AutoTokenizer.from_pretrained(a.model) try: import accelerate # noqa: F401 kw = {"device_map": "auto", "dtype": torch.bfloat16} except ImportError: # accelerate 가 없으면 한 장치에 직접 올린다 kw = {"dtype": torch.bfloat16 if torch.cuda.is_available() else torch.float32} if a.q4: from transformers import BitsAndBytesConfig kw["quantization_config"] = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_compute_dtype=torch.bfloat16, bnb_4bit_quant_type="nf4") model = AutoModelForCausalLM.from_pretrained(a.model, **kw).eval() if "device_map" not in kw: model = model.to("cuda" if torch.cuda.is_available() else "cpu") letters = letter_variants(tok) name = Path(a.model).resolve().name if Path(a.model).exists() else a.model.split("/")[-1] out = HERE / "compare" / f"{name}{'-4bit' if a.q4 else ''}{'-' + a.format if a.format == 'jev' else ''}.json" out.parent.mkdir(exist_ok=True) res = {} for b in (a.only or BENCH): t0 = time.time() data = load(b, random.Random(f"kjh-judge:{b}"), a.n) # bench_heldout.py 와 같은 시드 → 같은 문항 prompts = [render_prompt(r["instruction"], r["item"], r["choices"]) for r, _ in data] nch = [len(r["choices"]) for r, _ in data] if a.api: pred = run_api(a.api, a.api_model, prompts, nch, a.workers) else: pred = run(model, tok, [build_text(tok, p, a.format) for p in prompts], nch, letters, a.batch) k = sum(p == g for p, (_, g) in zip(pred, data)) lo, hi = wilson(k, len(data)) res[b] = {"n": len(data), "acc": round(k / len(data), 4), "ci95": [round(lo, 4), round(hi, 4)], "seconds": round(time.time() - t0)} print(f"{b:<10} n={len(data):>5} 정확도 {k / len(data):6.1%} ({lo:.1%}~{hi:.1%}) {res[b]['seconds']}s", flush=True) out.write_text(json.dumps({"model": a.api_model if a.api else a.model, "via": "api" if a.api else "local", "format": a.format, "4bit": a.q4, "made": time.strftime("%Y-%m-%d %H:%M"), "results": res}, ensure_ascii=False, indent=1), encoding="utf-8") print("저장:", out) if __name__ == "__main__": main()