"""학습에 쓰지 않은 공개 한국어 벤치마크로 KJH-Judge-4B-ko 를 잰다 (0-shot, 보기 기호 점수 방식). # 판정 서버(API)로 python eval/bench_heldout.py --url http://서버:포트 # 내려받은 모델로 (GPU 권장) python eval/bench_heldout.py --model . 학습 데이터와 겹치지 않는 출처만 쓴다. 이 모델의 학습 데이터는 KLUE(NLI·YNAT), KoBEST, korean-hate-speech, APEACH, SIB-200, 자체 합성(정책·법령·도구 호출)이다. 아래 벤치마크는 그와 다른 출처다. (원본 Qwen3-4B의 사전학습에 들어갔는지는 알 수 없다.) 표본은 고정 시드로 뽑는다. """ import argparse import concurrent.futures as cf import io import json import math import random import time import urllib.parse import urllib.request from pathlib import Path HERE = Path(__file__).resolve().parent NLI = ("전제를 참이라고 할 때 가설을 분류한다. entailment: 전제로부터 가설이 따라온다. contradiction: 전제와 가설이 양립할 수 없다. neutral: 둘 다 아니다. " "정보가 없다는 이유만으로 contradiction을 고르지 않는다. neutral은 정상 정답이며 insufficient_context가 아니다. 통상적인 문장 의미로 판단하며 희박한 가정을 만들어 모호하다고 하지 않는다. " "전제의 열거 대상과 가설의 범위를 빠짐없이 대조한다. 가설의 만/밖에/오직/모두 같은 표현이 전제에 명시된 다른 대상이나 사례를 배제하는지 확인한다. " "전제에 배타 표현이 없다는 사실만으로 중립이라고 하지 않는다. 통상적인 문맥이 명확하면 다른 원인·상황을 임의로 추가하지 않는다.") SENT = "문장의 전반적인 감정 극성을 판단한다. 부정 표현과 반어를 고려한다." HATE = ("APEACH 원 논문의 생성 기준을 따른다. 성별·성적 지향/정체성·나이/신분/경력·국적/인종·출신/거주지·외모·질병/장애·식습관·학력/전공 관련 차별·비하·공격을 포함한다. " "보호집단 정체성을 명시해야 한다는 제한은 없다. 불필요하거나 공격적인 외모 평가, 식습관 강요/폄하도 해당한다. 비공격적인 주제 언급이나 차별에 대한 반대 발언은 비혐오다.") STS = "두 문장의 의미가 같은지 판단한다. 표현이 달라도 전달하는 내용이 같으면 같은 의미다." MCQ = "질문에 가장 알맞은 답을 보기에서 고른다." BENCH = { # 이름: (설명, 출처, 라이선스) "nsmc": ("영화 리뷰 감성 (긍정/부정)", "e9t/nsmc · ratings_test", "CC0 1.0"), "kornli": ("문장 관계 3분류 (XNLI 한국어 번역)", "kakaobrain/kor_nli · xnli/test", "CC BY-SA 4.0"), "klue_sts": ("두 문장이 같은 뜻인지 (예/아니오)", "klue/klue · sts/validation (binary-label)", "CC BY-SA 4.0"), "unsmile": ("악플·혐오 표현 여부", "smilegate-ai/kor_unsmile · valid (clean 여부)", "CC BY-NC-ND 4.0"), "kmmlu": ("한국어 전문 지식 4지선다 (45과목)", "HAERAE-HUB/KMMLU · test", "CC BY-ND 4.0"), "haerae": ("한국 문화·어휘 지식 5지선다", "HAERAE-HUB/HAE_RAE_BENCH_1.0 · test", "CC BY-NC-ND 4.0"), } def get(url, tries=6): url = urllib.parse.quote(url, safe=":/?=&%") # 설정 이름에 띄어쓰기가 있는 데이터셋 (HAE-RAE) for k in range(tries): try: return urllib.request.urlopen(url, timeout=120).read() except Exception: if k == tries - 1: raise time.sleep(3) def parquet(dataset, config, split): import pyarrow.parquet as pq urls = json.loads(get(f"https://huggingface.co/api/datasets/{dataset}/parquet"))[config][split] rows = [] for u in urls: rows += pq.read_table(io.BytesIO(get(u))).to_pylist() return rows def load(name, rng, n): """→ [(요청, 정답 번호)]""" out = [] if name == "nsmc": lines = get("https://raw.githubusercontent.com/e9t/nsmc/master/ratings_test.txt").decode("utf-8").splitlines()[1:] rows = [l.split("\t") for l in lines] rows = [r for r in rows if len(r) == 3 and r[1].strip()] for _, doc, lab in rng.sample(rows, n): out.append(({"instruction": SENT, "item": {"text": doc}, "choices": ["긍정적 감정", "부정적 감정"]}, 0 if lab == "1" else 1)) elif name == "kornli": rows = parquet("kakaobrain/kor_nli", "xnli", "test") gmap = {0: 0, 1: 2, 2: 1} # 데이터: 0 함의 1 중립 2 모순 → 보기: entailment contradiction neutral for r in rng.sample(rows, n): out.append(({"instruction": NLI, "item": {"premise": r["premise"], "hypothesis": r["hypothesis"]}, "choices": ["entailment", "contradiction", "neutral"]}, gmap[r["label"]])) elif name == "klue_sts": for r in parquet("klue/klue", "sts", "validation"): out.append(({"instruction": STS, "item": {"sentence1": r["sentence1"], "sentence2": r["sentence2"]}, "choices": ["같은 의미", "다른 의미"]}, 0 if r["labels"]["binary-label"] == 1 else 1)) elif name == "unsmile": for r in rng.sample(parquet("smilegate-ai/kor_unsmile", "default", "valid"), n): out.append(({"instruction": HATE, "item": {"text": r["문장"]}, "choices": ["비혐오: 비하·공격성이 없는 표현", "혐오·비하·공격적 표현"]}, 0 if r["clean"] == 1 else 1)) elif name == "kmmlu": cfgs = json.loads(get("https://huggingface.co/api/datasets/HAERAE-HUB/KMMLU/parquet")) per = max(1, n // len(cfgs)) for c in sorted(cfgs): rows = parquet("HAERAE-HUB/KMMLU", c, "test") for r in rng.sample(rows, min(per, len(rows))): out.append(({"instruction": MCQ, "item": {"question": r["question"]}, "choices": [str(r[k]) for k in "ABCD"]}, int(r["answer"]) - 1)) elif name == "haerae": cfgs = json.loads(get("https://huggingface.co/api/datasets/HAERAE-HUB/HAE_RAE_BENCH_1.0/parquet")) per = max(1, n // len(cfgs)) for c in sorted(cfgs): rows = parquet("HAERAE-HUB/HAE_RAE_BENCH_1.0", c, "test") for r in rng.sample(rows, min(per, len(rows))): ks = [k for k in "abcde" if r.get(k) not in (None, "")] gold = str(r["answer"]).strip().lower() if gold not in ks: continue out.append(({"instruction": MCQ, "item": {"question": r["question"]}, "choices": [str(r[k]) for k in ks]}, ks.index(gold))) return out def wilson(k, n, z=1.96): if n == 0: return (0, 0) p = k / n d = 1 + z * z / n c = (p + z * z / (2 * n)) / d h = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / d return (c - h, c + h) def run_api(url, reqs): def post(path, body): for k in range(12): try: req = urllib.request.Request(url + path, json.dumps(body, ensure_ascii=False).encode(), {"Content-Type": "application/json"}) return json.loads(urllib.request.urlopen(req, timeout=300).read()) except urllib.error.HTTPError as e: if e.code == 404: return None raise except Exception: time.sleep(2) raise RuntimeError("서버에 연결하지 못했습니다") wire = [{"instruction": r["instruction"], "item": r["item"], "choices": [{"text": c} for c in r["choices"]]} for r in reqs] first = post("/api/batch", {"items": wire[:32]}) if first: res = first["results"] for s in range(32, len(wire), 32): res += post("/api/batch", {"items": wire[s:s + 32]})["results"] else: with cf.ThreadPoolExecutor(8) as ex: res = list(ex.map(lambda b: post("/api/decide", b), wire)) return [ord(r["choice"]) - 65 for r in res], [r["confidence"] for r in res] def run_local(path, reqs): import sys sys.path.insert(0, str(Path(path).resolve())) from judge import Judge j = Judge(path) out = j.decide_batch(reqs) return [o["index"] for o in out], [o["confidence"] for o in out] def main(): ap = argparse.ArgumentParser() ap.add_argument("--url") ap.add_argument("--model") ap.add_argument("--n", type=int, default=1000, help="벤치마크마다 최대 문항 수 (KLUE-STS는 전체 519)") ap.add_argument("--only", nargs="*") ap.add_argument("--out", default=str(HERE / "heldout_results.json")) a = ap.parse_args() prev = Path(a.out) summary = json.loads(prev.read_text(encoding="utf-8"))["results"] if prev.is_file() and a.only else {} # --only 로 일부만 다시 돌리면 나머지 결과는 유지 for name in (a.only or BENCH): rng = random.Random(f"kjh-judge:{name}") t0 = time.time() data = load(name, rng, a.n) reqs, gold = [d[0] for d in data], [d[1] for d in data] pred, conf = run_api(a.url.rstrip("/"), reqs) if a.url else run_local(a.model, reqs) k = sum(p == g for p, g in zip(pred, gold)) chance = sum(1 / len(r["choices"]) for r in reqs) / len(reqs) lo, hi = wilson(k, len(reqs)) summary[name] = {"desc": BENCH[name][0], "source": BENCH[name][1], "license": BENCH[name][2], "n": len(reqs), "acc": round(k / len(reqs), 4), "ci95": [round(lo, 4), round(hi, 4)], "chance": round(chance, 4), "mean_conf": round(sum(conf) / len(conf), 4), "seconds": round(time.time() - t0)} print(f"{name:<10} n={len(reqs):>5} 정확도 {k / len(reqs):6.1%} (95% {lo:.1%}~{hi:.1%}) 무작위 {chance:.1%} {round(time.time() - t0)}s", flush=True) Path(a.out).write_text(json.dumps({"made": time.strftime("%Y-%m-%d %H:%M"), "protocol": "0-shot, 보기 기호 점수(온도 보정 softmax), 표본 고정 시드", "results": summary}, ensure_ascii=False, indent=1), encoding="utf-8") print("저장:", a.out) if __name__ == "__main__": main()