terry-u commited on
Commit
c3f5e55
·
verified ·
1 Parent(s): c834750

docs: GPQA Diamond 리더보드 노출 (우리 모델 0점/미평가, 타 모델 출처 실측치)

Browse files
Files changed (1) hide show
  1. README.md +43 -12
README.md CHANGED
@@ -4,25 +4,56 @@ tags:
4
  - test
5
  - parody
6
  - fictional
 
 
7
  ---
8
 
9
- > ⚠️ **PARODY / FICTIONAL — NOT A REAL MODEL / 패러디·픽션 리포입니다.**
10
- > 이 저장소는 `hf` CLI 업로드 연습용입니다. 아래 점수·순위는 **실측이 아닌 가상의 수치**이며,
11
- > 어떤 평가도 실제로 수행하지 않았습니다. 벤치마크 리더보드 집계용 `model-index`는
12
- > 의도적으로 포함하지 않았습니다.
 
13
  >
14
- > This is an upload practice repo. The score/ranking below are **made-up, fictional numbers**.
15
- > No evaluation was actually run. No `model-index` is included (to avoid polluting HF leaderboards).
16
 
17
  # gwangju no1 llm
18
 
19
  업로드 연습용 리포
20
 
21
- ## 가상의 벤치마크 (FICTIONAL)
22
 
23
- | 모델 | 엔진 | 점수 (가상) |
24
- | --- | --- | --- |
25
- | **gwangju no1 llm** | demo (실측 미수행) | **91.6 (fictional)** |
26
 
27
- - 위 91.6 은 측정되지 않은 **가상의 숫자**입니다.
28
- - "1위" 표현 역시 연출일 뿐, 실제 순위가 아닙니다.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
4
  - test
5
  - parody
6
  - fictional
7
+ - gpqa
8
+ - leaderboard-style
9
  ---
10
 
11
+ > ⚠️ **PARODY / PRACTICE REPO — 패러디·업로드 연습용 리포입니다.**
12
+ > 이 저장소는 `hf` CLI 업로드 연습용입니다. `gwangju no1 llm`은 **실제 모델이 아니며 평가를 수행하지 않았습니다.**
13
+ > 따라서 아래 리더보드에서 우리 모델의 점수는 정직하게 **0 (미평가)**로 표기합니다.
14
+ > 비교용으로 함께 실은 다른 모델 점수는 **공개 집계 출처가 있는 실측치**이며, 출처를 각 행에 명시했습니다.
15
+ > 리더보드 집계 오염을 막기 위해 `model-index`와 `.eval_results/`는 의도적으로 포함하지 않습니다.
16
  >
17
+ > This is an upload-practice repo. `gwangju no1 llm` is **not a real model and was never evaluated**, so its score is honestly **0 (not evaluated)**. Other rows are **real published scores with sources**. No `model-index` is included (to avoid polluting HF leaderboards).
 
18
 
19
  # gwangju no1 llm
20
 
21
  업로드 연습용 리포
22
 
23
+ ## 최근 업데이트
24
 
25
+ - 가상 점수(91.6)를 제거하고, **우리 모델 점수를 0(미평가)**로 정정했습니다.
26
+ - 비교용 리더보드를 **출처 있는 실측 GPQA Diamond 점수**로 구성했습니다.
27
+ - 실측 평가가 없으므로 Hugging Face 리더보드 집계용 `model-index`/`.eval_results/`는 계속 포함하지 않습니다.
28
 
29
+ ## GPQA Diamond 리더보드
30
+
31
+ GPQA Diamond는 생물·화학·물리 박사급 198문항으로, 박사 전문가 정답률이 약 65%인 고난도 벤치마크입니다.
32
+ 아래 다른 모델 점수는 공개 집계 스냅샷(2026-06, [AI Stats](https://ai-stats.phaseo.app/benchmarks/gpqa-diamond) / [Artificial Analysis](https://artificialanalysis.ai/evaluations/gpqa-diamond))의 **실측치**이며, 집계처마다 수치가 조금씩 다를 수 있습니다.
33
+ **`gwangju no1 llm`은 평가를 수행하지 않았으므로 0점입니다.**
34
+
35
+ | Rank | Model | Org | GPQA Diamond | 비고 / 출처 |
36
+ | --- | --- | --- | --- | --- |
37
+ | 1 | GPT-5.5 Pro | OpenAI | 94.4% | [출처](https://openai.com/index/introducing-gpt-5-5/) |
38
+ | 2 | Gemini 3.1 Pro Preview | Google | 94.3% | [출처](https://ai-stats.phaseo.app/benchmarks/gpqa-diamond) |
39
+ | 3 | Claude Opus 4.7 | Anthropic | 94.2% | [출처](https://ai-stats.phaseo.app/benchmarks/gpqa-diamond) |
40
+ | 4 | Gemini 3 Pro Preview | Google | 93.8% | [출처](https://blog.google/products/gemini/gemini-3/) |
41
+ | 5 | GPT-5.5 | OpenAI | 93.6% | [출처](https://openai.com/index/introducing-gpt-5-5/) |
42
+ | 6 | Claude Opus 4.6 | Anthropic | 91.3% | [출처](https://ai-stats.phaseo.app/benchmarks/gpqa-diamond) |
43
+ | 7 | GPT-5 | OpenAI | 87.3% | [출처](https://openai.com/index/introducing-gpt-5/) |
44
+ | 8 | Claude Opus 4.5 | Anthropic | 86.95% | [출처](https://assets.anthropic.com/m/64823ba7485345a7/Claude-Opus-4-5-System-Card.pdf) |
45
+ | 9 | GPT-4.5 | OpenAI | 71.4% | [출처](https://ai-stats.phaseo.app/benchmarks/gpqa-diamond) |
46
+ | — | **gwangju no1 llm** | terry-u | **0 (미평가)** | parody / 평가 미수행 |
47
+
48
+ - 우리 모델의 0점은 "낮은 성능"이 아니라 **평가 자체를 하지 않았다는 사실**을 그대로 표기한 값입니다.
49
+ - 실제 리더보드 순위가 아니라, README 안에서 형식만 재현한 표시용 리더보드입니다.
50
+
51
+ ## 참고 / 데이터셋
52
+
53
+ - 기준 데이터셋: [Idavidrein/gpqa](https://huggingface.co/datasets/Idavidrein/gpqa)
54
+ - GPQA Diamond 집계 보기: [Artificial Analysis](https://artificialanalysis.ai/evaluations/gpqa-diamond), [AI Stats](https://ai-stats.phaseo.app/benchmarks/gpqa-diamond)
55
+
56
+ ## 실제 리더보드 제출 조건
57
+
58
+ 실제 GPQA 리더보드에 올리려면 먼저 재현 가능한 평가를 수행하고, 평가 로그와 점수를 검증한 뒤 Hugging Face가 파싱하는 평가 메타데이터를 추가해야 합니다.
59
+ 실측 전에는 `model-index` 또는 `.eval_results/gpqa.yaml`을 추가하지 않습니다.