docs: GPQA Diamond 리더보드 노출 (우리 모델 0점/미평가, 타 모델 출처 실측치)
Browse files
README.md
CHANGED
|
@@ -4,25 +4,56 @@ tags:
|
|
| 4 |
- test
|
| 5 |
- parody
|
| 6 |
- fictional
|
|
|
|
|
|
|
| 7 |
---
|
| 8 |
|
| 9 |
-
> ⚠️ **PARODY /
|
| 10 |
-
> 이 저장소는 `hf` CLI 업로드 연습용입니다.
|
| 11 |
-
>
|
| 12 |
-
>
|
|
|
|
| 13 |
>
|
| 14 |
-
> This is an upload
|
| 15 |
-
> No evaluation was actually run. No `model-index` is included (to avoid polluting HF leaderboards).
|
| 16 |
|
| 17 |
# gwangju no1 llm
|
| 18 |
|
| 19 |
업로드 연습용 리포
|
| 20 |
|
| 21 |
-
##
|
| 22 |
|
| 23 |
-
|
| 24 |
-
|
| 25 |
-
|
| 26 |
|
| 27 |
-
|
| 28 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 4 |
- test
|
| 5 |
- parody
|
| 6 |
- fictional
|
| 7 |
+
- gpqa
|
| 8 |
+
- leaderboard-style
|
| 9 |
---
|
| 10 |
|
| 11 |
+
> ⚠️ **PARODY / PRACTICE REPO — 패러디·업로드 연습용 리포입니다.**
|
| 12 |
+
> 이 저장소는 `hf` CLI 업로드 연습용입니다. `gwangju no1 llm`은 **실제 모델이 아니며 평가를 수행하지 않았습니다.**
|
| 13 |
+
> 따라서 아래 리더보드에서 우리 모델의 점수는 정직하게 **0 (미평가)**로 표기합니다.
|
| 14 |
+
> 비교용으로 함께 실은 다른 모델 점수는 **공개 집계 출처가 있는 실측치**이며, 출처를 각 행에 명시했습니다.
|
| 15 |
+
> 리더보드 집계 오염을 막기 위해 `model-index`와 `.eval_results/`는 의도적으로 포함하지 않습니다.
|
| 16 |
>
|
| 17 |
+
> This is an upload-practice repo. `gwangju no1 llm` is **not a real model and was never evaluated**, so its score is honestly **0 (not evaluated)**. Other rows are **real published scores with sources**. No `model-index` is included (to avoid polluting HF leaderboards).
|
|
|
|
| 18 |
|
| 19 |
# gwangju no1 llm
|
| 20 |
|
| 21 |
업로드 연습용 리포
|
| 22 |
|
| 23 |
+
## 최근 업데이트
|
| 24 |
|
| 25 |
+
- 가상 점수(91.6)를 제거하고, **우리 모델 점수를 0(미평가)**로 정정했습니다.
|
| 26 |
+
- 비교용 리더보드를 **출처 있는 실측 GPQA Diamond 점수**로 구성했습니다.
|
| 27 |
+
- 실측 평가가 없으므로 Hugging Face 리더보드 집계용 `model-index`/`.eval_results/`는 계속 포함하지 않습니다.
|
| 28 |
|
| 29 |
+
## GPQA Diamond 리더보드
|
| 30 |
+
|
| 31 |
+
GPQA Diamond는 생물·화학·물리 박사급 198문항으로, 박사 전문가 정답률이 약 65%인 고난도 벤치마크입니다.
|
| 32 |
+
아래 다른 모델 점수는 공개 집계 스냅샷(2026-06, [AI Stats](https://ai-stats.phaseo.app/benchmarks/gpqa-diamond) / [Artificial Analysis](https://artificialanalysis.ai/evaluations/gpqa-diamond))의 **실측치**이며, 집계처마다 수치가 조금씩 다를 수 있습니다.
|
| 33 |
+
**`gwangju no1 llm`은 평가를 수행하지 않았으므로 0점입니다.**
|
| 34 |
+
|
| 35 |
+
| Rank | Model | Org | GPQA Diamond | 비고 / 출처 |
|
| 36 |
+
| --- | --- | --- | --- | --- |
|
| 37 |
+
| 1 | GPT-5.5 Pro | OpenAI | 94.4% | [출처](https://openai.com/index/introducing-gpt-5-5/) |
|
| 38 |
+
| 2 | Gemini 3.1 Pro Preview | Google | 94.3% | [출처](https://ai-stats.phaseo.app/benchmarks/gpqa-diamond) |
|
| 39 |
+
| 3 | Claude Opus 4.7 | Anthropic | 94.2% | [출처](https://ai-stats.phaseo.app/benchmarks/gpqa-diamond) |
|
| 40 |
+
| 4 | Gemini 3 Pro Preview | Google | 93.8% | [출처](https://blog.google/products/gemini/gemini-3/) |
|
| 41 |
+
| 5 | GPT-5.5 | OpenAI | 93.6% | [출처](https://openai.com/index/introducing-gpt-5-5/) |
|
| 42 |
+
| 6 | Claude Opus 4.6 | Anthropic | 91.3% | [출처](https://ai-stats.phaseo.app/benchmarks/gpqa-diamond) |
|
| 43 |
+
| 7 | GPT-5 | OpenAI | 87.3% | [출처](https://openai.com/index/introducing-gpt-5/) |
|
| 44 |
+
| 8 | Claude Opus 4.5 | Anthropic | 86.95% | [출처](https://assets.anthropic.com/m/64823ba7485345a7/Claude-Opus-4-5-System-Card.pdf) |
|
| 45 |
+
| 9 | GPT-4.5 | OpenAI | 71.4% | [출처](https://ai-stats.phaseo.app/benchmarks/gpqa-diamond) |
|
| 46 |
+
| — | **gwangju no1 llm** | terry-u | **0 (미평가)** | parody / 평가 미수행 |
|
| 47 |
+
|
| 48 |
+
- 우리 모델의 0점은 "낮은 성능"이 아니라 **평가 자체를 하지 않았다는 사실**을 그대로 표기한 값입니다.
|
| 49 |
+
- 실제 리더보드 순위가 아니라, README 안에서 형식만 재현한 표시용 리더보드입니다.
|
| 50 |
+
|
| 51 |
+
## 참고 / 데이터셋
|
| 52 |
+
|
| 53 |
+
- 기준 데이터셋: [Idavidrein/gpqa](https://huggingface.co/datasets/Idavidrein/gpqa)
|
| 54 |
+
- GPQA Diamond 집계 보기: [Artificial Analysis](https://artificialanalysis.ai/evaluations/gpqa-diamond), [AI Stats](https://ai-stats.phaseo.app/benchmarks/gpqa-diamond)
|
| 55 |
+
|
| 56 |
+
## 실제 리더보드 제출 조건
|
| 57 |
+
|
| 58 |
+
실제 GPQA 리더보드에 올리려면 먼저 재현 가능한 평가를 수행하고, 평가 로그와 점수를 검증한 뒤 Hugging Face가 파싱하는 평가 메타데이터를 추가해야 합니다.
|
| 59 |
+
실측 전에는 `model-index` 또는 `.eval_results/gpqa.yaml`을 추가하지 않습니다.
|