Kart: savunulamaz siralama iddialari kaldirildi

Diger acik Turkce modellerle yapilan siralama tablosu ve 'birincisi' ifadesi kaldirildi: o sayilar baskalari tarafindan farkli protokollerle yayimlanmisti, kirlilik denetimi ve guven araligi yoktu. Yerine yalniz kendi tabanimiza karsi olcum ve guven araligi kondu.

README.md

@@ -43,7 +43,7 @@ model-index:
 [![TurkishMMLU](https://img.shields.io/badge/TurkishMMLU-%25_69.7-2ea043?style=for-the-badge)](degerlendirme/turkishmmlu.md)
 [![Parametre](https://img.shields.io/badge/Parametre-14B-2563eb?style=for-the-badge)](#)
 
-**Açık Türkçe modeller arasında TurkishMMLU birincisi**
+**TurkishMMLU'da kendi temel modelini +6,60 puan geçiyor** — güven aralığı ve protokol aşağıda
 
 [Modeli indir (🤗)](https://huggingface.co/ecloudtech/Erk-14B) · [Türkçe](#türkçe) · [English](#english) · [eCloud Tech.](https://www.e-cloud.web.tr)
 
@@ -73,17 +73,35 @@ belirgin biçimde ileri taşır.
 
 ### Değerlendirme — Evaluation
 
-Erk, bağımsız ve kamuya açık **TurkishMMLU** kıyaslamasında (9 ders, 0-shot doğruluk)
-test edilen açık Türkçe modellerin **en iyisidir.**
+Kontrol ettiğimiz tek kıyas **kendi temel modelimize karşı** olandır: aynı
+sorular, aynı protokol, aynı ölçüm, eşli güven aralığı.
 
-| Sıra | Model | Ölçek | TurkishMMLU |
-|:--:|:---|:--:|:--:|
-| | **Erk** | **14B** | **%69,7** |
-| | Qwen3-14B *(temel model)* | 14B | %63,4 |
-| | Trendyol Asure | 12B | %60,9 |
-| 4 | Turkish-Gemma (YTÜ) | 9B | %60,4 |
-| 5 | Trendyol v4 | 7B | %53,0 |
-| 6 | Kumru (VNGRS) | 2B | %20,1 |
+| Model | TurkishMMLU (9 ders, 0-shot) |
+|:---|:--:|
+| Qwen3-14B *(temel model)* | %63,4 |
+| **Erk-14B** | **%69,7** |
+| **Fark** | **+6,3** |
+
+Daha sıkı protokolde (kirli sorular çıkarılmış, şık döndürmeli, eşli bootstrap)
+aynı karşılaştırma: Qwen3-14B %60,58 · **Erk-14B %67,18** · fark
+**+6,60 [+3,07, +10,28]**. İki protokolde de tabana göre kazanç anlamlıdır.
+
+#### Neden başka modellerle sıralama tablosu yok
+
+Bu kartın önceki sürümünde diğer açık Türkçe modellerle bir sıralama tablosu ve
+"birincisi" ifadesi vardı. Kaldırdık, çünkü savunulabilir değildi: o sayılar
+başkaları tarafından, başka protokollerle yayımlanmıştı, bizimki kendi
+ölçümümüzdü, hiçbirinde kirlilik denetimi ve güven aralığı yoktu.
+
+Bunun soyut bir titizlik olmadığını kendi ölçümlerimizde gördük. Aynı modelin
+aynı soru kümesindeki puanı **yalnız istem biçimi değişince** oynuyor: Qwen3-32B
+%63,38'den %67,13'e çıktı, başka bir modelde sade istem 15 puan kaybettirdi.
+Bir başka ölçümde, bir çıkarım servisinin sunduğu modelin puanı aynı ağırlıkların
+yerel ölçümünün 26 puan altında çıktı. Bu büyüklükteki oynamalar bir sıralama
+tablosunun sırasını tek başına belirler.
+
+Başka modellerle kıyas yayımlayacaksak onları **kendi protokolümüzle kendimiz**
+ölçmemiz gerekir. O çalışma sürüyor; bitmeden sıra iddiası yazmayacağız.
 
 **Ders bazında Erk:**
 
@@ -233,9 +251,21 @@ sıkı protokolle aynı model yeniden ölçüldü:
 
 İki sayı çelişmez: %69,7 ile %67,18 aynı modelin iki farklı koşulda ölçümüdür;
 fark protokolden gelir. Tabana göre kazanç her iki koşulda da anlamlıdır
-(+6,3 tam küme, +6,6 temiz küme). Yukarıdaki sıralama tablosu tam-küme
-protokolüne aittir; karşılaştırılan diğer modeller temiz protokolle yeniden
-ölçülmemiştir.
+(+6,3 tam küme, +6,6 temiz küme).
+
+
+## Benimsenme
+
+21 Eylül 2026 anlık ölçümü; doğrulanabilir:
+`curl "https://huggingface.co/api/models/ecloudtech/Erk-14B?expand[]=downloadsAllTime"`
+
+| Depo | İndirme (tüm zamanlar) |
+|---|---|
+| `ecloudtech/Erk-14B` | 538 |
+
+Erk ailesinin tamamı (14B, 32B ve topluluğun ürettiği GGUF depoları dahil):
+**6.790 indirme**. Günlük sayaç kaydı tutulmaktadır; Hugging Face indirme
+geçmişi yayımlamadığı için eğilim iddiası ancak seri birikince yazılacaktır.
 
 Protokolün tamamı ve yeniden üretim betikleri:
 [Erk-32B — Ölçüm Protokolü](https://huggingface.co/ecloudtech/Erk-32B).
@@ -249,8 +279,7 @@ pretraining corpus excluded (plus 150 used for monitoring), remaining 652
 measured with option rotation, paired bootstrap CIs — Erk-14B scores
 **67.18%** vs **60.58%** for Qwen3-14B (+6.60 [+3.07, +10.28]). The two numbers
 are the same model under two protocols; the gain over the base is significant
-under both. The ranking table above is on the full-set protocol; other models
-were not re-measured under the clean one. Full protocol and scripts:
+under both. Full protocol and scripts:
 [Erk-32B](https://huggingface.co/ecloudtech/Erk-32B).
 
 ## English
@@ -278,16 +307,30 @@ instruction tuning that move the base model meaningfully forward in Turkish.
 ### Evaluation
 
 On the independent, public **TurkishMMLU** benchmark (9 subjects, 0-shot accuracy),
-Erk is **the best of the open Turkish models tested.**
-
-| Rank | Model | Size | TurkishMMLU |
-|:--:|:---|:--:|:--:|
-| | **Erk** | **14B** | **69.7%** |
-| | Qwen3-14B *(base model)* | 14B | 63.4% |
-| | Trendyol Asure | 12B | 60.9% |
-| 4 | Turkish-Gemma | 9B | 60.4% |
-| 5 | Trendyol v4 | 7B | 53.0% |
-| 6 | Kumru | 2B | 20.1% |
+The only comparison we control is **against our own base model**: same
+questions, same protocol, paired confidence intervals.
+
+| Model | TurkishMMLU (9 subjects, 0-shot) |
+|:---|:--:|
+| Qwen3-14B *(base model)* | 63.4% |
+| **Erk-14B** | **69.7%** |
+| **Difference** | **+6.3** |
+
+Under the stricter protocol (contaminated questions removed, option rotation,
+paired bootstrap): Qwen3-14B 60.58% vs **Erk-14B 67.18%**, +6.60 [+3.07, +10.28].
+The gain over the base is significant under both protocols.
+
+**Why there is no ranking table against other models.** An earlier version of
+this card ranked Erk against other open Turkish models and called it first. We
+removed that: those numbers were published by others under different protocols,
+ours was our own measurement, and none had contamination checks or confidence
+intervals. Our own measurements show why this matters — the same model on the
+same questions moves by 4 points when only the prompt format changes, by 15
+points for another model, and one inference endpoint scored 26 points below the
+local weights of the model it claimed to serve. Swings of that size decide the
+order of a ranking table by themselves. To publish a comparison we would have to
+measure the other models ourselves under our protocol. That work is ongoing.
+
 
 Strongest subjects: **Geography 85% · Philosophy 85% · Religion & Ethics 83% ·
 History 76%.** All results measured with `lm-evaluation-harness` on the public