Surum 2 karti (main)

README.md

@@ -25,8 +25,17 @@ model-index:
       type: turkishmmlu
     metrics:
     - type: accuracy
-      value: 69.7
-      name: TurkishMMLU (0-shot, 9 ders ortalaması)
+      value: 66.9
+      name: TurkishMMLU (temiz 652, şık döndürmeli)
+  - task:
+      type: multiple-choice
+    dataset:
+      name: TurkMorfBench
+      type: ecloudtech/TurkMorfBench
+    metrics:
+    - type: accuracy
+      value: 80.0
+      name: TurkMorfBench 3.6 çekirdek (harf kuralı)
 ---
 <div align="center">
 
@@ -40,10 +49,10 @@ model-index:
 <br>
 
 [![Hugging Face](https://img.shields.io/badge/🤗_Model-ecloudtech%2FErk--14B-ffcc00?style=for-the-badge)](https://huggingface.co/ecloudtech/Erk-14B)
-[![TurkishMMLU](https://img.shields.io/badge/TurkishMMLU-%25_69.7-2ea043?style=for-the-badge)](degerlendirme/turkishmmlu.md)
+[![TurkMorfBench](https://img.shields.io/badge/TurkMorfBench-%231_%2F_17-2ea043?style=for-the-badge)](https://huggingface.co/datasets/ecloudtech/TurkMorfBench)
 [![Parametre](https://img.shields.io/badge/Parametre-14B-2563eb?style=for-the-badge)](#)
 
-**TurkishMMLU'da kendi temel modelini +6,60 puan geçiyor** — güven aralığı ve protokol aşağıda
+**Sürüm 2: TurkMorfBench liderlik tablosunda 17 model arasında birinci** — protokol ve güven aralıkları aşağıda
 
 [Modeli indir (🤗)](https://huggingface.co/ecloudtech/Erk-14B) · [Türkçe](#türkçe) · [English](#english) · [eCloud Tech.](https://www.e-cloud.web.tr)
 
@@ -53,6 +62,38 @@ model-index:
 
 ## Türkçe
 
+## Sürüm 2 — 29 Eylül 2026
+
+Bu depodaki `main` dalı artık **Erk-14B v2**'dir; önceki ağırlıklar `v1` etiketinde durur.
+
+**Ne değişti.** v1'in üzerine üç aşamalı devam eğitimi yapıldı: (1) FineWeb-2 Türkçe metniyle
+tam parametreli devam ön-eğitimi, (2) kural motorundan üretilmiş, kıyas gövdelerini içermeyen
+Türkçe biçim bilgisi cümleleri (kısaltma, sayı, çatı, birleşik isim, özel ad) ve talimat verisiyle
+kısa turlar, (3) genel yeteneği korumak için v1 ağırlıklarıyla doğrusal karışım (0,85) ve kısa bir
+kimlik pekiştirme turu. Tokenizer ve mimari değişmedi; Qwen3-14B tabanı aynıdır.
+
+**Sonuçlar** (aynı sabit protokol, hücre kümeli %95 güven aralığı, eşli fark v1'e göre):
+
+| Ölçüm | v1 | **v2** | Fark |
+|---|---|---|---|
+| TurkMorfBench 3.6 çekirdek (1.836 madde) | %75,4 | **%80,0** | +4,5 [+1,3, +5,9] |
+| TurkishMMLU temiz 652, şık döndürmeli | %67,2 | %66,9 | −0,3 [−3,1, +2,6] |
+
+TurkMorfBench liderlik tablosunda (17 model) v2 **birinci sırada**; ilk üç istatistiksel olarak
+beraberdir. Kimlik sınavı (30 tuzaklı soru) 30/30. Kazanç istisna kovalarında yoğunlaşır: çatı, ünsüz ikizleşmesi, ünlü düşmesi, uyum
+kırıcı alıntılar. Genel yetenek farkı güven aralığının içindedir. Tablo ve protokol:
+[TurkMorfBench](https://huggingface.co/datasets/ecloudtech/TurkMorfBench).
+
+**Hangisini indirmeli.** Türkçe metin üretimi ve biçim bilgisi için **v2** (`main`). Yalnız v1 ile
+karşılaştırma gerekiyorsa `revision="v1"`. GGUF sürümleri:
+[Erk-14B-GGUF](https://huggingface.co/ecloudtech/Erk-14B-GGUF) (Q4_K_M önerilir).
+
+```python
+from transformers import AutoModelForCausalLM, AutoTokenizer
+m = AutoModelForCausalLM.from_pretrained("ecloudtech/Erk-14B")                  # v2
+m1 = AutoModelForCausalLM.from_pretrained("ecloudtech/Erk-14B", revision="v1")  # önceki sürüm
+```
+
 ### Erk nedir?
 
 **Erk**, [eCloud Yazılım Teknolojileri](https://www.e-cloud.web.tr) tarafından
@@ -86,22 +127,13 @@ Daha sıkı protokolde (kirli sorular çıkarılmış, şık döndürmeli, eşli
 aynı karşılaştırma: Qwen3-14B %60,58 · **Erk-14B %67,18** · fark
 **+6,60 [+3,07, +10,28]**. İki protokolde de tabana göre kazanç anlamlıdır.
 
-#### Neden başka modellerle sıralama tablosu yok
-
-Bu kartın önceki sürümünde diğer açık Türkçe modellerle bir sıralama tablosu ve
-"birincisi" ifadesi vardı. Kaldırdık, çünkü savunulabilir değildi: o sayılar
-başkaları tarafından, başka protokollerle yayımlanmıştı, bizimki kendi
-ölçümümüzdü, hiçbirinde kirlilik denetimi ve güven aralığı yoktu.
-
-Bunun soyut bir titizlik olmadığını kendi ölçümlerimizde gördük. Aynı modelin
-aynı soru kümesindeki puanı **yalnız istem biçimi değişince** oynuyor: Qwen3-32B
-%63,38'den %67,13'e çıktı, başka bir modelde sade istem 15 puan kaybettirdi.
-Bir başka ölçümde, bir çıkarım servisinin sunduğu modelin puanı aynı ağırlıkların
-yerel ölçümünün 26 puan altında çıktı. Bu büyüklükteki oynamalar bir sıralama
-tablosunun sırasını tek başına belirler.
+#### Başka modellerle karşılaştırma
 
-Başka modellerle kıyas yayımlayacaksak onları **kendi protokolümüzle kendimiz**
-ölçmemiz gerekir. O çalışma sürüyor; bitmeden sıra iddiası yazmayacağız.
+Sıralama iddiasını yalnız **kendi protokolümüzle kendimiz ölçtüğümüz** modeller için yaparız.
+Bu ölçüm tamamlandı: 17 açık model, aynı 1.836 madde, aynı sabit betik, hücre kümeli güven
+aralıkları ve TurkishMMLU sütunu ile
+[TurkMorfBench liderlik tablosunda](https://huggingface.co/datasets/ecloudtech/TurkMorfBench).
+Erk-14B v2 birinci sıradadır; ilk üç istatistiksel olarak beraberdir ve bunu tabloda yazarız.
 
 **Ders bazında Erk:**