aigencydev commited on
Commit
0f52dc5
·
verified ·
1 Parent(s): b31cbb1

Kart: tam kume TurkishMMLU (v1/v2) ve bagimsiz TurBLiMP sonucu

Browse files
Files changed (1) hide show
  1. README.md +9 -1
README.md CHANGED
@@ -78,6 +78,14 @@ kimlik pekiştirme turu. Tokenizer ve mimari değişmedi; Qwen3-14B tabanı ayn
78
  |---|---|---|---|
79
  | TurkMorfBench 3.6 çekirdek (1.836 madde) | %75,4 | **%80,0** | +4,5 [+1,3, +5,9] |
80
  | TurkishMMLU temiz 652, şık döndürmeli | %67,2 | %66,9 | −0,3 [−3,1, +2,6] |
 
 
 
 
 
 
 
 
81
 
82
  TurkMorfBench liderlik tablosunda (17 model) v2 **birinci sırada**; ilk üç istatistiksel olarak
83
  beraberdir. Kimlik sınavı (30 tuzaklı soru) 30/30. Kazanç istisna kovalarında yoğunlaşır: çatı, ünsüz ikizleşmesi, ünlü düşmesi, uyum
@@ -226,7 +234,7 @@ Erk, yalnızca akıcı Türkçe üretmekle kalmaz; **yanlış öncülleri redded
226
  | Bilgi kesim tarihi | Ağustos 2026 |
227
  | Sohbet formatı | ChatML |
228
  | Kesinlik | bfloat16 |
229
- | TurkishMMLU | v2: %66,9 temiz 652 · v1: %69,7 tam küme 0-shot (protokoller farklıdır, bkz. Sürüm 2) |
230
  | Lisans | [eCloud Açık Topluluk Lisansı](https://huggingface.co/ecloudtech/Erk-14B/blob/main/LICENSE) |
231
 
232
  ### Sınırlamalar
 
78
  |---|---|---|---|
79
  | TurkMorfBench 3.6 çekirdek (1.836 madde) | %75,4 | **%80,0** | +4,5 [+1,3, +5,9] |
80
  | TurkishMMLU temiz 652, şık döndürmeli | %67,2 | %66,9 | −0,3 [−3,1, +2,6] |
81
+ | TurkishMMLU tam küme, 9 ders, 0-shot (lm-evaluation-harness) | %69,7 | %69,6 | −0,1 |
82
+ | TurBLiMP (bağımsız, 16 fenomen × 1.000 minimal çift) | %95,2 | %93,7 | −1,5 [−1,8, −1,2] |
83
+
84
+ **Bağımsız test.** [TurBLiMP](https://huggingface.co/datasets/juletxara/turblimp) başka bir ekibin, başka bir üreticiyle
85
+ hazırladığı Türkçe minimal çift kıyasıdır; v2'nin geliştirilmesinde kullanılmadı. v2'nin kazancı oraya taşınmadı: biçim
86
+ bilgisi fenomenleri (düzensiz biçimler, askıda ek, adlaştırma, edilgen) iki sürümde de %97–100 ile aynı; fark sözdizim
87
+ fenomenlerinden gelir (ada etkileri −7,3, belirleyiciler −4,9, eksilti −2,7). Yani v2'nin iyileşmesi hedeflenen çekim
88
+ morfolojisine özgüdür, genel sözdizim yetkinliğinde küçük bir bedeli vardır. Erk-32B v2'de aynı testte fark +0,3.
89
 
90
  TurkMorfBench liderlik tablosunda (17 model) v2 **birinci sırada**; ilk üç istatistiksel olarak
91
  beraberdir. Kimlik sınavı (30 tuzaklı soru) 30/30. Kazanç istisna kovalarında yoğunlaşır: çatı, ünsüz ikizleşmesi, ünlü düşmesi, uyum
 
234
  | Bilgi kesim tarihi | Ağustos 2026 |
235
  | Sohbet formatı | ChatML |
236
  | Kesinlik | bfloat16 |
237
+ | TurkishMMLU | v2: %66,9 temiz 652 · %69,6 tam küme 0-shot (v1: %67,2 · %69,7) |
238
  | Lisans | [eCloud Açık Topluluk Lisansı](https://huggingface.co/ecloudtech/Erk-14B/blob/main/LICENSE) |
239
 
240
  ### Sınırlamalar