aigencydev commited on
Commit
6ad00ff
·
verified ·
1 Parent(s): 0f52dc5

Recete: asama tablosu, ablasyon, tohum, TurBLiMP

Browse files
Files changed (1) hide show
  1. EGITIM-RECETESI-v2.md +59 -4
EGITIM-RECETESI-v2.md CHANGED
@@ -69,8 +69,63 @@ TurkMorfBench 3.6 çekirdeği, 3.7.0 puanlama kodu (`turkmorfbench==3.8.0`), `ha
69
  kümeli önyükleme; TurkishMMLU temiz 652, şık sırası dondurulmuş (`taban_kiyas.py`); kimlik 30 soru
70
  (`egitim/kimlik_sinavi_v2.py`). Sonuç dosyaları model kartında.
71
 
72
- ## 6. Bilinen sınırlar
73
 
74
- Tek tohum; aşama sırası sıralı deneylerle belirlendi (her aşamanın gerekçesi geliştirme kesitindeki
75
- ölçümdür); ablasyon sonuçları (yalnız doğal metin, yalnız sentetik, yalnız talimat) yayımlandığında bu
76
- belgeye eklenecektir.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
69
  kümeli önyükleme; TurkishMMLU temiz 652, şık sırası dondurulmuş (`taban_kiyas.py`); kimlik 30 soru
70
  (`egitim/kimlik_sinavi_v2.py`). Sonuç dosyaları model kartında.
71
 
72
+ ## 6. Aşama tablosu, ablasyon ve tohum (1 Ekim 2026)
73
 
74
+ Her satır aynı protokolle ölçüldü: TurkMorfBench 3.6 çekirdeği (1.836 madde, `harf`, hücre kümeli %95 GA)
75
+ ve TurkishMMLU temiz 652 (şık döndürmeli). Her model çekirdekte bir kez ölçüldü.
76
+
77
+ **6.1 Erk-14B v2 aşamaları (sıralı, her satır öncekinin üzerine)**
78
+
79
+ | Aşama | TurkMorfBench | v1'e göre | TurkishMMLU |
80
+ |---|---|---|---|
81
+ | v1 | 75,4 | — | 67,2 |
82
+ | 1 doğal CPT (FineWeb-2, 6.000 adım) | 78,1 | +2,6 [+0,6, +3,5] | 66,3 |
83
+ | 2 + kural cümleleri (kısaltma/sayı/çatı) | 79,3 | +3,8 [+1,0, +5,2] | 66,3 |
84
+ | 3 + birleşik isim | 79,9 | +4,5 [+1,1, +5,8] | 65,6 |
85
+ | 4 + SFT ağırlıklı pekiştirme | 79,8 | +4,4 [+1,1, +5,8] | 66,3 |
86
+ | 5 + özel ad | 80,1 | +4,7 [+1,0, +6,3] | 65,6 |
87
+ | 6 karışım 0,85·aşama 5 + 0,15·v1 | 79,4 | +3,9 [+1,0, +5,2] | 66,7 |
88
+ | 7 + kimlik pekiştirme (**v2**) | **80,0** | **+4,5 [+1,3, +5,9]** | **66,9** |
89
+
90
+ Okuma: kazancın yaklaşık 2,6 puanı doğal metinden, 2 puanı kural cümlelerinden gelir; karışım TurkishMMLU'yu
91
+ geri toplarken morfolojiden ~0,7 puan alır. Aynı doğal CPT koşusunun 9.000. adımı 78,3 / 65,5 verir (daha
92
+ çok doğal metin morfolojiyi artırmıyor, genel yeteneği aşındırıyor); aşama 1 bu yüzden 6.000. adımda kesildi.
93
+
94
+ **6.2 Ablasyon — v1'den tek bileşenle (3.000 adım, lr 5e-6, aynı bütçe)**
95
+
96
+ | Kol | TurkMorfBench | v1'e göre | TurkishMMLU |
97
+ |---|---|---|---|
98
+ | yalnız doğal metin (aşama 1 ile aynı veri, 6.000 adım) | 78,1 | +2,6 [+0,6, +3,5] | 66,3 |
99
+ | yalnız kural cümleleri + SFT/6 (doğal metin yok) | 77,6 | +2,1 [−0,8, +3,3] | **59,5** |
100
+ | yalnız SFT (talimat verisi) | 77,7 | +2,2 [+0,3, +3,1] | 67,0 |
101
+ | doğal + kural + SFT (aşama 2) | 79,3 | +3,8 [+1,0, +5,2] | 66,3 |
102
+
103
+ Üç bulgu: (i) tek başına şablonlu kural cümleleri genel yeteneği 7,7 puan düşürür; doğal metin karışımı
104
+ zorunludur. (ii) Yalnız Türkçe talimat verisi bile morfolojide +2,2 verir ve istisna kovalarını (çatı +16,
105
+ ünlü düşmesi +10, uyum kırıcı +13, ikizleşme +17) iyileştirir: kazancın bir bölümü türüne bakmaksızın
106
+ Türkçe maruziyetten gelir. (iii) Bileşenler toplanır; en yüksek değer üçünün birlikte kullanıldığı aşamadır.
107
+
108
+ **6.3 Tohum belirsizliği (aşama 2 reçetesi, iki ek tohum: veri sırası ve torch)**
109
+
110
+ | Tohum | TurkMorfBench | TurkishMMLU |
111
+ |---|---|---|
112
+ | 20260926 (yayımlanan) | 79,3 | 66,3 |
113
+ | 1 | 79,7 | 65,5 |
114
+ | 2 | *(ölçülüyor)* | |
115
+
116
+ **6.4 Bağımsız test — TurBLiMP** (16 fenomen × 1.000 minimal çift; başka ekip, başka üretici; v2
117
+ geliştirilirken kullanılmadı). Cümle log-olasılık toplamı kuralı.
118
+
119
+ | Model | v1 | v2 | fark (eşli önyükleme) |
120
+ |---|---|---|---|
121
+ | Erk-14B | 95,2 | 93,7 | −1,5 [−1,8, −1,2] |
122
+ | Erk-32B | 95,2 | 95,4 | +0,3 [+0,1, +0,5] |
123
+
124
+ Erk-14B v2'de biçim bilgisi fenomenleri (düzensiz biçimler, askıda ek, adlaştırma, edilgen) değişmez
125
+ (%97–100); düşüş sözdizimindedir: ada etkileri −7,3, belirleyiciler −4,9, eksilti −2,7. v2'nin kazancı
126
+ hedeflenen çekim morfolojisine özgüdür ve sözdizimsel minimal çiftlere taşınmaz; bu bedel kartta yazılıdır.
127
+
128
+ ## 7. Bilinen sınırlar
129
+
130
+ Tek eğitim tohumu (aşama 2 için iki ek tohum §6.3'te); aşama sırası sıralı deneylerle belirlendi ve her
131
+ aşamanın gerekçesi geliştirme kesitindeki ölçümdür; çekirdek yalnız seçilen modeller için ölçüldü.