root-sys-n commited on
Commit
d55ea2d
·
verified ·
1 Parent(s): 85f6e39

Upload README.md with huggingface_hub

Browse files
Files changed (1) hide show
  1. README.md +17 -3
README.md CHANGED
@@ -94,11 +94,25 @@ Her iki model de 15.5M parametre ile çoktan seçmeli bilgi testi üzerinde zay
94
  | Training stage | A3-karma | bitti |
95
  | Validation loss | **0.5522** | 1.7944 |
96
  | Parameters | 15.54M | 15.54M |
97
- | Architecture | Same (7L/384d/6H) | Same + neuroendocrine controller |
98
 
99
- v2 was trained longer (32.8K steps) and reaches lower validation loss (0.5522 vs 1.7944). However, v4 incorporates the neuroendocrine controller architecture and stability stages (S1-kararli, S2-final) that v2 does not have.
100
 
101
- > TR: v2 daha uzun eğitildi (32.8K adım) ve daha düşük doğrulama kaybına ulaştı (0.5522, v4'te 1.7944). Ancak v4, v2'de olmayan nöroendokrin denetleyici mimarisi ve S1-kararli, S2-final kararlılık aşamalarını içerir.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
102
 
103
  ## Training methodology / Eğitim yöntemi
104
 
 
94
  | Training stage | A3-karma | bitti |
95
  | Validation loss | **0.5522** | 1.7944 |
96
  | Parameters | 15.54M | 15.54M |
97
+ | Architecture | Same (7L/384d/6H) | Same (7L/384d/6H) |
98
 
99
+ v2 was trained longer (32.8K steps) and reaches lower validation loss (0.5522 vs 1.7944). v4 continues from the same v2 checkpoint base but for fewer steps (11,185).
100
 
101
+ > TR: v2 daha uzun eğitildi (32.8K adım) ve daha düşük doğrulama kaybına ulaştı (0.5522, v4'te 1.7944). v4, aynı v2 checkpoint tabanından devam eder ancak daha az adımda (11.185).
102
+
103
+ ## Basit Token-Tahmin Testi (15M'ye Uygun) / Simple Token Prediction Test
104
+
105
+ Modelin prompt'tan sonraki token'ın softmax olasılığını ölçen basit Türkçe test:
106
+
107
+ | Soru | Doğru Cevap | V2 (en yüksek olasılık) | V4 (en yüksek olasılık) |
108
+ |---|---|---|---|
109
+ | Türkiye'nin başkenti | Ankara | İstanbul (0.0400) | İstanbul (0.0018) |
110
+ | Güneş ...'dan doğar | doğudan | güneydoğudan (0.0002) | doğudan (0.0018) |
111
+ | 2+2 = | dört / 4 | 4 (0.0021) | 4 (0.0000) |
112
+ | Elma ... | kırmızı | kırmızı (0.0001) | mavi (0.0000) |
113
+ | Günde ... saat | 24 | 6 (0.0005) | 6 (0.0003) |
114
+
115
+ > TR: Modelin prompt'tan sonraki token'ının softmax olasiligi. 15M parametre ile bu basit bilgi sorularinda da dusuk olasilik — bu olcek icin beklenen bir sonuc. V4'te "Gunes dogudan" dogru cevaba en yuksek olasilik veriliyor ancak deger cok dusuk.
116
 
117
  ## Training methodology / Eğitim yöntemi
118