Egitim recetesi v2
Browse files- EGITIM-RECETESI-v2.md +76 -0
EGITIM-RECETESI-v2.md
ADDED
|
@@ -0,0 +1,76 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
# Erk v2 — eğitim reçetesi (29 Eylül 2026)
|
| 2 |
+
|
| 3 |
+
Bu belge, Erk-14B v2 ve Erk-32B v2'nin v1 ağırlıklarından nasıl üretildiğini, aynı sonucu üretmek
|
| 4 |
+
isteyen birinin ihtiyaç duyacağı ayrıntıyla verir. Betiklerin tamamı bu depodaki `egitim/` klasöründe;
|
| 5 |
+
sentetik veri üreteçleri [turkmorfbench](https://github.com/ecloudtechnology/turkmorfbench) deposundadır.
|
| 6 |
+
Tek eğitim tohumu; güven aralıkları soru/madde örneklemesini kapsar, tohumu kapsamaz.
|
| 7 |
+
|
| 8 |
+
## 1. Taban
|
| 9 |
+
|
| 10 |
+
| | Erk-14B v2 | Erk-32B v2 |
|
| 11 |
+
|---|---|---|
|
| 12 |
+
| Başlangıç ağırlıkları | Erk-14B v1 (`revision="v1"`) | Erk-32B v1 (`revision="v1"`, LoRA 0,75 birleşiği) |
|
| 13 |
+
| Mimari / tokenizer | Qwen3-14B, değişmedi | Qwen3-32B, değişmedi |
|
| 14 |
+
| Donanım | 4 × A100 80 GB (UHeM), naif boru hattı paralelliği | aynı |
|
| 15 |
+
|
| 16 |
+
## 2. Veri
|
| 17 |
+
|
| 18 |
+
**2.1 Doğal metin.** `HuggingFaceFW/fineweb-2`, alt küme `tur_Latn`, akış sırasıyla 8 Temmuz 2026'da
|
| 19 |
+
indirilip nanosohbet `corpus/build_shards_tr.py` ile ~100 MB'lik parquet parçalarına bölündü (260 parça).
|
| 20 |
+
v2 için **parça 100–259** kullanıldı (v1'in devam eğitiminde görülmemiş parçalar); kullanılan 160 dosyanın
|
| 21 |
+
SHA-256 listesi `egitim/fineweb2_parca_sha256.txt`. Seçim `egitim/dogal_secim.py` (tohum 20260926):
|
| 22 |
+
paragraf 200–3.000 karakter, ≥25 kelime, Türkçe harf içerir, sözlük maddesi görünümlü satırlar atılır;
|
| 23 |
+
%70 rastgele paragraf + %30 kesme işaretli çekim yoğun paragraf (≥2/100 kelime); toplam 600 MB,
|
| 24 |
+
1.383.785 paragraf. Kıyas maddesi, şablonu, gövde listesi ve TDK sözlüğü kullanılmadı.
|
| 25 |
+
|
| 26 |
+
**2.2 Kural cümleleri (sentetik).** TurkMorfBench kural motorundan, kıyasın hiçbir kovasında geçmeyen
|
| 27 |
+
gövdelerle; kontaminasyon denetimi her dosyada sıfır.
|
| 28 |
+
`kural_verisi_uret.py` (tohum 20260925): kısaltma 20.000 · sayı 20.000 · çatı 20.000;
|
| 29 |
+
`birlesik_verisi_uret.py` (20260927): iyelikli birleşik ad + hâl (zamir n'si) 20.000;
|
| 30 |
+
`ozel_ad_verisi_uret.py` (20260928): özel ad + kesme işaretli ek 20.000. Çerçeve cümleler hâle/çatıya bağlıdır.
|
| 31 |
+
|
| 32 |
+
**2.3 Talimat verisi.** eCloud SFT külliyatı `sft_clean_v2` (373.387 örnek, sohbet biçimi), sohbet
|
| 33 |
+
şablonuyla (varsayılan kimlik sistem istemi dâhil) tek metin olarak işlendi.
|
| 34 |
+
|
| 35 |
+
**2.4 Kimlik verisi.** `egitim/kimlik14.jsonl` (6.000 soru-cevap × 3 kopya): "Sen kimsin / temel modelin
|
| 36 |
+
ne / ChatGPT misin" türü sorular; Qwen3 tabanı her cevapta açıkça söylenir.
|
| 37 |
+
|
| 38 |
+
## 3. Eğitim aşamaları — Erk-14B v2
|
| 39 |
+
|
| 40 |
+
Ortak: `egitim/dogal_egitim.py`; dizi 1.024 jeton; yığın 4 × birikim 4 = 16.384 jeton/adım; AdamW,
|
| 41 |
+
ağırlık sönümü 0,01, OneCycle (ısınma %5), gradyan kırpma 1,0; ileri/geri bf16, **fp32 ana ağırlık**
|
| 42 |
+
(optimizer fp32 kopyada, her adımda bf16'ya kopyalanır). SFT karışımı "her N paragrafta bir sohbet örneği".
|
| 43 |
+
|
| 44 |
+
| Aşama | Başlangıç | Veri | Adım | lr | Jeton |
|
| 45 |
+
|---|---|---|---|---|---|
|
| 46 |
+
| 1 doğal | v1 | doğal metin, SFT/12 | 6.000 (9.000'lik koşunun 6.000. ara kaydı) | 1e-5 | 98 M |
|
| 47 |
+
| 2 kural | aşama 1 | doğal + %10 kural (kısaltma/sayı/çatı), SFT/6 | 3.000 | 5e-6 | 49 M |
|
| 48 |
+
| 3 birleşik | aşama 2 | doğal + %10 (kural + birleşik), SFT/6 | 2.000 | 5e-6 | 33 M |
|
| 49 |
+
| 4 pekiştirme | aşama 3 | doğal + %5 sentetik, SFT/2 | 800 | 3e-6 | 13 M |
|
| 50 |
+
| 5 özel ad | aşama 4 | doğal + %10 (kural + birleşik + özel ad), SFT/2 | 600 | 3e-6 | 10 M |
|
| 51 |
+
| 6 karışım | aşama 5, v1 | `egitim/birlestir_lineer.py`: her tensör için W = 0,85·W₅ + 0,15·W_v1 (fp32'de hesaplanır, bf16'ya yazılır) | — | — | — |
|
| 52 |
+
| 7 kimlik | aşama 6 | doğal + kimlik verisi (her 2 paragrafta 1), SFT yok | 200 | 5e-6 | 3 M |
|
| 53 |
+
|
| 54 |
+
Aşama 6'da oran, kıyas dışı 1.870 maddelik geliştirme kesiti ve TurkishMMLU ile seçildi
|
| 55 |
+
(aday oranlar 0,90 / 0,85; ölçüt: TurkishMMLU ≥ v1 − 1,0 ve geliştirme kesitinde anlamlı kazanç);
|
| 56 |
+
çekirdek yalnız seçilen model için bir kez ölçüldü.
|
| 57 |
+
|
| 58 |
+
## 4. Eğitim aşamaları — Erk-32B v2
|
| 59 |
+
|
| 60 |
+
`egitim/dogal_egitim32.py`: aynı veri hattı; tek aşama, doğal + %10 sentetik (kural + birleşik + özel ad)
|
| 61 |
+
+ SFT/6; 4.500 adım × 16.384 jeton = 74 M jeton; lr 8e-6 OneCycle; Adafactor (faktörlü ikinci moment,
|
| 62 |
+
momentum yok, ağırlık sönümü 0,01) ve **bf16 parametre + kararlı (stokastik) yuvarlama** (fp32 ana ağırlık
|
| 63 |
+
dört karta sığmadığı için); yığın 2 × birikim 8. Ardından karışım W = 0,5·W_eğitim + 0,5·W_v1 (oran
|
| 64 |
+
0,7/0,6/0,5 arasından aynı ölçütle seçildi).
|
| 65 |
+
|
| 66 |
+
## 5. Ölçüm
|
| 67 |
+
|
| 68 |
+
TurkMorfBench 3.6 çekirdeği, 3.7.0 puanlama kodu (`turkmorfbench==3.8.0`), `harf` kuralı, bf16, hücre
|
| 69 |
+
kümeli önyükleme; TurkishMMLU temiz 652, şık sırası dondurulmuş (`taban_kiyas.py`); kimlik 30 soru
|
| 70 |
+
(`egitim/kimlik_sinavi_v2.py`). Sonuç dosyaları model kartında.
|
| 71 |
+
|
| 72 |
+
## 6. Bilinen sınırlar
|
| 73 |
+
|
| 74 |
+
Tek tohum; aşama sırası sıralı deneylerle belirlendi (her aşamanın gerekçesi geliştirme kesitindeki
|
| 75 |
+
ölçümdür); ablasyon sonuçları (yalnız doğal metin, yalnız sentetik, yalnız talimat) yayımlandığında bu
|
| 76 |
+
belgeye eklenecektir.
|