Erk-32B / sonuclar /README.md
aigencydev's picture
Erk-32B: model karti, olcum protokolu, betikler, sonuc vektorleri
9c90564 verified
|
Raw History Blame Contribute Delete
2.06 kB
# Sonuç dosyaları — soru bazlı tahmin vektörleri
Her dosya, ilgili ölçümün **madde bazlı 0/1 vektörünü** taşır; eşli bootstrap
karşılaştırmaları modeli yeniden çalıştırmadan bu vektörlerle yapılabilir
(`betikler/bootstrap_*.py`). Soru metni içermezler; TurkishMMLU kontrollü
erişimli olduğu için yalnızca sıra indeksleri ve özetler kullanılır.
| Dosya | İçerik |
|---|---|
| `olcek_ince_sft2.json` | Ek tur sonrası LoRA ölçek taraması (0,00 / 0,30 / 0,40 / 0,50 / 0,60 / 0,80 / 1,00): `sohbet_vec` (TurkMorfBench v1 üretim, 329), `mmlu_vec` (temiz 652) |
| `olcek_ince_sft2_ince.json` | İnce tarama 0,70 / 0,75 / 0,85 / 0,90 / 0,95, aynı alanlar |
| `olcek_v2.json` | TurkMorfBench **v2** üretim taraması (512) + kıyas, istemsiz: 0,00 / 0,40 / 0,75 / 0,80 / 0,85 / 1,00 |
| `olcek_sistem_v2.json`, `_075`, `_040` | Sistem istemli üretim v2 — 0,80 / 0,75 / 0,40 |
| `olcek_birlesik_075.json` | **Yayınlanan birleşik ağırlığın** ölçümü (ölçek 0,0 = LoRA yok): kıyas %71,01, v1 üretim %66,87 |
| `morfbench_v2_erk32b-sft2_o040/o075/o080.json` | TurkMorfBench v2 zorunlu seçim, az-örnek sızıntısız; taban ve Erk vektörleri, 502 madde |
| `morfbench_zorunlu_erk32b-sft2_o080.json`, `morfbench_zorunlu_sft.json` | v1 zorunlu seçim (tarihçe; v1 altın cevapları hatalıdır, bkz. rapor §4.2) |
| `kimlik_genis.json` | 30 soruluk kimlik sınavı, ağırlıkla (istemsiz), 0,70–1,00 |
| `kimlik_sistem.json` | Aynı sınav, sistem istemiyle, 0,40 / 0,80 / 1,00 |
| `kirlilik_CPT.json` | Devam-eğitimi külliyatı kirlilik denetimi: `kirli_13` (113 indeks), `kirli_8` (252) |
| `kirlilik_SFT.json` | Talimat külliyatı için aynı denetim: 0/900 |
| `dogrulama_ozet.json` | GGUF doğrulaması: kimlik 6/6 ve NLL, BF16 / Q8_0 / Q4_K_M |
Vektör sırası, ilgili betiğin veri yükleme sırasıyla aynıdır (TurkishMMLU:
config `All`, split `test`, ilk 900 içinden temiz 652; TurkMorfBench: JSON
sırası). İki dosyanın aynı eksendeki vektörleri eşli karşılaştırılabilir.