aigencydev commited on
Commit
33c0cd1
·
verified ·
1 Parent(s): 854e990

Erk v2 ve TurkMorfBench 3.8.0

Browse files
Files changed (1) hide show
  1. README.md +30 -30
README.md CHANGED
@@ -4,9 +4,10 @@
4
 
5
  <br>
6
 
7
- [![Erk-32B](https://img.shields.io/badge/Erk--32B-TurkishMMLU_%2571%2C01-e8c27a?style=flat-square&labelColor=0b0d12)](https://huggingface.co/ecloudtech/Erk-32B)
 
8
  [![GGUF](https://img.shields.io/badge/GGUF-Q8__0_%7C_Q4__K__M-ecEEF2?style=flat-square&labelColor=0b0d12)](https://huggingface.co/ecloudtech/Erk-32B-GGUF)
9
- [![TurkMorfBench](https://img.shields.io/badge/TurkMorfBench-512_madde-ecEEF2?style=flat-square&labelColor=0b0d12)](https://huggingface.co/datasets/ecloudtech/TurkMorfBench)
10
  [![Kirlilik listesi](https://img.shields.io/badge/TurkishMMLU-Kirlilik_Listesi-ecEEF2?style=flat-square&labelColor=0b0d12)](https://huggingface.co/datasets/ecloudtech/TurkishMMLU-Kirlilik)
11
  [![Web](https://img.shields.io/badge/e--cloud.web.tr-2563eb?style=flat-square&labelColor=0b0d12)](https://www.e-cloud.web.tr)
12
 
@@ -24,24 +25,22 @@ Bir model kendi dilini düşünmeli; bir sonuç kendi belirsizliğini taşımal
24
 
25
  ---
26
 
27
- ## Erk-32B
28
 
29
- <a href="https://huggingface.co/ecloudtech/Erk-32B"><img src="https://huggingface.co/spaces/ecloudtech/README/resolve/main/assets/erk-32b.png" alt="Erk-32B — TurkishMMLU temiz 652: %71,01, tabana göre +3,37 [+0,61, +6,13]" width="100%"></a>
 
 
30
 
31
- Qwen3-32B tabanı üzerine 1,05 milyar token Türkçe devam-eğitimi ve talimat
32
- ayarı. Ağırlıklar Apache-2.0 ile, safetensors ve GGUF olarak; kimlik istemi
33
- sohbet şablonunda, taban her yerde açıkça belirtilir.
34
-
35
- | | Taban Qwen3-32B | **Erk-32B** | Fark · %95 GA |
36
- |:---|:---:|:---:|:---|
37
- | TurkishMMLU, temiz 652, şık döndürmeli | %67,64 | **%71,01** | +3,37 [+0,61, +6,13] |
38
- | TurkMorfBench v2 üretim (512) | %31,64 | **%59,38** | +27,73 [+22,46, +33,01] |
39
- | TurkMorfBench v2 zorunlu seçim (502) | %89,44 | %91,43 | +1,99 [−0,20, +4,18] · gösterilemedi |
40
- | Kimlik, 30 tuzaklı soru | — | 30/30 | |
41
 
42
- [Model](https://huggingface.co/ecloudtech/Erk-32B) ·
43
- [GGUF](https://huggingface.co/ecloudtech/Erk-32B-GGUF) ·
44
- [Ölçüm protokolü ve betikler](https://github.com/ecloudtechnology/erk-32b)
 
 
45
 
46
  ---
47
 
@@ -67,12 +66,11 @@ bildirilmedi.
67
 
68
  | Model | Taban | TurkishMMLU, temiz 652 | Lisans | |
69
  |:---|:---:|:---:|:---:|:---:|
70
- | **Erk-32B** · Eylül 2026 | Qwen3-32B | **%71,01** · +3,37 [+0,61, +6,13] | Apache-2.0 | [Model](https://huggingface.co/ecloudtech/Erk-32B) · [GGUF](https://huggingface.co/ecloudtech/Erk-32B-GGUF) |
71
- | **Erk-14B** | Qwen3-14B | %67,18 · +6,60 [+3,07, +10,28] · tam küme 0-shot %69,7 | eCloud Açık Topluluk | [Model](https://huggingface.co/ecloudtech/Erk-14B) |
72
  | **Erk-Linear** | Erk-14B | dikkat katmanlarının lineerleştirilmesi — hibrit model, sınır analizi | | [Model](https://huggingface.co/ecloudtech/Erk-Linear) |
73
 
74
- Erk-14B'nin %69,7'si tam kümede, döndürmesiz 0-shot ölçümüdür; %67,18 aynı
75
- modelin temiz protokoldeki sayısıdır. Erk-14B'nin açık eğitim reçetesi:
76
  [nanosohbet](https://github.com/ecloudtechnology/nanosohbet).
77
 
78
  ---
@@ -81,7 +79,7 @@ modelin temiz protokoldeki sayısıdır. Erk-14B'nin açık eğitim reçetesi:
81
 
82
  | | |
83
  |:---|:---|
84
- | [**TurkMorfBench**](https://huggingface.co/datasets/ecloudtech/TurkMorfBench) | Türkçe morfoloji kıyası — 512 madde, 8 ek görevi, 40 gerçek + **24 uydurma (wug) gövde**. Uydurma gövde külliyatta hiç geçmez; doğru ek, ezber değil kural bilgisidir. Üretim ve zorunlu seçim kipleri; üretici motor, bağımsız kural denetimi (512/512) ve morfolojik çözümleyici çapraz kontrolü depoda. CC BY 4.0 |
85
  | [**TurkishMMLU Kirlilik Listesi**](https://huggingface.co/datasets/ecloudtech/TurkishMMLU-Kirlilik) | 900 test sorusundan Türkçe web'de birebir geçen **113'ünün** (n=13; gevşek eşikte 252) dizin ve özeti, yöntem ve betik. Türkçe web ile eğitilen her model için kirlilik dışı raporlama imkânı. CC BY 4.0 |
86
 
87
  GitHub: [erk-32b](https://github.com/ecloudtechnology/erk-32b) ·
@@ -112,14 +110,16 @@ software. We build Turkish language models and publish **every number with the
112
  condition it was measured under, a confidence interval and a reproduction
113
  script**.
114
 
115
- **Erk-32B** (September 2026, Apache-2.0) is Qwen3-32B continued-pretrained on
116
- 1.05B Turkish tokens and instruction-tuned. On contamination-free TurkishMMLU it
117
- scores **71.01%** (+3.37 [+0.61, +6.13] over its base); on TurkMorfBench v2
118
- generation 59.38% vs 31.64%; on forced choice the gain is not demonstrable and
119
- we say so. Weights in safetensors and GGUF, identity via a default system prompt,
120
- base model stated everywhere. **Erk-14B** scores 67.18% under the same protocol
121
- (69.7% on the full set, 0-shot); **Erk-Linear** is a hybrid linear-attention
122
- distillation of Erk-14B.
 
 
123
 
124
  Nothing is reported without a contamination audit (113/900 TurkishMMLU questions
125
  found verbatim on the Turkish web — the list is public), option rotation,
 
4
 
5
  <br>
6
 
7
+ [![Erk-32B](https://img.shields.io/badge/Erk--32B_v2-TurkishMMLU_%2571%2C47-e8c27a?style=flat-square&labelColor=0b0d12)](https://huggingface.co/ecloudtech/Erk-32B)
8
+ [![Erk-14B](https://img.shields.io/badge/Erk--14B_v2-TurkMorfBench_%231-e8c27a?style=flat-square&labelColor=0b0d12)](https://huggingface.co/ecloudtech/Erk-14B)
9
  [![GGUF](https://img.shields.io/badge/GGUF-Q8__0_%7C_Q4__K__M-ecEEF2?style=flat-square&labelColor=0b0d12)](https://huggingface.co/ecloudtech/Erk-32B-GGUF)
10
+ [![TurkMorfBench](https://img.shields.io/badge/TurkMorfBench-466.517_madde_%C2%B7_17_model-ecEEF2?style=flat-square&labelColor=0b0d12)](https://huggingface.co/datasets/ecloudtech/TurkMorfBench)
11
  [![Kirlilik listesi](https://img.shields.io/badge/TurkishMMLU-Kirlilik_Listesi-ecEEF2?style=flat-square&labelColor=0b0d12)](https://huggingface.co/datasets/ecloudtech/TurkishMMLU-Kirlilik)
12
  [![Web](https://img.shields.io/badge/e--cloud.web.tr-2563eb?style=flat-square&labelColor=0b0d12)](https://www.e-cloud.web.tr)
13
 
 
25
 
26
  ---
27
 
28
+ ## Erk v2 — 29 Eylül 2026
29
 
30
+ İki modelin de yeni sürümü yayında: FineWeb-2 Türkçe metni ve kural motorundan üretilmiş
31
+ biçim bilgisi cümleleriyle devam eğitimi, ardından önceki ağırlıklarla karışım. Önceki sürümler
32
+ `v1` etiketinde durur; `main` v2'dir. Ölçüm: aynı sabit betik, hücre kümeli %95 güven aralığı.
33
 
34
+ | | TurkMorfBench 3.6 çekirdek (1.836) | Sıra / 17 model | TurkishMMLU, temiz 652 | Kimlik, 30 soru |
35
+ |:---|:---:|:---:|:---:|:---:|
36
+ | **Erk-14B v2** | **%80,0** · v1'e +4,5 [+1,3, +5,9] | **1** | %66,9 | 30/30 |
37
+ | **Erk-32B v2** | %76,5 · v1'e +1,5 [+0,3, +2,2] | 4 | **%71,5** | 30/30 |
 
 
 
 
 
 
38
 
39
+ Erk-14B v2 biçim bilgisinde birinci, Erk-32B v2 genel yetenekte ölçtüğümüz 17 modelin en
40
+ yükseği. İlk üç sıra istatistiksel olarak beraberdir ve tabloda böyle yazılıdır.
41
+ Tablo, protokol ve kod: [TurkMorfBench](https://huggingface.co/datasets/ecloudtech/TurkMorfBench) ·
42
+ [Erk-14B](https://huggingface.co/ecloudtech/Erk-14B) · [GGUF](https://huggingface.co/ecloudtech/Erk-14B-GGUF) ·
43
+ [Erk-32B](https://huggingface.co/ecloudtech/Erk-32B) · [GGUF](https://huggingface.co/ecloudtech/Erk-32B-GGUF)
44
 
45
  ---
46
 
 
66
 
67
  | Model | Taban | TurkishMMLU, temiz 652 | Lisans | |
68
  |:---|:---:|:---:|:---:|:---:|
69
+ | **Erk-32B v2** · Eylül 2026 | Qwen3-32B | **%71,47** · TurkMorfBench %76,5 | Apache-2.0 | [Model](https://huggingface.co/ecloudtech/Erk-32B) · [GGUF](https://huggingface.co/ecloudtech/Erk-32B-GGUF) |
70
+ | **Erk-14B v2** · Eylül 2026 | Qwen3-14B | %66,87 · TurkMorfBench **%80,0** (1/17) | eCloud Açık Topluluk | [Model](https://huggingface.co/ecloudtech/Erk-14B) · [GGUF](https://huggingface.co/ecloudtech/Erk-14B-GGUF) |
71
  | **Erk-Linear** | Erk-14B | dikkat katmanlarının lineerleştirilmesi — hibrit model, sınır analizi | | [Model](https://huggingface.co/ecloudtech/Erk-Linear) |
72
 
73
+ Önceki sürümler (v1) her depoda `v1` etiketiyle erişilebilir. Erk-14B'nin açık eğitim reçetesi:
 
74
  [nanosohbet](https://github.com/ecloudtechnology/nanosohbet).
75
 
76
  ---
 
79
 
80
  | | |
81
  |:---|:---|
82
+ | [**TurkMorfBench**](https://huggingface.co/datasets/ecloudtech/TurkMorfBench) | Türkçe morfoloji kıyası — 466.517 madde, 14 kova, 1.836 maddelik kova dengeli çekirdek; uydurma (wug) gövde kontrolü, TDK ile doğrulanmış istisna kovaları, kural motorundan üretilmiş altın (dil modelinden değil), hücre kümeli güven aralıkları, 17 modellik liderlik tablosu. `pip install turkmorfbench`. CC BY 4.0 |
83
  | [**TurkishMMLU Kirlilik Listesi**](https://huggingface.co/datasets/ecloudtech/TurkishMMLU-Kirlilik) | 900 test sorusundan Türkçe web'de birebir geçen **113'ünün** (n=13; gevşek eşikte 252) dizin ve özeti, yöntem ve betik. Türkçe web ile eğitilen her model için kirlilik dışı raporlama imkânı. CC BY 4.0 |
84
 
85
  GitHub: [erk-32b](https://github.com/ecloudtechnology/erk-32b) ·
 
110
  condition it was measured under, a confidence interval and a reproduction
111
  script**.
112
 
113
+ **Erk v2** (29 September 2026): both models were continued-pretrained on FineWeb-2
114
+ Turkish text and rule-generated Turkish morphology sentences, then blended with the
115
+ previous weights; earlier versions stay under the `v1` tag. On the same pinned protocol
116
+ (cell-clustered 95% CIs): **Erk-14B v2** scores **80.0%** on the TurkMorfBench core,
117
+ first of 17 models (+4.5 [+1.3, +5.9] over v1; the top three are a statistical tie),
118
+ with 66.9% on contamination-free TurkishMMLU; **Erk-32B v2** (Apache-2.0) scores
119
+ **71.5%** on TurkishMMLU, the highest of the 17 models we measured, and 76.5% on
120
+ TurkMorfBench (+1.5 [+0.3, +2.2] over v1). Weights in safetensors and GGUF, identity via
121
+ a default system prompt (30/30 on the identity test), base model stated everywhere.
122
+ **Erk-Linear** is a hybrid linear-attention distillation of Erk-14B v1.
123
 
124
  Nothing is reported without a contamination audit (113/900 TurkishMMLU questions
125
  found verbatim on the Turkish web — the list is public), option rotation,