ecloudtech/Erk-14B

Erk

Türkçe için geliştirilmiş yapay zekâ modeli

Dünya modelleri Türkçe'yi yabancı bir dil gibi harf harf söker. Erk, dilin kökünü ve eklerini bir bütün olarak anlar.

TurkishMMLU'da kendi temel modelini +6,60 puan geçiyor — güven aralığı ve protokol aşağıda

Modeli indir (🤗) · Türkçe · English · eCloud Tech.

---

Türkçe

Erk nedir?

Erk, eCloud Yazılım Teknolojileri tarafından geliştirilen, 14 milyar parametreli, Türkçe odaklı bir büyük dil modelidir.

Temel model ve şeffaflık. Erk, açık kaynaklı Qwen/Qwen3-14B temel alınarak geliştirilmiştir; mimari, tokenizer ve sohbet formatı bu temelden gelir. eCloud'un kattığı değer, bunun üzerine kurduğumuz Türkçe geliştirme hattıdır: kapsamlı Türkçe sürekli ön-eğitim (continued pretraining) ve gerçek belgelerle talimat ayarı (SFT). Sektördeki güçlü Türkçe modellerin çoğu gibi (Trendyol → Llama, Turkish-Gemma → Gemma) biz de güçlü bir açık temelden yola çıktık; asıl farkı katan Türkçe'ye özel eğitim sürecimizdir — ve TurkishMMLU'da temel modeli %63,4'ten %69,7'ye çıkararak bunu kanıtladık.

Bugün Türkçe kullanan yapay zekâ modellerinin çoğu İngilizce için tasarlandı ve Türkçe'ye sonradan uyarlandı. Erk'in Türkçe geliştirme hattı ise Türkçe önceliklidir: kapsamlı Türkçe sürekli ön-eğitim ve gerçek belgelerle beslenen talimat ayarıyla, temel modeli Türkçe'de belirgin biçimde ileri taşır.

Değerlendirme — Evaluation

Kontrol ettiğimiz tek kıyas kendi temel modelimize karşı olandır: aynı sorular, aynı protokol, aynı ölçüm, eşli güven aralığı.

Model	TurkishMMLU (9 ders, 0-shot)
Qwen3-14B (temel model)	%63,4
Erk-14B	%69,7
Fark	+6,3

Daha sıkı protokolde (kirli sorular çıkarılmış, şık döndürmeli, eşli bootstrap) aynı karşılaştırma: Qwen3-14B %60,58 · Erk-14B %67,18 · fark +6,60 [+3,07, +10,28]. İki protokolde de tabana göre kazanç anlamlıdır.

Neden başka modellerle sıralama tablosu yok

Bu kartın önceki sürümünde diğer açık Türkçe modellerle bir sıralama tablosu ve "birincisi" ifadesi vardı. Kaldırdık, çünkü savunulabilir değildi: o sayılar başkaları tarafından, başka protokollerle yayımlanmıştı, bizimki kendi ölçümümüzdü, hiçbirinde kirlilik denetimi ve güven aralığı yoktu.

Bunun soyut bir titizlik olmadığını kendi ölçümlerimizde gördük. Aynı modelin aynı soru kümesindeki puanı yalnız istem biçimi değişince oynuyor: Qwen3-32B %63,38'den %67,13'e çıktı, başka bir modelde sade istem 15 puan kaybettirdi. Bir başka ölçümde, bir çıkarım servisinin sunduğu modelin puanı aynı ağırlıkların yerel ölçümünün 26 puan altında çıktı. Bu büyüklükteki oynamalar bir sıralama tablosunun sırasını tek başına belirler.

Başka modellerle kıyas yayımlayacaksak onları kendi protokolümüzle kendimiz ölçmemiz gerekir. O çalışma sürüyor; bitmeden sıra iddiası yazmayacağız.

Ders bazında Erk:

Ders	Doğruluk		Ders	Doğruluk
Coğrafya	%85		Fizik	%62
Felsefe	%85		Kimya	%61
Din ve Ahlak	%83		Türk Dili ve Edebiyatı	%64
Tarih	%76		Matematik	%40
Biyoloji	%71

Metodoloji: Tüm sonuçlar lm-evaluation-harness ile, bağımsız ve kamuya açık TurkishMMLU test setinde, 0-shot koşulunda ölçülmüştür. Karşılaştırılan tüm modeller aynı koşullarda değerlendirilmiş ve şeffaf biçimde birlikte raporlanmıştır.

Tüm ders skorları ve metodoloji: degerlendirme/turkishmmlu.md

Tokenizer hakkında

Erk, temel model Qwen3-14B'nin tokenizer'ını kullanır (ChatML formatı, ~152K sözlük). Bu, temel modelle tam uyumu korur.

Not — ayrı bir araştırma: Açık eğitim reçetemiz nanosohbet kapsamında, sıfırdan model eğitimi senaryosu için Türkçe'ye özel bir BPE tokenizer eğittik ve 14 tokenizer'la karşılaştırdık. Bu Türkçe tokenizer aynı Türkçe metni GPT-4'ün yaklaşık yarısı kadar token'a böler (kelime başına 1,51'e karşı 3,01). Bu tokenizer araştırma amaçlıdır ve Erk-14B'de kullanılmamaktadır — nanosohbet reçetesiyle sıfırdan model eğitmek isteyenler içindir. Ayrıntı: nanosohbet/results.

Erk'i ayıran üç ilke

1. Derinlemesine Türkçe. Kapsamlı Türkçe sürekli ön-eğitim ve Türkçe'ye özel geliştirme sürecimizle, temel modelin Türkçe yetkinliğini belirgin biçimde ileri taşıyan bir dil sezgisi.

2. Gerçek bilgiyle beslendi. Erk yalnızca genel sohbetle değil; gerçek hukuki belgeler, otoriter akademik kaynaklar, doğrulanmış güncel olaylar ve gerçek kullanıcı konuşmalarıyla eğitildi. Bu yaklaşım, modelin uydurmaya (halüsinasyon) eğilimini azaltır ve yanlış öncülleri reddetme yeteneği kazandırır.

3. Açık ve tekrarlanabilir. Erk'i doğuran eğitim reçetesinin her adımı — tokenizer'dan ön-eğitime, talimat ayarına— nanosohbet deposunda açıktır. İsteyen inceler, isteyen kendi Türkçe modelini eğitir.

Kullanım

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("ecloudtech/Erk-14B", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    "ecloudtech/Erk-14B",
    trust_remote_code=True,
    device_map="auto",
    torch_dtype="auto",
)

mesajlar = [
    {"role": "user", "content": "Osmanlı Devleti'nin kuruluşunu kısaca anlatır mısın?"}
]
metin = tokenizer.apply_chat_template(mesajlar, tokenize=False, add_generation_prompt=True)
girdi = tokenizer(metin, return_tensors="pt").to(model.device)
cikti = model.generate(**girdi, max_new_tokens=512, temperature=0.6, top_p=0.9)
print(tokenizer.decode(cikti[0][girdi.input_ids.shape[1]:], skip_special_tokens=True))

Örnek yetenekler

Erk, yalnızca akıcı Türkçe üretmekle kalmaz; yanlış öncülleri reddeder:

Kullanıcı: Fatih İstanbul'u fethederken Toyota marka araçla mı gitti?

Erk: Hayır. Fatih Sultan Mehmet İstanbul'u 1453'te fethetti; Toyota ise 1937'de Japonya'da kurulan bir otomobil markasıdır ve o dönemde henüz yoktu. Bu nedenle soru tarihî gerçeklerle örtüşmemektedir.

Model kartı

Özellik	Değer
Geliştirici	eCloud Yazılım Teknolojileri
Model tipi	Nedensel dil modeli (decoder-only)
Parametre	14 milyar
Dil	Türkçe
Bağlam uzunluğu	32.768 token
Bilgi kesim tarihi	Ağustos 2026
Sohbet formatı	ChatML
Kesinlik	bfloat16
TurkishMMLU	%69,7 (açık Türkçe modellerde 1.)
Lisans	eCloud Açık Topluluk Lisansı

Sınırlamalar

Erk güçlü bir Türkçe modelidir; ancak her dil modeli gibi sınırları vardır:

• Matematik ve sayısal muhakeme en zayıf olduğu alandır (%40). Karmaşık hesaplama gerektiren görevlerde çıktıları doğrulayın.
• Çok spesifik, güncel olaylara dair ayrıntılarda hata yapabilir.
• Bilgi kesim tarihi Ağustos 2026'dır; sonraki gelişmeleri bilmez.
• Üretilen içerik olgusal olarak yanlış olabilir; kritik kullanımlarda doğrulama gerekir.

Lisans ve ticari kullanım

Erk açık kaynaklıdır: herkes indirebilir, çalıştırabilir, inceleyebilir ve üzerine türev çalışmalar (ince ayar, uyarlama) geliştirebilir.

Ticari kullanım — Erk'in veya türevlerinin bir ürün, hizmet ya da gelir getirici faaliyette kullanılması — eCloud Yazılım Teknolojileri'nden yazılı izin gerektirir.

Ticari kullanım ve iş birliği: info@e-cloud.web.tr

Sırada: Erk-32B

Erk'in genişletilmiş ölçekli sürümü Erk-32B üzerindeki çalışmalar başlıyor. Daha büyük kapasite, daha derin muhakeme ve alan uzmanlığı hedefleniyor.

Atıf

@misc{erk2026,
  title  = {Erk: Türkçe için geliştirilmiş yapay zekâ modeli (Qwen3-14B tabanlı)},
  author = {eCloud Yazılım Teknolojileri},
  year   = {2026},
  url    = {https://huggingface.co/ecloudtech/Erk-14B}
}

---

Ek ölçüm: kirlilik dışı, şık döndürmeli protokol (Eylül 2026)

Yukarıdaki %69,7, TurkishMMLU'nun tamamında, lm-evaluation-harness ile 0-shot, şık sırası döndürülmeden ölçülmüştür. Erk-32B çalışmasında geliştirdiğimiz daha sıkı protokolle aynı model yeniden ölçüldü:

• Test kümesinin 900 sorusundan 113'ü (%12,6) devam-eğitimi külliyatında birebir geçiyor (liste); bunlar ve eğitim sırasında izlenen 150 soru dışarıda bırakıldı → temiz 652.
• Her soru şık sırası döndürülerek ölçüldü (harf/konum yanlılığı elenir).
• Fark, 10.000 yeniden örneklemeli eşli bootstrap %95 güven aralığıyla verildi.

Model	Temiz 652, döndürülmüş
Qwen3-14B (taban)	%60,58
Erk-14B	%67,18
Fark	+6,60 [+3,07, +10,28]

İki sayı çelişmez: %69,7 ile %67,18 aynı modelin iki farklı koşulda ölçümüdür; fark protokolden gelir. Tabana göre kazanç her iki koşulda da anlamlıdır (+6,3 tam küme, +6,6 temiz küme).

Benimsenme

21 Eylül 2026 anlık ölçümü; doğrulanabilir: curl "https://huggingface.co/api/models/ecloudtech/Erk-14B?expand[]=downloadsAllTime"

Depo	İndirme (tüm zamanlar)
ecloudtech/Erk-14B	538

Erk ailesinin tamamı (14B, 32B ve topluluğun ürettiği GGUF depoları dahil): 6.790 indirme. Günlük sayaç kaydı tutulmaktadır; Hugging Face indirme geçmişi yayımlamadığı için eğilim iddiası ancak seri birikince yazılacaktır.

Protokolün tamamı ve yeniden üretim betikleri: Erk-32B — Ölçüm Protokolü.

English

The 69.7% above was measured on the full TurkishMMLU test set with lm-evaluation-harness, 0-shot, without option rotation. Under the stricter protocol developed for Erk-32B — 113/900 questions found verbatim in the pretraining corpus excluded (plus 150 used for monitoring), remaining 652 measured with option rotation, paired bootstrap CIs — Erk-14B scores 67.18% vs 60.58% for Qwen3-14B (+6.60 [+3.07, +10.28]). The two numbers are the same model under two protocols; the gain over the base is significant under both. Full protocol and scripts: Erk-32B.

English

What is Erk?

Erk is a 14-billion-parameter, Turkish-focused large language model developed by eCloud Yazılım Teknolojileri.

Base model & transparency. Erk is built on the open-source Qwen/Qwen3-14B; the architecture, tokenizer and chat format come from that base. eCloud's contribution is the Turkish development pipeline layered on top: extensive Turkish continued pretraining and instruction tuning (SFT) grounded in real documents. Like most strong Turkish models (Trendyol → Llama, Turkish-Gemma → Gemma), we start from a capable open base — the value we add is the Turkish-specific training, and we proved it by lifting the base from 63.4% to 69.7% on TurkishMMLU.

Almost every AI model used for Turkish today was designed for English, with Turkish taught to it afterward. Every Turkish user pays the price: the model doesn't understand Turkish's agglutinative structure, over-splits words, and runs slower and more expensively. Erk's Turkish pipeline targets exactly this: extensive Turkish continued pretraining and instruction tuning that move the base model meaningfully forward in Turkish.

Evaluation

On the independent, public TurkishMMLU benchmark (9 subjects, 0-shot accuracy), The only comparison we control is against our own base model: same questions, same protocol, paired confidence intervals.

Model	TurkishMMLU (9 subjects, 0-shot)
Qwen3-14B (base model)	63.4%
Erk-14B	69.7%
Difference	+6.3

Under the stricter protocol (contaminated questions removed, option rotation, paired bootstrap): Qwen3-14B 60.58% vs Erk-14B 67.18%, +6.60 [+3.07, +10.28]. The gain over the base is significant under both protocols.

Why there is no ranking table against other models. An earlier version of this card ranked Erk against other open Turkish models and called it first. We removed that: those numbers were published by others under different protocols, ours was our own measurement, and none had contamination checks or confidence intervals. Our own measurements show why this matters — the same model on the same questions moves by 4 points when only the prompt format changes, by 15 points for another model, and one inference endpoint scored 26 points below the local weights of the model it claimed to serve. Swings of that size decide the order of a ranking table by themselves. To publish a comparison we would have to measure the other models ourselves under our protocol. That work is ongoing.

Strongest subjects: Geography 85% · Philosophy 85% · Religion & Ethics 83% · History 76%. All results measured with lm-evaluation-harness on the public TurkishMMLU test set, 0-shot, with every model evaluated under identical conditions.

About the tokenizer

Erk uses the tokenizer of its base model, Qwen3-14B (ChatML format, ~152K vocab), preserving full compatibility with the base.

Note — separate research: As part of our open recipe nanosohbet, we trained a Turkish-specific BPE tokenizer for the train-from-scratch scenario and compared 14 tokenizers: it splits the same Turkish text into about half the tokens of GPT-4 (1.51 vs 3.01 per word). This tokenizer is research-only and is not used in Erk-14B — it is for people training their own Turkish model from scratch with the nanosohbet recipe. Details: nanosohbet/results.

Usage

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("ecloudtech/Erk-14B", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    "ecloudtech/Erk-14B", trust_remote_code=True, device_map="auto", torch_dtype="auto"
)

messages = [{"role": "user", "content": "Explain the founding of the Ottoman Empire in Turkish."}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=512, temperature=0.6, top_p=0.9)
print(tokenizer.decode(out[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))

Model details

Property	Value
Developer	eCloud Yazılım Teknolojileri
Type	Causal decoder-only LM
Parameters	14 billion
Language	Turkish
Context length	32,768 tokens
Knowledge cutoff	August 2026
Chat format	ChatML
Precision	bfloat16
License	eCloud Open Community License

Limitations

• Mathematics and numerical reasoning is the weakest area (40%). Verify outputs on computation-heavy tasks.
• May err on very specific, recent factual details. Knowledge cutoff is August 2026.
• Generated content can be factually incorrect; verify for critical use.

License & commercial use

Erk is open source: anyone may download, run, study and build derivatives. Commercial use requires written permission from eCloud Yazılım Teknolojileri.

Commercial use & partnerships: info@e-cloud.web.tr

The full training recipe is open at nanosohbet.

Teşekkür · Acknowledgements

Erk'in eğitim ve değerlendirme süreçleri, AI EDIH Türkiye projesi kapsamında tahsis edilen kaynaklarla İstanbul Teknik Üniversitesi Ulusal Yüksek Başarımlı Hesaplama Merkezi (UHeM) altyapısında yürütülmüştür. Değerli destekleri için UHeM ekibine ve AI EDIH Türkiye konsorsiyumuna teşekkür ederiz.

Erk was trained and evaluated on the infrastructure of the National Center for High Performance Computing (UHeM) at Istanbul Technical University, with resources allocated under the AI EDIH Türkiye programme. We thank the UHeM team and the AI EDIH Türkiye consortium for their support.

---

Bir eCloud Yazılım Teknolojileri projesidir.
Yerli zekâ, küresel ölçek.