Mima-Pico-15m — mima-15m-turkce-bpe8k-v4

A 15.54M-parameter decoder-only language model (tied embeddings) trained from scratch in Turkish. This is mima v4: the 15.5M checkpoint from runs/v4/kayit/son.pt (step 11,185), continued through the stability stack — S1-kararli (multi-ref SFT) → S2-final (self-distillation SFT) — and shipped as the final v4 model.

It was trained on a single consumer GPU (NVIDIA GeForce MX450, 2 GB VRAM) in fp32, batch 16 × 512 = 8,192 token/step.

Türkçe özet: Türkçe odaklı, sıfırdan eğitilmiş 15.54M parametreli (bağlı embedding) decoder-only dil modeli. Bu mima v4'dür: runs/v4/kayit/son.pt checkpoint'ından (adım 11.185) S1-kararli (çoklu referans SFT) ve S2-final (kendi-dağıtım SFT) kararlılık yığını ile üretildi. Tek bir tüketici GPU'sunda (NVIDIA MX450, 2 GB VRAM) fp32'de, batch 16×512 = 8.192 token/adım ile eğitilmiştir.

Model details / Model detayları

Field	Value
Parameters	15,537,792 (~15.54M; tied embedding)
state-dict total	18,683,520 (~18.68M; includes duplicate lm_head copy)
Layers	7
Attention heads	6 (head_dim 64)
Hidden size	384
FFN	SwiGLU, 1024 hidden (3 matmuls)
Normalization	RMSNorm (pre-norm)
Positional	RoPE (θ = 10,000)
Context window	512 tokens
Vocabulary	8192 byte-level BPE (8187 BPE + 5 special tokens), trained on a Turkish corpus
Special tokens	<bos>=0, <user>=1, <asst>=2, <end>=3, <pad>=4
File size	74.7 MB (fp32 safetensors)

TR: Parametre 15,537,792 (~15,54M); katman 7; dikkat başlığı 6; gizli boyut 384; FFN SwiGLU 1024; RMSNorm; RoPE θ=10.000; bağlam 512 token; sözlük 8192 byte-level BPE; özel tokenlar <bos>=0, <user>=1, <asst>=2, <end>=3, <pad>=4; 74,7 MB fp32.

Evaluation / Değerlendirme

Language modeling (domain validation split)

Domain	Loss	Perplexity
metin (plain text)	5.7726	321.37
bilgi (knowledge)	3.1738	23.9
sohbet (dialog)	1.7914	6.0
sentetik (synthetic math/lessons)	2.8493	17.28
kitap3 (textbooks)	4.5207	91.9
iliskili (related)	3.5062	33.32

TR: Alan bazlı doğrulama kayıp/perplexity. En iyi alan sohbet (loss 1.7914, ppl 6.0); metin ve kitap3 daha yüksek kayıp gösterir.

MMLU-TR (Q-bert/mmlu-turkish, validation)

Türkçe MMLU (Q-bert/mmlu-turkish, validation) üzerinde koşullu log-likelihood harf skorlamasıyla değerlendirildi. CPU’da çalıştırılan hızlı tur (n=50):

Model	n	Doğruluk	Doğru/Toplam
Mima-Pico-15m (v4, bu model)	50	12.0%	6/50
Mima-Pico-15m-v2	50	20.0%	10/50
Rastgele taban çizgisi	—	25.0%	—
Çoğunluk-sınıf taban çizgisi	—	38.0%	—

TR: Türkçe MMLU (Q-bert/mmlu-turkish, validation) üzerinde koşullu log-likelihood harf skorlamasıyla değerlendirildi. CPU’da çalıştırılan hızlı tur (n=50).

Her iki model de 15.5M parametre ile çoktan seçmeli bilgi testi üzerinde zayıf (rastgele tabanın altında) — bu ölçekte beklenen bir sonuç. Modelin gerçek gücü sohbet tarzı dil modellemesi (validation ppl 6.0) kısmındadır.

19% (n=100, önceki deneme) ve 12% (n=50, CPU) arasındaki fark, örnek büyüklüğü ve donanım farkından kaynaklanabilir; kesin sonuç için tam n=1000 koşumu gerekir.

v2 vs v4 Comparison / v2 vs v4 Karşılaştırması

Metric	v2 (Mima-Pico-15m-v2)	v4 (this model, Mima-Pico-15m)
Checkpoint step	32,750	11,185
Training stage	A3-karma	bitti
Validation loss	0.5522	1.7944
Parameters	15.54M	15.54M
Architecture	Same (7L/384d/6H)	Same (7L/384d/6H)

v2 was trained longer (32.8K steps) and reaches lower validation loss (0.5522 vs 1.7944). v4 continues from the same v2 checkpoint base but for fewer steps (11,185).

TR: v2 daha uzun eğitildi (32.8K adım) ve daha düşük doğrulama kaybına ulaştı (0.5522, v4'te 1.7944). v4, aynı v2 checkpoint tabanından devam eder ancak daha az adımda (11.185).

Basit Token-Tahmin Testi (15M'ye Uygun) / Simple Token Prediction Test

Modelin prompt'tan sonraki token'ın softmax olasılığını ölçen basit Türkçe test:

Soru	Doğru Cevap	V2 (en yüksek olasılık)	V4 (en yüksek olasılık)
Türkiye'nin başkenti	Ankara	İstanbul (0.0400)	İstanbul (0.0018)
Güneş ...'dan doğar	doğudan	güneydoğudan (0.0002)	doğudan (0.0018)
2+2 =	dört / 4	4 (0.0021)	4 (0.0000)
Elma ...	kırmızı	kırmızı (0.0001)	mavi (0.0000)
Günde ... saat	24	6 (0.0005)	6 (0.0003)

TR: Modelin prompt'tan sonraki token'ının softmax olasiligi. 15M parametre ile bu basit bilgi sorularinda da dusuk olasilik — bu olcek icin beklenen bir sonuc. V4'te "Gunes dogudan" dogru cevaba en yuksek olasilik veriliyor ancak deger cok dusuk.

Training methodology / Eğitim yöntemi

v4 is trained from runs/v4/kayit/son.pt (step 11,185 — "bitti", vocab 8192) through two stability stages:

Stage	Steps	Data focus	LR	Goal
A1-llm-tr	4,000	turkish_llm_train.jsonl (full Turkish dialogs)	0.0003	continue-training from v4, Turkish only
S1-kararli	100	multi-ref SFT + "I don't know" rejection	0.0002	refusal / multi-reference behavior
S2-final	80	self-distillation (kendi.u16) + chat + kararli	0.00012	final distilled v4 checkpoint

Total v4-training tokens: 32.8M (A1) + small SFT sets. The full pre-training corpus behind v4 totals **301.9M Turkish tokens** (951 MB), text pool: wiki 50% + FineWeb-2 35% + tascib 15% (338,361 documents).

Optimization: AdamW (weight_decay 0.1), cosine LR schedule, grad-norm clip 1.0, fp32, batch 16 × 512 = 8,192 token/step. ~10,600 tokens/sec on MX450. Loss: standard next-token cross-entropy (assistant turns only in chat data).

TR: v4 eğitimi runs/v4/kayit/son.pt'dan (adım 11.185, vocab 8192) devam eder: A1-llm-tr 4.000 adım → S1-kararli 100 adım → S2-final 80 adım. Optimizasyon AdamW, cosine LR, grad-norm clip 1.0, fp32, batch 16×512 token. Toplam ön-eğitim korpusu ~301.9M token (wiki %50 + FineWeb-2 %35 + tascib %15).

Training data and attribution / Eğitim verisi ve atıflar

Total corpus: ~301.9M Turkish tokens (951 MB) — text pool: wiki 50% + FineWeb-2 35% + tascib 15%. The dataset is not shipped in this repo; each source's license applies:

Source	Usage	License
Turkish Wikipedia (text pool 50%)	pre-training	CC BY-SA 4.0
FineWeb-2 (Turkish subset, 35%)	pre-training	ODC-BY 1.0
tascib — academic abstracts (15%)	pre-training	internal compilation
turkish_llm_train.jsonl (dialogs)	A1-llm-tr	internal compilation
kararli.u16 (multi-ref, 11.3k tokens)	S1-kararli	internal compilation
kendi.u16 (self-distillation)	S2-final	produced in this project

Chat format: <bos><user>{question}<asst>{answer}<end>.

TR: Toplam korpus ~301.9M token Türkçe (951 MB); metin havuzu wiki %50 + FineWeb-2 %35 + tascib %15. Veri depoda bulunmaz; kaynak lisansları geçerli. Sohbet formatı: <bos><user>{soru}<asst>{cevap}<end>.

Usage / Kullanım

The architecture is custom (transformers does not know it) — loading requires trust_remote_code=True:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tok = AutoTokenizer.from_pretrained(".", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(".", trust_remote_code=True)
model.eval()

# Chat format: <bos><user>...<asst>...<end>
ids = [0] + [1] + tok.encode("merhaba", add_special_tokens=False).tolist() + [2]
out = model.generate(torch.tensor([ids]), max_new_tokens=100,
                     temperature=0.85, top_k=40)
print(tok.decode(out[0, len(ids):].tolist()))

sohbet.py is a runnable terminal chat (python sohbet.py). The architecture code lives in modeling_mima.py and is identical to src/model.py in the training repository.

TR: Mimari custom — trust_remote_code=True şart. Yukarıdaki kodörnek. sohbet.py terminal sohbetini içerir; mimari modeling_mima.py içinde ve eğitim deposundaki src/model.py ile birebir aynı.

Example conversations / Örnek konuşmalar (Türkçe)

Generated with temperature=0.85, top_k=40, up to 120 new tokens, stopping at <end>. Outputs are from the trained checkpoint; judge the style, not factual accuracy.

TR: Aşağıdaki örnekler temperature=0.85, top_k=40, en fazla 120 yeni token ve <end> durma koşuluyla eğitilmiş checkpoint'ından üretilmiştir. Çıktılar modelin çıktısıdır; tarzı değerlendirin, gerçek doğruluğu değil.

Q (user): Fransa'nın başkenti nedir? A (model): Fransa'nın başkenti, IV. Dünya Savaşı'nın ardından Avrupa'da bulunan üç nehir ve çölü içerir.

Q: Üç temel renk nedir? A: Üç beş renk şunlardır: beyaz, beyaz, beyaz, gri ve turuncu.

Q: DNA ne anlama geliyor? A: DNA, bir dizi görevi tamamlamak ve yeni nükleer hastalıkların daha spesifik ilaçların kullanımını azaltmak için kullanılabilir. Bu, daha sonra yeni tedaviler ve aşılar için bir yaklaşım veya aşı oluşturmak, yeni ilaçlara yardımcı olmak için gerekli olan bir tedavi başlatıcı değil, daha yüksek doğruluk ve güvenilirlik sunar.

Q: "Özür dilemek" anlamına gelen üç fiil üretin. A: "Özür dilemek" ifadesi, iki kişinin aynı görevde olma ve aynı şekilde tekrar etme olasılığının yanı sıra daha iyi bir eylem planına odaklanmalarına izin verir.

Q: Aşağıdaki cümleyi etken çatı kullanarak yeniden yazın. Haber raporu kaptan tarafından okundu. A: Bugün hava iyi.

Limitations and risks / Sınırlılıklar ve riskler

• Only 15.5M parameters. Factual errors, repetition and inconsistency are frequent; coherence degrades over long contexts (512 tokens).
• No safety alignment. Trained on unfiltered web text; may produce misleading, inappropriate, or offensive content. Add filters for production use.
• 8,192 BPE vocabulary. Rare proper nouns / place names get fragmented.
• Training corpus may contain mojibake (double-encoded UTF-8); a known data-quality boundary.
• Does not give medical / legal / financial advice.

TR: 15,5M parametre çok küçüktür — yanlış bilgi, tekrar, tutarsızlık sık görülür; uzun bağlamda tutarlılık düşer. Güvenlik hizalaması yoktur; filtresiz web verisiyle eğitilmiştir, yanıltıcı/uygunsuz/rahatsız edici çıktı üretebilir, üretimde ek filtre gerekir. 8192 BPE sözlüğü nadir isimleri parçalar. Korpus mojibake içerebilir. Tıbbi/hukuki/finansal tavsiye vermez.

License / Lisans

• Model weights and architecture code: Apache-2.0.
• Training data follows the original sources' licenses (table above): Turkish Wikipedia CC BY-SA 4.0, FineWeb-2 ODC-BY 1.0, internal compilations under their source terms. Attribution rules of each source apply; this repo distributes only weights and code.

TR: Model ağırlıkları ve mimari kodu Apache-2.0. Eğitim verisi kaynak lisanslarına tabidir (yukarıdaki tablo). Bu depo yalnızca ağırlık ve kodu dağıtır.

Original project (Mima18); training dumps, curriculum and evaluation code live in the project repository (/home/root_sys-n/Projeler/AI/Mima18). This package was regenerated from the live v4 checkpoint on 2026-10-21.

TR: Özgün proje (Mima18). Eğitim dökümü, müfredat ve değerlendirme kodu proje deposunda; paket mima v4 checkpoint'ından 2026-10-21 tarihinde üretilmiştir.