| --- |
| language: |
| - tr |
| license: apache-2.0 |
| library_name: transformers |
| pipeline_tag: text-generation |
| datasets: |
| - tascib/turkish-llm-dataset |
| tags: |
| - turkish |
| - turkce |
| - causal-lm |
| - ozanllm |
| - base-model |
| - pretraining |
| inference: false |
| --- |
| |
| # OzanLLM-40M |
|
|
| Sıfırdan eğitilmiş **38.3M parametreli küçük bir Türkçe dil modeli**. Base model'dir: |
| instruction tuning yapılmamıştır; sohbet veya talimat takibi için değil, **metin |
| tamamlama** için tasarlanmıştır. |
|
|
| ## Model Detayları |
|
|
| | | | |
| |---|---| |
| | Geliştirici | coderian | |
| | Yayın tarihi | Eylül 2026 | |
| | Dil | Türkçe (tr) | |
| | Lisans | Apache 2.0 | |
| | Mimari | Decoder-only Transformer (OzanLLM) | |
| | Parametre | 38.329.280 (38.3M) | |
| | Katman | 5 | |
| | Gizli boyut | 320 | |
| | Dikkat | Tek kafalı nedensel (causal) self-attention | |
| | Bağlam uzunluğu | 512 token | |
| | Kelime dağarcığı | 50.000 (BPE) | |
| | Konum kodlaması | Öğrenilebilir konum gömlemesi (512 × 320) | |
| | Aktivasyon | GELU (FFN genişliği 4× = 1.280) | |
| | Normalizasyon | Pre-norm LayerNorm | |
| | Çıktı katmanı | LM head (320 → 50.000), bağsız (untied) | |
| | KV cache | Yok (`use_cache=False`) | |
| | Hassasiyet | float32 | |
|
|
| ## Mimari |
|
|
| - 5 adet Transformer bloğu; her blokta pre-norm LayerNorm ve residual bağlantılar |
| - Nedensel öz-dikkat: Q/K/V projeksiyonları → ölçekli iç çarpım (1/√320) → gelecek |
| pozisyonların maskelenmesi → softmax → 320 boyutlu çıktı |
| - FFN: 320 → 1.280 (GELU) → 320 |
| - Girdi: token gömlemesi + öğrenilebilir konum gömlemesi toplamı |
| - Çıkış: son LayerNorm + LM head; kayıp, kaydırılmış çapraz entropidir |
| - Dropout ve ağırlık paylaşımı (weight tying) yok |
|
|
| ## Hızlı Başlangıç |
|
|
| ```bash |
| pip install -U transformers torch |
| ``` |
|
|
| ```python |
| from transformers import AutoModelForCausalLM, AutoTokenizer |
| |
| model_id = "coderian/OzanLLM-40M" |
| tokenizer = AutoTokenizer.from_pretrained(model_id) |
| model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True) |
| |
| prompt = "Türkiye'nin en kalabalık şehri" |
| inputs = tokenizer(prompt, return_tensors="pt") |
| cikti = model.generate( |
| **inputs, |
| max_new_tokens=64, |
| do_sample=True, |
| temperature=0.8, |
| top_p=0.9, |
| repetition_penalty=1.1, # küçük model tekrara düşmesin |
| ) |
| print(tokenizer.decode(cikti[0], skip_special_tokens=True)) |
| ``` |
|
|
| `trust_remote_code=True` gereklidir: model mimarisi standart transformers |
| sınıflarından biri olmadığı için kendi kodunu (`model.py`, |
| `configuration_ozanllm.py`) indirir. transformers 5.x ile yerel bir klasörden |
| yüklerken de bu bayrak gereklidir. |
|
|
| Modeli indirdiğiniz klasörden yüklemek için: |
|
|
| ```python |
| model = AutoModelForCausalLM.from_pretrained("ozanllm", trust_remote_code=True) |
| ``` |
|
|
| ## Üretim Notları |
|
|
| - Model belgeleri `[BOS] ... [EOS]` çerçevesiyle eğitildi; en iyi sonuç için prompt'un |
| başına `bos_token_id` (2) ekleyin. |
| - Bağlam 512 token ile sınırlıdır; bu sınırın üzerindeki girdiler desteklenmez. |
| - KV cache olmadığı için üretim token token ilerler ve uzun çıktılar yavaştır. |
| - 38M'lik bir modelde tekrara düşme sık görülür; `repetition_penalty≈1.1` önerilir. |
| - Örnekleme için `temperature≈0.8`, `top_p≈0.9` iyi çalışır. |
|
|
| ## Eğitim |
|
|
| ### Veri |
|
|
| | | | |
| |---|---| |
| | Veri seti | [tascib/turkish-llm-dataset](https://huggingface.co/datasets/tascib/turkish-llm-dataset) (CC BY-SA 4.0) | |
| | Kullanılan dilim | Akış (streaming) modunda alınan ilk 600.000 belge; yaklaşık 213M token | |
| | İşleme | Belgeler `[BOS] … [EOS]` olarak token'lanır ve 512'lik dizilere paketlenir; padding yoktur | |
| | Tokenizer | [coderian/QraXAi-Turkish-Tok-50K](https://huggingface.co/coderian/QraXAi-Turkish-Tok-50K) — BPE, 50.000 token, `[PAD]=0 [UNK]=1 [BOS]=2 [EOS]=3` | |
|
|
| ### Hiperparametreler |
|
|
| | | | |
| |---|---| |
| | Optimizer adımı | 3.252 | |
| | Etkin batch | 128 dizi × 512 token = 65.536 token/adım | |
| | Toplam token | ≈213M | |
| | Optimizer | AdamW (β₁=0.9, β₂=0.95, weight decay 0.1) | |
| | Öğrenme oranı | 3e-4; 200 adım ısınma, ardından kosinüs ile 0.1×'e düşüş | |
| | Gradyan kırpma | 1.0 | |
| | Karışık hassasiyet | fp16 + GradScaler | |
| | Donanım | Kaggle, 2× Tesla T4 (otomatik DataParallel) | |
| | Çerçeve | PyTorch + Hugging Face transformers/datasets, safetensors | |
|
|
| Eğitim betiği tek dosyadır (`train.py`); model boyutları `EMBED_DIM=320`, |
| `N_LAYERS=5`, `SEQ_LEN=512`, `BATCH_SIZE=16`, `GRAD_ACCUM=8` ile ayarlanmıştır. |
|
|
| ## Kullanım Amacı |
|
|
| Uygun kullanımlar: |
|
|
| - Türkçe metin tamamlama, taslak sürdürme, yaratıcı yazı denemeleri |
| - Türkçe NLP araştırmaları ve küçük model deneyleri |
| - Fine-tuning için başlangıç noktası (base model) |
|
|
| Uygun olmayan kullanımlar: |
|
|
| - Soru-cevap, sohbet, talimat takibi (instruction tuning yoktur) |
| - Olgusal doğruluk gerektiren üretim kullanımları |
| - Hukuki, tıbbi veya güvenlik açısından kritik karar sistemleri |
|
|
| ## Sınırlamalar ve Önyargılar |
|
|
| - 38M parametre ve ≈213M token ile eğitilmiş küçük bir base modeldir; bilgisi, |
| akıcılığı ve tutarlılığı sınırlıdır. |
| - Uzun üretimlerde tekrara düşebilir veya konudan sapabilir. |
| - Eğitim verisi filtrelenmemiş web metni içerdiği için model önyargılı veya |
| istenmeyen ifadeler üretebilir; çıktılar kullanılmadan önce gözden geçirilmelidir. |
| - Türkçe dışındaki dillerde ve kod üretiminde güvenilir değildir. |
| - Resmî bir benchmark değerlendirmesi yapılmamıştır. |
|
|
| ## Dosyalar |
|
|
| | Dosya | Açıklama | |
| |---|---| |
| | `model.safetensors` | Model ağırlıkları (float32, ~153 MB) | |
| | `config.json` | Model yapılandırması (`auto_map` ile özel kod bağlantıları) | |
| | `generation_config.json` | Varsayılan üretim ayarları (BOS/EOS/PAD id'leri) | |
| | `model.py` | OzanLLM mimarisi (`trust_remote_code`) | |
| | `configuration_ozanllm.py` | `GPTConfig` yapılandırma sınıfı | |
| | `tokenizer.json`, `tokenizer_config.json` | Tokenizer (50.000 token) | |
| | `README.md` | Bu model kartı | |
|
|
| ## Atıf |
|
|
| ```bibtex |
| @misc{ozanllm-40m, |
| title = {OzanLLM-40M: Turkish Base Language Model}, |
| author = {coderian}, |
| year = {2026}, |
| url = {https://huggingface.co/coderian/OzanLLM-40M} |
| } |
| ``` |
|
|
| --- |
|
|
| ## English Summary |
|
|
| **OzanLLM-40M** is a 38.3M-parameter Turkish base language model trained from |
| scratch on the first 600k documents (~213M tokens) of the |
| `tascib/turkish-llm-dataset`. It is a 5-layer, 320-dim decoder-only Transformer |
| with single-head causal attention, learned absolute position embeddings and a |
| 50k BPE tokenizer. It is a base model intended for Turkish text completion, not |
| for chat or instruction following. Use `trust_remote_code=True` to load it. |
|
|
