Create README.md

README.md

@@ -0,0 +1,105 @@
+---
+language:
+- tr
+- en
+license: apache-2.0
+tags:
+- causal-lm
+- custom-architecture
+- turkish
+- english
+- syko
+base-model: null
+pipeline-tag: text-generation
+---
+
+# SykoLLM — Untrained Architecture
+
+> ⚠️ Bu model henüz eğitilmemiştir. Mimari oluşturulmuş ve ağırlıklar rastgele initialize edilmiştir.
+
+---
+
+## Nedir?
+
+SykoLLM, sıfırdan tasarlanmış özgün bir Türkçe/İngilizce dil modeli mimarisidir.  
+Phi-3 veya Llama gibi mevcut mimariler temel alınmamış, tüm bileşenler baştan yazılmıştır.  
+Bu repo mimarinin başlangıç noktasıdır — eğitim süreci bu temel üzerinden devam edecektir.
+
+---
+
+## Mimari
+
+| Parametre | Değer |
+|---|---|
+| Vocab Size | 32,000 |
+| Hidden Size | 768 |
+| Num Hidden Layers | 24 |
+| Num Attention Heads | 6 |
+| Intermediate Size | 3,072 |
+| Max Position Embeddings | 2,048 |
+| Attention | Scaled Dot-Product (SDPA) |
+| Positional Encoding | RoPE |
+| Normalization | RMSNorm |
+| Activation | SwiGLU |
+
+---
+
+## Tokenizer
+
+Özel eğitilmiş BPE tokenizer. CulturaX Türkçe + İngilizce corpus'u kullanılarak eğitilmiştir.  
+Byte-level fallback sayesinde OOV (out of vocabulary) sorunu yoktur.  
+Türkçe karakterler (`ğ ü ş ı ö ç İ Ğ Ü Ş Ö Ç`) tam desteklenmektedir.
+
+### Special Tokens
+
+| Token | ID | Açıklama |
+|---|---|---|
+| `<pad>` | 0 | Padding |
+| `<bos>` | 1 | Sequence başlangıcı |
+| `<eos>` | 2 | Sequence sonu |
+| `<unk>` | 3 | Bilinmeyen token |
+| `<sep>` | 4 | Segment ayırıcı |
+| `<cls>` | 5 | Classification token |
+| `<mask>` | 6 | Mask token |
+| `<sys>` / `</sys>` | 7 / 8 | Sistem promptu |
+| `<user>` / `</user>` | 9 / 10 | Kullanıcı mesajı |
+| `<assistant>` / `</assistant>` | 11 / 12 | Asistan cevabı |
+| `<tr>` / `<en>` | 13 / 14 | Dil etiketleri |
+| `<think>` / `</think>` | 15 / 16 | Düşünce zinciri |
+| `<code>` / `</code>` | 17 / 18 | Kod bloğu |
+
+---
+
+## Kullanım
+
+```python
+import sys
+sys.path.insert(0, ".")
+from transformers import AutoTokenizer
+
+# Tokenizer
+tokenizer = AutoTokenizer.from_pretrained("SykoSLM/SykoLLM-UnTrained")
+
+# Model (syko_model.py gereklidir)
+from syko_model import SykoConfig, SykoCausalLM
+config = SykoConfig.from_pretrained("SykoSLM/SykoLLM-UnTrained")
+model = SykoCausalLM(config)
+```
+
+---
+
+## Yol Haritası
+
+- [x] Mimari tasarımı (RoPE, RMSNorm, SwiGLU, SDPA)
+- [x] HuggingFace uyumlu altyapı (save/load, generate, Trainer)
+- [x] Özel BPE tokenizer eğitimi (TR + EN)
+- [ ] Ön eğitim (pre-training)
+- [ ] İnce ayar (fine-tuning)
+- [ ] Değerlendirme (evaluation)
+
+---
+
+## Geliştirici
+
+**Burak** — [@SykoAI](https://huggingface.co/SykoSLM)  
+Bağımsız geliştirici, Türkiye 🇹🇷