emrevrg/Norovox-Alpha-Source

Norovox Alpha — Özgün Sıfırdan Mimari

🔬 Önizleme (Preview) — Bu model geliştirilmeye devam ediyor; güçlendirilmiş sürümler bu depoya gelecek.

🟧 ORNITH 1.0 RAKİBİ — Hiçbir base model ağırlığı YOK. Tüm parametreler sıfırdan eğitiliyor. Tamamen özgün Türk yapay zeka.

---

❗ Önemli

Bu repo sadece mimari kaynak kodunu içerir — ağırlıklar henüz eğitim aşamasındadır. Norovox Alpha kullanıcının sıkı kuralı gereği sıfırdan eğitilen modeldir; başka model'in ağırlığı kullanılmaz.

---

🏗️ Mimari (Norovox V4)

V3 üzerine 6 yeni özellik:

Özellik	Açıklama
Sparse Mixture-of-Experts (sMoE)	Top-k uzman routing + load balance loss. Ornith MoE rakibi.
NoroLinear hibrit attention	Özgün lineer attention (O(N) bellek), 3:1 oranında GQA ile karıştırılır. Uzun bağlam ucuz.
Multi-Token Prediction (MTP) 4 head	Paralel gelecek-token tahmini. Hızlı eğitim + güçlü inference.
SelfRefiningHead	Inference-time'da cevabı eleştirip iyileştiren küçük critic-refine head.
ContinuousLearner (LoRA shadow)	Online öğrenme: kullanıcı feedback'i mini-batch SGD ile adapter ağırlığına yansır.
Hybrid attention schedule	Layer bazında GQA / NoroLinear dağılımı dinamik.

📊 Preset Boyutları

Preset	Parametreler	Mimari	Hedef
alpha-mini	0.12 B	dense	Smoke test
alpha-small	0.44 B	dense	Prototip eğitim
alpha-medium	0.97 B	dense	Üretim baseline
alpha-large	1.89 B	dense	Güçlü baseline
alpha-xl	3.65 B	dense	Flagship
alpha-xxl	13.37 B aktif (32B toplam)	sMoE 16 uzman	Ornith 32B rakibi

🚀 Kullanım

from norovox_alpha_v4 import AlphaV4Config, NorovoxAlphaV4

cfg = AlphaV4Config.preset("alpha-medium")
model = NorovoxAlphaV4(cfg)
print(f"Parametreler: {sum(p.numel() for p in model.parameters())/1e6:.1f}M")

python norovox_alpha_v4.py info   # boyut listesi
python norovox_alpha_v4.py test   # forward+loss smoke test

🎯 Özgün Yetenekler

• ... derin düşünce blokları (eğitim sırasında öğretilir)
• Tree-of-Thought paralel düşünce yolları
• Self-improving loop — kendi cevabını kritik et + iyileştir
• Continuous learning — kullanıcı feedback'i ile online adaptasyon
• Tool calling registry — web_ara, kod_yurut, hesapla, kb_ara, url_oku, dosya, vb
• Türk kültürü/edebiyatı/tarih derin yoğunluk
• Multi-step planning — uzun vadeli görev planlama

🛠️ Eğitim Notu

• Korpus: sadece insan-üretimi Türkçe + ChatML format
• Tokenizer: Norovox BPE 64K (Türkçe morfoloji odaklı)
• Optimizer: AdamW + cosine schedule
• Eğitim: T4/A100 Colab veya GPU farm
• LR: 3e-4, warmup 2k step
• Batch: küçük (gradient accumulation)

👤 Geliştirici

Emre Vergili — Norovox AI ailesi (N-1 + Nythos + Alpha)

🇹🇷 Norovox Alpha — Türk yapay zekasında sıfırdan inşa.

---

Support Norovox

Norovox is built by one 17-year-old high school student in Türkiye: no company, no sponsor, no budget. Every model on this page was trained on free GPU quotas that run out within days. When they run out, training stops halfway and the next, stronger version has to wait, sometimes for a week.

Your support goes directly into GPU time. Even a small contribution lets a training run finish instead of stopping, and helps the Nythos, N1, AUBIN and Norovox Embed models get better faster. Supporters are credited in the model cards and get early access to new releases.

Contact: zgremre@gmail.com · emrevrgdev@gmail.com

_{🇹🇷 Norovox'u Türkiye'de 17 yaşında bir lise öğrencisi tek başına geliştiriyor: şirket yok, sponsor yok, bütçe yok. Buradaki modellerin hepsi birkaç günde biten ücretsiz GPU kotalarıyla eğitildi; kota bitince eğitim yarıda kalıyor ve daha güçlü sürüm bekliyor. Desteğin doğrudan GPU süresine gider; küçük bir katkı bile bir eğitimin yarıda kalmadan tamamlanmasını sağlar. Destekçiler model kartlarında anılır ve yeni sürümlere erken erişir. İletişim: zgremre@gmail.com · emrevrgdev@gmail.com}