trenet v2

trenet v2, sıfırdan eğitilmiş, 35 milyon parametreli deneysel bir Türkçe sohbet modelidir.

Ev ortamında, tek ekran kartlı bir bilgisayarda eğitildi. Amacı büyük modellerle yarışmak değil; "bu kadar küçük bir model Türkçe gündelik sohbeti ne kadar götürebilir?" sorusuna cevap aramak.

Bu bir araştırma denemesidir. Verdiği bilgilere güvenmeyin; ciddi işlerde kullanmayın.

Neler yapabiliyor

  • Kısa, gündelik Türkçe sohbet: selamlaşma, hal hatır, basit sorular, gündelik tavsiye.
  • Konuşma içinde söylenenleri hatırlama.
  • Basit talimatlar: kısa liste, tek cümle, "tek kelimeyle cevap ver".
  • Adım adım gösterilen basit hesaplar.
sen> selam naber
trenet> İyiyim, sen nasılsın?

sen> Benim adım Eren. İzmir'de yaşıyorum. En sevdiğim renk lacivert.
trenet> Memnun oldum Eren. İzmir'de yaşıyorsun, en sevdiğin renk lacivert.
sen> Benim adım ne, nerede yaşıyorum ve en sevdiğim renk ne?
trenet> Adın Eren, İzmir'de yaşıyorsun ve en sevdiğin renk lacivert.

sen> Bana tam olarak 3 madde yaz: sabah erken kalkmanın faydaları.
trenet> 1. Güne enerjik başlamanı sağlar.
2. Zamanı daha verimli kullanmana yardımcı olur.
3. Günün stresini azaltır.

sen> Bir ürünün fiyatı 800 TL. Önce %10 zam yapılıyor, ardından yeni fiyat üzerinden %10 indirim uygulanıyor. Son fiyat kaç TL olur?
trenet> Zam: 800 × 10 / 100 = 80. 800 + 80 = 880. İndirim: 880 × 10 / 100 = 88. 880 - 88 = 792. Son fiyat 792 TL. Dikkat: aynı oranda zam ve indirim fiyatı eski hâline getirmez.

Neler yapamıyor

  • Bilgi kaynağı değildir. Bilmediği konularda inandırıcı görünen yanlış cevaplar uydurur.
  • Uzun metin, çeviri, kod ve gerçek akıl yürütme bu boyutun dışında.
  • Bilmecelerde ve dikkat sorularında sık yanılır.
  • Uzun konuşmalarda konuyu kaybedebilir.

Kullanım

pip install torch tokenizers safetensors onnxruntime
python chat.py

Ekran kartı yoksa işlemcide de çalışır (--device cpu). Sohbet içinde /yeni geçmişi siler, /cik kapatır. chat.py dört işlem sorularını küçük bir hesaplayıcıyla kontrol eder; kapatmak için --no-calculator.

Hız

Model küçük olduğu için ekran kartı şart değil. chat.py kendiliğinden hızlı yolu seçer: işlemcide 8 bit (int8) ONNX sürümü (onnxruntime gerekir), ekran kartında CUDA graph.

Ortam Üretim hızı
İşlemci (Intel Core Ultra 7 265KF, 4 çekirdek), int8 ~400-500 token/sn
Ekran kartı (RTX 5070 Ti) ~550-600 token/sn
Ekran kartı, --compile ~900 token/sn'ye kadar

İşlemcideki int8 sürümü tam hassasiyetli modele çok yakın cevaplar verir (kayıp ~%1). Tam hassasiyet için --slow (yaklaşık 85 token/sn).

Dosyalar

Dosya İçerik
model.safetensors Ağırlıklar
model_cpu_int8.onnx İşlemci için hızlı, 8 bitlik sürüm
config.json Model yapılandırması
tokenizer.json Türkçe tokenizer
trenet/, chat.py Modeli çalıştırmak için gereken kod

Kısaca model

Parametre 35 milyon
Yapı Yalnızca çözücü (decoder-only) Transformer, küçük ölçek için kendi tasarımımız
Dil Türkçe
Bağlam 2048 token
Eğitim Yaklaşık 2 milyar token; ön eğitim ve ardından sohbet ince ayarı

Veri kümesi ve eğitim ayrıntıları paylaşılmıyor.

Sırada ne var

Daha büyük bir sürüm üzerinde çalışılıyor.

Lisans

MIT. Dilediğiniz gibi kullanabilir, değiştirebilir ve dağıtabilirsiniz; tek koşul lisans metnindeki telif satırını korumanız.

Downloads last month
84
Safetensors
Model size
35.1M params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support