trenet v3

trenet v3, sıfırdan eğitilmiş, yaklaşık 100 milyon parametreli deneysel bir Türkçe sohbet modelidir.

Amacı büyük modellerle yarışmak değil; "bu kadar küçük bir model Türkçe gündelik sohbeti ne kadar götürebilir?" sorusuna cevap aramak.

Bu bir araştırma denemesidir. Verdiği bilgilere güvenmeyin; ciddi işlerde kullanmayın.

Neler yapabiliyor

  • Kısa, gündelik Türkçe sohbet: selamlaşma, hal hatır, gündelik tavsiye, dertleşme.
  • Konuşma içinde söylenen bilgileri hatırlama.
  • Basit talimatlar: belirli sayıda madde, tek kelime, kısa cevap.
  • Basit sözel hesaplar. Bazı hesap, talimat ve mantık sorularında cevaptan önce kısa bir iç düşünce üretir; chat.py bu düşünceyi gizler, yalnızca cevabı gösterir.
  • Bilmediği ya da bilemeyeceği şeylerde (güncel bilgi, kişisel bilgi, uydurma isimler) çoğu zaman bunu söyler.
sen> naber
trenet> İyiyim, sen nasılsın?

sen> 5 elmam vardı 2sini verdim kaç kaldı
trenet> 5 - 2 = 3. 3 elma kaldı.

sen> seni kim yaptı
trenet> Beni Tuğra Ege Ses geliştirdi; trenet onun projesi.

Neler yapamıyor

  • Bilgi kaynağı değildir. Kişiler, tarihler ve sayılar hakkında inandırıcı görünen yanlış bilgiler uydurabilir.
  • Çok adımlı hesap ve muhakemede, kodun çıktısını tahmin etmede, ince anlam farklarında sık yanılır.
  • Ayrı mesajlarla verilen biçim kurallarına her zaman uymaz.
  • Uzun konuşmalarda konuyu kaybedebilir.

Kullanım

pip install torch tokenizers safetensors onnxruntime
python chat.py

Ekran kartı yoksa işlemcide de çalışır (--device cpu). Sohbet içinde /yeni geçmişi siler, /cik kapatır. Varsayılan örnekleme sıcaklığı 0.3'tür (--temperature); daha yüksek değerlerde uydurma artar. chat.py dört işlem sorularını küçük bir hesaplayıcıyla kontrol eder; kapatmak için --no-calculator.

İşlemcide 8 bitlik (int8) ONNX sürümü kullanılır: 4 çekirdekte saniyede yaklaşık 200 token. Tam hassasiyet için --slow.

Açık benchmarklar

Benchmark Soru Şans trenet v3
XCOPA (tr) 500 %50 %58.8
HellaSwag (tr) 2000 %25 %29.5
WinoGrande (tr) 1266 %50 %51.3
ARC (tr) 1172 %25 %27.3
Belebele (tur_Latn) 900 %25 %31.3
TurkishMMLU 900 %20 %19.9
Ortalama %32.5 %36.4

Nasıl ölçüldü:

  • lm-evaluation-harness yöntemi: her şıkkın log-olasılığı hesaplanır, en yüksek olan seçilir. Model metin üretmez; bu yüzden sıcaklık gibi örnekleme ayarları sonucu etkilemez.
  • 0-shot, sohbet şablonu olmadan düz metin devamı.
  • HellaSwag ve ARC'de bayt başına normalize edilmiş puan (acc_norm); WinoGrande'de kısmi puanlama; diğerlerinde ham doğruluk.
  • Soru kümeleri: XCOPA test, HellaSwag doğrulama bölümünün ilk 2000 sorusu, WinoGrande doğrulama, ARC test, Belebele test, TurkishMMLU'dan 9 ders × 100 soru.
  • Bu testlerin metinleri eğitim verisinden çıkarıldı (8 kelimelik ortak dizi taraması).

Bu boyuttaki modeller için bu testler zordur; özellikle WinoGrande ve TurkishMMLU şans düzeyine yakındır.

Dosyalar

Dosya İçerik
model.safetensors Ağırlıklar
model_cpu_int8.onnx İşlemci için hızlı, 8 bitlik sürüm
config.json Model yapılandırması
tokenizer.json Türkçe tokenizer
trenet/, chat.py Modeli çalıştırmak için gereken kod

Kısaca model

Parametre 98.8 milyon
Yapı Yalnızca çözücü (decoder-only) Transformer, küçük ölçek için kendi tasarımımız
Dil Türkçe
Bağlam 4096 token (kalite 2048'den sonra yavaşça düşer, 3072'den sonra belirgin biçimde bozulur; chat.py bu yüzden konuşmayı 2048 token içinde tutar)
Eğitim Yaklaşık 6.3 milyar token ön eğitim, ardından sohbet ince ayarı ve tercih eğitimi (DPO)

Veri kümesi ve eğitim ayrıntıları paylaşılmıyor.

Lisans

MIT. Dilediğiniz gibi kullanabilir, değiştirebilir ve dağıtabilirsiniz; tek koşul lisans metnindeki telif satırını korumanız.


Rivayete göre Tuğra bir toplantıda "Bana GB200 verin, size GPT'yi üreteyim" demiş.

Downloads last month
36
Safetensors
Model size
98.8M params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support