Gemma-3-1B İstatistik Fine-Tune (Türkçe, Doğrudan Cevap Varyantı)
Bu model, Google'ın Gemma-3-1B-IT modeli üzerine Türkçe istatistik konularında soru-cevap yapabilmesi için fine-tune edilmiştir. Model, ara muhakeme adımlarını göstermeden doğrudan nihai açıklamayı üretir.
Aynı veri setiyle eğitilmiş, cevap vermeden önce görünür bir düşünce zinciri (
<think>...</think>) üreten bir muhakemeli varyant da mevcuttur: Toivo0/gemma-3-finetune-thinking. İki varyant, hangi yaklaşımın istatistik eğitimi senaryosu için daha uygun olduğunu karşılaştırmak amacıyla aynı veri ve aynı split ile paralel olarak eğitilmiştir.
Model Bilgileri
| Base Model | unsloth/gemma-3-1b-it-unsloth-bnb-4bit |
| Eğitim Veri Seti | Toivo0/Turkce-istatistik-reasoning (400 soru-cevap çifti) |
| Geliştirici | Toivo0 |
| Dil | Türkçe |
| Lisans | Apache-2.0 |
| Eğitim Aracı | Unsloth + HuggingFace TRL |
Eğitim Veri Seti Hakkında
Model, 7 istatistik modülünü kapsayan 400 soru-cevap çiftiyle eğitilmiştir. Veri setindeki her örnek, modelin iç muhakeme sürecini (thinking) ve nihai açıklamasını (content) ayrı alanlar olarak içerir — ancak bu varyantın eğitiminde yalnızca nihai açıklama (content) kullanılmış, thinking alanı eğitim hedefine dahil edilmemiştir. Bu sayede model, ara adımları göstermeden doğrudan ve daha kısa cevaplar üretir.
Kapsanan Konular:
| Modül | Konu | Soru Sayısı |
|---|---|---|
| 1 | İstatistiğin Temelleri | 51 |
| 2 | Betimsel İstatistik | 50 |
| 3 | Olasılık | 55 |
| 4 | Olasılık Dağılımları | 51 |
| 5 | Örnekleme ve Tahmin | 59 |
| 6 | Hipotez Testleri | 89 |
| 7 | Regresyon ve Korelasyon | 45 |
Kullanım
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = "Toivo0/gemma-3-finetune"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)
messages = [{"role": "user", "content": "Hipotez testinde p-değeri ne anlama gelir?"}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=512, do_sample=False)
response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
print(response)
Türkçe İstatistik Benchmark Sonuçları
Bu model, reasoning varyantı, taban Gemma ve Qwen olmak üzere dört model, eğitimde kullanılmamış 100 sorudan oluşan Türkçe İstatistik Benchmark üzerinde karşılaştırılmıştır. Nihai cevaplar anlamsal benzerlik ve LLM-as-a-Judge yöntemleriyle ayrı ayrı değerlendirilmiştir; yöntem açıklamaları ve model bazında sonuçlar benchmark reposunda yer almaktadır.
📊 Türkçe MMLU Benchmark Sonuçları
Bu model, 6200 sorudan oluşan Türkçe MMLU benchmark testi ile taban model ve fine-tune edilmiş model üzerinde karşılaştırmalı olarak test edilmiştir.
📈 Genel Başarı Karşılaştırması
| Model | Toplam Başarı Oranı (%) | Doğru Cevap / Toplam Soru | Test Süresi |
|---|---|---|---|
Base Model (gemma-3-1b-it) |
%24.56 | 1523 / 6200 | 4544 s |
Fine-Tuned Model (gemma-3-finetune) |
%23.69 | 1469 / 6200 | 6715 s |
| Fark | -0.87% | -54 Soru | - |
🏆 En Çok Gelişim Gösteren Alanlar (Top 10)
| Kategori | Base (%) | Fine-Tuned (%) | Gelişim |
|---|---|---|---|
| Turizm ve Seyahat Hizmetleri | %16.00 | %28.00 | +12.00% |
| Ehliyet Sınavı | %24.00 | %31.00 | +7.00% |
| KPSS Denemeleri | %20.00 | %26.00 | +6.00% |
| Medya ve İletişim | %17.00 | %23.00 | +6.00% |
| Sosyoloji | %23.00 | %29.00 | +6.00% |
| Felsefe | %22.00 | %27.00 | +5.00% |
| Aşçılık | %21.00 | %25.00 | +4.00% |
| DHBT | %27.00 | %31.00 | +4.00% |
| Ev İdaresi | %19.00 | %23.00 | +4.00% |
| Perakende Satış ve Mağaza Yöneticiliği | %25.00 | %29.00 | +4.00% |
📉 En Çok Düşüş Gösteren Alanlar (Top 5)
| Kategori | Base (%) | Fine-Tuned (%) | Düşüş |
|---|---|---|---|
| Özel Koruma ve Güvenlik | %36.00 | %25.00 | -11.00% |
| İşletme Yönetimi | %27.00 | %16.00 | -11.00% |
| Tıbbi Dokümantasyon ve Sekreterlik | %33.00 | %23.00 | -10.00% |
| Kamu Yönetimi | %27.00 | %20.00 | -7.00% |
| Sağlık Yönetimi | %24.00 | %17.00 | -7.00% |
📚 Tüm Kategorilerin Detaylı Başarı Tablosu
62 kategorinin tamamını görmek için tıklayın
| Bölüm / Kategori | Base Model (%) | Fine-Tuned Model (%) | Fark (%) |
|---|---|---|---|
| AUZEF | %28.00 | %26.00 | -2.00% |
| Acil Durum ve Afet Yönetimi | %28.00 | %27.00 | -1.00% |
| Adalet | %21.00 | %24.00 | +3.00% |
| Aşçılık | %21.00 | %25.00 | +4.00% |
| Bankacılık ve Sigortacılık | %21.00 | %22.00 | +1.00% |
| Büro Yönetimi ve Yönetici Asistanlığı | %28.00 | %23.00 | -5.00% |
| DHBT | %27.00 | %31.00 | +4.00% |
| Dini Bilgiler | %33.00 | %33.00 | +0.00% |
| Dış Ticaret | %24.00 | %19.00 | -5.00% |
| Ehliyet Sınavı | %24.00 | %31.00 | +7.00% |
| Elektrik Enerjisi Üretim, İletim ve Dağıtımı | %24.00 | %25.00 | +1.00% |
| Emlak ve Emlak Yönetimi | %23.00 | %23.00 | +0.00% |
| Ev İdaresi | %19.00 | %23.00 | +4.00% |
| Felsefe | %22.00 | %27.00 | +5.00% |
| Fotoğrafçılık ve Kameramanlık | %22.00 | %18.00 | -4.00% |
| Futbol | %28.00 | %24.00 | -4.00% |
| Halkla İlişkiler ve Reklamcılık | %24.00 | %22.00 | -2.00% |
| Halkla İlişkiler ve Tanıtım | %24.00 | %24.00 | +0.00% |
| Havacılık Yönetimi | %27.00 | %27.00 | +0.00% |
| KPSS | %24.00 | %26.00 | +2.00% |
| KPSS Denemeleri | %20.00 | %26.00 | +6.00% |
| Kamu Yönetimi | %27.00 | %20.00 | -7.00% |
| Kim 500 Milyar İster | %27.00 | %28.00 | +1.00% |
| Kültürel Miras ve Turizm | %26.00 | %28.00 | +2.00% |
| Laborant ve Veteriner Sağlık | %25.00 | %24.00 | -1.00% |
| Lojistik | %21.00 | %20.00 | -1.00% |
| Maliye | %24.00 | %24.00 | +0.00% |
| Marka İletişimi | %22.00 | %19.00 | -3.00% |
| Medya ve İletişim | %17.00 | %23.00 | +6.00% |
| Menkul Kıymetler ve Sermaye Piyasası | %24.00 | %20.00 | -4.00% |
| Muhasebe ve Vergi Uygulamaları | %24.00 | %27.00 | +3.00% |
| Okul Öncesi Öğretmenliği | %24.00 | %20.00 | -4.00% |
| Perakende Satış ve Mağaza Yöneticiliği | %25.00 | %29.00 | +4.00% |
| Radyo ve Televizyon Programcılığı | %25.00 | %24.00 | -1.00% |
| Sağlık Kurumları İşletmeciliği | %21.00 | %24.00 | +3.00% |
| Sağlık Yönetimi | %24.00 | %17.00 | -7.00% |
| Siyer | %27.00 | %23.00 | -4.00% |
| Sosyal Hizmet | %25.00 | %22.00 | -3.00% |
| Sosyal Hizmetler | %27.00 | %21.00 | -6.00% |
| Sosyoloji | %23.00 | %29.00 | +6.00% |
| Spor Yönetimi | %28.00 | %31.00 | +3.00% |
| TUS | %22.00 | %18.00 | -4.00% |
| Tarih | %26.00 | %24.00 | -2.00% |
| Tarım | %19.00 | %15.00 | -4.00% |
| Turizm ve Otel İşletmeciliği | %30.00 | %26.00 | -4.00% |
| Turizm ve Seyahat Hizmetleri | %16.00 | %28.00 | +12.00% |
| Türk Dili ve Edebiyatı | %22.00 | %25.00 | +3.00% |
| Tıbbi Dokümantasyon ve Sekreterlik | %33.00 | %23.00 | -10.00% |
| Uluslararası İlişkiler | %29.00 | %25.00 | -4.00% |
| Uluslararası Ticaret ve Lojistik Yönetimi | %26.00 | %27.00 | +1.00% |
| Yaşlı Bakımı | %23.00 | %17.00 | -6.00% |
| Yerel Yönetimler | %25.00 | %25.00 | +0.00% |
| Yönetim Bilişim Sistemleri | %28.00 | %23.00 | -5.00% |
| Çalışma Ekonomisi ve Endüstri İlişkileri | %30.00 | %28.00 | -2.00% |
| Çağrı Merkezi Hizmetleri | %27.00 | %24.00 | -3.00% |
| Çocuk Gelişimi | %23.00 | %21.00 | -2.00% |
| Özel Koruma ve Güvenlik | %36.00 | %25.00 | -11.00% |
| Üniversite Giriş Sınavı Temel Bilimler | %20.00 | %20.00 | +0.00% |
| İktisat | %21.00 | %21.00 | +0.00% |
| İlahiyat | %20.00 | %19.00 | -1.00% |
| İnsan Kaynakları Yönetimi | %22.00 | %20.00 | -2.00% |
| İşletme Yönetimi | %27.00 | %16.00 | -11.00% |
Sonuç Yorumu
Bu fine-tune, istatistik alanına özel bir eğitimdir. MMLU testi ise 62 farklı genel bilgi kategorisini ölçmektedir. Genel başarıda gözlemlenen -0.87%'lik düşüş, 1B parametreli küçük bir modelde alan-spesifik fine-tuning'in beklenen bir sonucudur.
This gemma3_text model was trained 2x faster with Unsloth and Huggingface's TRL library.
- Downloads last month
- 9
Model tree for Toivo0/gemma-3-finetune
Base model
google/gemma-3-1b-pt