menesnas/gemma_4_pharmacy_lora

gemma-pharmacy-lora

google/gemma-4-E4B-it taban modeli üzerine eczacılık/farmasötik alanında eğitilmiş bir LoRA adaptörüdür.

• Base model: google/gemma-4-E4B-it
• Adapter: menesnas/gemma_4_pharmacy_lora
• Adapter tipi: LoRA (PEFT)
• Dil: Türkçe

Kullanım

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base_model_id = "google/gemma-4-E4B-it"
adapter_id = "menesnas/gemma_4_pharmacy_lora"

tokenizer = AutoTokenizer.from_pretrained(base_model_id)
model = AutoModelForCausalLM.from_pretrained(
    base_model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
model = PeftModel.from_pretrained(model, adapter_id)
model.eval()

Benchmark Sonuçları

Model, Türkçe MMLU benchmark'ı ile değerlendirilmiştir (62 bölüm, bölüm başına 100 soru, toplam 6200 soru; greedy/deterministic decoding, max_new_tokens=42).

Genel Sonuç

Metrik	Değer
Doğruluk (accuracy)	%70.53 (4373/6200)
Toplam süre	1901.4 saniye
Quantization	bfloat16

Bölüm Bazlı Sonuçlar

Bölüm	Doğru	Toplam	Başarı %
AUZEF	74	100	74.0
Acil Durum ve Afet Yönetimi	78	100	78.0
Adalet	71	100	71.0
Aşçılık	67	100	67.0
Bankacılık ve Sigortacılık	72	100	72.0
Büro Yönetimi ve Yönetici Asistanlığı	76	100	76.0
DHBT	61	100	61.0
Dini Bilgiler	79	100	79.0
Dış Ticaret	70	100	70.0
Ehliyet Sınavı	85	100	85.0
Elektrik Enerjisi Üretim,İletim ve Dağıtımı	78	100	78.0
Emlak ve Emlak Yönetimi	64	100	64.0
Ev İdaresi	76	100	76.0
Felsefe	81	100	81.0
Fotoğrafçılık ve Kameramanlık	72	100	72.0
Futbol	53	100	53.0
Halkla İlişkiler ve Reklamcılık	76	100	76.0
Halkla İlişkiler ve Tanıtım	66	100	66.0
Havacılık Yönetimi	71	100	71.0
KPSS	57	100	57.0
KPSS Denemeleri	60	100	60.0
Kamu Yönetimi	68	100	68.0
Kim 500 Milyar İster	54	100	54.0
Kültürel Miras ve Turizm	74	100	74.0
Laborant ve Veteriner Sağlık	73	100	73.0
Lojistik	69	100	69.0
Maliye	66	100	66.0
Marka İletişimi	77	100	77.0
Medya ve İletişim	67	100	67.0
Menkul Kıymetler ve Sermaye Piyasası	71	100	71.0
Muhasebe ve Vergi Uygulamaları	70	100	70.0
Okul Öncesi Öğretmenliği	78	100	78.0
Parakende Satış ve Mağaza Yöneticiliği	71	100	71.0
Radyo ve Televizyon Programcılığı	74	100	74.0
Sağlık Kurumları İşletmeciliği	69	100	69.0
Sağlık Yönetimi	70	100	70.0
Siyer	62	100	62.0
Sosyal Hizmet	80	100	80.0
Sosyal Hizmetler	73	100	73.0
Sosyoloji	73	100	73.0
Spor Yönetimi	68	100	68.0
TUS	67	100	67.0
Tarih	67	100	67.0
Tarım	65	100	65.0
Turizm ve Otel İşletmeciliği	75	100	75.0
Turizm ve Seyehat Hizmetleri	69	100	69.0
Türk Dili ve Edebiyatı	61	100	61.0
Tıbbi Dökümantasyon ve Sekreterlik	76	100	76.0
Uluslar Arası İlişkiler	79	100	79.0
Uluslararası Ticaret ve Lojistik Yönetimi	72	100	72.0
Üniversite Giriş Sınavı Temel Bilimler	65	100	65.0
Yaşlı Bakımı	65	100	65.0
Yerel Yönetimler	68	100	68.0
Yönetim Bİlişim Sistemleri	72	100	72.0
Çalışma Ekonomisi ve Endüstri İlişkileri	68	100	68.0
Çağrı Merkezi Hizmetleri	73	100	73.0
Çocuk Gelişimi	75	100	75.0
Özel Koruma ve Güvenlik	67	100	67.0
İktisat	71	100	71.0
İlahiyat	76	100	76.0
İnsan Kaynakları Yönetimi	72	100	72.0
İşletme Yönetimi	76	100	76.0

Genel Liderlik Tablosu Karşılaştırması

Aşağıdaki tablo, Türkçe MMLU Liderlik Tablosu'ndan alınan modellerle bu modelin karşılaştırmasını gösterir (tam liste 67 modelden oluşur; en düşük skorlu ~29 model kısaltılmıştır).

#	Model	Ortalama (%)
1	gpt-4o	84.84
2	claude-3-5-sonnet-20240620	84.40
3	llama3.3:latest	79.42
4	gemini-1.5-pro	76.74
5	qwen3:32b	75.98
6	gemma3:27b	75.06
7	qwen3:30b	74.26
8	alibayram/medgemma:27b	74.18
9	alibayram/emre-gemma3-27b-tr-reasoning:latest	73.21
10	gemma-4-E4B-it (base, fine-tune öncesi)	72.53
11	gemma2:27b	72.10
12	qwen3:14b	71.65
13	alibayram/doktor-gemma3:12b	71.08
14	gemma3:12b	70.74
15	aya-expanse:32b	70.66
16	gemma-pharmacy-lora (bu model)	70.53
17	llama3.1:70b	70.42
18	alibayram/turkish-gemma-9b-v0.1:latest	70.34
19	gemma2	69.26
20	alibayram/metin-gemma2-9b-it-tr-dpo-v1:latest	69.16
21	mistral-small3.2:24b	68.37
22	qwen3:latest	67.56
23	mistral-small:latest	66.97
24	phi4:latest	65.52
25	gemma3n:e4b	63.68
26	alibayram/gemma3n:latest	63.44
27	vanilj/Phi-4:latest	62.60
28	aya-expanse:latest	62.06
29	qwen2.5	61.68
30	alibayram/medgemma:latest	61.19
31	alibayram/Qwen3-30B-A3B-Instruct-2507:latest	60.84
32	gemma3n:e2b	59.95
33	aya:35b	59.94
34	Defne-llama3.1-8B	57.24
35	qwen2	55.82
36	ytu-ce-cosmos-Turkish-Llama-8b-DPO-v0-1	54.94
37	deepseek-r1:8b	54.87
38	alibayram/doktorllama3-cosmos:latest	53.15

Pharmacy Holdout Benchmark Sonucu

(jfpanu 2020-2021 sayılarından, eğitimde HİÇ kullanılmamış 100 çoktan seçmeli soru)

#	Model	Doğru	Toplam	Başarı %	Süre (s)
1	gemma-pharmacy-lora	96	100	96.0	32.1
2	gemma-4-E4B-it (base)	94	100	94.0	19.6
3	qwen3-4b-instruct	94	100	94.0	11.8
4	gemma3-4b-it	90	100	90.0	20.9
5	aya-expanse-8b	84	100	84.0	8.8

gemma-pharmacy-lora — Bölüm Bazlı Sonuçlar

Bölüm	Doğru	Toplam	Başarı %
Analitik Kimya	4	4	100.0
Botanik/Fitoterapi	7	8	87.5
Eczacılık Mesleği	6	6	100.0
Farmakognozi	20	20	100.0
Farmakoloji	18	19	94.7
Farmasötik Kimya	17	18	94.4
Farmasötik Teknoloji	14	15	93.3
Klinik Eczacılık	10	10	100.0

Uploaded model

• Developed by: menesnas
• License: apache-2.0
• Finetuned from model : unsloth/gemma-4-E4B-it

This gemma4 model was trained 2x faster with Unsloth