İcra Asistanı — Gemma-3 LoRA Adaptörü

Türk icra ve iflas hukuku alanında soru-cevap için, unsloth/gemma-3-1b-it temel modeli üzerine Unsloth ile eğitilmiş bir LoRA adaptörü. Bir ders ödevi kapsamında hazırlanmıştır.

Model, "İcra Asistanı" adıyla, Av. Mustafa Türk tarafından geliştirilen bir icra ve iflas hukuku asistanı kimliğiyle yanıt vermek üzere fine-tune edilmiştir.

Model detayları


Temel model	`unsloth/gemma-3-1b-it`
Yöntem	LoRA (PEFT)
Eğitim aracı	Unsloth + TRL (SFTTrainer)
Dil	Türkçe
Alan	İcra ve iflas hukuku
LoRA rank (r)	8
LoRA alpha	8
Epoch	3

Eğitim verisi

İcra-iflas hukuku soru-cevapları — İİK maddelerine ve Yargıtay'ın yerleşik yaklaşımına dayanan, konuşma formatında örnekler.
Kimlik örnekleri — modelin adını, geliştiricisini ve görevini tutarlı biçimde ifade etmesi için hazırlanmış örnekler.

Cevaplardaki hukuki bilgi telifsiz kaynaklara (İcra ve İflas Kanunu resmi metni ve kamuya açık Yargıtay içtihatlarının yaklaşımı) dayanır.

Benchmark Sonuçları

Model iki ayrı benchmark ile değerlendirilmiştir: biri genel amaçlı (Türkçe MMLU), diğeri bu çalışma için alana özel olarak tasarlanmış (İİK-Bench). İki ölçümün birlikte okunması, dar alanlı fine-tune'un etkisini iki yönden göstermektedir.

Özet

Benchmark	Ölçtüğü şey	Temel model	Bu model	Değişim
Türkçe MMLU	Genel bilgi (çoktan seçmeli)	%42.74	%26.00	−16.74
İİK-Bench	İcra-iflas hukuku (açık uçlu)	13.21	18.01	+4.80
İİK-MCQ	İcra-iflas hukuku (çoktan seçmeli)	%28	%25	−3

Kısaca: model genel amaçlı görevlerde belirgin biçimde gerilemiş, açık uçlu alan testinde sınırlı bir iyileşme göstermiş, çoktan seçmeli alan testinde ise rastgele tahmin düzeyinde kalmıştır. Alan içindeki iyileşme istatistiksel olarak kesin değildir ve her iki modelin de mutlak performansı düşüktür.

Düşük performansın model boyutundan kaynaklanıp kaynaklanmadığını sınamak için dört kat büyük bir temel model de ölçülmüş (bölüm 3); ayrıca 100 soruluk çoktan seçmeli benchmark beş farklı model üzerinde çalıştırılmıştır (bölüm 4).

1. Türkçe MMLU (genel amaçlı)

Türkçe MMLU benchmark'ı ile ölçüm yapılmıştır.

Model	Doğru / Soru	Başarı	Ölçüm koşulu
`gemma3:1b` (temel model)	2650 / 6200	%42.74	Ollama, Q4_K_M, tam set
Bu model (fine-tune)	52 / 200	%26.00	Unsloth, 4-bit, alt küme

Yöntem. olcum.py betiğindeki metodoloji korunmuştur: aynı soru veri seti, aynı prompt, aynı cevap_dogru_mu değerlendirme mantığı (harf eşleştirme → ilk harf kontrolü → paraphrase-multilingual-mpnet-base-v2 ile anlamsal benzerlik) ve aynı token sınırı (42). Orijinal betik Ollama kullanır; bu ölçümde LoRA adaptörü doğrudan Unsloth/Transformers ile Google Colab (T4) üzerinde çalıştırılmıştır.

Koşul farkı. Temel model skoru resmi liderlik tablosundan alınmıştır (6200 soru, Q4_K_M kuantizasyon); bu modelin skoru 200 soruluk rastgele bir alt kümede ölçülmüştür. İki skor birebir aynı koşullarda üretilmemiştir; karşılaştırma yaklaşık niteliktedir.

2. İİK-Bench (alana özel, bu çalışma için tasarlandı)

https://huggingface.co/datasets/Mustafa2735/iik-bench benchmark'ı ile ölçüm yapılmıştır.

Genel amaçlı bir benchmark, alana özel bir modelin hedeflendiği görevdeki performansını ölçemez. Bu nedenle icra ve iflas hukuku için 41 açık uçlu sorudan oluşan bir benchmark hazırlanmıştır.

Model	Standart skor	Spesifik bilgi isabeti	Yanlış işaret
`unsloth/gemma-3-1b-it` (temel)	13.21	2 / 25 (%8)	—
Bu model (fine-tune)	18.01	4 / 25 (%16)	0
Fark	+4.80	+2 isabet

Skor iki farklı katılıkta hesaplanmıştır:

Model	Standart skor	Katı skor
Temel model	13.21	3.51
Bu model	18.01	15.79

Standart skor tüm anahtar bilgileri (kavramlar, kurumlar, süreler) sayar. Katı skor yalnızca spesifik bilgileri (süre, oran, sayı) sayar; bunlar tesadüfen tutturulamayacağı için hukuki isabetin daha doğru bir göstergesidir. İkisi arasındaki açık, modelin hukuk terminolojisini kullanmayı öğrenirken spesifik hukuki bilgiyi edinemediğini göstermektedir.

Tasarım kararları

Açık uçlu format. Model bir hukuk asistanı olarak düzyazı cevap vermek üzere eğitilmiştir. Çoktan seçmeli bir test, modelin gerçek görevini değil "tek harf yazma" becerisini ölçer. Bu benchmark modeli doğal kullanımında değerlendirir.

Anahtar bilgi kontrolü (fact-checking). Salt anlamsal benzerlik hukukta yanıltıcıdır: "süre yedi gündür" ile "süre on gündür" cümleleri birbirine çok benzer, ancak biri tamamen yanlıştır. Bu nedenle her soru için cevapta bulunması gereken anahtar bilgiler (süreler, madde numaraları, merciler, kurumlar) ve bulunmaması gereken yanlış işaretler önceden tanımlanmıştır. Puanlama:

kapsam = bulunan anahtar bilgi / toplam anahtar bilgi
ceza   = yanlış işaret başına −0.25 (en fazla −1.0)
puan   = max(0, kapsam + ceza)

Veri sızıntısı önlemi. Sorular, modelin eğitim veri setinde kullanılmayan İİK maddelerinden seçilmiştir (gecikmiş itiraz m.65, borçtan kurtulma davası m.69, hacze iştirak m.100, haczin kalkması m.110, kira ve tahliye m.269, iflas tasfiyesi, konkordato mühletleri, icra suçları vb.). Eğitimde işlenen konular (tasarrufun iptali, ihalenin feshi, istihkak, meskeniyet, aciz vesikası, itirazın iptali/kaldırılması vb.) benchmark dışında bırakılmıştır. Böylece ölçülen şey ezber değil, genellemedir.

Referans doğrulama. Referans cevaplar, İcra ve İflas Kanunu'nun resmî metninden doğrulanarak yazılmıştır.

Ölçüm koşulları

Her iki model de aynı 41 soruyu, aynı sırada, aynı üretim ayarlarıyla (max_new_tokens=300, greedy/deterministik üretim) yanıtlamıştır. Ölçüm Google Colab (T4 GPU) üzerinde, 4-bit yükleme ile yapılmıştır.

3. Ek deney: Daha büyük bir temel model işe yarar mı?

Yukarıdaki sonuçlar, düşük performansın model kapasitesinden kaynaklanıp kaynaklanmadığı sorusunu doğurmuştur. Bu hipotezi sınamak için, dört kat büyük bir temel model olan unsloth/Qwen3-4B-Instruct-2507, fine-tune edilmeden, aynı İİK-Bench ile aynı koşullarda ölçülmüştür.

Model	Parametre	Skor	Yanlış işaret
`unsloth/gemma-3-1b-it` (temel)	1B	13.21	—
`unsloth/Qwen3-4B-Instruct-2507` (temel)	4B	12.60	0
Bu model (gemma-3-1b + LoRA)	1B	18.01	0

Sonuç: hipotez doğrulanmamıştır. Dört kat büyük model, 1B temel modelin altında kalmıştır.

Gözlemler

Uydurulmuş madde numarası. Qwen3-4B, bir cevabında "12337. madde" ifadesini kullanmıştır. İcra ve İflas Kanunu 370 maddeden oluşur; böyle bir madde yoktur. Model, bilmediği bir konuda kaynak uydurmuştur.

Dejenere tekrar. Aynı cevapta model, tek bir cümleyi kesintisiz biçimde tekrarlamaya başlamıştır ("...ödeme emrine süresi içinde ödeme yapamadığı durumda, ödeme emrine süresi sona ermeden..."). Bu davranış, modelin üretecek anlamlı içeriği kalmadığında ortaya çıkar.

Talimat performansı düşürmüştür. Modelin uzun ve başlıklı cevaplar üretmesi nedeniyle puan alamadığı düşünülerek, açıkça "kısa ve doğrudan yanıtla, kanun maddesini belirt" talimatı verilerek 12 soruluk bir kontrol ölçümü yapılmıştır. Skor yükselmemiş, aksine düşmüştür (10.42 → 6.25). Bu, sorunun cevap biçimi değil, bilgi eksikliği olduğunu göstermektedir.

Değerlendirme

Bu deney, düşük performansın temel nedeninin model boyutu olmadığını göstermektedir. Türk icra ve iflas hukuku, genel amaçlı çok dilli modellerin ön eğitim verisinde yeterince temsil edilmemektedir; model büyütmek, var olmayan bilgiyi getirmemektedir.

Bu bulgu, fine-tune edilmiş modelin sonucunu da yeniden çerçevelemektedir: alanı hiç bilmeyen bir temel model üzerine, sınırlı bir veri setiyle ölçülebilir bir kazanç sağlanmıştır. Ayrıca fine-tune edilmiş model, Qwen3-4B'nin aksine madde numarası uydurmamıştır.

Yöntem notu. Qwen3-4B'nin uydurduğu madde numarası, benchmark'ın "yanlış işaret" listesinde yer almadığı için cezalandırılmamıştır; bu nedenle tabloda yanlış işaret sayısı 0 görünmektedir. Bu, önceden tanımlı yanlış işaret listesinin uydurma içerikleri yakalamakta yetersiz kalabileceğini göstermektedir.

4. İİK-MCQ: 100 soruluk çoktan seçmeli benchmark (5 model)

https://huggingface.co/datasets/Mustafa2735/karsilastirma benchmark'ı ile ölçüm yapılmıştır.

Açık uçlu değerlendirme, modelin bilgisini mi yoksa ifade becerisini mi ölçtüğü konusunda belirsizlik bırakmaktadır. Bu belirsizliği gidermek için aynı alanda 100 soruluk, dört şıklı ikinci bir benchmark hazırlanmış ve beş farklı model üzerinde çalıştırılmıştır.

Sorular, fine-tune eğitim veri setinde kullanılmayan İİK maddelerinden, 24 ayrı konu başlığında ve elle hazırlanmıştır. Cevap anahtarı A/B/C/D için tam dengelidir (her harf 25 kez doğru).

İki ölçüm yöntemi

Yöntem	Nasıl çalışır	Ne ölçer
Üretim tabanlı	Model birkaç token üretir, ilk A/B/C/D harfi okunur	Bilgi + talimata uyma
Olasılık (logprob) tabanlı	Modelin ilk token olarak A/B/C/D'ye verdiği olasılıklar karşılaştırılır	Yalnızca bilgi

İkinci yöntem üretim gerektirmediğinden, uzun cevap verme eğilimindeki modelleri cezalandırmaz ve bilgiyi daha adil ölçer.

Sonuçlar

Model	Parametre	Üretim	Logprob	Rastgele üstü
`unsloth/Qwen3-4B-Instruct-2507`	4B	%38	%37	+12
`unsloth/gemma-3-1b-it` (temel)	1B	%28	%28	+3
Bu model (`hukukai`, fine-tune)	1B	%22	%25	0
`unsloth/gemma-2-9b-it`	9B	%0	%25	0
`unsloth/Llama-3.2-3B-Instruct`	3B	%29	%24	−1

Rastgele tahmin beklentisi %25'tir. n = 100 için standart hata ±4.3 puan; anlamlılık eşiği yaklaşık %33.5. Yalnızca Qwen3-4B bu eşiği aşmaktadır. Diğer dört model, rastgele tahminden istatistiksel olarak ayırt edilememektedir.

Kritik bulgu: harf yanlılığı ve dejenere modeller

Modellerin verdiği cevapların harf dağılımı incelendiğinde, beş modelin üçünün şıklar arasında hiç ayrım yapmadığı görülmüştür:

Model	Cevap dağılımı	Durum
Qwen3-4B	A:21, B:26, C:37, D:16	normal
Llama-3.2-3B	A:1, B:3, C:37, D:59	kısmen yanlı
gemma-3-1b	A:5, B:1, C:87, D:7	dejenere
gemma-2-9b	A:100	dejenere
Bu model (fine-tune)	C:100	dejenere

Fine-tune edilmiş model 100 sorunun tamamına "C" yanıtını vermiştir. Cevap anahtarı dengeli olduğu için bu davranış tam olarak %25 skor üretir; yani elde edilen skor modelin bilgisini değil, yalnızca cevap anahtarının yapısını yansıtmaktadır. Aynı durum, tüm sorulara "A" yanıtı veren gemma-2-9b için de geçerlidir.

Sonuç: fine-tune edilmiş model bu formatta anlamlı biçimde değerlendirilememektedir. Uzun düzyazı üretmek üzere eğitilmesi, tek harflik cevap üretme ve şıklar arasında ayrım yapma yeteneğini ortadan kaldırmıştır.

Buna karşılık Qwen3-4B'nin cevap dağılımı, şıkların sırası değiştirildiğinde değişmiştir; yani model sabit bir alışkanlıkla değil, soruların içeriğine göre yanıt vermektedir.

Cevap anahtarının dengelenmesi

Benchmark'ın ilk sürümünde cevap dağılımı dengesizdi (A:30, B:26, C:17, D:27). Bu dengesizlik, dejenere modellerin yanıltıcı skorlar almasına yol açmıştır: tüm sorulara "A" diyen model %30, tüm sorulara "C" diyen model %17 almış; her ikisi de sıfır bilgi göstermesine rağmen aralarında sahte bir sıralama oluşmuştur.

Anahtar A/B/C/D için tam dengeli hâle getirilerek (her harf 25 kez doğru) ölçüm tekrarlanmıştır. Dengeli anahtarda tek harfe kilitlenen her model tam %25 alır; böylece artefakt skorlar doğrudan görünür hâle gelir.

Bu düzeltme, Qwen3-4B'nin skorunu da etkilemiştir (%48 → %37). İlk ölçümde bu modelin harf eğilimi dengesiz anahtarla rastlantısal olarak uyumluydu ve skoru olduğundan yüksek çıkmıştı. İki ölçüm arasındaki fark istatistiksel olarak anlamlı değildir (z = 1.58), ancak dengeli anahtarla elde edilen %37 daha güvenilir bir tahmindir.

Tanıma ile üretme arasındaki fark

Qwen3-4B, açık uçlu İİK-Bench'te 13.21 puanlık temel modelin altında kalmış (12.60), ancak çoktan seçmeli testte tek anlamlı sonucu üretmiştir (%37, rastgelenin 12 puan üstünde).

Bu çelişki, iki farklı bilgi türünü ayırmaktadır: model, şıklar gösterildiğinde doğru cevabı tanıyabilmekte, ancak aynı bilgiyi sıfırdan üretememektedir. Açık uçlu testte uydurma madde numarası ("12337. madde") ve tekrar döngüsü üretmesi bu ayrımla tutarlıdır.

Tek bir değerlendirme formatına dayanan ölçümlerin yanıltıcı olabileceğini göstermesi bakımından bu, çalışmanın önemli bir bulgusudur.

Sınırlamalar

Konu bazlı kırılımlar (örneğin "model konkordatoda zayıf") güvenilir değildir; her konuda yalnızca 3-5 soru bulunmaktadır ve bu sayıda sonuçlar büyük ölçüde şansa bağlıdır. Yalnızca genel skorlar yorumlanmalıdır.

Genel bilgide belirgin gerileme. Model MMLU'da temel modelin yaklaşık 17 puan altında kalmıştır. Bunun iki nedeni gözlenmiştir. Birincisi alan daralmasıdır (catastrophic forgetting): 1B büyüklüğünde küçük bir model, yalnızca icra-iflas hukuku örnekleriyle 3 epoch eğitildiğinde önceki genel bilgisinin bir kısmını kaybetmektedir. İkincisi talimat uyumunun bozulmasıdır: MMLU modelden tek bir harf yazmasını ister, ancak fine-tune edilmiş model eğitim verisindeki uzun ve açıklayıcı cevap biçimini benimsediğinden bu talimata uymamakta, uzun yanıtlar üretmektedir. Bu durumda değerlendirme betiği harf eşleştirmesi yapamamakta ve anlamsal benzerlik yoluna düşmektedir.

Alan içinde olumlu eğilim, ancak istatistiksel olarak belirsiz. İİK-Bench'te model temel modelin 4.80 puan üzerine çıkmıştır. Ölçümün belirsizlik payı göz önüne alındığında (41 soruluk eşleştirilmiş karşılaştırmada yaklaşık ±6 puan), bu fark olumlu bir eğilim olarak değerlendirilmeli, kesin bir üstünlük olarak okunmamalıdır.

Katı skorda fark daha büyük görünmektedir (3.51 → 15.79), ancak bu rakam yanıltıcıdır. Katı skorun dayandığı ham veri şudur: temel model 25 spesifik bilgiden 2'sini, fine-tune edilmiş model 4'ünü doğru vermiştir. Aradaki fark yalnızca 2 isabettir. Bu fark için yapılan permütasyon testinde p = 0.66 bulunmuştur; yani gözlenen fark tesadüfle açıklanabilecek düzeydedir ve istatistiksel olarak anlamlı değildir. Katı skorun soru başına ortalama alması, bu küçük farkı puan olarak büyütmektedir. Bu nedenle sonuç, ham isabet sayılarıyla birlikte okunmalıdır.

Asıl bulgu: her iki model de spesifik hukuki bilgiyi veremiyor. Fine-tune edilmiş model spesifik bilgilerin %84'ünü, temel model %92'sini kaçırmıştır. Modeller hukuk terminolojisine uygun, akıcı ve biçimsel olarak doğru görünen cevaplar üretmekte; ancak bu cevaplar süre, oran ve madde gibi belirleyici bilgileri içermemektedir. Standart skorun (13-18) önemli bir kısmı, doğru cevabı vermekten değil, ilgili hukuk terimlerini anmaktan kaynaklanmaktadır.

Yanlış bilgi üretmemesi. İİK-Bench'te fine-tune edilmiş modelin hiç yanlış işaret üretmediği görülmüştür; yani hatalı süre, hatalı madde numarası veya hatalı mercii gibi uydurma bilgiler vermemiştir. Model bilmediği yerde yanlış bilgi üretmek yerine genel ifadelerle yetinmektedir. Bu, hukuk alanında olumlu bir davranıştır; ancak aynı zamanda düşük skorun kaynağını da açıklar: sorun yanlış bilgi değil, bilgi eksikliğidir.

Ölçüm yönteminin sınırı. Kullanılan puanlama, anahtar ifadenin cevapta geçip geçmediğini denetler; o bilginin doğru bağlamda kullanılıp kullanılmadığını değerlendirmez. Bu nedenle hukuki terminoloji içeren ancak soruyu yanıtlamayan cevaplar kısmi puan alabilmektedir. Katı skor bu etkiyi azaltmak için geliştirilmiştir, ancak tam olarak ortadan kaldırmaz. Daha kesin bir değerlendirme için insan değerlendirmesi veya daha güçlü bir model ile hakemlik (LLM-as-judge) yöntemleri kullanılabilir.

Çoktan seçmeli formatta ölçülemezlik. Bölüm 4'teki 100 soruluk çoktan seçmeli benchmark, fine-tune edilmiş modelin tüm sorulara aynı harfle yanıt verdiğini ortaya koymuştur. Model, şıklar arasında hiç ayrım yapmamaktadır; bu formatta elde ettiği %25'lik skor, bilgisini değil cevap anahtarının yapısını yansıtmaktadır. Uzun düzyazı üretmek üzere eğitilmesi, kısa ve kısıtlı biçimde yanıt verme yeteneğini ortadan kaldırmıştır. Bu, MMLU'daki gerilemenin de mekanizmasını açıklamaktadır.

Genel değerlendirme. Sonuçlar, dar alanlı fine-tune'un tipik dengesini göstermektedir: genel yeteneklerde belirgin kayıp, hedef alanda sınırlı kazanç. Her iki modelin de mutlak skorları düşüktür. Ancak bölüm 3 ve 4'teki deneyler, bunun yalnızca model boyutundan kaynaklanmadığını göstermektedir: dört kat büyük bir temel model açık uçlu testte düşük skor almış ve olmayan bir kanun maddesi uydurmuş; beş model üzerinde yapılan çoktan seçmeli ölçümde ise yalnızca bir model rastgele tahminin anlamlı biçimde üstüne çıkabilmiştir. Temel sorun, Türk icra ve iflas hukukunun genel amaçlı modellerin ön eğitim verisinde yeterince temsil edilmemesidir.

Bu çerçevede olası iyileştirme yönleri şunlardır: Türkçe metinlerle ön eğitilmiş bir temel model kullanmak; kanun metnini modele ezberletmek yerine bilgi getirme (RAG) yöntemiyle bağlam olarak sunmak; eğitim veri setini önemli ölçüde büyütmek; alan verisinin yanına genel amaçlı örnekler ekleyerek unutmayı azaltmak.

Metodolojik not. Ölçüm sırasında, benchmark'ın yalnızca ilk 14 sorusuyla yapılan kısmi bir karşılaştırma +14.64 puanlık bir fark göstermişti; 41 sorunun tamamı çalıştırıldığında bu fark +4.80'e gerilemiştir. Bu, küçük örneklemlerle yapılan değerlendirmelerin yanıltıcı olabileceğini göstermektedir.

Kullanım

Bu bir LoRA adaptörüdür; temel modelle birlikte yüklenmelidir.

from unsloth import FastModel

model, tokenizer = FastModel.from_pretrained(
    model_name = "Mustafa2735/REPO_ADI",
    max_seq_length = 2048,
    load_in_4bit = True,
)

from unsloth.chat_templates import get_chat_template
tokenizer = get_chat_template(tokenizer, chat_template = "gemma-3")

messages = [{"role": "user",
    "content": [{"type": "text", "text": "Sen kimsin?"}]}]
inputs = tokenizer.apply_chat_template(
    messages, add_generation_prompt = True, tokenize = True,
    return_tensors = "pt", return_dict = True,
)

from transformers import TextStreamer
_ = model.generate(
    **inputs.to("cuda"),
    max_new_tokens = 200,
    temperature = 0.3,
    top_p = 0.95, top_k = 64,
    streamer = TextStreamer(tokenizer, skip_prompt = True),
)

Sınırlamalar ve uyarı

Bu model eğitim ve deneysel amaçlıdır. Yukarıdaki benchmark sonuçlarında görüldüğü üzere, hem genel amaçlı görevlerde hem de alan içinde mutlak performansı düşüktür. Çıktıları eksik veya yetersiz olabilir.

Modelin verdiği yanıtlar hukuki tavsiye niteliği taşımaz. İcra ve iflas hukukuna ilişkin somut bir durumda mutlaka bir avukata danışılmalıdır. Model, gerçek bir avukatın veya hukuki danışmanlığın yerini tutmaz.

Lisans

Temel model Gemma lisansına tabidir; bu adaptörün kullanımı da Gemma Kullanım Şartları'na uygun olmalıdır.

Türkçe MMLU veri seti: Turkish MMLU (CC BY-NC 4.0, M. Ali Bayram).

Downloads last month: 69

Model tree for Mustafa2735/hukukai

Base model

google/gemma-3-1b-pt

Finetuned

google/gemma-3-1b-it

Finetuned

unsloth/gemma-3-1b-it

Adapter

(29)

this model