Text Generation
PEFT
Safetensors
Turkish
English
text-to-sql
turkish
banking
risk-management
lora
distillation
small-language-model
slm-rd
Eval Results (legacy)
Instructions to use eqlx-ai/tr-risk-sql-gemma-e4b with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- PEFT
How to use eqlx-ai/tr-risk-sql-gemma-e4b with PEFT:
from peft import PeftModel from transformers import AutoModelForCausalLM base_model = AutoModelForCausalLM.from_pretrained("google/gemma-4-E4B-it") model = PeftModel.from_pretrained(base_model, "eqlx-ai/tr-risk-sql-gemma-e4b") - Notebooks
- Google Colab
- Kaggle
slm-rd release
Browse files
README.md
CHANGED
|
@@ -4,125 +4,216 @@ license: cc-by-nc-4.0
|
|
| 4 |
base_model: google/gemma-4-E4B-it
|
| 5 |
library_name: peft
|
| 6 |
pipeline_tag: text-generation
|
| 7 |
-
tags: [
|
| 8 |
model-index:
|
| 9 |
- name: tr-risk-sql-gemma-e4b
|
| 10 |
results:
|
| 11 |
-
- task: {type: text-generation}
|
| 12 |
-
dataset: {name: tr-risk-sql
|
| 13 |
metrics:
|
| 14 |
-
- {type: accuracy, name: '
|
| 15 |
-
- {type: accuracy, name: '
|
| 16 |
---
|
| 17 |
|
| 18 |
-
# tr-risk-sql-gemma-e4b
|
|
|
|
|
|
|
| 19 |
|
| 20 |
Can Demir · [eqlx.ai](https://eqlx.ai) · 2026-11
|
| 21 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 22 |
## Türkçe
|
| 23 |
|
| 24 |
-
|
| 25 |
-
|
| 26 |
-
|
|
|
|
|
|
|
|
|
|
| 27 |
|
| 28 |
-
|
| 29 |
-
birleştirilmiş model bu pakette yoktur.
|
| 30 |
|
| 31 |
-
|
| 32 |
|
| 33 |
-
|
| 34 |
|
| 35 |
-
|
|
|
|
|
|
|
|
|
|
| 36 |
|
| 37 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 38 |
|---|---|---|
|
| 39 |
-
|
|
| 40 |
-
|
|
| 41 |
-
|
|
| 42 |
-
|
|
| 43 |
-
|
|
| 44 |
-
|
| 45 |
-
|
| 46 |
-
|
| 47 |
-
|
| 48 |
-
|
| 49 |
-
|
| 50 |
-
|
| 51 |
-
|
| 52 |
-
|
| 53 |
-
|
| 54 |
-
|
| 55 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 56 |
|
| 57 |
```python
|
| 58 |
from peft import PeftModel
|
| 59 |
from transformers import AutoModelForCausalLM, AutoTokenizer
|
| 60 |
|
| 61 |
base = AutoModelForCausalLM.from_pretrained("google/gemma-4-E4B-it", torch_dtype="auto", device_map="auto")
|
| 62 |
-
model = PeftModel.from_pretrained(base, "adapter")
|
| 63 |
tok = AutoTokenizer.from_pretrained("google/gemma-4-E4B-it")
|
| 64 |
```
|
| 65 |
|
| 66 |
-
İstem
|
| 67 |
-
açıklamalarıyla)
|
| 68 |
-
|
| 69 |
-
|
| 70 |
-
|
| 71 |
-
|
| 72 |
-
|
| 73 |
-
|
| 74 |
-
|
| 75 |
-
### Nasıl eğitildi
|
| 76 |
-
|
| 77 |
-
Tek öğrenci, LoRA, sırayla: SFT (örneklerle eğitim) → SFT + büyük kardeş modelden (Gemma 4 31B) logit damıtma → RFT
|
| 78 |
-
(modelin doğrulanmış kendi cevapları) → plan + 27 yeni şemayla ikinci SFT (`run4`) → ikinci RFT (`rft2`, bu model).
|
| 79 |
-
|
| 80 |
-
- Öğretmenler (OpenRouter üzerinden): `deepseek/deepseek-v4.1-flash`, `xiaomi/mimo-v2.6-pro`, `z-ai/glm-5.3-flash`.
|
| 81 |
-
Bir soru-SQL çifti ancak iki bağımsız model aynı sonucu üç veritabanında da verdiğinde eğitime alındı.
|
| 82 |
-
- 6 şema ve 248 çift Claude alt ajanlarınca yazıldı. 200 satır `gretelai/synthetic_text_to_sql` setinden Türkçeye
|
| 83 |
-
çevrildi.
|
| 84 |
-
- Denenip sonuç vermeyenler: GRPO (11 adım, dev'de fark yok: tek cevap +0,005, döngü +0,013, ikisi de belirsiz).
|
| 85 |
-
Ölçülmeyen: CPT (alan metniyle ön eğitim).
|
| 86 |
-
- Toplam bulut ve API harcaması: 15,72 USD.
|
| 87 |
-
|
| 88 |
-
### Sınırlar
|
| 89 |
-
|
| 90 |
-
- **Çalışan ama yanlış sonuç veren sorgu hâlâ en sık hata.** Döngüyle bile dev'de yaklaşık 9 sorudan 1'i yanlış. Sonuç
|
| 91 |
-
bir analist tarafından kontrol edilmeden karar için kullanılmamalıdır.
|
| 92 |
-
- Hiç doğru çözülemeyen dev sorularında görülen hata türleri: fazladan gruplama ya da eksik filtre, birleştirmede satır
|
| 93 |
-
çoğalması, istenen sütunun yanlış ya da eksik olması ("yüzde" yerine oran), tarih aralığının yanlış okunması, işaret
|
| 94 |
-
ve kod değeri kuralları. En zayıf alan likidite şemalarıydı.
|
| 95 |
-
- Yalnız sentetik şemalarda ölçüldü; gerçek bir banka veri ambarında, çok büyük şemalarda (yüzlerce tablo) ve Oracle'a
|
| 96 |
-
özgü fonksiyonlarda ölçüm yoktur. Sorgular DuckDB'de çalıştırıldı; Oracle ve PostgreSQL için yalnız sözdizimi çevirisi
|
| 97 |
-
denetlendi.
|
| 98 |
-
- Özet ve grafik tarifi yalnız verilen sonuç tablosundan üretilir; özet çağrısında sıcaklık 0 önerilir.
|
| 99 |
-
- Tek soruluk kullanım içindir; çok adımlı sohbet ve veri değiştiren komutlar (`INSERT`, `UPDATE`, `DELETE`) kapsam
|
| 100 |
-
dışıdır.
|
| 101 |
|
| 102 |
## English
|
| 103 |
|
| 104 |
-
|
| 105 |
-
|
| 106 |
-
|
| 107 |
-
|
| 108 |
-
|
| 109 |
-
|
| 110 |
-
|
| 111 |
-
|
| 112 |
-
|
| 113 |
-
|
| 114 |
-
|
| 115 |
-
|
| 116 |
-
|
| 117 |
-
|
| 118 |
-
|
| 119 |
-
|
| 120 |
-
|
| 121 |
-
|
| 122 |
-
|
| 123 |
-
|
| 124 |
-
|
| 125 |
-
|
| 126 |
-
|
| 127 |
-
|
| 128 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 4 |
base_model: google/gemma-4-E4B-it
|
| 5 |
library_name: peft
|
| 6 |
pipeline_tag: text-generation
|
| 7 |
+
tags: [text-to-sql, turkish, banking, risk-management, lora, distillation, small-language-model, slm-rd]
|
| 8 |
model-index:
|
| 9 |
- name: tr-risk-sql-gemma-e4b
|
| 10 |
results:
|
| 11 |
+
- task: {type: text-generation, name: Turkish text-to-SQL on bank risk data marts}
|
| 12 |
+
dataset: {name: tr-risk-sql (synthetic, execution-verified), type: private}
|
| 13 |
metrics:
|
| 14 |
+
- {type: accuracy, name: 'execution accuracy, development set, with the verify-and-vote loop', value: 0.888}
|
| 15 |
+
- {type: accuracy, name: 'execution accuracy, development set, single answer', value: 0.797}
|
| 16 |
---
|
| 17 |
|
| 18 |
+
# tr-risk-sql-gemma-e4b
|
| 19 |
+
|
| 20 |
+
**Türkçe risk sorularını SQL'e çeviren küçük model · A small model that turns Turkish risk questions into SQL**
|
| 21 |
|
| 22 |
Can Demir · [eqlx.ai](https://eqlx.ai) · 2026-11
|
| 23 |
|
| 24 |
+
> **16 dolarlık bir Ar-Ge çalışması:** tek GPU'ya sığan 8 milyar parametreli açık bir model, bankacılık risk yönetimi gibi
|
| 25 |
+
> uzmanlık isteyen bir işte büyük modellere yaklaştırıldı. Hiç görmediği veri ambarlarında doğruluk **%56'dan %87'ye**
|
| 26 |
+
> çıktı.
|
| 27 |
+
|
| 28 |
+
---
|
| 29 |
+
|
| 30 |
## Türkçe
|
| 31 |
|
| 32 |
+
### Neden bu çalışma
|
| 33 |
+
|
| 34 |
+
Bankacılık, sigorta ve sağlık gibi verisini kurum dışına çıkaramayan sektörlerde yaygın varsayım, uzmanlık isteyen işleri
|
| 35 |
+
yalnız en büyük modellerin yapabileceği ve bunları içeride çalıştırmak için büyük GPU yatırımı gerektiğidir. Bu çalışma
|
| 36 |
+
tersini gösteriyor: **dar ve iyi tanımlanmış bir uzmanlık işinde küçük bir model, doğru mühendislikle büyük modellere
|
| 37 |
+
yakınsatılabilir.** Büyük modele bir kez, öğretmen olarak ihtiyaç vardır; her gün çalışan model küçük olabilir.
|
| 38 |
|
| 39 |
+
### Ne yapar
|
|
|
|
| 40 |
|
| 41 |
+
Bir risk yönetimi analisti, bankanın risk veri ambarı (data mart) hakkında Türkçe soru sorar:
|
| 42 |
|
| 43 |
+
> *"31.12.2025 itibarıyla 3. aşamadaki kredilerin toplam EAD'i ne kadar?"*
|
| 44 |
|
| 45 |
+
Model şemaya bakar, kısa bir çözüm planı yazar ve Oracle ile PostgreSQL'e taşınabilir tek bir `SELECT` sorgusu üretir.
|
| 46 |
+
Ayrı bir çağrıda sorgu sonucunu 1-3 cümleyle Türkçe özetler ve bir grafik tarifi (tür, eksenler, başlık) verir. Kapsadığı
|
| 47 |
+
alanlar: IFRS 9 beklenen kredi zararı, likidite (LKO, YKLV), teminat, piyasa riski (VaR, backtesting), operasyonel risk,
|
| 48 |
+
kredi portföyü, tahsili gecikmiş alacaklar, karşı taraf riski ve daha fazlası.
|
| 49 |
|
| 50 |
+
### Sonuçlar
|
| 51 |
+
|
| 52 |
+
Ölçüt katıdır: modelin yazdığı sorgu **üç ayrı veritabanında çalıştırılır**; sonuç referans sonuçla birebir aynıysa doğru
|
| 53 |
+
sayılır. Metin benzerliği puan getirmez.
|
| 54 |
+
|
| 55 |
+
**Büyük modellere yakınsama** (aynı 160 soru, 6 risk veri ambarı):
|
| 56 |
+
|
| 57 |
+
| Model | Parametre | Doğruluk |
|
| 58 |
|---|---|---|
|
| 59 |
+
| Sınır seviyesinde büyük model (öğretmen) | – | %99,4 |
|
| 60 |
+
| Gemma 4 31B (büyük kardeş) | 31 milyar | %93,1 |
|
| 61 |
+
| **Bu model + doğrula-ve-oyla döngüsü** | **8 milyar** | **%88,8** |
|
| 62 |
+
| Bu model, tek cevap | 8 milyar | %79,7 |
|
| 63 |
+
| Gemma 4 E4B, eğitimsiz (başlangıç) | 8 milyar | %57,3 |
|
| 64 |
+
|
| 65 |
+
Küçük model, kendinden 4 kat büyük kardeşiyle arasındaki farkın **%88'ini**, sınır modelle arasındaki farkın **%75'ini**
|
| 66 |
+
kapattı.
|
| 67 |
+
|
| 68 |
+
**Hiç görülmemiş veri ambarları** (mühürlü test seti: 125 soru, eğitimde yer almayan 5 risk alanı). Eğitim hattının
|
| 69 |
+
ikinci nesil modeli (v2) ve döngü ile, eğitimsiz modele karşı:
|
| 70 |
+
|
| 71 |
+
| | Eğitimsiz | Eğitilmiş + döngü |
|
| 72 |
+
|---|---|---|
|
| 73 |
+
| Genel doğruluk | %56,0 | **%86,8** |
|
| 74 |
+
| Düz sorularda SQL | %53,0 | %91,0 |
|
| 75 |
+
| Bankacılık jargonuyla sorularda SQL | %44,5 | %81,0 |
|
| 76 |
+
| Zor sorular | %35,6 | %74,5 |
|
| 77 |
+
| Türkçe özet | %71,2 | %80,8 |
|
| 78 |
+
|
| 79 |
+
Kazanç **+30,8 puan** (%95 güven aralığı +21,6 ile +37,2; şema ailelerine göre yeniden örnekleme). Çalışıp yanlış sayı
|
| 80 |
+
döndüren sorgu vakası 62'den 25'e indi. Bu depodaki model (v3), v2'nin üzerine bir tur öz-damıtma ile eğitildi: tek
|
| 81 |
+
cevap doğruluğu %77,7'den %79,7'ye çıktı (kanıtlı kazanç), genel yetenek testi %85,0 ile eğitimsiz modelin (%86,7)
|
| 82 |
+
seviyesinde korundu.
|
| 83 |
+
|
| 84 |
+
**Maliyet:** tamamı **15,72 USD** (kiralık tek GPU + öğretmen model çağrıları), yaklaşık 14 saat.
|
| 85 |
+
|
| 86 |
+
### Nasıl yapıldı: aşama aşama
|
| 87 |
+
|
| 88 |
+
**1. Önce ölçüm.** Tek satır eğitimden önce doğrulayıcı yazılıp donduruldu. Her sorgu, farklı tohumlarla üretilmiş üç
|
| 89 |
+
veritabanında çalıştırılır; sonuçlar satır ve sütun sırasından bağımsız, hücre hücre karşılaştırılır. Her sorgu ayrıca
|
| 90 |
+
Oracle ve PostgreSQL sözdizimine çevrilerek taşınabilirliği denetlenir. Test setleri şema ailesi düzeyinde ayrıldı: test
|
| 91 |
+
edilen veri ambarlarının hiçbiri eğitimde yoktur. Gürültü payı ölçüldü (±3 puan) ve her karşılaştırma eşleştirilmiş güven
|
| 92 |
+
aralığıyla yapıldı.
|
| 93 |
+
|
| 94 |
+
**2. Sentetik risk dünyaları.** 53 eğitim ve 15 test veri ambarı üretildi: her biri 5-7 tablo, Türkçe sütun açıklamaları,
|
| 95 |
+
kodlu alanlar ve gerçek verinin tuzakları (boş değerler, sınır tarihleri, çocuğu olmayan kayıtlar, aynı varlığın birden çok
|
| 96 |
+
dönem görüntüsü). Hiçbir aşamada gerçek banka verisi kullanılmadı; yöntem, veri kurum dışına çıkmadan uygulanabilir.
|
| 97 |
+
|
| 98 |
+
**3. Çapraz doğrulanmış öğretmen verisi.** Bir büyük model her şema için soru ve SQL yazdı; ikinci, bağımsız bir model
|
| 99 |
+
aynı soruyu yalnız şemaya bakarak cevapladı. Çift, ancak iki sorgu üç veritabanında da aynı sonucu verdiyse eğitime
|
| 100 |
+
girdi. Sorular dört üslupta yazıldı (düz, bankacılık jargonu, gündelik, kısa not) ve yedi sorgu kalıbını kapsar (iç içe
|
| 101 |
+
CTE, pencere fonksiyonuyla sıralama, dönem karşılaştırma, çoklu birleştirme, ağırlıklı oran, anti-join, basit). Sonuç:
|
| 102 |
+
2.236 doğrulanmış soru-SQL çifti, toplam 2.935 eğitim satırı.
|
| 103 |
+
|
| 104 |
+
**4. LoRA ile ince ayar (SFT).** Yalnız metin çözücünün izdüşüm katmanları eğitildi (rank 64, 139,5 milyon eğitilebilir
|
| 105 |
+
parametre); görüntü ve ses kuleleri dokunulmadan kaldı. → %72,2
|
| 106 |
+
|
| 107 |
+
**5. Büyük kardeşten logit damıtma.** Gemma 4 31B'nin her hedef belirteçteki (token) olasılık dağılımı ikinci hedef olarak
|
| 108 |
+
eklendi (0,5 çapraz entropi + 0,5 KL, ilk 64 belirteç + kalan kütle). Küçük model yalnız doğru cevabı değil, büyük modelin
|
| 109 |
+
seçenekler arasındaki tereddüdünü de öğrendi. → %75,2
|
| 110 |
+
|
| 111 |
+
**6. Öz-damıtma (RFT).** Model her eğitim sorusunu 8 kez cevapladı, cevaplar veritabanında çalıştırıldı ve
|
| 112 |
+
doğrulayıcıdan geçenlerle model yeniden eğitildi. Odak, modelin "bazen doğru bazen yanlış" yaptığı sorulardı. → %78,6
|
| 113 |
+
|
| 114 |
+
**7. Önce plan, sonra SQL.** Model, sorguyu yazmadan önce 3-7 maddelik Türkçe bir çözüm planı yazacak şekilde eğitildi
|
| 115 |
+
(hangi tablolar, hangi filtre, hangi ölçü). Planlar doğrulanmış sorgulardan türetildi.
|
| 116 |
+
|
| 117 |
+
**8. Yapısal çeşitlilik.** Üretici şablonun çıkaramadığı şema biçimleri (şube hiyerarşileri, yapılandırma geçmişi,
|
| 118 |
+
sendikasyon payları, çok para birimli pozisyonlar) ayrıca yazıldı ve aynı kör doğrulamadan geçirildi.
|
| 119 |
+
|
| 120 |
+
**9. Doğrula-ve-oyla döngüsü.** Çıkarımda model 5 aday sorgu yazar; her biri veritabanında çalıştırılır, hata veren aday
|
| 121 |
+
hata mesajıyla düzeltilir, çalışan adaylar arasında en çok adayın verdiği sonuç seçilir. Tek satır eğitim olmadan en büyük
|
| 122 |
+
tek kazancı bu adım verdi. → %86,6, ikinci nesil modelle %88,1
|
| 123 |
+
|
| 124 |
+
**10. İkinci öz-damıtma (bu sürüm).** Döngünün sağladığı tutarlılık modelin içine taşındı: tek cevap doğruluğu arttı,
|
| 125 |
+
sıcaklık 0'da tek aday ve onarımla %86,3'e ulaşıldı (soru başına 1-3 çağrı). → döngüyle **%88,8**
|
| 126 |
+
|
| 127 |
+
**11. Pekiştirmeli öğrenme araştırması.** Çalıştırma sonucunu ödül olarak kullanan GRPO, eğitim ve cevap üretiminin aynı
|
| 128 |
+
GPU'yu paylaştığı bir düzende çalıştırıldı. Bulgu: bu ölçekte, doğrulanmış cevaplarla öz-damıtma aynı fikri altıda bir
|
| 129 |
+
maliyetle ve kanıtlı kazançla veriyor.
|
| 130 |
+
|
| 131 |
+
### Kullanım
|
| 132 |
|
| 133 |
```python
|
| 134 |
from peft import PeftModel
|
| 135 |
from transformers import AutoModelForCausalLM, AutoTokenizer
|
| 136 |
|
| 137 |
base = AutoModelForCausalLM.from_pretrained("google/gemma-4-E4B-it", torch_dtype="auto", device_map="auto")
|
| 138 |
+
model = PeftModel.from_pretrained(base, "eqlx-ai/tr-risk-sql-gemma-e4b", subfolder="adapter")
|
| 139 |
tok = AutoTokenizer.from_pretrained("google/gemma-4-E4B-it")
|
| 140 |
```
|
| 141 |
|
| 142 |
+
İstem biçimi: sistem mesajı `code/system_sql.txt`; kullanıcı mesajında `### Şema` altında tablo tanımları (sütun
|
| 143 |
+
açıklamalarıyla) ve `### Soru` altında Türkçe soru. Doğrula-ve-oyla döngüsü `code/infer_loop.py` dosyasındadır ve OpenAI
|
| 144 |
+
uyumlu herhangi bir sunucuyla (ör. vLLM) çalışır.
|
| 145 |
+
|
| 146 |
+
**Kapsam.** Bu sürüm bir araştırma çalışmasıdır ve sentetik veri ambarlarında geliştirilip ölçülmüştür. Analistin
|
| 147 |
+
yardımcısı olarak tasarlanmıştır: sorguyu ve sonucu analist görür ve onaylar. Lisans CC BY-NC 4.0'dır; ticari kullanım
|
| 148 |
+
için [eqlx.ai](https://eqlx.ai) ile iletişime geçin.
|
| 149 |
+
|
| 150 |
+
---
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 151 |
|
| 152 |
## English
|
| 153 |
|
| 154 |
+
### Why this work
|
| 155 |
+
|
| 156 |
+
In sectors that cannot send data outside the organisation (banking, insurance, healthcare), the common assumption is that
|
| 157 |
+
expert tasks need the largest models, and that running them in-house needs a large GPU investment. This work shows the
|
| 158 |
+
opposite: **on a narrow, well-defined expert task, a small model can be brought close to large ones with the right
|
| 159 |
+
engineering.** The large model is needed once, as a teacher; the model that runs every day can be small.
|
| 160 |
+
|
| 161 |
+
### What it does
|
| 162 |
+
|
| 163 |
+
A risk analyst asks a question in Turkish about the bank's risk data mart. The model reads the schema, writes a short plan
|
| 164 |
+
and one `SELECT` portable to Oracle and PostgreSQL; a second call summarises the result in Turkish and proposes a chart.
|
| 165 |
+
Domains covered include IFRS 9 expected credit loss, liquidity (LCR, HQLA), collateral, market risk (VaR, backtesting),
|
| 166 |
+
operational risk, credit portfolio, non-performing loans and counterparty risk.
|
| 167 |
+
|
| 168 |
+
### Results
|
| 169 |
+
|
| 170 |
+
A query counts as correct only when it is **executed on three databases** and returns exactly the reference result.
|
| 171 |
+
|
| 172 |
+
| Model (same 160 questions, 6 risk data marts) | Parameters | Accuracy |
|
| 173 |
+
|---|---|---|
|
| 174 |
+
| Frontier-class large model (teacher) | – | 99.4% |
|
| 175 |
+
| Gemma 4 31B (larger sibling) | 31B | 93.1% |
|
| 176 |
+
| **This model + verify-and-vote loop** | **8B** | **88.8%** |
|
| 177 |
+
| This model, single answer | 8B | 79.7% |
|
| 178 |
+
| Gemma 4 E4B, untuned (start) | 8B | 57.3% |
|
| 179 |
+
|
| 180 |
+
The small model closed **88%** of the gap to its 4x larger sibling and **75%** of the gap to the frontier model.
|
| 181 |
+
|
| 182 |
+
On a sealed test set of 125 questions over five risk domains absent from training, the second-generation model of this
|
| 183 |
+
pipeline (v2) with the loop went from **56.0% to 86.8%** against the untuned model: +30.8 points, 95% confidence interval
|
| 184 |
+
+21.6 to +37.2 (bootstrap over schema families). SQL accuracy rose from 53% to 91% on plain questions and from 44.5% to
|
| 185 |
+
81% on banking-jargon questions; queries that ran but returned a wrong number fell from 62 cases to 25. The model in this
|
| 186 |
+
repository (v3) adds one round of self-distillation on top of v2: single-answer accuracy rose from 77.7% to 79.7% (a
|
| 187 |
+
confirmed gain) and general ability stayed at the untuned model's level (85.0% vs 86.7%).
|
| 188 |
+
|
| 189 |
+
**Total cost: 15.72 USD** (one rented GPU plus teacher API calls), about 14 hours.
|
| 190 |
+
|
| 191 |
+
### How it was built
|
| 192 |
+
|
| 193 |
+
1. **Measurement first.** A frozen execution verifier: every query runs on three seeded databases, results are compared
|
| 194 |
+
cell by cell regardless of row and column order, and each query is transpiled to Oracle and PostgreSQL. Test sets are
|
| 195 |
+
split by schema family; the noise floor (±3 points) and paired confidence intervals decide every comparison.
|
| 196 |
+
2. **Synthetic risk worlds.** 53 training and 15 test data marts with Turkish column comments, coded fields and the traps
|
| 197 |
+
of real data. No real bank data at any stage.
|
| 198 |
+
3. **Cross-verified teacher data.** One large model writes the question and SQL, a second independent model answers from
|
| 199 |
+
the schema alone; a pair is kept only when both return the same result on all three databases. Four question styles,
|
| 200 |
+
seven query patterns, 2,236 verified pairs, 2,935 training rows.
|
| 201 |
+
4. **LoRA fine-tuning** of the text decoder only (rank 64, 139.5M trainable parameters). → 72.2%
|
| 202 |
+
5. **Logit distillation** from Gemma 4 31B: the larger sibling's token distributions as a second target (0.5 CE + 0.5 KL,
|
| 203 |
+
top-64 plus remainder). → 75.2%
|
| 204 |
+
6. **Self-distillation (RFT):** eight sampled answers per training question, executed, the verified ones trained on. → 78.6%
|
| 205 |
+
7. **Plan before SQL:** a 3-7 line plan in Turkish precedes every query.
|
| 206 |
+
8. **Structural diversity:** hand-designed schema shapes (hierarchies, restructuring history, syndication shares,
|
| 207 |
+
multi-currency positions) under the same blind verification.
|
| 208 |
+
9. **Verify-and-vote loop at inference:** five candidates, executed, failures repaired from the error message, the result
|
| 209 |
+
most candidates agree on wins. The largest single gain, with no training. → 86.6%, 88.1% with the second generation
|
| 210 |
+
10. **Second self-distillation (this release):** the loop's consistency moved into the weights; a single greedy answer with
|
| 211 |
+
repair reaches 86.3% in 1-3 calls. → **88.8%** with the loop
|
| 212 |
+
11. **Reinforcement learning study:** GRPO with execution reward, training and rollouts sharing one GPU. Finding: at this
|
| 213 |
+
scale, self-distillation on verified answers delivers the same idea at a sixth of the cost with a confirmed gain.
|
| 214 |
+
|
| 215 |
+
### Scope and licence
|
| 216 |
+
|
| 217 |
+
A research release, developed and measured on synthetic data marts, designed as an analyst's assistant: the analyst sees
|
| 218 |
+
and approves the query and its result. Base model `google/gemma-4-E4B-it` (Apache 2.0). This adapter: **CC BY-NC 4.0**;
|
| 219 |
+
for commercial use contact [eqlx.ai](https://eqlx.ai).
|