candemirx commited on
Commit
d92cf3a
·
verified ·
1 Parent(s): ae943b1

slm-rd release

Browse files
Files changed (1) hide show
  1. README.md +184 -93
README.md CHANGED
@@ -4,125 +4,216 @@ license: cc-by-nc-4.0
4
  base_model: google/gemma-4-E4B-it
5
  library_name: peft
6
  pipeline_tag: text-generation
7
- tags: [slm-rd, text-to-sql, turkish, lora, distillation, small-language-model]
8
  model-index:
9
  - name: tr-risk-sql-gemma-e4b
10
  results:
11
- - task: {type: text-generation}
12
- dataset: {name: tr-risk-sql-gemma dev (synthetic, private), type: private}
13
  metrics:
14
- - {type: accuracy, name: 'dev, single answer (avg of 4 samples)', value: 0.797}
15
- - {type: accuracy, name: 'dev, with the vote loop', value: 0.888}
16
  ---
17
 
18
- # tr-risk-sql-gemma-e4b (LoRA adapter, run `rft2`)
 
 
19
 
20
  Can Demir · [eqlx.ai](https://eqlx.ai) · 2026-11
21
 
 
 
 
 
 
 
22
  ## Türkçe
23
 
24
- **Ne yapar.** Bir Türk bankasının risk yönetimi analisti, verilen bir risk veri ambarı (data mart) şeması hakkında Türkçe
25
- soru sorar. Model önce kısa bir çözüm planı, sonra Oracle ve PostgreSQL'e taşınabilir tek bir `SELECT` sorgusu yazar.
26
- Ayrı bir çağrıda sorgu sonucundan 1-3 cümlelik Türkçe özet ve kısa bir grafik tarifi (tür, x, y, başlık) üretir.
 
 
 
27
 
28
- **Temel model.** `google/gemma-4-E4B-it` (Apache 2.0) · **Bu adaptörün lisansı.** CC BY-NC 4.0: ticari kullanım yasaktır · **Biçim.** LoRA adaptörü (`adapter/`, 558 MB);
29
- birleştirilmiş model bu pakette yoktur.
30
 
31
- **Veri gerçek banka verisi değildir.** Bütün şemalar, satırlar ve sorular sentetiktir.
32
 
33
- ### Değerlendirme
34
 
35
- Puan: sorgu üç farklı sentetik veritabanında çalıştırılır, sonucu referans sonuçla aynıysa doğru sayılır.
 
 
 
36
 
37
- | Düzen | Dev (160 soru, 6 şema) | İkinci holdout (125 soru, hiç görülmemiş 5 şema) |
 
 
 
 
 
 
 
38
  |---|---|---|
39
- | Eğitimsiz Gemma 4 E4B | 0,573 | 0,560 |
40
- | Önceki koşu `run4`, tek cevap | 0,777 | 0,744 |
41
- | Önceki koşu `run4` + döngü | 0,881 | **0,868** (tabana göre +0,308, %95 aralık [0,216, 0,372]) |
42
- | **Bu model `rft2`, tek cevap** | **0,797** (`run4`'e göre +0,020, %95 aralık [0,003, 0,036]) | ölçülmedi |
43
- | **Bu model `rft2` + döngü** | **0,888** (`run4` + döngüye göre +0,006, aralık [-0,038, 0,041]: belirsiz) | ölçülmedi |
44
- | Bu model, tek kararlı cevap (sıcaklık 0) + 2 onarım | 0,863 (soru başına tek örnek, aralık yok) | ölçülmedi |
45
-
46
- - **Bu modelin holdout sayısı yoktur.** İkinci holdout açılırken karşılaştırılacak modeller sabitlendi; `rft2` sonradan
47
- eğitildi. Holdout'ta ölçülen sayılar `run4` içindir; `rft2`, `run4`'ün kendi doğrulanmış cevaplarıyla bir tur daha
48
- eğitilmiş halidir.
49
- - Aralıklar şema ailelerine göre yeniden örneklemeyle hesaplandı. Dev seti proje boyunca çok kullanıldı; küçük dev
50
- farkları gerçek kullanımda daha küçük çıkabilir.
51
- - İkinci holdout'u ve eğitim verisinin 248 satırını aynı model ailesi (Claude) yazdı; yazan ajanlar ve risk alanları
52
- ayrıydı, sızıntı taraması temizdi.
53
- - Genel yetenek (unutma) testi: 0,85. Bütün koşular `eval/SCOREBOARD.md` dosyasındadır. Holdout'lar yayınlanmaz.
54
-
55
- ### Nasıl çalıştırılır
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
56
 
57
  ```python
58
  from peft import PeftModel
59
  from transformers import AutoModelForCausalLM, AutoTokenizer
60
 
61
  base = AutoModelForCausalLM.from_pretrained("google/gemma-4-E4B-it", torch_dtype="auto", device_map="auto")
62
- model = PeftModel.from_pretrained(base, "adapter")
63
  tok = AutoTokenizer.from_pretrained("google/gemma-4-E4B-it")
64
  ```
65
 
66
- İstem (prompt) biçimi: sistem mesajı `code/system_sql.txt`; kullanıcı mesajı `### Şema` altında tablo tanımları (sütun
67
- açıklamalarıyla), `### Soru` altında Türkçe soru. Düşünme (thinking) kapalı kullanıldı.
68
-
69
- **Döngü (`code/infer_loop.py`).** Ölçülen en iyi düzen budur: model 5 aday sorgu yazar, her biri veritabanında
70
- çalıştırılır, hata veren aday hata mesajıyla en çok 2 kez düzeltilir, çalışan adaylar arasında en çok adayın verdiği
71
- sonuç seçilir (soru başına 5-7 çağrı). Ucuz düzen: sıcaklık 0'da tek aday + onarım (1-3 çağrı). Betik OpenAI uyumlu bir
72
- sunucuya (ör. vLLM) bağlanır ve bu projenin `eval/` klasöründeki doğrulayıcıyı kullanır; kendi veritabanınıza bağlamak
73
- için `check` fonksiyonunu kendi bağlantınızla değiştirin.
74
-
75
- ### Nasıl eğitildi
76
-
77
- Tek öğrenci, LoRA, sırayla: SFT (örneklerle eğitim) → SFT + büyük kardeş modelden (Gemma 4 31B) logit damıtma → RFT
78
- (modelin doğrulanmış kendi cevapları) → plan + 27 yeni şemayla ikinci SFT (`run4`) → ikinci RFT (`rft2`, bu model).
79
-
80
- - Öğretmenler (OpenRouter üzerinden): `deepseek/deepseek-v4.1-flash`, `xiaomi/mimo-v2.6-pro`, `z-ai/glm-5.3-flash`.
81
- Bir soru-SQL çifti ancak iki bağımsız model aynı sonucu üç veritabanında da verdiğinde eğitime alındı.
82
- - 6 şema ve 248 çift Claude alt ajanlarınca yazıldı. 200 satır `gretelai/synthetic_text_to_sql` setinden Türkçeye
83
- çevrildi.
84
- - Denenip sonuç vermeyenler: GRPO (11 adım, dev'de fark yok: tek cevap +0,005, döngü +0,013, ikisi de belirsiz).
85
- Ölçülmeyen: CPT (alan metniyle ön eğitim).
86
- - Toplam bulut ve API harcaması: 15,72 USD.
87
-
88
- ### Sınırlar
89
-
90
- - **Çalışan ama yanlış sonuç veren sorgu hâlâ en sık hata.** Döngüyle bile dev'de yaklaşık 9 sorudan 1'i yanlış. Sonuç
91
- bir analist tarafından kontrol edilmeden karar için kullanılmamalıdır.
92
- - Hiç doğru çözülemeyen dev sorularında görülen hata türleri: fazladan gruplama ya da eksik filtre, birleştirmede satır
93
- çoğalması, istenen sütunun yanlış ya da eksik olması ("yüzde" yerine oran), tarih aralığının yanlış okunması, işaret
94
- ve kod değeri kuralları. En zayıf alan likidite şemalarıydı.
95
- - Yalnız sentetik şemalarda ölçüldü; gerçek bir banka veri ambarında, çok büyük şemalarda (yüzlerce tablo) ve Oracle'a
96
- özgü fonksiyonlarda ölçüm yoktur. Sorgular DuckDB'de çalıştırıldı; Oracle ve PostgreSQL için yalnız sözdizimi çevirisi
97
- denetlendi.
98
- - Özet ve grafik tarifi yalnız verilen sonuç tablosundan üretilir; özet çağrısında sıcaklık 0 önerilir.
99
- - Tek soruluk kullanım içindir; çok adımlı sohbet ve veri değiştiren komutlar (`INSERT`, `UPDATE`, `DELETE`) kapsam
100
- dışıdır.
101
 
102
  ## English
103
 
104
- **What it does.** A risk analyst at a Turkish bank asks a question in Turkish about a given risk data-mart schema. The
105
- model writes a short plan and then one `SELECT` portable to Oracle and PostgreSQL; in a separate call it writes a 1-3
106
- sentence Turkish summary of the result and a short chart spec. All schemas, rows and questions are synthetic: no real
107
- bank data was used.
108
-
109
- **Base model.** `google/gemma-4-E4B-it` (Apache 2.0) · **Licence of this adapter.** CC BY-NC 4.0: no commercial use · **Form.** LoRA adapter (`adapter/`); no merged
110
- weights in this package.
111
-
112
- **Results.** The table above is the evidence. On dev (160 cases, 6 schema families) this adapter scores 0.797 with one
113
- answer and 0.888 with the execute-repair-vote loop in `code/infer_loop.py`; the untuned base scores 0.573. **This adapter
114
- has no holdout number:** the second holdout's arms were fixed before it was trained. The holdout result (0.560 base →
115
- 0.868 with the loop, CI95 of the gain [0.216, 0.372], five unseen schema families) belongs to the previous run `run4`,
116
- from which this adapter was trained for one more epoch on its own verified answers. Against `run4` on dev the
117
- single-answer gain is +0.020 (CI95 [0.003, 0.036]); with the loop the difference is inconclusive.
118
-
119
- **Training.** One student, LoRA: SFT, SFT with logit distillation from Gemma 4 31B, RFT, a second SFT with a plan before
120
- the SQL and 27 new schemas, a second RFT. Teachers through OpenRouter: DeepSeek V4.1 Flash, MiMo V2.6 Pro, GLM 5.3 Flash;
121
- a pair entered training only when two independent models returned the same result on three databases. GRPO was tried
122
- (11 steps) and showed no measurable change; CPT was not measured. Total cloud and API spend: 15.72 USD.
123
-
124
- **Limitations.** Queries that run but return a wrong result remain the main failure (about 1 in 9 dev questions even
125
- with the loop); results need an analyst's check. Measured on synthetic schemas only, executed on DuckDB, with Oracle and
126
- PostgreSQL covered by a transpile check, not execution. The holdout and 248 training rows were written by the same model
127
- family (separate agents and risk areas). Single-question use only; no multi-turn chat, no data-changing statements.
128
- The sealed holdouts are never published.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
4
  base_model: google/gemma-4-E4B-it
5
  library_name: peft
6
  pipeline_tag: text-generation
7
+ tags: [text-to-sql, turkish, banking, risk-management, lora, distillation, small-language-model, slm-rd]
8
  model-index:
9
  - name: tr-risk-sql-gemma-e4b
10
  results:
11
+ - task: {type: text-generation, name: Turkish text-to-SQL on bank risk data marts}
12
+ dataset: {name: tr-risk-sql (synthetic, execution-verified), type: private}
13
  metrics:
14
+ - {type: accuracy, name: 'execution accuracy, development set, with the verify-and-vote loop', value: 0.888}
15
+ - {type: accuracy, name: 'execution accuracy, development set, single answer', value: 0.797}
16
  ---
17
 
18
+ # tr-risk-sql-gemma-e4b
19
+
20
+ **Türkçe risk sorularını SQL'e çeviren küçük model · A small model that turns Turkish risk questions into SQL**
21
 
22
  Can Demir · [eqlx.ai](https://eqlx.ai) · 2026-11
23
 
24
+ > **16 dolarlık bir Ar-Ge çalışması:** tek GPU'ya sığan 8 milyar parametreli açık bir model, bankacılık risk yönetimi gibi
25
+ > uzmanlık isteyen bir işte büyük modellere yaklaştırıldı. Hiç görmediği veri ambarlarında doğruluk **%56'dan %87'ye**
26
+ > çıktı.
27
+
28
+ ---
29
+
30
  ## Türkçe
31
 
32
+ ### Neden bu çalışma
33
+
34
+ Bankacılık, sigorta ve sağlık gibi verisini kurum dışına çıkaramayan sektörlerde yaygın varsayım, uzmanlık isteyen işleri
35
+ yalnız en büyük modellerin yapabileceği ve bunları içeride çalıştırmak için büyük GPU yatırımı gerektiğidir. Bu çalışma
36
+ tersini gösteriyor: **dar ve iyi tanımlanmış bir uzmanlık işinde küçük bir model, doğru mühendislikle büyük modellere
37
+ yakınsatılabilir.** Büyük modele bir kez, öğretmen olarak ihtiyaç vardır; her gün çalışan model küçük olabilir.
38
 
39
+ ### Ne yapar
 
40
 
41
+ Bir risk yönetimi analisti, bankanın risk veri ambarı (data mart) hakkında Türkçe soru sorar:
42
 
43
+ > *"31.12.2025 itibarıyla 3. aşamadaki kredilerin toplam EAD'i ne kadar?"*
44
 
45
+ Model şemaya bakar, kısa bir çözüm planı yazar ve Oracle ile PostgreSQL'e taşınabilir tek bir `SELECT` sorgusu üretir.
46
+ Ayrı bir çağrıda sorgu sonucunu 1-3 cümleyle Türkçe özetler ve bir grafik tarifi (tür, eksenler, başlık) verir. Kapsadığı
47
+ alanlar: IFRS 9 beklenen kredi zararı, likidite (LKO, YKLV), teminat, piyasa riski (VaR, backtesting), operasyonel risk,
48
+ kredi portföyü, tahsili gecikmiş alacaklar, karşı taraf riski ve daha fazlası.
49
 
50
+ ### Sonuçlar
51
+
52
+ Ölçüt katıdır: modelin yazdığı sorgu **üç ayrı veritabanında çalıştırılır**; sonuç referans sonuçla birebir aynıysa doğru
53
+ sayılır. Metin benzerliği puan getirmez.
54
+
55
+ **Büyük modellere yakınsama** (aynı 160 soru, 6 risk veri ambarı):
56
+
57
+ | Model | Parametre | Doğruluk |
58
  |---|---|---|
59
+ | Sınır seviyesinde büyük model (öğretmen) | – | %99,4 |
60
+ | Gemma 4 31B (büyük kardeş) | 31 milyar | %93,1 |
61
+ | **Bu model + doğrula-ve-oyla döngüsü** | **8 milyar** | **%88,8** |
62
+ | Bu model, tek cevap | 8 milyar | %79,7 |
63
+ | Gemma 4 E4B, eğitimsiz (başlangıç) | 8 milyar | %57,3 |
64
+
65
+ Küçük model, kendinden 4 kat büyük kardeşiyle arasındaki farkın **%88'ini**, sınır modelle arasındaki farkın **%75'ini**
66
+ kapattı.
67
+
68
+ **Hiç görülmemiş veri ambarları** (mühürlü test seti: 125 soru, eğitimde yer almayan 5 risk alanı). Eğitim hattının
69
+ ikinci nesil modeli (v2) ve döngü ile, eğitimsiz modele karşı:
70
+
71
+ | | Eğitimsiz | Eğitilmiş + döngü |
72
+ |---|---|---|
73
+ | Genel doğruluk | %56,0 | **%86,8** |
74
+ | Düz sorularda SQL | %53,0 | %91,0 |
75
+ | Bankacılık jargonuyla sorularda SQL | %44,5 | %81,0 |
76
+ | Zor sorular | %35,6 | %74,5 |
77
+ | Türkçe özet | %71,2 | %80,8 |
78
+
79
+ Kazanç **+30,8 puan** (%95 güven aralığı +21,6 ile +37,2; şema ailelerine göre yeniden örnekleme). Çalışıp yanlış sayı
80
+ döndüren sorgu vakası 62'den 25'e indi. Bu depodaki model (v3), v2'nin üzerine bir tur öz-damıtma ile eğitildi: tek
81
+ cevap doğruluğu %77,7'den %79,7'ye çıktı (kanıtlı kazanç), genel yetenek testi %85,0 ile eğitimsiz modelin (%86,7)
82
+ seviyesinde korundu.
83
+
84
+ **Maliyet:** tamamı **15,72 USD** (kiralık tek GPU + öğretmen model çağrıları), yaklaşık 14 saat.
85
+
86
+ ### Nasıl yapıldı: aşama aşama
87
+
88
+ **1. Önce ölçüm.** Tek satır eğitimden önce doğrulayıcı yazılıp donduruldu. Her sorgu, farklı tohumlarla üretilmiş üç
89
+ veritabanında çalıştırılır; sonuçlar satır ve sütun sırasından bağımsız, hücre hücre karşılaştırılır. Her sorgu ayrıca
90
+ Oracle ve PostgreSQL sözdizimine çevrilerek taşınabilirliği denetlenir. Test setleri şema ailesi düzeyinde ayrıldı: test
91
+ edilen veri ambarlarının hiçbiri eğitimde yoktur. Gürültü payı ölçüldü (±3 puan) ve her karşılaştırma eşleştirilmiş güven
92
+ aralığıyla yapıldı.
93
+
94
+ **2. Sentetik risk dünyaları.** 53 eğitim ve 15 test veri ambarı üretildi: her biri 5-7 tablo, Türkçe sütun açıklamaları,
95
+ kodlu alanlar ve gerçek verinin tuzakları (boş değerler, sınır tarihleri, çocuğu olmayan kayıtlar, aynı varlığın birden çok
96
+ dönem görüntüsü). Hiçbir aşamada gerçek banka verisi kullanılmadı; yöntem, veri kurum dışına çıkmadan uygulanabilir.
97
+
98
+ **3. Çapraz doğrulanmış öğretmen verisi.** Bir büyük model her şema için soru ve SQL yazdı; ikinci, bağımsız bir model
99
+ aynı soruyu yalnız şemaya bakarak cevapladı. Çift, ancak iki sorgu üç veritabanında da aynı sonucu verdiyse eğitime
100
+ girdi. Sorular dört üslupta yazıldı (düz, bankacılık jargonu, gündelik, kısa not) ve yedi sorgu kalıbını kapsar (iç içe
101
+ CTE, pencere fonksiyonuyla sıralama, dönem karşılaştırma, çoklu birleştirme, ağırlıklı oran, anti-join, basit). Sonuç:
102
+ 2.236 doğrulanmış soru-SQL çifti, toplam 2.935 eğitim satırı.
103
+
104
+ **4. LoRA ile ince ayar (SFT).** Yalnız metin çözücünün izdüşüm katmanları eğitildi (rank 64, 139,5 milyon eğitilebilir
105
+ parametre); görüntü ve ses kuleleri dokunulmadan kaldı. → %72,2
106
+
107
+ **5. Büyük kardeşten logit damıtma.** Gemma 4 31B'nin her hedef belirteçteki (token) olasılık dağılımı ikinci hedef olarak
108
+ eklendi (0,5 çapraz entropi + 0,5 KL, ilk 64 belirteç + kalan kütle). Küçük model yalnız doğru cevabı değil, büyük modelin
109
+ seçenekler arasındaki tereddüdünü de öğrendi. → %75,2
110
+
111
+ **6. Öz-damıtma (RFT).** Model her eğitim sorusunu 8 kez cevapladı, cevaplar veritabanında çalıştırıldı ve
112
+ doğrulayıcıdan geçenlerle model yeniden eğitildi. Odak, modelin "bazen doğru bazen yanlış" yaptığı sorulardı. → %78,6
113
+
114
+ **7. Önce plan, sonra SQL.** Model, sorguyu yazmadan önce 3-7 maddelik Türkçe bir çözüm planı yazacak şekilde eğitildi
115
+ (hangi tablolar, hangi filtre, hangi ölçü). Planlar doğrulanmış sorgulardan türetildi.
116
+
117
+ **8. Yapısal çeşitlilik.** Üretici şablonun çıkaramadığı şema biçimleri (şube hiyerarşileri, yapılandırma geçmişi,
118
+ sendikasyon payları, çok para birimli pozisyonlar) ayrıca yazıldı ve aynı kör doğrulamadan geçirildi.
119
+
120
+ **9. Doğrula-ve-oyla döngüsü.** Çıkarımda model 5 aday sorgu yazar; her biri veritabanında çalıştırılır, hata veren aday
121
+ hata mesajıyla düzeltilir, çalışan adaylar arasında en çok adayın verdiği sonuç seçilir. Tek satır eğitim olmadan en büyük
122
+ tek kazancı bu adım verdi. → %86,6, ikinci nesil modelle %88,1
123
+
124
+ **10. İkinci öz-damıtma (bu sürüm).** Döngünün sağladığı tutarlılık modelin içine taşındı: tek cevap doğruluğu arttı,
125
+ sıcaklık 0'da tek aday ve onarımla %86,3'e ulaşıldı (soru başına 1-3 çağrı). → döngüyle **%88,8**
126
+
127
+ **11. Pekiştirmeli öğrenme araştırması.** Çalıştırma sonucunu ödül olarak kullanan GRPO, eğitim ve cevap üretiminin aynı
128
+ GPU'yu paylaştığı bir düzende çalıştırıldı. Bulgu: bu ölçekte, doğrulanmış cevaplarla öz-damıtma aynı fikri altıda bir
129
+ maliyetle ve kanıtlı kazançla veriyor.
130
+
131
+ ### Kullanım
132
 
133
  ```python
134
  from peft import PeftModel
135
  from transformers import AutoModelForCausalLM, AutoTokenizer
136
 
137
  base = AutoModelForCausalLM.from_pretrained("google/gemma-4-E4B-it", torch_dtype="auto", device_map="auto")
138
+ model = PeftModel.from_pretrained(base, "eqlx-ai/tr-risk-sql-gemma-e4b", subfolder="adapter")
139
  tok = AutoTokenizer.from_pretrained("google/gemma-4-E4B-it")
140
  ```
141
 
142
+ İstem biçimi: sistem mesajı `code/system_sql.txt`; kullanıcı mesajında `### Şema` altında tablo tanımları (sütun
143
+ açıklamalarıyla) ve `### Soru` altında Türkçe soru. Doğrula-ve-oyla döngüsü `code/infer_loop.py` dosyasındadır ve OpenAI
144
+ uyumlu herhangi bir sunucuyla (ör. vLLM) çalışır.
145
+
146
+ **Kapsam.** Bu sürüm bir araştırma çalışmasıdır ve sentetik veri ambarlarında geliştirilip ölçülmüştür. Analistin
147
+ yardımcısı olarak tasarlanmıştır: sorguyu ve sonucu analist görür ve onaylar. Lisans CC BY-NC 4.0'dır; ticari kullanım
148
+ için [eqlx.ai](https://eqlx.ai) ile iletişime geçin.
149
+
150
+ ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
151
 
152
  ## English
153
 
154
+ ### Why this work
155
+
156
+ In sectors that cannot send data outside the organisation (banking, insurance, healthcare), the common assumption is that
157
+ expert tasks need the largest models, and that running them in-house needs a large GPU investment. This work shows the
158
+ opposite: **on a narrow, well-defined expert task, a small model can be brought close to large ones with the right
159
+ engineering.** The large model is needed once, as a teacher; the model that runs every day can be small.
160
+
161
+ ### What it does
162
+
163
+ A risk analyst asks a question in Turkish about the bank's risk data mart. The model reads the schema, writes a short plan
164
+ and one `SELECT` portable to Oracle and PostgreSQL; a second call summarises the result in Turkish and proposes a chart.
165
+ Domains covered include IFRS 9 expected credit loss, liquidity (LCR, HQLA), collateral, market risk (VaR, backtesting),
166
+ operational risk, credit portfolio, non-performing loans and counterparty risk.
167
+
168
+ ### Results
169
+
170
+ A query counts as correct only when it is **executed on three databases** and returns exactly the reference result.
171
+
172
+ | Model (same 160 questions, 6 risk data marts) | Parameters | Accuracy |
173
+ |---|---|---|
174
+ | Frontier-class large model (teacher) | – | 99.4% |
175
+ | Gemma 4 31B (larger sibling) | 31B | 93.1% |
176
+ | **This model + verify-and-vote loop** | **8B** | **88.8%** |
177
+ | This model, single answer | 8B | 79.7% |
178
+ | Gemma 4 E4B, untuned (start) | 8B | 57.3% |
179
+
180
+ The small model closed **88%** of the gap to its 4x larger sibling and **75%** of the gap to the frontier model.
181
+
182
+ On a sealed test set of 125 questions over five risk domains absent from training, the second-generation model of this
183
+ pipeline (v2) with the loop went from **56.0% to 86.8%** against the untuned model: +30.8 points, 95% confidence interval
184
+ +21.6 to +37.2 (bootstrap over schema families). SQL accuracy rose from 53% to 91% on plain questions and from 44.5% to
185
+ 81% on banking-jargon questions; queries that ran but returned a wrong number fell from 62 cases to 25. The model in this
186
+ repository (v3) adds one round of self-distillation on top of v2: single-answer accuracy rose from 77.7% to 79.7% (a
187
+ confirmed gain) and general ability stayed at the untuned model's level (85.0% vs 86.7%).
188
+
189
+ **Total cost: 15.72 USD** (one rented GPU plus teacher API calls), about 14 hours.
190
+
191
+ ### How it was built
192
+
193
+ 1. **Measurement first.** A frozen execution verifier: every query runs on three seeded databases, results are compared
194
+ cell by cell regardless of row and column order, and each query is transpiled to Oracle and PostgreSQL. Test sets are
195
+ split by schema family; the noise floor (±3 points) and paired confidence intervals decide every comparison.
196
+ 2. **Synthetic risk worlds.** 53 training and 15 test data marts with Turkish column comments, coded fields and the traps
197
+ of real data. No real bank data at any stage.
198
+ 3. **Cross-verified teacher data.** One large model writes the question and SQL, a second independent model answers from
199
+ the schema alone; a pair is kept only when both return the same result on all three databases. Four question styles,
200
+ seven query patterns, 2,236 verified pairs, 2,935 training rows.
201
+ 4. **LoRA fine-tuning** of the text decoder only (rank 64, 139.5M trainable parameters). → 72.2%
202
+ 5. **Logit distillation** from Gemma 4 31B: the larger sibling's token distributions as a second target (0.5 CE + 0.5 KL,
203
+ top-64 plus remainder). → 75.2%
204
+ 6. **Self-distillation (RFT):** eight sampled answers per training question, executed, the verified ones trained on. → 78.6%
205
+ 7. **Plan before SQL:** a 3-7 line plan in Turkish precedes every query.
206
+ 8. **Structural diversity:** hand-designed schema shapes (hierarchies, restructuring history, syndication shares,
207
+ multi-currency positions) under the same blind verification.
208
+ 9. **Verify-and-vote loop at inference:** five candidates, executed, failures repaired from the error message, the result
209
+ most candidates agree on wins. The largest single gain, with no training. → 86.6%, 88.1% with the second generation
210
+ 10. **Second self-distillation (this release):** the loop's consistency moved into the weights; a single greedy answer with
211
+ repair reaches 86.3% in 1-3 calls. → **88.8%** with the loop
212
+ 11. **Reinforcement learning study:** GRPO with execution reward, training and rollouts sharing one GPU. Finding: at this
213
+ scale, self-distillation on verified answers delivers the same idea at a sixth of the cost with a confirmed gain.
214
+
215
+ ### Scope and licence
216
+
217
+ A research release, developed and measured on synthetic data marts, designed as an analyst's assistant: the analyst sees
218
+ and approves the query and its result. Base model `google/gemma-4-E4B-it` (Apache 2.0). This adapter: **CC BY-NC 4.0**;
219
+ for commercial use contact [eqlx.ai](https://eqlx.ai).