title: Tablo2SQL-TR Pilot Çalışma Raporu
subtitle: >-
Geliştirmede görülmemiş belge düzenleriyle stres testi · 12 Ekim 2026
(düzeltme sonrası sonuçlar eklendi)
lang: tr
cover: 'no'
Özet
Hakem incelemesi, gerçek belgelerle küçük bir pilot istemişti. Gerçek belgeler bulunana kadar, gerçek Türk kurum belgelerinin düzenini taklit eden üç kurgusal belge ve 44 soru hazırlandı. Belgeler, ana test kümesindeki altı belgeden bilerek farklı tasarlandı. Sistemin kodu pilottan önce donduruldu ve pilot tek seferde çalıştırıldı; sonuçlar görüldükten sonra yazılımda hiçbir ayar yapılmadı.
Sonuç: sistem yeni düzenlere iyi genellenmedi.
| Ölçüt | Ana test kümesi (TR-TabloSQL) | Pilot, dondurulmuş kod | Pilot, düzeltme sonrası |
|---|---|---|---|
| Genel doğruluk | %92,9 (92/99) | %25,0 (11/44) | %59,1 (26/44) |
| Cevaplanabilir sorularda doğruluk | %93,2 | %15,8 (6/38); tesadüfen doğru bir olgu çıkarılınca %13,2 | %57,9 (22/38); tesadüfi olgu çıkarılınca %55,3 |
| Cevapsız sorularda doğru red | %90,9 | %83,3 (5/6); redlerin bir kısmı yanlış gerekçeyle | %66,7 (4/6) |
| Cevaplanabilir soruda yanlış red | %0,0 | %39,5 (15/38) | %5,3 (2/38) |
Düzeltme sonrası sütun, aşağıda (Bölüm 8) açıklanan genel hata düzeltmelerinden sonra elde edildi. Düzeltmeler bu pilotun bulgularına dayandığı için bu sütun görülmemiş veride ölçülmüş bir skor değildir.
Başarısızlıkların 32'sinin 19'unda kök neden ya da katkıda bulunan neden tablo çıkarmadır. Kalanlar kural tabanlı üreticinin yeni ifadelerde yanlış sütun ya da işlem seçmesinden kaynaklanıyor. Pilot ayrıca yazılımda altı somut hata ortaya çıkardı. Bunlardan biri, iki belgedeki adsız tabloların aynı adı alması yüzünden bir tablonun sessizce silinmesine yol açan bir veri kaybı hatası.
Önemli sınırlama. Belgeler kurgusal ve aynı ekip tarafından hazırlandı. Bu nedenle pilot, hakemin istediği bağımsız gerçek belge pilotunun yerini tutmaz. Doğru tanımı "geliştirmede görülmemiş düzenlerle stres testi"dir. Gerçek belgeler geldiğinde aynı düzenek değiştirilmeden kullanılabilir (bkz. pilot/README.md).
1. Belgeler
| Belge | Biçim | Taklit edilen gerçek belge | Ana kümede olmayan zorluklar |
|---|---|---|---|
| Yeşilvadi Belediyesi 2025 Faaliyet Raporu | PDF, 3 sayfa, çizgili | 5018 sayılı Kanun kapsamındaki belediye faaliyet raporu | Ekonomik kod sütunu; "Ödenek" altında dört alt sütun; "-" ile gösterilen tanımsız oran; "(*)" dipnotlu satır adı; iki sayfaya bölünmüş, başlığı her sayfada tekrar eden 63 satırlık tablo |
| Kuzeyçınar Gıda A.Ş. 31.12.2025 Konsolide Finansal Tablolar | PDF, 2 sayfa, dikey çizgisiz | KAP'ta yayımlanan TFRS finansal tabloları | Dipnot sütunu; üç satırlı dönem başlığı ("Bağımsız Denetimden Geçmiş / Cari Dönem / 31.12.2025"); girintili kalemler; bölüm başlığı satırları; ara toplamlar; parantezli negatifler; 4 ondalıklı pay başına kazanç |
| Ardıçlı İli 2025 İstatistik Bülteni | HTML | İl müdürlüğü istatistik bülteni | Çeyrek (Ç1–Ç4) sütunları; "İl Toplamı" satırı; <tfoot> içinde kaynak notu; "Ocak 2025" biçimli ay satırları; negatif yüzde değişimler |
Her sayfada "KURGUSAL ÖRNEK BELGE" uyarısı bulunur; kurum, il ve ilçe adları uydurmadır.
Sorular. 44 soru hazırlandı: 38'i cevaplanabilir, 6'sı cevapsız. Zorluk dağılımı 6 kolay, 22 orta, 16 zor. Altın cevaplar soru metninden değil, belgeleri üreten ham verilerden programla hesaplandı. Ayrı bir denetimde 44 altın cevabın tamamı, belgeler pdftotext ile okunarak yeniden kontrol edildi; yanlış altın cevap bulunmadı.
2. Protokol
- Kod donduruldu. Pilot öncesinde
t2s/kodunun SHA-256 özetleripilot/kod_parmak_izi.txtdosyasına kaydedildi ve çalıştırma öncesinde değişmediği doğrulandı. - Arka uç kural tabanlı. Ana deneylerle aynı ayarlar kullanıldı: K = 3 ve Türkçe normalizasyon. Hibrit geri düşme kapalı.
- Değerlendirme cevap düzeyinde, altın SQL olmadan yapıldı. Kurallar
pilot/README.mddosyasında. Ölçütte yapılan tek değişiklik şu: ilk çalıştırmadan sonra, metin cevaplarda tarihlerin ISO karşılığıyla eşleşmesi kabul edildi ("Ekim 2025" = "2025-10"). Bunun nedeni, sistemin ayları ISO biçiminde saklaması. Bu düzeltme sistemi değil yalnızca puanlamayı değiştirdi ve bir sorunun sonucunu etkiledi. O soru da aşağıda "tesadüfen doğru" olarak işaretlendi.
3. Sonuçlar
3.1 Belgeye ve zorluğa göre
| Doğru / Toplam | Oran | |
|---|---|---|
| Faaliyet raporu (PDF) | 6 / 22 | %27,3 |
| Finansal tablolar (PDF) | 2 / 14 | %14,3; iki doğru da cevapsız sorulardır, cevaplanabilir 12 sorunun hiçbiri doğru değil |
| İstatistik bülteni (HTML) | 3 / 8 | %37,5 |
| Kolay / orta / zor | 2/6 · 7/22 · 2/16 | %33,3 · %31,8 · %12,5 |
Tesadüfen doğru. P42'de ("satışların en çok düştüğü ay") SQL, önceki yılın satışına göre sıralama yapıyor. Bu yanlış sıralama, rastlantı sonucu doğru ayı döndürdü.
Yanlış gerekçeyle doğru red. P35'te sistem şirket sorusunu belediye personel tablosuna bağlayıp "2025 verisi yok" gerekçesiyle reddetti. P36'da ise red, gelir tablosunun veritabanında hiç bulunmamasından kaynaklandı.
3.2 Tablo çıkarma
Değer geri çağırma şunu ölçer: belgedeki ham sayıların kaçının çıkarılan tablolarda bir sayı olarak bulunduğu.
| Belge | Yazılan tablo | Değer geri çağırma |
|---|---|---|
| Faaliyet raporu | 4 (çok sayfalı tablo ikiye bölündü) | %100 |
| Finansal tablolar | 1 (gelir tablosu kayboldu) | %64,7 (44/68) |
| İstatistik bülteni | 2 | %100 |
Sayıların değerleri doğru ayrıştırıldı. Sorun, tabloların yapısında ve meta verisinde: tablo adları, sütun adları, yıllar ve tabloların bölünmesi.
3.3 Başarısızlık nedenleri (32 cevaplanabilir yanlış)
| Kod | Neden | Olgu | Örnek |
|---|---|---|---|
| A | Kapsam denetimi yanlış reddi ("2025 verisi yok") | 11 (9'unda kök neden çıkarma) | Mahalle tablosunda "Nüfus (2025)" başlığındaki yıl silindiği için 2025 soruları reddedildi |
| B | Doğru tabloda yanlış sütun | 6 | "Toplam ödenek" yerine "bütçe ödeneği"; "üçüncü çeyrek" yerine Ç1 |
| D | Yanlış işlem ya da niyet | 8 | Değer yerine COUNT(*); NULL değerin sıralamada başa gelmesi; eksik filtre |
| E | Birim dönüşümü | 1 | TL'den milyon TL'ye çevrilmedi |
| F | Çıkarma hatası yüzünden cevap imkânsız | 6 | Gelir tablosu veritabanında yok; bölünmüş tabloda sayım eksik |
Çıkarma kök ya da katkı nedeni: 19/32.
4. Pilotun ortaya çıkardığı yazılım hataları
| # | Hata | Etki | Önem |
|---|---|---|---|
| 1 | Adsız tablolar aynı adı alıyor (sutun) ve sonraki belge öncekinin üzerine yazıyor |
Finansal belgedeki gelir tablosu sessizce silindi; ona ait 6 sorunun (P29–P34) cevabı imkânsız hâle geldi | Yüksek (veri kaybı) |
| 2 | Parantez içindeki yıl, birim sanılıp siliniyor: "Nüfus (2025)" → nufus_2 |
Yıl bilgisi kayboluyor, kapsam denetimi soruları reddediyor | Yüksek |
| 3 | Çok sayfalı tablo birleştirilmiyor; ikinci parça başlıksız ayrı bir tablo oluyor | Sayım ve sıralama soruları eksik veriyle yanıtlanıyor | Orta (bilinen sınırlılık) |
| 4 | Dikey çizgisiz finansal tablolarda: başlık yerine üstteki paragraf alınıyor; "Dipnot Referansları" iki sütuna bölünüyor; tarih satırı veri satırı oluyor; bölüm başlıkları NULL satırlar olarak saklanıyor | Sütunlarda dönem ve yıl bilgisi yok; yanlış sütun seçiliyor | Yüksek |
| 5 | HTML <tfoot> içindeki kaynak notu veri satırı olarak saklanıyor |
Listelerde fazladan satır çıkıyor | Düşük |
| 6 | Toplam satırı kalıbı "İl Toplamı", "BRÜT KAR" ve "DÖNEM KARI" gibi satırları tanımıyor | Toplamada çift sayım (P38'de iki kat sonuç) | Orta |
Ayrıca kapsam denetimi, yılı yalnızca tablo başlığında, sütun adlarında ve hücre değerlerinde arıyor. Belge metnindeki "2025 mali yılı" ifadesini görmediği için yıl içermeyen bütçe tablosuna yönelik 2025 sorularını reddediyor.
5. Yorum
- Ana kümedeki %92,9 genellenmiyor. Kural tabanlı üretici, geliştirme sırasında görülen ifade ve düzenlere bağımlı. Bu, hakemin "aşırı uyum" endişesini doğruluyor; makaledeki "geliştirme skoru iyimserdir" sınırlılığının boyutunu da gösteriyor.
- Çıkarma, başarısızlıkların çoğunun kaynağı. Sayılar doğru ayrıştırılıyor; Türkçe normalizasyon pilotta da sorunsuz çalıştı. Sorun tablo yapısında ve meta veride. Yukarıdaki 1, 2 ve 4 numaralı hataların giderilmesi, LLM'den bağımsız olarak büyük kazanç sağlayacaktır.
- LLM deneyi daha da önemli hâle geldi. B, D ve E türündeki 15 hata, sabit kalıplarla çalışan bir üreticinin sınırlarını gösteriyor. Bunlar bir LLM'nin çözmesi beklenen türden hatalar.
- Cevapsızlık davranışı da sınırlı. Doğru redlerin bir kısmı yanlış gerekçeye dayanıyor ve cevaplanabilir soruların %39,5'i reddedildi. Ana kümede yanlış red %0'dı.
6. Makale için öneri (uygulandı: makale v5, Bölüm 6.6)
Bu pilot dürüstçe raporlanırsa makaleyi güçlendirir. Önerilen biçim: Bölüm 7'ye ya da ek materyale kısa bir "Görülmemiş düzenlerle stres testi" paragrafı eklemek. Paragraf ana bulguyu (%93,2 → %15,8), başarısızlıkların çıkarmadan kaynaklandığını ve bunun gerçek belge pilotunun yerini tutmadığını açıkça belirtmeli. Yazılım hataları düzeltilip pilot yeniden çalıştırılırsa, iki sonuç "dondurulmuş kod" ve "düzeltme sonrası" olarak ayrı ayrı raporlanmalıdır.
8. Düzeltme sonrası
Pilotun bulduğu hatalar, pilot sorularına özgü hiçbir kural eklenmeden genel biçimde düzeltildi:
| Hata | Düzeltme |
|---|---|
| Adsız tabloların aynı adı alıp birbirinin üzerine yazılması | Başlığı okunamayan tablo belge ve sayfa adıyla adlandırılıyor; başka bir belgenin ya da aynı sayfadaki başka bir tablonun üzerine yazılmıyor, aynı tablo yeniden aktarılırsa kendi yerine yazılıyor |
| Parantezli yılın silinmesi | "Nüfus (2025)" → nufus_2025 |
| Bölünmüş tablolar | Ardışık sayfalarda aynı başlıkla süren ve kendine ait farklı başlığı olmayan parçalar birleştiriliyor (üç ve daha fazla sayfa dahil) |
| Çizgisiz finansal tablolar | "… Tablosu"/"Bilanço" satırı başlık olarak seçiliyor; başlık araması 6 satıra çıktı; yalnızca tarihlerden oluşan etiketsiz satır dönem başlığı sayılıyor, ondan sonraki "VARLIKLAR" gibi satırlar gövdede kalıyor; satır sonunda bölünmüş başlık sözcükleri soldaki sütunla birleşiyor; dipnot/kod sütunları ölçü sayılmıyor |
<tfoot> ve tablo altı notları |
Veri satırı olarak alınmıyor |
| "İl Toplamı" | "… Toplamı" kalıbı toplam satırı olarak işaretleniyor |
| Yıl içermeyen tablolar | Tablonun üstündeki metinde geçen yıllar ("2025 mali yılı") dönem olarak kaydediliyor; hiç yıl bilgisi olmayan tabloda yıl gerekçesiyle red verilmiyor |
| Tanımsız ("-") değerler | En yüksek/en düşük sıralamasına alınmıyor |
Sonuç: değer geri çağırma üç belgede de %100'e, doğruluk %59,1'e çıktı. Ana test kümesindeki bütün sonuçlar değişmedi; yalnızca Camelot-stream çıkarıcısının iki tablodaki hücre doğruluğu iyileşti (ortalama %60,7 → %96,7). Bu hatalar için 8 regresyon testi eklendi; toplam 50 testin hepsi geçiyor.
Gerileme: P10 ("2024 yılı personel gideri") daha önce doğru reddediliyordu. Mahalle tablosunda 2024 yılı artık görünür olduğu için bu soru o tablodan yanıtlanıyor.
Kalan hatalar: cevaplanabilir sorularda kalan 16 hatanın çoğu kural tabanlı üreticinin yeni ifadelerde yanlış sütun ya da işlem seçmesi: "üçüncü çeyrek" sorusunda Ç1 seçiliyor, "kadro sayısı" sorusunda değer yerine COUNT kullanılıyor, "milyon TL" dönüşümü yapılmıyor. Bunlar bilerek düzeltilmedi; düzeltilirlerse üretici pilot sorularına göre ayarlanmış olurdu. Bu tür hatalar LLM üreticiyle ölçülmelidir.
Dondurulmuş koddaki sonuçlar sonuclar/, düzeltme sonrası sonuçlar sonuclar_duzeltme/ klasöründe. Her iki kodun parmak izi kod_parmak_izi.txt ve kod_parmak_izi_duzeltme.txt dosyalarında.
9. Yeniden üretim
python pilot/belge_uret.py
python pilot/pilot_calistir.py # düzeltilmiş kodla
python pilot/pilot_calistir.py --cikti pilot/sonuclar_duzeltme # düzeltme sonrası çıktı klasörü
Sonuçlar pilot/sonuclar/pilot_sonuclari.json dosyasında. Her soru için SQL, dönen satırlar ve sistemin cevap metni kayıtlıdır.