| """Türkçe tablo-soru test kümesini (TR-TabloSQL) üretir ve altın SQL'leri doğrular. |
| |
| Soru tipleri Spider (seçim, filtre, toplama, gruplama, sıralama, iç içe sorgu, çoklu tablo) |
| ve BIRD (dış bilgi/kanıt gerektiren sorular, değer eşleme, birim dönüştürme) kümelerinden |
| uyarlanmış; Türkiye'ye özgü zorluklar eklenmiştir: |
| tr_sayi : '1.234,56' biçimli sayılar (belgede veya soruda) |
| birim : 'bin TL', 'bin MWh' gibi ölçekli birimler ve dönüşüm |
| tarih : 'Ocak 2024', '15.03.2025' gibi Türkçe tarih yazımları |
| deger_esleme : İ/ı, büyük/küçük harf, ek almış özel adlar (İzmir'in, ISPARTA) |
| toplam_satiri: belgede hazır 'Toplam' satırı olan tablolarda çift sayım tuzağı |
| cevapsiz : tablolarda cevabı olmayan sorular (sistem bunu açıkça söylemeli) |
| altin_sql = None olan sorular cevapsızdır. |
| |
| Çalıştırma: python benchmark/build_benchmark.py |
| """ |
| from __future__ import annotations |
|
|
| import json |
| import sys |
| from pathlib import Path |
|
|
| ROOT = Path(__file__).resolve().parent.parent |
| sys.path.insert(0, str(ROOT)) |
|
|
| A = "gider_turlerine_butce_gerceklesme" |
| B = "yillara_personel_sayisi" |
| C = "tuketici_fiyat_endeksi_degisim" |
| D = "illere_elektrik_tuketimi" |
| E = "ozet_gelir_tablosu" |
| F = "belediye_hizmet_ucret_tarifesi" |
| G = "mahallelere_su_abone_sayisi" |
|
|
| |
| Q = [ |
| |
| ("2024 yılında personel giderleri için ne kadar harcama gerçekleşti?", |
| f"SELECT gerceklesme_2024 FROM {A} WHERE TR_NORM(gider_turu)=TR_NORM('Personel Giderleri')", |
| "kolay", ["secim", "tr_sayi", "deger_esleme"], None, "Spider: tek tablo seçim"), |
| ("Sermaye giderlerinin 2023 bütçesi kaç TL'dir?", |
| f"SELECT butce_2023 FROM {A} WHERE gider_turu='Sermaye Giderleri'", |
| "kolay", ["secim", "deger_esleme", "tr_sayi"], None, "Spider: tek tablo seçim"), |
| ("2024 bütçesinde en fazla ödenek ayrılan gider türü hangisidir?", |
| f"SELECT gider_turu FROM {A} WHERE toplam_satiri=0 ORDER BY butce_2024 DESC LIMIT 1", |
| "orta", ["siralama", "toplam_satiri"], None, "Spider: ORDER BY ... LIMIT"), |
| ("2024 yılında tüm gider türlerinin toplam gerçekleşmesi ne kadardır?", |
| f"SELECT SUM(gerceklesme_2024) FROM {A} WHERE toplam_satiri=0", |
| "orta", ["toplama", "toplam_satiri", "tr_sayi"], None, "Spider: SUM"), |
| ("Gerçekleşme oranı yüzde 90'ın altında kalan gider türleri hangileridir?", |
| f"SELECT gider_turu FROM {A} WHERE gerceklesme_orani_2024 < 90 AND toplam_satiri=0", |
| "orta", ["filtre", "yuzde"], None, "Spider: WHERE karşılaştırma"), |
| ("Faiz giderlerinin bütçesi 2023'ten 2024'e yüzde kaç arttı?", |
| f"SELECT (butce_2024-butce_2023)*100.0/butce_2023 FROM {A} WHERE gider_turu='Faiz Giderleri'", |
| "orta", ["artis_yuzdesi", "sayisal"], "Artış yüzdesi = (yeni - eski) / eski × 100", |
| "BIRD: formül kanıtı"), |
| ("2023 yılında gider türü başına ortalama bütçe nedir?", |
| f"SELECT AVG(butce_2023) FROM {A} WHERE toplam_satiri=0", |
| "orta", ["toplama", "toplam_satiri"], None, "Spider: AVG"), |
| ("Kaç gider türünün 2024 gerçekleşmesi bütçesini aştı?", |
| f"SELECT COUNT(*) FROM {A} WHERE gerceklesme_2024 > butce_2024 AND toplam_satiri=0", |
| "orta", ["sayim", "karsilastirma", "toplam_satiri"], None, "Spider: COUNT + sütunlar arası koşul"), |
| ("Mal ve hizmet alımlarında 2024 bütçesi ile gerçekleşme arasındaki fark kaç TL?", |
| f"SELECT butce_2024-gerceklesme_2024 FROM {A} WHERE gider_turu='Mal ve Hizmet Alım Giderleri'", |
| "orta", ["sayisal", "deger_esleme"], None, "BIRD: aritmetik"), |
| ("2024 yılında 100 milyon TL'den fazla harcama yapılan gider türleri hangileri?", |
| f"SELECT gider_turu FROM {A} WHERE gerceklesme_2024 > 100000000 AND toplam_satiri=0", |
| "orta", ["filtre", "birim", "toplam_satiri"], "100 milyon TL = 100.000.000 TL", |
| "BIRD: birim kanıtı"), |
| ("2022 yılı personel gideri bütçesi ne kadardı?", None, |
| "orta", ["cevapsiz"], None, "Cevapsız: tabloda 2022 yok"), |
| ("2024 yılı genel bütçe gerçekleşme oranı yüzde kaçtır?", |
| f"SELECT gerceklesme_orani_2024 FROM {A} WHERE toplam_satiri=1", |
| "orta", ["secim", "yuzde", "toplam_satiri"], None, "Spider: seçim"), |
| |
| ("2022 yılında kaç memur çalışıyordu?", |
| f"SELECT memur FROM {B} WHERE yil=2022", |
| "kolay", ["secim", "tr_sayi"], None, "Spider: seçim"), |
| ("Toplam personel sayısının en yüksek olduğu yıl hangisi?", |
| f"SELECT yil FROM {B} ORDER BY toplam DESC LIMIT 1", |
| "kolay", ["siralama"], None, "Spider: ORDER BY"), |
| ("2020-2024 döneminde ortalama işçi sayısı kaçtır?", |
| f"SELECT AVG(isci) FROM {B} WHERE yil BETWEEN 2020 AND 2024", |
| "kolay", ["toplama", "tr_sayi"], None, "Spider: AVG"), |
| ("Sözleşmeli personel sayısı 2020'den 2024'e kaç kişi arttı?", |
| f"SELECT (SELECT sozlesmeli_personel FROM {B} WHERE yil=2024)-(SELECT sozlesmeli_personel FROM {B} WHERE yil=2020)", |
| "orta", ["sayisal", "ic_ice"], None, "Spider: iç içe sorgu"), |
| ("İşçi sayısı 2.400'ün üzerinde olan yıllar hangileri?", |
| f"SELECT yil FROM {B} WHERE isci > 2400", |
| "kolay", ["filtre", "tr_sayi"], None, "Spider: WHERE"), |
| ("2024'te memurların toplam personel içindeki payı yüzde kaçtır?", |
| f"SELECT memur*100.0/toplam FROM {B} WHERE yil=2024", |
| "orta", ["sayisal", "yuzde"], "Pay (%) = memur / toplam × 100", "BIRD: formül kanıtı"), |
| ("2025 yılında kaç işçi istihdam edilmesi planlanıyor?", None, |
| "orta", ["cevapsiz"], None, "Cevapsız: plan/2025 verisi yok"), |
| |
| ("Mart 2025'te endeks değeri kaçtı?", |
| f"SELECT endeks FROM {C} WHERE donem='2025-03'", |
| "kolay", ["secim", "tarih", "tr_sayi"], None, "Spider: seçim"), |
| ("2024 yılında aylık değişimin en yüksek olduğu ay hangisi?", |
| f"SELECT donem FROM {C} WHERE donem LIKE '2024-%' ORDER BY degisim_aylik DESC LIMIT 1", |
| "orta", ["siralama", "tarih"], None, "Spider: ORDER BY + filtre"), |
| ("2024 yılı aylık değişim oranlarının ortalaması nedir?", |
| f"SELECT AVG(degisim_aylik) FROM {C} WHERE donem LIKE '2024-%'", |
| "orta", ["toplama", "tarih", "yuzde"], None, "Spider: AVG"), |
| ("Haziran 2025'te yıllık değişim yüzde kaç olarak gerçekleşti?", |
| f"SELECT degisim_yillik FROM {C} WHERE donem='2025-06'", |
| "kolay", ["secim", "tarih", "yuzde"], None, "Spider: seçim"), |
| ("Aylık değişimin %4'ü aştığı kaç ay var?", |
| f"SELECT COUNT(*) FROM {C} WHERE degisim_aylik > 4", |
| "orta", ["sayim", "filtre", "yuzde"], None, "Spider: COUNT"), |
| ("Endeks Ocak 2024'ten Aralık 2024'e yüzde kaç arttı?", |
| f"SELECT ((SELECT endeks FROM {C} WHERE donem='2024-12')-(SELECT endeks FROM {C} WHERE donem='2024-01'))*100.0/(SELECT endeks FROM {C} WHERE donem='2024-01')", |
| "zor", ["artis_yuzdesi", "tarih", "ic_ice"], "Artış yüzdesi = (yeni - eski) / eski × 100", |
| "BIRD: formül kanıtı + iç içe"), |
| ("Yıllık değişimin yüzde 50'nin altına ilk düştüğü dönem hangisidir?", |
| f"SELECT MIN(donem) FROM {C} WHERE degisim_yillik < 50", |
| "zor", ["tarih", "filtre"], None, "Spider: MIN + filtre"), |
| ("Temmuz 2025 endeks değeri nedir?", None, |
| "orta", ["cevapsiz", "tarih"], None, "Cevapsız: veri Haziran 2025'te bitiyor"), |
| |
| ("İzmir'in 2024 elektrik tüketimi ne kadar?", |
| f"SELECT yil_2024 FROM {D} WHERE TR_NORM(il)=TR_NORM('İzmir')", |
| "kolay", ["secim", "deger_esleme", "tr_sayi"], None, "Spider: seçim"), |
| ("Isparta'nın 2023 yılındaki elektrik tüketimi kaç bin MWh'tir?", |
| f"SELECT yil_2023 FROM {D} WHERE il='Isparta'", |
| "kolay", ["secim", "deger_esleme"], None, "Spider: seçim"), |
| ("ISPARTA ilinin 2022 tüketimi nedir?", |
| f"SELECT yil_2022 FROM {D} WHERE il='Isparta'", |
| "kolay", ["secim", "deger_esleme"], None, "Türkçe büyük harf: I/ı"), |
| ("Marmara bölgesindeki illerin 2024 toplam tüketimi ne kadar?", |
| f"SELECT SUM(yil_2024) FROM {D} WHERE bolge='Marmara'", |
| "orta", ["toplama", "filtre"], None, "Spider: SUM + WHERE"), |
| ("2024'te en çok elektrik tüketen il hangisi?", |
| f"SELECT il FROM {D} WHERE toplam_satiri=0 ORDER BY yil_2024 DESC LIMIT 1", |
| "orta", ["siralama", "toplam_satiri"], None, "Spider: ORDER BY"), |
| ("Tüketimi 2023'ten 2024'e azalan kaç il var?", |
| f"SELECT COUNT(*) FROM {D} WHERE yil_2024 < yil_2023 AND toplam_satiri=0", |
| "orta", ["sayim", "karsilastirma", "toplam_satiri"], None, "Spider: COUNT"), |
| ("Bölgelere göre 2024 toplam tüketimini listeler misin?", |
| f"SELECT bolge, SUM(yil_2024) FROM {D} WHERE toplam_satiri=0 GROUP BY bolge", |
| "orta", ["gruplama", "toplam_satiri"], None, "Spider: GROUP BY"), |
| ("Ankara'nın 2024 elektrik tüketimi kaç MWh?", |
| f"SELECT yil_2024*1000 FROM {D} WHERE il='Ankara'", |
| "orta", ["birim", "secim"], "Tablo bin MWh cinsindendir; 1 bin MWh = 1.000 MWh", "BIRD: birim kanıtı"), |
| ("İstanbul'un tüketimi 2022'den 2024'e yüzde kaç değişti?", |
| f"SELECT (yil_2024-yil_2022)*100.0/yil_2022 FROM {D} WHERE il='İstanbul'", |
| "orta", ["artis_yuzdesi", "deger_esleme"], "Değişim yüzdesi = (yeni - eski) / eski × 100", |
| "BIRD: formül kanıtı"), |
| ("Değişim oranı en düşük olan il hangisidir?", |
| f"SELECT il FROM {D} WHERE toplam_satiri=0 ORDER BY degisim_2023_2024 ASC LIMIT 1", |
| "orta", ["siralama", "toplam_satiri", "yuzde"], None, "Spider: ORDER BY"), |
| ("İç Anadolu'daki illerin 2023 ortalama tüketimi nedir?", |
| f"SELECT AVG(yil_2023) FROM {D} WHERE bolge='İç Anadolu'", |
| "orta", ["toplama", "filtre", "deger_esleme"], None, "Spider: AVG + WHERE"), |
| ("Mersin'in 2024 elektrik tüketimi ne kadar?", None, |
| "orta", ["cevapsiz", "deger_esleme"], None, "Cevapsız: il tabloda yok"), |
| ("17 ilin 2022 yılındaki toplam tüketimi kaç bin MWh?", |
| f"SELECT SUM(yil_2022) FROM {D} WHERE toplam_satiri=0", |
| "orta", ["toplama", "toplam_satiri", "tr_sayi"], None, "Spider: SUM"), |
| ("Karadeniz bölgesinde kaç il var?", |
| f"SELECT COUNT(*) FROM {D} WHERE bolge='Karadeniz'", |
| "kolay", ["sayim", "filtre"], None, "Spider: COUNT"), |
| |
| ("2024 yılında hasılat ne kadardı?", |
| f"SELECT cari_donem_2024 FROM {E} WHERE kalem='Hasılat'", |
| "kolay", ["secim", "tr_sayi"], None, "Spider: seçim"), |
| ("Şirketin 2023 dönem net kârı kaç TL'dir?", |
| f"SELECT onceki_donem_2023*1000 FROM {E} WHERE kalem='Dönem Net Kârı'", |
| "orta", ["birim", "secim"], "Tablo bin TL cinsindendir", "BIRD: birim kanıtı"), |
| ("Net kâr bir önceki yıla göre yüzde kaç arttı?", |
| f"SELECT (cari_donem_2024-onceki_donem_2023)*100.0/onceki_donem_2023 FROM {E} WHERE kalem='Dönem Net Kârı'", |
| "orta", ["artis_yuzdesi"], "Artış yüzdesi = (cari - önceki) / önceki × 100", "BIRD: formül kanıtı"), |
| ("2024'te satışların maliyeti ne kadar?", |
| f"SELECT cari_donem_2024 FROM {E} WHERE kalem='Satışların Maliyeti (-)'", |
| "kolay", ["secim", "tr_sayi", "negatif"], None, "Parantezli negatif sayı"), |
| ("2024 brüt kâr marjı yüzde kaçtır?", |
| f"SELECT (SELECT cari_donem_2024 FROM {E} WHERE kalem='Brüt Kâr')*100.0/(SELECT cari_donem_2024 FROM {E} WHERE kalem='Hasılat')", |
| "zor", ["sayisal", "ic_ice", "yuzde"], "Brüt kâr marjı = Brüt Kâr / Hasılat × 100", "BIRD: alan bilgisi kanıtı"), |
| ("Finansman giderleri 2023'e göre ne kadar arttı?", |
| f"SELECT ABS(cari_donem_2024)-ABS(onceki_donem_2023) FROM {E} WHERE kalem='Finansman Giderleri (-)'", |
| "zor", ["sayisal", "negatif"], "Giderler tabloda negatif (parantezli) gösterilir", "BIRD: işaret kanıtı"), |
| ("Şirketin 2024 yılındaki çalışan sayısı kaçtır?", None, |
| "orta", ["cevapsiz"], None, "Cevapsız: gelir tablosunda yok"), |
| |
| ("İşyeri açma ruhsatı ücreti ne kadar?", |
| f"SELECT ucret FROM {F} WHERE hizmet='İşyeri Açma Ruhsatı'", |
| "kolay", ["secim", "deger_esleme", "tr_sayi"], None, "Spider: seçim"), |
| ("Zabıta hizmetleri grubunda kaç farklı hizmet var?", |
| f"SELECT COUNT(DISTINCT hizmet) FROM {F} WHERE hizmet_grubu='Zabıta Hizmetleri'", |
| "kolay", ["sayim", "birlesik_hucre"], None, "Spider: COUNT DISTINCT (birleşik hücre)"), |
| ("1 Temmuz 2025'te yürürlüğe giren hizmetler hangileri?", |
| f"SELECT hizmet FROM {F} WHERE yururluk_tarihi='2025-07-01'", |
| "orta", ["filtre", "tarih"], None, "Spider: WHERE (tarih)"), |
| ("Yürürlük tarihi 15.03.2025 olan hizmetlerin ortalama ücreti nedir?", |
| f"SELECT AVG(ucret) FROM {F} WHERE yururluk_tarihi='2025-03-15'", |
| "orta", ["toplama", "tarih"], None, "Türkçe tarih biçimi"), |
| ("Sosyal tesisler grubundaki en pahalı hizmet hangisi?", |
| f"SELECT hizmet FROM {F} WHERE hizmet_grubu='Sosyal Tesisler' ORDER BY ucret DESC LIMIT 1", |
| "orta", ["siralama", "filtre", "birlesik_hucre"], None, "Spider: ORDER BY + WHERE"), |
| ("Ücreti 2.000 TL'nin üzerinde olan kaç hizmet var?", |
| f"SELECT COUNT(*) FROM {F} WHERE ucret > 2000", |
| "kolay", ["sayim", "filtre", "tr_sayi"], None, "Spider: COUNT + WHERE"), |
| ("Hizmet gruplarına göre ortalama ücretleri listeler misin?", |
| f"SELECT hizmet_grubu, AVG(ucret) FROM {F} GROUP BY hizmet_grubu", |
| "orta", ["gruplama", "birlesik_hucre"], None, "Spider: GROUP BY"), |
| ("Mart 2025'ten önce yürürlüğe giren hizmetlerin sayısı nedir?", |
| f"SELECT COUNT(*) FROM {F} WHERE yururluk_tarihi < '2025-03-01'", |
| "orta", ["sayim", "tarih"], None, "Spider: COUNT + tarih karşılaştırma"), |
| ("Otopark ücreti ne kadar?", None, |
| "kolay", ["cevapsiz"], None, "Cevapsız: tarifede yok"), |
| |
| ("Fatih mahallesindeki abone sayısı kaç?", |
| f"SELECT abone_sayisi FROM {G} WHERE mahalle='Fatih'", |
| "kolay", ["secim", "tr_sayi"], None, "Spider: seçim"), |
| ("En fazla su tüketen mahalle hangisi?", |
| f"SELECT mahalle FROM {G} WHERE toplam_satiri=0 ORDER BY yillik_tuketim DESC LIMIT 1", |
| "orta", ["siralama", "toplam_satiri"], None, "Spider: ORDER BY"), |
| ("Tüm mahallelerin toplam abone sayısı nedir?", |
| f"SELECT SUM(abone_sayisi) FROM {G} WHERE toplam_satiri=0", |
| "orta", ["toplama", "toplam_satiri", "tr_sayi"], None, "Spider: SUM"), |
| ("Abone başına tüketimi 150 m³'ün üzerinde olan mahalleler hangileri?", |
| f"SELECT mahalle FROM {G} WHERE abone_basina_tuketim > 150 AND toplam_satiri=0", |
| "orta", ["filtre", "birim"], None, "Spider: WHERE"), |
| ("Yıldırım Beyazıt mahallesinin yıllık tüketimi kaç litre?", |
| f"SELECT yillik_tuketim*1000 FROM {G} WHERE mahalle='Yıldırım Beyazıt'", |
| "orta", ["birim", "secim", "deger_esleme"], "1 m³ = 1.000 litre", "BIRD: birim kanıtı"), |
| ("Kurtuluş mahallesinde 2023 yılındaki abone sayısı kaçtı?", None, |
| "orta", ["cevapsiz"], None, "Cevapsız: yalnızca 2024 verisi var"), |
| |
| ("2024'te personel giderleri gerçekleşmesinin toplam personel sayısına bölümü (kişi başı personel gideri) ne kadardır?", |
| f"SELECT (SELECT gerceklesme_2024 FROM {A} WHERE gider_turu='Personel Giderleri')*1.0/(SELECT toplam FROM {B} WHERE yil=2024)", |
| "zor", ["coklu_tablo", "sayisal", "ic_ice"], "Kişi başı gider = gider / personel sayısı", |
| "Spider: çoklu tablo (skaler alt sorgular)"), |
| ] |
|
|
|
|
| |
| |
| |
| QT = [ |
| ("Borç verme kaleminde 2024 yılında gerçekleşen tutar nedir?", |
| f"SELECT gerceklesme_2024 FROM {A} WHERE gider_turu='Borç Verme'", |
| "kolay", ["secim", "tr_sayi"], None, "Spider: seçim"), |
| ("2023'te bütçesi en düşük olan gider türü hangisi?", |
| f"SELECT gider_turu FROM {A} WHERE toplam_satiri=0 ORDER BY butce_2023 ASC LIMIT 1", |
| "orta", ["siralama", "toplam_satiri"], None, "Spider: ORDER BY"), |
| ("Cari transferlerin 2024 gerçekleşme oranı kaçtır?", |
| f"SELECT gerceklesme_orani_2024 FROM {A} WHERE gider_turu='Cari Transferler'", |
| "kolay", ["secim", "yuzde"], None, "Spider: seçim"), |
| ("2023 yılında gerçekleşen toplam harcama ne kadar?", |
| f"SELECT SUM(gerceklesme_2023) FROM {A} WHERE toplam_satiri=0", |
| "orta", ["toplama", "toplam_satiri"], None, "Spider: SUM"), |
| ("Sermaye transferleri için 2024'te ayrılan bütçe kaç milyon TL?", |
| f"SELECT butce_2024/1000000.0 FROM {A} WHERE gider_turu='Sermaye Transferleri'", |
| "orta", ["birim", "secim"], "1 milyon TL = 1.000.000 TL", "BIRD: birim kanıtı"), |
| ("2021 yılında faiz giderleri ne kadar gerçekleşti?", None, |
| "orta", ["cevapsiz"], None, "Cevapsız: 2021 yok"), |
| ("2023 yılındaki sözleşmeli personel sayısı nedir?", |
| f"SELECT sozlesmeli_personel FROM {B} WHERE yil=2023", |
| "kolay", ["secim"], None, "Spider: seçim"), |
| ("Memur sayısının en az olduğu yıl hangisidir?", |
| f"SELECT yil FROM {B} ORDER BY memur ASC LIMIT 1", |
| "kolay", ["siralama"], None, "Spider: ORDER BY"), |
| ("Beş yıllık dönemde toplam personel sayısının ortalaması kaç?", |
| f"SELECT AVG(toplam) FROM {B}", |
| "orta", ["toplama"], None, "Spider: AVG"), |
| ("Toplam personel 2021'den 2023'e yüzde kaç değişti?", |
| f"SELECT ((SELECT toplam FROM {B} WHERE yil=2023)-(SELECT toplam FROM {B} WHERE yil=2021))*100.0/(SELECT toplam FROM {B} WHERE yil=2021)", |
| "zor", ["artis_yuzdesi", "ic_ice"], "Değişim yüzdesi = (yeni - eski) / eski × 100", "BIRD: formül kanıtı"), |
| ("Ekim 2024 aylık değişim oranı nedir?", |
| f"SELECT degisim_aylik FROM {C} WHERE donem='2024-10'", |
| "kolay", ["secim", "tarih", "yuzde"], None, "Spider: seçim"), |
| ("2025'in ilk yarısında endeksin en yüksek değeri nedir?", |
| f"SELECT MAX(endeks) FROM {C} WHERE donem BETWEEN '2025-01' AND '2025-06'", |
| "orta", ["toplama", "tarih"], None, "Spider: MAX + tarih aralığı"), |
| ("Aylık değişimin yüzde 2'nin altında kaldığı dönemler hangileri?", |
| f"SELECT donem FROM {C} WHERE degisim_aylik < 2", |
| "orta", ["filtre", "tarih", "yuzde"], None, "Spider: WHERE"), |
| ("2024 Ağustos ayında yıllık değişim yüzde kaçtı?", |
| f"SELECT degisim_yillik FROM {C} WHERE donem='2024-08'", |
| "orta", ["secim", "tarih"], None, "Tarih yazım sırası farklı"), |
| ("Eylül 2025 aylık değişimi ne olmuştur?", None, |
| "orta", ["cevapsiz", "tarih"], None, "Cevapsız: kapsam dışı dönem"), |
| ("Gaziantep'in 2022 yılı elektrik tüketimi nedir?", |
| f"SELECT yil_2022 FROM {D} WHERE il='Gaziantep'", |
| "kolay", ["secim", "deger_esleme"], None, "Spider: seçim"), |
| ("IĞDIR ilinde 2024 tüketimi ne kadardı?", |
| f"SELECT yil_2024 FROM {D} WHERE il='Iğdır'", |
| "kolay", ["secim", "deger_esleme"], None, "Türkçe büyük harf: I/Ğ"), |
| ("Akdeniz bölgesindeki illerin 2022 toplam elektrik tüketimi kaç bin MWh?", |
| f"SELECT SUM(yil_2022) FROM {D} WHERE bolge='Akdeniz'", |
| "orta", ["toplama", "filtre"], None, "Spider: SUM + WHERE"), |
| ("2023 yılında en az elektrik tüketen il hangisidir?", |
| f"SELECT il FROM {D} WHERE toplam_satiri=0 ORDER BY yil_2023 ASC LIMIT 1", |
| "orta", ["siralama", "toplam_satiri"], None, "Spider: ORDER BY"), |
| ("Tüketimi 2023'ten 2024'e artan illeri listeler misin?", |
| f"SELECT il FROM {D} WHERE yil_2024 > yil_2023 AND toplam_satiri=0", |
| "orta", ["filtre", "karsilastirma", "toplam_satiri"], None, "Spider: sütunlar arası koşul"), |
| ("Doğu Anadolu bölgesinde kaç il bulunuyor?", |
| f"SELECT COUNT(*) FROM {D} WHERE bolge='Doğu Anadolu'", |
| "kolay", ["sayim", "filtre"], None, "Spider: COUNT"), |
| ("Kocaeli'nin 2023 tüketimi kaç MWh'tir?", |
| f"SELECT yil_2023*1000 FROM {D} WHERE il='Kocaeli'", |
| "orta", ["birim", "secim"], "1 bin MWh = 1.000 MWh", "BIRD: birim kanıtı"), |
| ("Antalya'nın 2025 elektrik tüketimi nedir?", None, |
| "orta", ["cevapsiz"], None, "Cevapsız: 2025 yok"), |
| ("2024 yılı vergi öncesi kârı ne kadardır?", |
| f"SELECT cari_donem_2024 FROM {E} WHERE kalem='Vergi Öncesi Kâr'", |
| "kolay", ["secim", "deger_esleme"], None, "Spider: seçim"), |
| ("Hasılat 2023'ten 2024'e yüzde kaç arttı?", |
| f"SELECT (cari_donem_2024-onceki_donem_2023)*100.0/onceki_donem_2023 FROM {E} WHERE kalem='Hasılat'", |
| "orta", ["artis_yuzdesi"], "Artış yüzdesi = (yeni - eski) / eski × 100", "BIRD: formül kanıtı"), |
| ("2023 yılında pazarlama giderleri kaç TL idi?", |
| f"SELECT onceki_donem_2023*1000 FROM {E} WHERE kalem='Pazarlama Giderleri (-)'", |
| "orta", ["birim", "negatif"], "Tablo bin TL cinsindendir", "BIRD: birim kanıtı"), |
| ("Düğün salonu kiralama ücreti ne kadardır?", |
| f"SELECT ucret FROM {F} WHERE hizmet='Düğün Salonu Kiralama'", |
| "kolay", ["secim"], None, "Spider: seçim"), |
| ("Çevre hizmetleri grubundaki hizmetlerin ortalama ücreti nedir?", |
| f"SELECT AVG(ucret) FROM {F} WHERE hizmet_grubu='Çevre Hizmetleri'", |
| "orta", ["toplama", "filtre", "birlesik_hucre"], None, "Spider: AVG + WHERE"), |
| ("En ucuz hizmet hangisidir?", |
| f"SELECT hizmet FROM {F} ORDER BY ucret ASC LIMIT 1", |
| "kolay", ["siralama"], None, "Spider: ORDER BY"), |
| ("01.01.2025 tarihinde yürürlüğe giren kaç hizmet var?", |
| f"SELECT COUNT(*) FROM {F} WHERE yururluk_tarihi='2025-01-01'", |
| "orta", ["sayim", "tarih"], None, "Türkçe tarih biçimi"), |
| ("Nikah salonu ücreti nedir?", None, |
| "kolay", ["cevapsiz"], None, "Cevapsız: tarifede yok"), |
| ("Bahçelievler mahallesinin abone başına tüketimi kaç m³?", |
| f"SELECT abone_basina_tuketim FROM {G} WHERE mahalle='Bahçelievler'", |
| "kolay", ["secim"], None, "Spider: seçim"), |
| ("Abone sayısı en az olan mahalle hangisidir?", |
| f"SELECT mahalle FROM {G} WHERE toplam_satiri=0 ORDER BY abone_sayisi ASC LIMIT 1", |
| "orta", ["siralama", "toplam_satiri"], None, "Spider: ORDER BY"), |
| ("Abone sayısı 5.000'in üzerinde olan kaç mahalle var?", |
| f"SELECT COUNT(*) FROM {G} WHERE abone_sayisi > 5000 AND toplam_satiri=0", |
| "orta", ["sayim", "filtre", "tr_sayi", "toplam_satiri"], None, "Spider: COUNT + WHERE"), |
| ("Mahallelerin ortalama yıllık su tüketimi nedir?", |
| f"SELECT AVG(yillik_tuketim) FROM {G} WHERE toplam_satiri=0", |
| "orta", ["toplama", "toplam_satiri"], None, "Spider: AVG"), |
| ] |
|
|
|
|
| def main(): |
| from t2s.pipeline import build_reference_db |
| from t2s.schema import connect |
| ref = ROOT / "outputs" / "db" / "referans.db" |
| build_reference_db(ref) |
| con = connect(ref, readonly=True) |
| items = [] |
| allq = [("gelistirme", f"TR{i:03d}", x) for i, x in enumerate(Q, 1)] + \ |
| [("test", f"TRT{i:02d}", x) for i, x in enumerate(QT, 1)] |
| for bolum, qid, (soru, sql, zor, kat, kanit, uyar) in allq: |
| if sql: |
| res = con.execute(sql).fetchall() |
| assert res and any(v is not None for row in res for v in row), (qid, soru, res) |
| items.append({"id": qid, "bolum": bolum, "soru": soru, "altin_sql": sql, "cevaplanabilir": sql is not None, |
| "zorluk": zor, "kategoriler": kat, "kanit": kanit, "uyarlama": uyar, |
| "tablolar": sorted({t for t in (A, B, C, D, E, F, G) if sql and t in sql})}) |
| out = ROOT / "benchmark" / "tr_tablosoru.json" |
| out.write_text(json.dumps({"ad": "TR-TabloSQL v1", "aciklama": __doc__.strip().splitlines()[0], |
| "soru_sayisi": len(items), "sorular": items}, ensure_ascii=False, indent=1), |
| encoding="utf-8") |
| print(f"{len(items)} soru yazıldı -> {out}") |
| print("cevapsız:", sum(not x["cevaplanabilir"] for x in items), |
| "| geliştirme:", sum(x["bolum"] == "gelistirme" for x in items), |
| "| ayrılmış test:", sum(x["bolum"] == "test" for x in items)) |
|
|
|
|
| if __name__ == "__main__": |
| main() |
|
|
