| # Pilot çalışma: geliştirmede görülmemiş belge düzenleri |
|
|
| Bu klasördeki pilot, sistemi geliştirme sırasında hiç görmediği belge düzenleriyle sınar. Gerçek belgeler bulunana kadar kurgusal belgeler kullanılıyor; ancak aynı düzenek gerçek belgelerle de değiştirilmeden çalışır. |
|
|
| | Dosya | Ne işe yarar | |
| |---|---| |
| | `belge_uret.py` | Kurgusal pilot belgeleri, 44 soruyu ve altın cevapları üretir (tohum 31) | |
| | `belgeler/` | Faaliyet raporu (PDF), KAP tarzı finansal tablolar (PDF), il istatistik bülteni (HTML) | |
| | `sorular.json` | Sorular ve ham veriden hesaplanan altın cevaplar | |
| | `ham_degerler.json` | Değer geri çağırma ölçümü için belgedeki tüm ham sayılar | |
| | `pilot_calistir.py` | Pilotu çalıştırır: çıkarım tanılaması ve cevap doğruluğu | |
| | `kod_parmak_izi.txt` | Pilot öncesi dondurulan kodun SHA-256 özetleri | |
| | `sonuclar/` | Dondurulmuş kodla sonuçlar: `pilot_sonuclari.json` ve `pilot.db` | |
| | `sonuclar_duzeltme/` | Pilotta bulunan hatalar düzeltildikten sonraki sonuçlar | |
| | `kod_parmak_izi_duzeltme.txt` | Düzeltilmiş kodun SHA-256 özetleri | |
| | `PILOT_RAPORU.md` / `Tablo2SQL-TR_Pilot_Raporu.docx` | Pilot raporu | |
|
|
| Bütün kurum, il ve ilçe adları kurgusaldır ve her sayfada "KURGUSAL ÖRNEK BELGE" uyarısı vardır. |
|
|
| ## Çalıştırma |
|
|
| ```bash |
| python pilot/belge_uret.py # belgeleri ve soruları yeniden üretir |
| python pilot/pilot_calistir.py # kural tabanlı arka uçla pilotu çalıştırır |
| ``` |
|
|
| Bir LLM arka ucuyla çalıştırmak için `--claude`, `--openai MODEL` ya da `--ollama MODEL` ekleyin. |
|
|
| ## Gerçek belgelerle kullanım |
|
|
| 1. Belgeleri bir klasöre koyun, örneğin `pilot_gercek/belgeler/`. |
| 2. Soruları bir JSON dosyasına yazın. Altın SQL gerekmez, yalnızca beklenen cevabı belgeden okuyup yazın: |
|
|
| ```json |
| {"sorular": [ |
| {"id": "R01", "belge": "rapor.pdf", "soru": "2024 personel gideri gerçekleşmesi ne kadar?", "tip": "sayi", "cevap": 406187663.15}, |
| {"id": "R02", "belge": "rapor.pdf", "soru": "En yüksek bütçeli gider türü hangisi?", "tip": "metin", "cevap": "Sermaye Giderleri"}, |
| {"id": "R03", "belge": "rapor.pdf", "soru": "Gerçekleşmesi %90'ın altında kalan gider türleri hangileri?", "tip": "liste", "cevap": ["Faiz Giderleri", "Borç Verme"]}, |
| {"id": "R04", "belge": "rapor.pdf", "soru": "2019 yılı personel sayısı kaç?", "tip": "cevapsiz", "cevap": null} |
| ]} |
| ``` |
|
|
| Bir sayının işareti önemli değilse (ör. parantezli giderlerde) soruya `"isaret_serbest": true` ekleyin. |
| 3. Pilotu çalıştırın: |
|
|
| ```bash |
| python pilot/pilot_calistir.py --belgeler pilot_gercek/belgeler --sorular pilot_gercek/sorular.json --cikti pilot_gercek/sonuclar |
| ``` |
|
|
| Değer geri çağırma ölçümü (`--ham`) isteğe bağlıdır; gerçek belgelerde ham değer listesi yoksa atlanır. |
|
|
| ## Değerlendirme kuralları |
|
|
| Doğruluk cevap düzeyinde ölçülür; altın SQL kullanılmaz. |
|
|
| - **sayi:** sonucun ilk satırındaki sayılardan biri |a − b| ≤ 0,01 + 10⁻³·|b| ile beklenene eşitse doğru. |
| - **metin:** ilk satırdaki metinlerden biri Türkçe katlama sonrası beklenene eşitse doğru. Tarihler ISO karşılığıyla karşılaştırılır ("Ekim 2025" = "2025-10"). |
| - **liste:** ilk sütundaki değer kümesi beklenen kümeye eşitse doğru. |
| - **cevapsiz:** sistem cevap üretmezse doğru. |
|
|
| Cevap düzeyindeki ölçüt, yanlış SQL'in tesadüfen doğru değeri döndürdüğü durumları da doğru sayabilir. Bu yüzden sonuçlar SQL'lerle birlikte incelenmelidir. |
|
|
