| """Cevap düzeyinde değerlendirme: belge klasörü + soru dosyası -> çıkarım tanılaması ve cevap doğruluğu. |
| |
| Gerçek belgelerle de aynı şekilde kullanılır; altın SQL gerekmez, yalnızca beklenen cevap yazılır: |
| {"id": "R01", "belge": "rapor.pdf", "soru": "...", "tip": "sayi" | "metin" | "liste" | "cevapsiz", |
| "cevap": 1234.5 | "İzmir" | ["A", "B"] | null, "isaret_serbest": false} |
| |
| Kullanım: |
| python pilot/pilot_calistir.py # kurgusal pilot (pilot/belgeler, pilot/sorular.json) |
| python pilot/pilot_calistir.py --kume agir # hazır küme: pilot | stres | agir | agir_hizli |
| python pilot/pilot_calistir.py --belgeler KLASOR --sorular DOSYA.json --cikti KLASOR [--belge-basina] |
| python pilot/pilot_calistir.py --kume agir_hizli --claude MODEL # LLM arka ucuyla (--openai MODEL, --ollama MODEL) |
| python pilot/pilot_calistir.py --kume agir --ollama qwen2.5-coder:7b --cihaz gpu --sinir 50 |
| |
| Değerlendirme kuralları t2s/qa_eval.py dosyasının başında açıklanmıştır. |
| """ |
| from __future__ import annotations |
|
|
| import argparse |
| import json |
| import sys |
| import warnings |
| from pathlib import Path |
|
|
| ROOT = Path(__file__).resolve().parent.parent |
| sys.path.insert(0, str(ROOT)) |
| warnings.filterwarnings("ignore") |
|
|
| from t2s.llm import list_models, load_dotenv, make_backend |
| from t2s.qa_eval import SETS, QASet, judge, run_set, value_recall |
| from t2s.settings import Settings |
|
|
|
|
| def main(): |
| ap = argparse.ArgumentParser() |
| ap.add_argument("--kume", choices=sorted(SETS), help="hazır test kümesi") |
| ap.add_argument("--belgeler", default=str(ROOT / "pilot" / "belgeler")) |
| ap.add_argument("--sorular", default=str(ROOT / "pilot" / "sorular.json")) |
| ap.add_argument("--ham", default=str(ROOT / "pilot" / "ham_degerler.json"), help="isteğe bağlı") |
| ap.add_argument("--cikti", default=None) |
| ap.add_argument("--belge-basina", action="store_true", |
| help="her belge için ayrı veritabanı kur; o belgenin soruları yalnız o veritabanında sorulur") |
| ap.add_argument("--claude", nargs="?", const="auto") |
| ap.add_argument("--openai", nargs="?", const="auto") |
| ap.add_argument("--ollama", nargs="?", const="auto") |
| ap.add_argument("--cihaz", choices=["auto", "gpu", "cpu"], default=None, help="Ollama hesaplama aygıtı") |
| ap.add_argument("--anahtar", default=None, help="API anahtarı (varsayılan: ayar dosyası ya da .env)") |
| ap.add_argument("--taban-url", default=None, help="sağlayıcı adresi (varsayılan: ayar dosyası)") |
| ap.add_argument("--sinir", type=int, default=None, help="en fazla bu kadar soru (maliyet denetimi)") |
| ap.add_argument("--yeniden-kur", action="store_true", help="veritabanını önbellekten almadan yeniden kur") |
| args = ap.parse_args() |
|
|
| load_dotenv(ROOT / ".env") |
| cfg = Settings() |
| if args.kume: |
| qs = SETS[args.kume] |
| else: |
| qs = QASet("ozel", Path(args.belgeler), Path(args.sorular), Path(args.ham) if args.ham else None, |
| args.belge_basina) |
|
|
| backend, label = "kural", "kural_tabanli" |
| for key, model in (("claude", args.claude), ("openai", args.openai), ("ollama", args.ollama)): |
| if model: |
| kk, base = (args.anahtar or cfg.key(key) or None), (args.taban_url or cfg.base(key)) |
| if model == "auto": |
| model = list_models(key, kk, base)[0].id |
| dev = args.cihaz or cfg.conn("ollama").get("cihaz") |
| backend, label = make_backend(key, model, kk, base, device=dev if key == "ollama" else None), f"{key}:{model}" |
|
|
| out = Path(args.cikti) if args.cikti else ROOT / "outputs" / "qa" / qs.key / label.replace(":", "_").replace("/", "_") |
|
|
| def prog(k, n, r): |
| if k % 25 == 0 or k == n: |
| print(f" {k}/{n}", flush=True) |
|
|
| res = run_set(qs, backend, out, progress=prog, limit=args.sinir, reuse_db=not args.yeniden_kur) |
| summary = res["ozet"] |
| |
| (out / "pilot_sonuclari.json").write_text((out / "sonuclar.json").read_text(encoding="utf-8"), encoding="utf-8") |
| show = {k: v for k, v in summary.items() if k not in ("cikarim", "aileye_gore", "belge_turune_gore")} |
| print(json.dumps(show, ensure_ascii=False, indent=1)) |
| print(f"\nSonuçlar: {out / 'sonuclar.json'}") |
| bad = [r for r in res["kayitlar"] if not r["dogru"]] |
| print(f"\nYanlışlar ({len(bad)}):") |
| for r in bad[:60]: |
| print(f" {r['id']} [{r['tip']}] {r['soru'][:70]} -> {r['aciklama']} | {str(r['sql'])[:110]}") |
|
|
|
|
| if __name__ == "__main__": |
| main() |
|
|
