| # Ön-kayıt — Proje 01: Regression gate istatistiği | |
| Bu dosya ilk tam koşudan önce yazıldı (2026-10-17). Her koşu, dosyanın SHA-256 özetini `results/env.json` içine yazar. Koşudan sonra bu dosyada yapılan her değişiklik makalede "ön-kayıttan sapma" olarak raporlanır. | |
| ## 1. Sabitler | |
| | Parametre | Değer | | |
| |---|---| | |
| | Ana seed | `20261017` | | |
| | Veri | BEIR NFCorpus, FiQA-2018, SCIDOCS; `test` qrels | | |
| | Popülasyon | Test qrels'te `score > 0` olan en az bir belgesi bulunan sorgular | | |
| | Belge metni | `title + " " + text` | | |
| | Dense modeller | `BAAI/bge-small-en-v1.5` (sorgu öneki: model kartındaki retrieval talimatı), `sentence-transformers/all-MiniLM-L6-v2`, `intfloat/e5-small-v2` (`query: ` / `passage: `); `max_seq_length = 256`; L2-normalize, iç çarpım | | |
| | BM25 | `bm25s`, İngilizce stopword listesi, stemmer yok, varsayılan k1/b | | |
| | Exact sistemler | `bm25`, `bge`, `minilm`, `e5`; FAISS `IndexFlatIP`; top-100 | | |
| | HNSW sistemleri | `hnsw_ef{16,32,64,128}_s{0..9}`: bge-small vektörleri, FAISS `IndexHNSWFlat`, M=16, efConstruction=200, tek iş parçacığıyla inşa, ekleme sırası seed'e göre permütasyon; top-10 (FAISS `ef = max(efSearch, k)` kullandığı için k=10) | | |
| | Türetilmiş sistemler | `del05`, `del10`: `bge` top-100'den korpusun seed'li %5 / %10'u çıkarılır, kalan ilk 10 kullanılır. `ctl01`, `ctl02`, `ctl03`, `ctl05`: `bge`'den seed'li sırayla seçilen ve Recall@5 > 0 olan sorgularda ilgili belgeler top-10 dışına itilir (o sorgunun metrikleri 0 olur); popülasyon ΔRecall@5 hedefe (−0.01 / −0.02 / −0.03 / −0.05) ulaşınca durulur | | |
| | Metrikler | Recall@5 (birincil), nDCG@10 (ikincil), Recall@10 ve MRR@10 (rapor) | | |
| | Golden set boyutu | n ∈ {25, 50, 100, 200, 300}, yalnız n ≤ N/2 | | |
| | Alt örnek | R = 2000, iadesiz; aynı alt örnekler bütün senaryo ve gate'lerde kullanılır | | |
| | Bootstrap | B = 2000, percentile yöntemi; tek yönlü α = 0.05 | | |
| | Non-inferiority marjı | m ∈ {0.01, 0.02, 0.03} | | |
| | Eşiğe uzaklık | d ∈ {−0.05, −0.04, …, +0.05}; τ = m_gerçek − d | | |
| | Headroom (G1, senaryo çiftleri) | h ∈ {0.02, 0.05}; τ = m_gerçek(A) − h | | |
| | Gerçek tanımları | (a) sonlu popülasyon: tüm N sorgu. (b) yarı bölme: seed'li permütasyonla iki yarı; alt örnek A yarısından, gerçek B yarısında ölçülür | | |
| | Latency | Yalnız FiQA; 2 iş parçacığı (HF CPU Basic profili); sistemler `bm25`, `bge`, `minilm`, `e5`, `hnsw_ef16_s0`, `hnsw_ef128_s0`; her koşu öncesi 20 sorgu ısınma; 10 koşu; her koşuda sorgu sırası seed'li karıştırılır | | |
| ## 2. Gate tanımları | |
| - **G1 mutlak eşik:** PASS ⇔ m̂_B ≥ τ. | |
| - **G2 naif delta:** PASS ⇔ m̂_B − m̂_A ≥ −m. | |
| - **G3 paired non-inferiority:** dᵢ = metrik_B,ᵢ − metrik_A,ᵢ; PASS ⇔ dᵢ ortalamasının tek yönlü %95 percentile bootstrap alt sınırı ≥ −m. | |
| - **G3u unpaired:** A ve B bağımsız bootstrap ağırlıklarıyla yeniden örneklenir; ortalama farkının alt sınırı ≥ −m ise PASS. | |
| - **G3′ sign-flip:** H0: ortalama(d) ≤ −m. d + m üzerinde 2000 işaret çevirmesi; p < 0.05 ise PASS. | |
| - **GL latency:** PASS ⇔ P95'in tek yönlü %95 quantile bootstrap üst sınırı ≤ SLA. | |
| Bir senaryo çifti için "kabul edilebilir" gerçeği: Δ_gerçek ≥ −m. Yanlış FAIL = kabul edilebilir iken FAIL; yanlış PASS (kaçırma) = kabul edilemez iken PASS. | |
| ## 3. Hipotezler ve karar kuralları | |
| Birincil analiz: Recall@5, gerçek tanımı (a). Gerçek tanımı (b) ve nDCG@10 aynı kurallarla ikincil olarak raporlanır. | |
| | # | Hipotez | Destek kuralı | | |
| |---|---|---| | |
| | H1 | Küçük golden sette, gerçek değer eşiğe yakınken G1 sık yanılır. | n = 100 ve \|d\| = 0.02 (iki işaret) için `bm25`, `bge`, `minilm`, `e5` havuzlanmış G1 hata oranının Wilson %95 alt sınırı ≥ 0.15; en az 2/3 veri setinde. | | |
| | H2 | Baseline eşiğin rahatça üstündeyken G1 gerçek regresyonu kaçırır (headroom maskeleme). | Senaryo `bge → ctl03`, h = 0.05, n = 100: G1 PASS oranı ≥ 0.50 **ve** alt örnek başına (G1 PASS − G3 PASS, m = 0.02) farkının ortalamasının %95 normal CI alt sınırı > 0; en az 2/3 veri setinde. | | |
| | H3 | Aynı α'da eşleştirme, kabul edilebilir değişikliklerde yanlış FAIL'i azaltır. | No-op ailesi (`hnsw_ef16_s0 → s1..s9` ve `hnsw_ef128_s0 → s1..s9`, havuzlanmış), m = 0.02, n ∈ {50, 100}: alt örnek başına (G3u FAIL − G3 FAIL) farkının ortalamasının %95 CI alt sınırı > 0; her iki n için, en az 2/3 veri setinde. | | |
| | H4 | HNSW ekleme sırası exact aramada olmayan bir metrik oynaması yaratır ve bu oynama ef_search arttıkça azalır. | (i) ef = 16'da seed'ler arası ikili \|ΔRecall@10\| dağılımının 95. persentili > 0, bütün veri setlerinde; (ii) bu persentil ef ∈ {16, 32, 64, 128} boyunca artmaz (monoton azalan veya sabit), en az 2/3 veri setinde. | | |
| | H5 | P95 tahmini P50'den belirgin şekilde daha belirsizdir. | 6 sistemin en az 4'ünde: (i) koşu içi göreli CI genişliği oranı (P95 / P50) medyanı ≥ 2; (ii) koşular arası CV(P95) > CV(P50). | | |
| Raporlanan ama hipotez olmayan analizler: G2'nin yanlış PASS oranı; G3′ ile G3 uyumu; analitik MDE ile simülasyon gücü arasındaki sapma; GL ve nokta-tahminli latency gate'inin yanlış FAIL oranları; gerçek tanımı (b) sonuçları. | |
| ## 4. Spec v0.1'den sapmalar (koşudan önce) | |
| 1. **H3 yeniden tanımlandı.** G2 hata oranını kontrol etmediği için "aynı α'da G3 vs G2" karşılaştırması tanımsız. H3 artık eşleştirmenin etkisini (G3 vs G3u) ölçüyor; G2 betimsel raporlanıyor. | |
| 2. **HNSW için hnswlib yerine FAISS `IndexHNSWFlat`.** hnswlib'in Windows için hazır wheel'i yok; FAISS zaten bağımlılık. "Seed" = ekleme sırası permütasyonu; inşa tek iş parçacığıyla yapılır. | |
| 3. **Python 3.12** (uv ile kurulu; 3.11 yerine). | |
| 4. **Karar kayıtları özet olarak saklanır:** (k PASS, R) ve seed. Alt örnek indeksleri seed'den yeniden üretilebilir; satır satır karar tablosu yayımlanmaz. | |
| 5. **Latency yalnız FiQA'da** ölçülür (en büyük korpus; süre bütçesi). | |
| 6. **`max_seq_length = 256`** bütün dense modellerde (CPU süresi). Model kalitesi bu projenin iddiası değil. | |
| 7. **HNSW top-10** (FAISS ef = max(efSearch, k); top-100 istenirse ef_search etkisiz kalır). | |