Update app.py

app.py

@@ -477,8 +477,27 @@ def _models():
     }
 
 
-def _fit_predict(Xtr, ytr, Xte, w=None):
-    """Ensemble: HGB + ExtraTrees + Logistic -> olasılık ortalaması."""
+def _select(Xtr, ftr, k, thr=0.95):
+    """Yalnızca EĞİTİM verisiyle: |Spearman IC| sırasına göre, birbirine çok benzeyenleri (>thr) eleyerek k özellik seç."""
+    if k <= 0 or Xtr.shape[1] <= k:
+        return list(Xtr.columns)
+    ic = Xtr.rank().corrwith(pd.Series(np.asarray(ftr), index=Xtr.index).rank()).abs().fillna(0)
+    ic = ic.sort_values(ascending=False)
+    corr = Xtr.corr().abs().fillna(0)
+    keep = []
+    for c in ic.index:
+        if all(corr.at[c, o] < thr for o in keep):
+            keep.append(c)
+        if len(keep) >= k:
+            break
+    return keep
+
+
+def _fit_predict(Xtr, ytr, Xte, w=None, ftr=None, k=0):
+    """Ensemble: HGB + ExtraTrees + Logistic -> olasılık ortalaması (k>0 ise fold-içi özellik seçimi)."""
+    if k and ftr is not None:
+        sel = _select(Xtr, ftr, k)
+        Xtr, Xte = Xtr[sel], Xte[sel]
     ps = []
     for name, m in _models().items():
         if name == "lr":
@@ -508,7 +527,25 @@ def _backtest(p, fwd, horizon, thr, fee):
             "hit": float((tr > 0).mean()), "pf": float(gp / gl) if gl > 0 else np.inf}
 
 
-def predict(df: pd.DataFrame, horizon: int, fee: float = 0.0006, n_folds: int = 5, ext=None):
+def _walk(X, Y, F, W, horizon, n_folds, k):
+    """Purged expanding-window walk-forward; OOS olasılıkları ve satır indeksleri."""
+    n = len(X)
+    edges = np.linspace(int(n * 0.4), n, n_folds + 1).astype(int)
+    oos_p, oos_idx = [], []
+    for j in range(n_folds):
+        tr_end, te0, te1 = edges[j] - horizon, edges[j], edges[j + 1]
+        if tr_end < 80:
+            continue
+        oos_p.append(_fit_predict(X.iloc[:tr_end], Y.iloc[:tr_end], X.iloc[te0:te1],
+                                  W[:tr_end], F[:tr_end], k))
+        oos_idx.extend(range(te0, te1))
+    if not oos_p:
+        raise ValueError("Walk-forward için yeterli veri yok. Mum sayısını artır.")
+    return np.concatenate(oos_p), np.array(oos_idx)
+
+
+def predict(df: pd.DataFrame, horizon: int, fee: float = 0.0006, n_folds: int = 5, ext=None,
+            max_feat: int = 40):
     feats, atr = make_features(df)
     n_ext = 0
     if ext is not None:
@@ -543,24 +580,20 @@ def predict(df: pd.DataFrame, horizon: int, fee: float = 0.0006, n_folds: int =
     # ve büyük hareketlere daha fazla ağırlık ver.
     W = np.clip(np.abs(F) / (TM + 1e-12), 0.05, 3.0)
 
-    # --- Purged walk-forward (expanding window) ---
-    n = len(X)
-    start = int(n * 0.4)
-    edges = np.linspace(start, n, n_folds + 1).astype(int)
-    oos_p, oos_idx = [], []
-    for k in range(n_folds):
-        tr_end, te0, te1 = edges[k] - horizon, edges[k], edges[k + 1]
-        if tr_end < 80:
-            continue
-        p = _fit_predict(X.iloc[:tr_end], Y.iloc[:tr_end], X.iloc[te0:te1], W[:tr_end])
-        oos_p.append(p)
-        oos_idx.extend(range(te0, te1))
-    if not oos_p:
-        raise ValueError("Walk-forward için yeterli veri yok. Mum sayısını artır.")
-    oos_p = np.concatenate(oos_p)
-    oos_idx = np.array(oos_idx)
+    # --- Purged walk-forward (expanding window), fold-içi özellik seçimiyle ---
+    oos_p, oos_idx = _walk(X, Y, F, W, horizon, n_folds, max_feat)
     yo, fo = Y.values[oos_idx], F[oos_idx]
 
+    # Teşhis (ablation): yalnızca temel (fiyat/hacim) özelliklerle aynı test
+    base_cols = [c for c in cols if not c.startswith(("ts_", "dv_"))]
+    auc_base = None
+    if len(base_cols) < len(cols):
+        pb, ib = _walk(X[base_cols], Y, F, W, horizon, n_folds, max_feat)
+        try:
+            auc_base = float(roc_auc_score(Y.values[ib], pb))
+        except ValueError:
+            auc_base = 0.5
+
     acc = float(((oos_p > 0.5).astype(int) == yo).mean())
     base = float(max(yo.mean(), 1 - yo.mean()))
     try:
@@ -576,7 +609,7 @@ def predict(df: pd.DataFrame, horizon: int, fee: float = 0.0006, n_folds: int =
             best = {"thr": thr, **r}
 
     # Son model: tüm veriyle, canlı tahmin
-    final_p = _fit_predict(X, Y, feats.iloc[[-1]][cols].ffill().fillna(0), W)
+    final_p = _fit_predict(X, Y, feats.iloc[[-1]][cols].ffill().fillna(0), W, F, max_feat)
     p_up = float(final_p[0])
 
     price, a = float(close.iloc[-1]), float(atr.iloc[-1])
@@ -586,7 +619,7 @@ def predict(df: pd.DataFrame, horizon: int, fee: float = 0.0006, n_folds: int =
         "p_up": p_up, "acc": acc, "baseline": base, "auc": auc, "price": price, "atr": a,
         "center": center, "low": center - move, "high": center + move,
         "thr": best["thr"], "bt": best, "n_oos": len(oos_p), "fee": fee,
-        "n_ext": n_ext, "n_feat": len(cols),
+        "n_ext": n_ext, "n_feat": len(cols), "auc_base": auc_base, "max_feat": max_feat,
     }
 
 
@@ -631,7 +664,7 @@ def _root(e):
     return f"{type(e).__name__}: {e}"
 
 
-def run(symbol, timeframe, exchange, horizon, limit, use_deriv=True):
+def run(symbol, timeframe, exchange, horizon, limit, use_deriv=True, max_feat=40):
     try:
         ohlcv, deep, ind, extra = asyncio.run(run_async(symbol, timeframe, exchange, horizon, limit))
         df = to_df(ohlcv)
@@ -642,7 +675,7 @@ def run(symbol, timeframe, exchange, horizon, limit, use_deriv=True):
         ext = indicator_features(ind, df)
         if dfeat is not None:
             ext = dfeat if ext is None else pd.concat([ext, dfeat], axis=1)
-        res = predict(df, int(horizon), ext=ext)
+        res = predict(df, int(horizon), ext=ext, max_feat=int(max_feat))
     except BaseException as e:  # noqa: BLE001
         import traceback
         traceback.print_exc()
@@ -662,7 +695,8 @@ def run(symbol, timeframe, exchange, horizon, limit, use_deriv=True):
 | OOS AUC / doğruluk | {res['auc']:.3f} / {res['acc']:.1%} (baseline {res['baseline']:.1%}) |
 | OOS işlem sayısı | {bt['n']} (hit {bt['hit']:.1%}, PF {bt['pf']:.2f}) |
 | Ort. net getiri / işlem | {bt['mean']:.3%} (t = {bt['t']:.2f}, ücret {res['fee']:.2%}/işlem) |
-| Özellik sayısı | {res['n_feat']} (Tickscope göstergesi: {res['n_ext']}) |
+| Özellik sayısı | {res['n_feat']} (Tickscope/türev: {res['n_ext']}) → fold başına en fazla {res['max_feat']} seçilir |
+| AUC yalnızca temel özelliklerle | {('%.3f' % res['auc_base']) if res['auc_base'] is not None else '—'} (ek veri kaynakları yardım ediyor mu?) |
 | Model edge | {edge} |
 
 *Walk-forward (purged) out-of-sample sonuçlar. Eşik OOS'ta seçildiği için hafif iyimser olabilir. Eğitim/araştırma amaçlıdır; yatırım tavsiyesi değildir.*"""
@@ -695,12 +729,13 @@ with gr.Blocks(title="Tickscope Tahmin") as demo:
         horizon = gr.Slider(1, 24, value=4, step=1, label="Tahmin ufku (bar)")
         limit = gr.Slider(300, 20000, value=5000, step=100, label="Mum sayısı (1000 üstü sayfalanır)")
     use_deriv = gr.Checkbox(True, label="Türev verisi (LiquidVision MCP: funding/OI) — mumları geçmişin kapsadığı aralığa kırpabilir")
+    max_feat = gr.Slider(10, 150, value=40, step=5, label="Maks. özellik (fold içinde seçilir; az = daha az aşırı uyum)")
     btn = gr.Button("Tahmin et", variant="primary")
     out_md = gr.Markdown()
     out_plot = gr.Plot()
     with gr.Accordion("Tickscope ham çıktı (deep_analyze / indicators)", open=False):
         out_raw = gr.Code(language="json")
-    btn.click(run, [symbol, timeframe, exchange, horizon, limit, use_deriv], [out_md, out_plot, out_raw])
+    btn.click(run, [symbol, timeframe, exchange, horizon, limit, use_deriv, max_feat], [out_md, out_plot, out_raw])
 
 if __name__ == "__main__":
     demo.launch()