Update app.py

app.py

@@ -50,7 +50,7 @@ FEATURES = [
 
 
 # =========================================================
-# OKX DATA
+# OKX DATA FETCH
 # =========================================================
 
 def fetch_data(timeframe="1h", candles=2000):
@@ -67,56 +67,63 @@ def fetch_data(timeframe="1h", candles=2000):
 
     if SYMBOL not in exchange.markets:
         raise ValueError(
-            f"OKX sembolü bulunamadı: {SYMBOL}"
+            f"OKX perpetual sembolü bulunamadı: {SYMBOL}"
         )
 
     timeframe_ms = exchange.parse_timeframe(timeframe) * 1000
 
     since = (
         exchange.milliseconds()
-        - candles * timeframe_ms
+        - (candles + 10) * timeframe_ms
     )
 
-    all_rows = []
-    last_timestamp = None
+    all_rows = {}
+    requests = 0
+    max_requests = max(20, candles // 80 + 10)
 
-    while len(all_rows) < candles:
+    while len(all_rows) < candles and requests < max_requests:
 
-        limit = min(100, candles - len(all_rows))
+        requests += 1
 
         batch = exchange.fetch_ohlcv(
             SYMBOL,
             timeframe=timeframe,
             since=since,
-            limit=limit
+            limit=100
         )
 
         if not batch:
             break
 
+        old_count = len(all_rows)
+
         for row in batch:
+            all_rows[int(row[0])] = row
+
+        new_count = len(all_rows)
 
-            if last_timestamp is None or row[0] > last_timestamp:
-                all_rows.append(row)
-                last_timestamp = row[0]
+        last_timestamp = max(int(row[0]) for row in batch)
 
-        new_since = batch[-1][0] + timeframe_ms
+        new_since = last_timestamp + timeframe_ms
 
         if new_since <= since:
             break
 
         since = new_since
 
-        if len(batch) < limit:
+        if new_count == old_count:
+            break
+
+        if len(batch) < 100:
             break
 
         time.sleep(exchange.rateLimit / 1000)
 
     if not all_rows:
-        raise RuntimeError("OKX veri döndürmedi.")
+        raise ValueError("OKX veri döndürmedi.")
 
     df = pd.DataFrame(
-        all_rows,
+        list(all_rows.values()),
         columns=[
             "timestamp",
             "open",
@@ -127,8 +134,8 @@ def fetch_data(timeframe="1h", candles=2000):
         ]
     )
 
-    df = df.drop_duplicates("timestamp")
     df = df.sort_values("timestamp")
+    df = df.drop_duplicates("timestamp")
 
     df["timestamp"] = pd.to_datetime(
         df["timestamp"],
@@ -152,11 +159,19 @@ def fetch_data(timeframe="1h", candles=2000):
 
     df = df.dropna()
 
-    # Tamamlanmamış son mumu çıkar.
+    # Henüz tamamlanmamış mum
     if len(df) > 1:
         df = df.iloc[:-1]
 
-    return df.tail(candles)
+    df = df.tail(candles)
+
+    if len(df) < 200:
+        raise ValueError(
+            f"OKX yalnızca {len(df)} mum döndürdü. "
+            "Daha yüksek mum sayısı veya farklı timeframe deneyin."
+        )
+
+    return df
 
 
 # =========================================================
@@ -167,7 +182,7 @@ def calculate_indicators(df):
 
     df = df.copy()
 
-    # ATR
+    # ATR 10
     previous_close = df["close"].shift(1)
 
     tr = pd.concat([
@@ -290,7 +305,7 @@ def calculate_indicators(df):
     df["supertrend"] = supertrend
     df["supertrend_direction"] = direction
 
-    # UTC DAILY VWAP
+    # VWAP - UTC daily reset
     typical_price = (
         df["high"] + df["low"] + df["close"]
     ) / 3
@@ -379,7 +394,7 @@ def prepare_dataset(raw, horizon):
         future_close > data["close"]
     ).astype(int)
 
-    # Bilinmeyen gelecek hedeflerini çıkar.
+    # Gelecek hedefi bulunmayan son mumları çıkar.
     data = data.iloc[:-horizon].copy()
 
     data = data.replace(
@@ -391,9 +406,11 @@ def prepare_dataset(raw, horizon):
         subset=FEATURES + ["target", "atr"]
     )
 
-    if len(data) < 500:
+    if len(data) < 150:
         raise ValueError(
-            "Model için yeterli temiz veri bulunamadı."
+            f"Temiz veri sayısı {len(data)}. "
+            "En az 150 örnek gerekli. Mum sayısını artırın "
+            "veya daha büyük timeframe deneyin."
         )
 
     return data
@@ -436,12 +453,7 @@ def create_models(params):
     return [extra, hist, logistic]
 
 
-def ensemble_predict(
-    X_train,
-    y_train,
-    X_test,
-    params
-):
+def ensemble_predict(X_train, y_train, X_test, params):
 
     probabilities = []
 
@@ -449,15 +461,15 @@ def ensemble_predict(
 
         model.fit(X_train, y_train)
 
-        p = model.predict_proba(X_test)[:, 1]
+        probability = model.predict_proba(X_test)[:, 1]
 
-        probabilities.append(p)
+        probabilities.append(probability)
 
     return np.mean(probabilities, axis=0)
 
 
 # =========================================================
-# BACKTEST ENGINE
+# BACKTEST
 # =========================================================
 
 def run_backtest(
@@ -529,8 +541,6 @@ def run_backtest(
 
             if side == "LONG":
 
-                # Aynı mumda stop ve hedef görülürse
-                # ihtiyatlı bi��imde stop önce kabul edilir.
                 if low <= stop:
                     exit_price = stop
                     exit_reason = "STOP"
@@ -607,24 +617,16 @@ def run_backtest(
     else:
         pf = 0
 
-    winrate = (
-        len(wins) / len(trade_df)
-    ) * 100
+    winrate = len(wins) / len(trade_df) * 100
 
-    # İşlemler sırasıyla bileşik getiri
     returns = trade_df["net_pct"].values / 100
 
     equity = np.cumprod(1 + returns)
-
     peak = np.maximum.accumulate(equity)
 
-    drawdown = (
-        (equity - peak) / peak
-    ) * 100
+    drawdown = (equity - peak) / peak * 100
 
-    total_return = (
-        equity[-1] - 1
-    ) * 100
+    total_return = (equity[-1] - 1) * 100
 
     return {
         "count": len(trade_df),
@@ -637,7 +639,7 @@ def run_backtest(
 
 
 # =========================================================
-# OPTUNA OPTIMIZATION
+# OPTUNA
 # =========================================================
 
 def optimize_model(
@@ -649,7 +651,16 @@ def optimize_model(
     fee_pct
 ):
 
-    splitter = TimeSeriesSplit(n_splits=3)
+    if len(X) < 200:
+        raise ValueError(
+            "Optuna için yeterli geliştirme verisi yok. "
+            "Mum sayısını artırın."
+        )
+
+    splitter = TimeSeriesSplit(
+        n_splits=3,
+        gap=horizon
+    )
 
     splits = list(splitter.split(X))
 
@@ -657,22 +668,22 @@ def optimize_model(
 
         params = {
             "extra_trees": trial.suggest_int(
-                "extra_trees", 100, 350
+                "extra_trees", 100, 300
             ),
             "extra_depth": trial.suggest_int(
-                "extra_depth", 3, 14
+                "extra_depth", 3, 12
             ),
             "extra_leaf": trial.suggest_int(
-                "extra_leaf", 2, 12
+                "extra_leaf", 2, 10
             ),
             "hgb_iter": trial.suggest_int(
-                "hgb_iter", 80, 250
+                "hgb_iter", 80, 200
             ),
             "hgb_lr": trial.suggest_float(
                 "hgb_lr", 0.01, 0.15, log=True
             ),
             "hgb_leaves": trial.suggest_int(
-                "hgb_leaves", 7, 25
+                "hgb_leaves", 7, 20
             ),
             "hgb_l2": trial.suggest_float(
                 "hgb_l2", 0.1, 10, log=True
@@ -731,8 +742,8 @@ def optimize_model(
                 fee_pct=fee_pct
             )
 
-            if result["count"] < 5:
-                fold_scores.append(-5.0)
+            if result["count"] < 3:
+                fold_scores.append(-10.0)
                 continue
 
             pf = result["profit_factor"]
@@ -740,7 +751,6 @@ def optimize_model(
             if np.isinf(pf):
                 pf = 3.0
 
-            # Getiri + PF - aşırı düşüş cezası
             score = (
                 result["total_return"]
                 + min(pf, 3.0) * 3
@@ -756,9 +766,7 @@ def optimize_model(
 
     study = optuna.create_study(
         direction="maximize",
-        sampler=optuna.samplers.TPESampler(
-            seed=42
-        )
+        sampler=optuna.samplers.TPESampler(seed=42)
     )
 
     optuna.logging.set_verbosity(
@@ -794,12 +802,15 @@ def optimize_model(
 
 
 # =========================================================
-# WALK FORWARD VALIDATION
+# WALK-FORWARD VALIDATION
 # =========================================================
 
-def walk_forward_validation(X, y, params):
+def walk_forward_validation(X, y, params, horizon):
 
-    splitter = TimeSeriesSplit(n_splits=4)
+    splitter = TimeSeriesSplit(
+        n_splits=3,
+        gap=horizon
+    )
 
     scores = []
 
@@ -814,7 +825,7 @@ def walk_forward_validation(X, y, params):
         if y_train.nunique() < 2:
             continue
 
-        probabilities = ensemble_predict(
+        probs = ensemble_predict(
             X_train,
             y_train,
             X_test,
@@ -822,7 +833,7 @@ def walk_forward_validation(X, y, params):
         )
 
         predictions = (
-            probabilities >= 0.5
+            probs >= 0.5
         ).astype(int)
 
         scores.append(
@@ -832,10 +843,35 @@ def walk_forward_validation(X, y, params):
             )
         )
 
-    if not scores:
-        return 0
+    return float(np.mean(scores)) if scores else 0.5
+
 
-    return float(np.mean(scores))
+# =========================================================
+# OVERFIT RISK INDEX
+# =========================================================
+
+def calculate_overfit_index(walk_forward_score, holdout_score):
+
+    # Pozitif fark, geliştirme döneminin test döneminden
+    # daha iyi görünmesi anlamına gelir.
+    gap = max(
+        0.0,
+        walk_forward_score - holdout_score
+    )
+
+    # 20 yüzde puanlık farkta 100 puan risk.
+    risk = min(100.0, gap * 500)
+
+    if risk < 15:
+        label = "DÜŞÜK"
+    elif risk < 35:
+        label = "ORTA"
+    elif risk < 60:
+        label = "YÜKSEK"
+    else:
+        label = "ÇOK YÜKSEK"
+
+    return risk, label, gap
 
 
 # =========================================================
@@ -863,13 +899,13 @@ def analyze(
         if horizon < 1 or horizon > 48:
             return "Horizon 1-48 arasında olmalı."
 
-        if trials < 5 or trials > 100:
-            return "Optuna trial sayısı 5-100 arasında olmalı."
+        if trials < 3 or trials > 100:
+            return "Trial sayısı 3-100 arasında olmalı."
 
         if fee_pct < 0 or fee_pct > 1:
             return "Komisyon değeri geçersiz."
 
-        # DATA
+        # FETCH
         raw = fetch_data(
             timeframe=timeframe,
             candles=candles
@@ -886,19 +922,32 @@ def analyze(
         y = data["target"].astype(int)
 
         if y.nunique() < 2:
-            return "Veri setinde yalnızca tek hedef sınıfı var."
+            return "Veri setinde iki hedef sınıfı bulunmalı."
 
-        # CHRONOLOGICAL HOLDOUT
+        # HOLDOUT SPLIT
         split = int(len(data) * 0.80)
 
-        X_dev = X.iloc[:split]
-        y_dev = y.iloc[:split]
+        # Horizon kadar purge: train etiketleri
+        # holdout dönemine taşmasın.
+        dev_end = split - horizon
+
+        if dev_end < 200:
+            return (
+                "Geliştirme verisi yetersiz. "
+                "Mum sayısını artırın veya horizon'u azaltın."
+            )
+
+        X_dev = X.iloc[:dev_end]
+        y_dev = y.iloc[:dev_end]
 
         X_test = X.iloc[split:]
         y_test = y.iloc[split:]
 
-        if y_dev.nunique() < 2:
-            return "Eğitim verisinde iki sınıf da bulunmalı."
+        if y_dev.nunique() < 2 or y_test.nunique() < 2:
+            return (
+                "Eğitim veya hold-out döneminde iki sınıf da "
+                "bulunmalı. Daha fazla mum deneyin."
+            )
 
         # OPTUNA
         params, threshold, atr_mult, best_score, n_trials = (
@@ -916,7 +965,8 @@ def analyze(
         wf_score = walk_forward_validation(
             X_dev,
             y_dev,
-            params
+            params,
+            horizon
         )
 
         # HOLDOUT PREDICTION
@@ -972,8 +1022,19 @@ def analyze(
             fee_pct=fee_pct
         )
 
-        # LIVE MODEL: development data only
-        # Holdout is not used for final model fitting.
+        # OVERFIT INDEX
+        overfit_score, overfit_label, overfit_gap = (
+            calculate_overfit_index(
+                wf_score,
+                balanced
+            )
+        )
+
+        # FINAL MODEL
+        # Holdout evaluation tamamlandıktan sonra
+        # güncel sinyal için tüm bilinen etiketler kullanılır.
+        final_models = create_models(params)
+
         latest_indicators = indicators.dropna(
             subset=FEATURES + ["atr"]
         )
@@ -985,14 +1046,17 @@ def analyze(
             columns=FEATURES
         )
 
-        latest_probability = ensemble_predict(
-            X_dev,
-            y_dev,
-            latest_X,
-            params
-        )[0]
+        final_probabilities = []
+
+        for model in final_models:
 
-        p_up = float(latest_probability)
+            model.fit(X, y)
+
+            final_probabilities.append(
+                model.predict_proba(latest_X)[:, 1][0]
+            )
+
+        p_up = float(np.mean(final_probabilities))
         p_down = 1 - p_up
 
         if p_up >= threshold:
@@ -1007,11 +1071,11 @@ def analyze(
 
         if signal == "LONG":
             stop = entry - atr * atr_mult
-            target = entry + atr * atr_mult * 2
+            target = entry + 2 * atr * atr_mult
 
         elif signal == "SHORT":
             stop = entry + atr * atr_mult
-            target = entry - atr * atr_mult * 2
+            target = entry - 2 * atr * atr_mult
 
         else:
             stop = None
@@ -1038,6 +1102,24 @@ def analyze(
             else "ALTINDA"
         )
 
+        # 4 INDICATOR CONFLUENCE
+        votes = [
+            1 if latest["supertrend_direction"] == 1 else -1,
+            1 if latest["macd"] > latest["macd_signal"] else -1,
+            1 if rsi >= 50 else -1,
+            1 if latest["vwap_distance"] > 0 else -1
+        ]
+
+        bullish_votes = sum(v == 1 for v in votes)
+        bearish_votes = 4 - bullish_votes
+
+        if bullish_votes >= 3:
+            confluence = "GÜÇLÜ BOĞA UYUMU"
+        elif bearish_votes >= 3:
+            confluence = "GÜÇLÜ AYI UYUMU"
+        else:
+            confluence = "KARARSIZ / KARIŞIK"
+
         pf = backtest["profit_factor"]
 
         pf_text = (
@@ -1045,7 +1127,15 @@ def analyze(
             else f"{pf:.2f}"
         )
 
-        trade_table = ""
+        stop_text = (
+            f"{stop:,.2f}" if stop is not None else "—"
+        )
+
+        target_text = (
+            f"{target:,.2f}" if target is not None else "—"
+        )
+
+        trade_table = "İşlem oluşmadı."
 
         if backtest["trades"]:
 
@@ -1057,13 +1147,6 @@ def analyze(
                 index=False
             )
 
-        if stop is None:
-            stop_text = "—"
-            target_text = "—"
-        else:
-            stop_text = f"{stop:,.2f}"
-            target_text = f"{target:,.2f}"
-
         output = f"""
 # OKX BTC/USDT AI ANALİZİ
 
@@ -1078,14 +1161,15 @@ def analyze(
 | Zaman dilimi | {timeframe} |
 | Tahmin horizon | {horizon} mum |
 
-## TradingView uyumlu indikatörler
+## Dört indikatör
 
-| İndikatör | Değer |
-|---|---:|
+| İndikatör | Durum |
+|---|---|
 | RSI 14 | {rsi:.2f} |
 | MACD | {macd_state} |
 | Supertrend 10,3 | {supertrend_state} |
 | VWAP | {vwap_state} |
+| İndikatör uyumu | {confluence} |
 | VWAP uzaklığı | {latest['vwap_distance']:.3f}% |
 
 ## İşlem seviyeleri
@@ -1097,14 +1181,14 @@ def analyze(
 | 2R hedef | {target_text} |
 | ATR çarpanı | {atr_mult:.2f} |
 
-## Optuna optimizasyonu
+## Optuna
 
 | Metrik | Sonuç |
 |---|---:|
-| Tamamlanan trial | {n_trials} |
+| Trial sayısı | {n_trials} |
 | En iyi objective | {best_score:.4f} |
-| Optimize edilen threshold | {threshold:.3f} |
-| Optimize edilen ATR | {atr_mult:.2f} |
+| Sinyal eşiği | {threshold:.3f} |
+| ATR çarpanı | {atr_mult:.2f} |
 
 ## Bağımsız hold-out test
 
@@ -1115,6 +1199,22 @@ def analyze(
 | AUC | {auc:.4f} |
 | Walk-forward Balanced Accuracy | {wf_score * 100:.2f}% |
 
+## OVERFIT RISK INDEX
+
+# {overfit_score:.1f} / 100 — {overfit_label}
+
+| Ölçüm | Sonuç |
+|---|---:|
+| Walk-forward başarı | {wf_score * 100:.2f}% |
+| Hold-out başarı | {balanced * 100:.2f}% |
+| Başarı farkı | {overfit_gap * 100:.2f} yüzde puan |
+
+Risk yorumu:
+- 0–14: Düşük gözlenen genelleme farkı
+- 15–34: Orta
+- 35–59: Yüksek
+- 60–100: Çok yüksek
+
 ## Hold-out backtest
 
 | Metrik | Sonuç |
@@ -1126,17 +1226,21 @@ def analyze(
 | Maksimum drawdown | {backtest['max_drawdown']:.2f}% |
 | Komisyon | %{fee_pct:.3f} / taraf |
 
-## Son işlemler
+## Son backtest işlemleri
 
-{trade_table if trade_table else "Backtest döneminde işlem oluşmadı."}
+{trade_table}
 
-## Optuna'nın seçtiği model parametreleri
+## Optuna model parametreleri
 
 ```text
 {params}
 ```
 
-**Not:** Optuna yalnızca ilk %80'lik geliştirme verisinde optimize edildi. Son %20 hold-out test optimizasyona dahil edilmedi. Hold-out sonucu geçmiş performanstır; gelecekteki performans garantisi değildir.
+---
+
+**Overfit uyarısı:** Bu risk endeksi kesin bir overfit testi değildir. Walk-forward ve hold-out Balanced Accuracy arasındaki farktan türetilen bir göstergedir. Küçük fark, modelin overfit olmadığını kanıtlamaz.
+
+**Backtest uyarısı:** Mum içindeki fiyat sırası bilinmediği için aynı mumda stop ve hedef görülürse stop önce varsayılır. Funding, spread, slippage ve gerçek emir gerçekleşmesi dahil değildir. Sonuçlar canlı kazanç garantisi değildir.
 """
 
         return output
@@ -1146,7 +1250,7 @@ def analyze(
         return (
             "# ANALİZ HATASI\n\n"
             f"`{type(e).__name__}: {str(e)}`\n\n"
-            "OKX bağlantısını, sembolü ve paketleri kontrol et."
+            "OKX bağlantısını, mum sayısını ve timeframe ayarını kontrol et."
         )
 
 
@@ -1155,16 +1259,16 @@ def analyze(
 # =========================================================
 
 with gr.Blocks(
-    title="OKX BTC AI Optuna Backtest"
+    title="OKX BTC AI Optuna Overfit Monitor"
 ) as app:
 
     gr.Markdown(
         """
-# OKX BTC AI — OPTUNA + BACKTEST
+# OKX BTC AI — OPTUNA + BACKTEST + OVERFIT MONITOR
 
-OKX perpetual swap verisiyle çalışan makine öğrenmesi sistemi.
+OKX perpetual swap verisiyle çalışan ML ensemble.
 
-**Supertrend + RSI + MACD + VWAP + Ensemble ML + Optuna**
+**Supertrend + RSI + MACD + VWAP + Optuna + Walk-forward**
 """
     )
 
@@ -1207,10 +1311,10 @@ OKX perpetual swap verisiyle çalışan makine öğrenmesi sistemi.
         )
 
         trials = gr.Slider(
-            minimum=5,
+            minimum=3,
             maximum=100,
             value=20,
-            step=5,
+            step=1,
             label="Optuna trial sayısı"
         )