Update app.py

app.py

@@ -37,7 +37,6 @@ CITIES = [
     "Caerleon",
 ]
 
-# 100 popüler ürün (T4-T6 kaynaklar, ekipmanlar, tüketim malları)
 _ITEM_POOL = [
     "T4_BAG", "T5_BAG", "T6_BAG", "T7_BAG", "T8_BAG",
     "T4_CAPE", "T5_CAPE", "T6_CAPE", "T7_CAPE", "T8_CAPE",
@@ -79,9 +78,11 @@ _ITEM_POOL = [
 ]
 ITEM_IDS = list(dict.fromkeys(_ITEM_POOL))[:100]
 
+
 def item_display_name(item_id: str) -> str:
     return item_id.replace("_", " ").title()
 
+
 SETUP_FEE_RATE = 0.025          # %2.5 listeleme ücreti
 TRANSACTION_TAX_RATE = 0.08     # %8 satış vergisi (Premium olmayan varsayılan)
 
@@ -103,6 +104,7 @@ RETRY_BACKOFF = 2
 # YARDIMCI FONKSİYONLAR
 # ---------------------------------------------------------------------------
 
+
 def safe_request(url: str, params: Optional[dict] = None) -> Optional[list]:
     for attempt in range(MAX_RETRIES):
         try:
@@ -207,6 +209,7 @@ def save_to_csv(df: pd.DataFrame, name: str) -> str:
 # FEATURE ENGINEERING
 # ---------------------------------------------------------------------------
 
+
 def compute_rsi(series: pd.Series, period: int = 14) -> pd.Series:
     delta = series.diff()
     gain = delta.clip(lower=0).rolling(period).mean()
@@ -350,7 +353,7 @@ def predict_24h_returns(model: lgb.LGBMRegressor, latest_features: pd.DataFrame)
         return pd.DataFrame()
 
     preds = model.predict(X_pred)
-    result = latest_features.loc[X_pred.index, ["item_id", "city", "avg_price", "item_count"]].copy()
+    result = latest_features.loc[X_pred.index, ["item_id", "city", "avg_price", "item_count", "volatility_24h"]].copy()
     result["predicted_log_return_24h"] = preds
     result["predicted_return_pct"] = (np.exp(preds) - 1) * 100
     result["predicted_price_24h"] = result["avg_price"] * np.exp(preds)
@@ -362,6 +365,7 @@ def predict_24h_returns(model: lgb.LGBMRegressor, latest_features: pd.DataFrame)
 # WALK-FORWARD BACKTEST
 # ---------------------------------------------------------------------------
 
+
 def walk_forward_backtest(featured_df: pd.DataFrame, n_splits: int = 3) -> Dict:
     if featured_df.empty:
         return {"error": "Veri yok."}
@@ -447,20 +451,17 @@ def walk_forward_backtest(featured_df: pd.DataFrame, n_splits: int = 3) -> Dict:
         sim_df = pd.concat(all_predictions)
         total_cost_rate = SETUP_FEE_RATE + TRANSACTION_TAX_RATE
         sim_df["net_return"] = sim_df["actual_return"] - total_cost_rate
-        sim_df["gross_return"] = sim_df["actual_return"]
         sim_df["trade_signal"] = sim_df["predicted_return"] > 0
         sim_trades = sim_df[sim_df["trade_signal"]].copy()
 
         if len(sim_trades) > 0:
             avg_net_return = sim_trades["net_return"].mean()
             win_rate = (sim_trades["net_return"] > 0).mean()
-            total_trades = len(sim_trades)
-            profitable_trades = int((sim_trades["net_return"] > 0).sum())
             simulation = {
-                "total_trades": int(total_trades),
+                "total_trades": int(len(sim_trades)),
                 "avg_net_return_per_trade_pct": round(float(avg_net_return * 100), 4),
                 "win_rate_pct": round(float(win_rate * 100), 2),
-                "profitable_trades": profitable_trades,
+                "profitable_trades": int((sim_trades["net_return"] > 0).sum()),
             }
         else:
             simulation = {"total_trades": 0, "avg_net_return_per_trade_pct": 0.0, "win_rate_pct": 0.0, "profitable_trades": 0}
@@ -478,6 +479,7 @@ def walk_forward_backtest(featured_df: pd.DataFrame, n_splits: int = 3) -> Dict:
 # VERİ HATTI
 # ---------------------------------------------------------------------------
 
+
 class DataPipeline:
     def __init__(self):
         self.history_df = pd.DataFrame()
@@ -495,8 +497,12 @@ class DataPipeline:
             cities = CITIES
 
         self.status_message = "API'den veri çekiliyor..."
-        hist = fetch_history(item_ids, cities)
-        prices = fetch_current_prices(item_ids, cities)
+        try:
+            hist = fetch_history(item_ids, cities)
+            prices = fetch_current_prices(item_ids, cities)
+        except Exception as e:
+            self.status_message = f"API bağlantı hatası: {e}"
+            return
 
         if hist.empty:
             self.status_message = "Tarihsel veri alınamadı. API bağlantısını kontrol edin."
@@ -568,9 +574,10 @@ pipeline = DataPipeline()
 # GRADIO YARDIMCI FONKSİYONLARI
 # ---------------------------------------------------------------------------
 
+
 def get_dashboard_metrics():
     if pipeline.featured_df.empty:
-        return pd.DataFrame({"Metrik": ["Durum"], "Değer": ["Veri yok"]})
+        return pd.DataFrame({"Metrik": ["Durum"], "Değer": ["Veri yok - Lütfen 'Verileri Yenile' butonuna tıklayın."]})
 
     df = pipeline.featured_df
     metrics = {
@@ -581,6 +588,7 @@ def get_dashboard_metrics():
         "Ortalama Fiyat": f"{df['avg_price'].mean():.0f} silver",
         "Ortalama Hacim": f"{df['item_count'].mean():.1f}",
         "Model Durumu": "Eğitildi" if pipeline.model else "Eğitilmedi",
+        "Son Güncelleme": pipeline.last_update.strftime("%Y-%m-%d %H:%M") if pipeline.last_update else "—",
     }
     return pd.DataFrame(list(metrics.items()), columns=["Metrik", "Değer"])
 
@@ -596,13 +604,20 @@ def get_analysis_table():
             pipeline.prices_df[["item_id", "city", "sell_price_min", "buy_price_max"]],
             on=["item_id", "city"], how="left"
         )
+    else:
+        latest["sell_price_min"] = np.nan
+        latest["buy_price_max"] = np.nan
 
     latest["Ürün"] = latest["item_id"].apply(item_display_name)
     latest["Şehir"] = latest["city"]
     latest["Mevcut Fiyat"] = latest["avg_price"].round(0)
     latest["Hacim (24s)"] = latest["item_count"].fillna(0).astype(int)
-    latest["Spread"] = (latest.get("sell_price_min", np.nan) - latest.get("buy_price_max", np.nan)).round(0)
-    latest["Likidite"] = pd.cut(latest["item_count"], bins=[-1, 10, 50, 200, np.inf], labels=["Düşük", "Orta", "İyi", "Yüksek"])
+    latest["Spread"] = (latest["sell_price_min"] - latest["buy_price_max"]).round(0)
+    latest["Likidite"] = pd.cut(
+        latest["item_count"],
+        bins=[-1, 10, 50, 200, np.inf],
+        labels=["Düşük", "Orta", "İyi", "Yüksek"]
+    ).astype(str)
 
     cols = ["Ürün", "Şehir", "Mevcut Fiyat", "Hacim (24s)", "Spread", "Likidite"]
     return latest[cols].sort_values("Hacim (24s)", ascending=False).head(100)
@@ -611,8 +626,11 @@ def get_analysis_table():
 def get_prediction_table():
     preds = pipeline.get_latest_predictions()
     if preds.empty:
-        return pd.DataFrame()
+        return pd.DataFrame({
+            "Bilgi": ["Tahmin üretilemedi. Veri çekip model eğitin veya yeterli veri olduğundan emin olun."]
+        })
 
+    preds = preds.copy()
     preds["Ürün"] = preds["item_id"].apply(item_display_name)
     preds["Şehir"] = preds["city"]
     preds["Mevcut Fiyat"] = preds["avg_price"].round(0)
@@ -621,7 +639,11 @@ def get_prediction_table():
     preds["Güvenilirlik"] = (preds["confidence"] * 100).round(0).astype(int).astype(str) + "%"
     preds["Spread"] = preds["spread"].round(0)
     preds["Net Getiri % (maliyet sonrası)"] = preds["net_return_pct"].round(2)
-    preds["Likidite"] = pd.cut(preds["item_count"], bins=[-1, 10, 50, 200, np.inf], labels=["Düşük", "Orta", "İyi", "Yüksek"])
+    preds["Likidite"] = pd.cut(
+        preds["item_count"],
+        bins=[-1, 10, 50, 200, np.inf],
+        labels=["Düşük", "Orta", "İyi", "Yüksek"]
+    ).astype(str)
 
     cols = [
         "Ürün", "Şehir", "Mevcut Fiyat", "Tahmini Fiyat (24s)",
@@ -633,11 +655,14 @@ def get_prediction_table():
 
 def get_arbitrage_table():
     if pipeline.prices_df.empty:
-        return pd.DataFrame()
+        return pd.DataFrame({"Bilgi": ["Anlık fiyat verisi yok."]})
 
     prices = pipeline.prices_df.copy()
     prices = prices[prices["sell_price_min"] > 0]
 
+    if prices.empty:
+        return pd.DataFrame({"Bilgi": ["Geçerli anlık fiyat yok."]})
+
     buy = prices.loc[prices.groupby("item_id")["sell_price_min"].idxmin()][["item_id", "city", "sell_price_min"]]
     buy.columns = ["item_id", "buy_city", "buy_price"]
 
@@ -647,7 +672,9 @@ def get_arbitrage_table():
     arb = buy.merge(sell, on="item_id")
     arb = arb[arb["sell_price"] > arb["buy_price"]].copy()
 
-    # Alışta setup fee, satışta setup fee + transaction tax
+    if arb.empty:
+        return pd.DataFrame({"Bilgi": ["Kârlı arbitraj fırsatı bulunamadı."]})
+
     arb["brüt_kâr"] = arb["sell_price"] - arb["buy_price"]
     arb["toplam_maliyet"] = (
         arb["buy_price"] * SETUP_FEE_RATE
@@ -658,6 +685,9 @@ def get_arbitrage_table():
 
     arb = arb[arb["net_kâr"] > 0].sort_values("kâr_marjı_%", ascending=False)
 
+    if arb.empty:
+        return pd.DataFrame({"Bilgi": ["İşlem maliyetleri sonrası kârlı arbitraj yok."]})
+
     arb["Ürün"] = arb["item_id"].apply(item_display_name)
     arb["Alış Şehri"] = arb["buy_city"]
     arb["Satış Şehri"] = arb["sell_city"]
@@ -672,13 +702,18 @@ def get_arbitrage_table():
 
 def get_model_performance_plot():
     if pipeline.model is None:
-        return go.Figure().update_layout(title="Model eğitilmedi", template="plotly_dark")
+        return go.Figure().update_layout(
+            title="Model eğitilmedi - Lütfen 'Verileri Yenile' butonuna tıklayın",
+            template="plotly_dark"
+        )
 
     try:
         importance = pipeline.model.feature_importances_
         feature_names = pipeline.model.feature_name_
         df_imp = pd.DataFrame({"Özellik": feature_names, "Önem": importance}).sort_values("Önem", ascending=True).tail(20)
-        fig = px.bar(df_imp, x="Önem", y="Özellik", orientation="h", title="Feature Importance (Top 20)", template="plotly_dark")
+        fig = px.bar(df_imp, x="Önem", y="Özellik", orientation="h",
+                     title="Feature Importance (Top 20)", template="plotly_dark")
+        fig.update_layout(height=600)
         return fig
     except Exception as e:
         return go.Figure().update_layout(title=f"Grafik hatası: {e}", template="plotly_dark")
@@ -688,7 +723,8 @@ def get_backtest_outputs():
     bt = pipeline.get_backtest()
 
     if "error" in bt:
-        return pd.DataFrame({"Hata": [bt["error"]]}), go.Figure().update_layout(title="Backtest hatası", template="plotly_dark"), pd.DataFrame()
+        empty_fig = go.Figure().update_layout(title=f"Backtest hatası: {bt['error']}", template="plotly_dark")
+        return pd.DataFrame({"Bilgi": [bt["error"]]}), empty_fig, pd.DataFrame()
 
     results_df = pd.DataFrame(bt["results"])
 
@@ -711,6 +747,23 @@ def get_backtest_outputs():
     return results_df, fig, sim_df
 
 
+def list_csv_files() -> pd.DataFrame:
+    rows = []
+    if os.path.isdir(DATA_DIR):
+        for fname in sorted(os.listdir(DATA_DIR)):
+            if fname.endswith(".csv"):
+                fpath = os.path.join(DATA_DIR, fname)
+                try:
+                    size_kb = round(os.path.getsize(fpath) / 1024, 2)
+                    mtime = dt.datetime.fromtimestamp(os.path.getmtime(fpath)).strftime("%Y-%m-%d %H:%M:%S")
+                    rows.append({"Dosya": fname, "Boyut (KB)": size_kb, "Son Değişiklik": mtime})
+                except OSError:
+                    continue
+    if not rows:
+        return pd.DataFrame(columns=["Dosya", "Boyut (KB)", "Son Değişiklik"])
+    return pd.DataFrame(rows)
+
+
 def refresh_data_ui():
     pipeline.fetch_data()
     if not pipeline.featured_df.empty:
@@ -728,6 +781,7 @@ def refresh_data_ui():
         bt_table,
         bt_fig,
         sim_table,
+        list_csv_files(),
     )
 
 
@@ -741,6 +795,7 @@ def initial_load():
         pd.DataFrame(),
         go.Figure().update_layout(title="Verileri yenilemek için butona tıklayın", template="plotly_dark"),
         pd.DataFrame(),
+        list_csv_files(),
     )
 
 
@@ -748,6 +803,7 @@ def initial_load():
 # GRADIO ARAYÜZÜ
 # ---------------------------------------------------------------------------
 
+
 with gr.Blocks(title="GOSHAWK ALBION MARKET AI", theme=gr.themes.Soft(primary_hue="cyan", secondary_hue="slate")) as demo:
 
     gr.Markdown(
@@ -762,18 +818,23 @@ with gr.Blocks(title="GOSHAWK ALBION MARKET AI", theme=gr.themes.Soft(primary_hu
 
     with gr.Row():
         refresh_btn = gr.Button("🔄 Verileri Yenile ve Modeli Eğit", variant="primary", scale=1)
-        status_text = gr.Textbox(label="Durum", interactive=False, scale=2)
+        status_text = gr.Textbox(label="Durum", interactive=False, scale=2, value=pipeline.status_message)
 
     with gr.Tabs():
 
         with gr.TabItem("📊 Dashboard"):
-            dashboard_table = gr.Dataframe(label="Özet Metrikler", interactive=False)
+            dashboard_table = gr.Dataframe(label="Özet Metrikler", interactive=False, wrap=True)
             gr.Markdown(
                 "### Kullanım\n"
                 "1. 'Verileri Yenile ve Modeli Eğit' butonuna tıklayın.\n"
                 "2. API'den gerçek piyasa verileri çekilir ve global LightGBM modeli eğitilir.\n"
                 "3. Diğer sekmelerden analizleri inceleyebilirsiniz.\n\n"
-                "*Veriler `gos_hawk_data/` dizininde CSV olarak saklanır.*"
+                "*Veriler `gos_hawk_data/` dizininde CSV olarak saklanır.*\n\n"
+                "### Riskler ve Belirsizlikler\n"
+                "- Model tahminleri **olasılıksaldır**, kesin değildir.\n"
+                "- Albion Online piyasası oyuncu davranışı, güncellemeler ve sezon değişimlerinden etkilenir.\n"
+                "- Backtest sonuçları geçmiş performansı yansıtır; gelecek performansı garanti etmez.\n"
+                "- Spread ve likidite düşükse gerçekleşme fiyatı tahminden sapabilir.\n"
             )
 
         with gr.TabItem("📦 100 Ürün Analizi"):
@@ -782,9 +843,10 @@ with gr.Blocks(title="GOSHAWK ALBION MARKET AI", theme=gr.themes.Soft(primary_hu
         with gr.TabItem("🔮 24 Saatlik Fiyat Tahmini"):
             prediction_table = gr.Dataframe(label="Tahminler (24 saatlik log getiri modeli)", interactive=False)
             gr.Markdown(
-                "*Güvenilirlik, volatilite ve RSI tabanlı bir göstergedir. "
+                "*Güvenilirlik, volatilite tabanlı bir göstergedir. "
                 "Net getiri, %2.5 setup + %8 vergi düşülerek hesaplanmıştır. "
-                "Spread ve likidite düşükse işlem maliyeti artabilir.*"
+                "Spread ve likidite düşükse işlem maliyeti artabilir. "
+                "Bu tahminler garanti değildir.*"
             )
 
         with gr.TabItem("🚚 Şehirler Arası Arbitraj"):
@@ -798,18 +860,23 @@ with gr.Blocks(title="GOSHAWK ALBION MARKET AI", theme=gr.themes.Soft(primary_hu
             performance_plot = gr.Plot(label="Feature Importance")
 
         with gr.TabItem("🧪 Walk-forward Backtest"):
-            backtest_table = gr.Dataframe(label="Split Sonuçları")
+            backtest_table = gr.Dataframe(label="Split Sonuçları", interactive=False)
             backtest_plot = gr.Plot(label="MAE Karşılaştırması")
-            simulation_table = gr.Dataframe(label="İşlem Simülasyonu (maliyetler sonrası)")
+            simulation_table = gr.Dataframe(label="İşlem Simülasyonu (maliyetler sonrası)", interactive=False)
             gr.Markdown(
                 "*Walk-forward backtest kronolojik split kullanır; purge (24s) ve embargo (24s) uygulanır. "
-                "Baseline, 'fiyat değişmez' (getiri=0) varsayımıdır. Simülasyon yalnızca modelin pozitif getiri öngördüğü işlemleri içerir.*"
+                "Baseline, 'fiyat değişmez' (getiri=0) varsayımıdır. "
+                "Simülasyon yalnızca modelin pozitif getiri öngördüğü işlemleri içerir. "
+                "Gerçek işlemlerde slippage ve rekabet nedeniyle sonuçlar farklı olabilir.*"
             )
 
         with gr.TabItem("🗄️ Veri Yönetimi"):
             gr.Markdown("Veriler `gos_hawk_data/` dizininde CSV olarak saklanır.")
-            data_status = gr.Textbox(label="Veri Durumu", interactive=False)
-            csv_files = gr.FileExplorer(root=DATA_DIR, label="Kayıtlı CSV Dosyaları")
+            csv_files = gr.Dataframe(
+                label="Kayıtlı CSV Dosyaları (Yenile butonuna basınca güncellenir)",
+                interactive=False,
+                headers=["Dosya", "Boyut (KB)", "Son Değişiklik"],
+            )
 
     refresh_btn.click(
         fn=refresh_data_ui,
@@ -824,6 +891,7 @@ with gr.Blocks(title="GOSHAWK ALBION MARKET AI", theme=gr.themes.Soft(primary_hu
             backtest_table,
             backtest_plot,
             simulation_table,
+            csv_files,
         ],
     )
 
@@ -839,6 +907,7 @@ with gr.Blocks(title="GOSHAWK ALBION MARKET AI", theme=gr.themes.Soft(primary_hu
             backtest_table,
             backtest_plot,
             simulation_table,
+            csv_files,
         ],
     )