Update app.py

app.py

@@ -2,6 +2,11 @@
 # GOSHAWK ALBION MARKET AI
 # Tek dosyalık, çalıştırılabilir Market Intelligence uygulaması.
 # Gerekli paketler: gradio, lightgbm, pandas, numpy, plotly, requests, scikit-learn
+#
+# NOT: Bu uygulama Albion Online Data Project (AODP) public API'sini kullanır.
+# Varsayılan sunucu: Avrupa (europe).
+# API dokümantasyonu: https://www.albion-online-data.com/
+# API key gerekmez, public endpoint'tir.
 
 import os
 import time
@@ -26,8 +31,13 @@ warnings.filterwarnings("ignore")
 # SABİTLER
 # ---------------------------------------------------------------------------
 
+# Public AODP API - Avrupa sunucusu
 API_BASE = "https://europe.albion-online-data.com/api/v2"
 
+# Diğer sunucu seçenekleri (isteğe bağlı):
+# API_BASE = "https://west.albion-online-data.com/api/v2"   # Americas
+# API_BASE = "https://east.albion-online-data.com/api/v2"   # Asia
+
 CITIES = [
     "Bridgewatch",
     "Fort Sterling",
@@ -101,17 +111,32 @@ MAX_RETRIES = 3
 RETRY_BACKOFF = 2
 
 # ---------------------------------------------------------------------------
-# YARDIMCI FONKSİYONLAR
+# PUBLIC API ÇAĞRILARI
 # ---------------------------------------------------------------------------
 
 
 def safe_request(url: str, params: Optional[dict] = None) -> Optional[list]:
+    """
+    Public AODP API'sine güvenli istek atar.
+    Retry, timeout ve rate-limit (429) koruması içerir.
+    """
+    headers = {
+        "User-Agent": "GOSHAWK-ALBION-MARKET-AI/1.0 (public-api-client)",
+        "Accept": "application/json",
+    }
     for attempt in range(MAX_RETRIES):
         try:
-            resp = requests.get(url, params=params, timeout=REQUEST_TIMEOUT)
+            resp = requests.get(url, params=params, headers=headers, timeout=REQUEST_TIMEOUT)
             if resp.status_code == 200:
                 return resp.json()
             elif resp.status_code == 429:
+                # Rate limit
+                wait = RETRY_BACKOFF * (attempt + 1) * 2
+                print(f"Rate limit (429). {wait}s bekleniyor...")
+                time.sleep(wait)
+                continue
+            elif resp.status_code >= 500:
+                print(f"Sunucu hatası {resp.status_code}. Yeniden deneniyor...")
                 time.sleep(RETRY_BACKOFF * (attempt + 1))
                 continue
             else:
@@ -119,6 +144,8 @@ def safe_request(url: str, params: Optional[dict] = None) -> Optional[list]:
                 return None
         except requests.exceptions.Timeout:
             print(f"Zaman aşımı (deneme {attempt+1}/{MAX_RETRIES}): {url}")
+        except requests.exceptions.ConnectionError as e:
+            print(f"Bağlantı hatası (deneme {attempt+1}/{MAX_RETRIES}): {e}")
         except requests.exceptions.RequestException as e:
             print(f"İstek hatası (deneme {attempt+1}/{MAX_RETRIES}): {e}")
         time.sleep(RETRY_BACKOFF * (attempt + 1))
@@ -126,6 +153,10 @@ def safe_request(url: str, params: Optional[dict] = None) -> Optional[list]:
 
 
 def fetch_current_prices(item_ids: List[str], cities: List[str], qualities: str = "1") -> pd.DataFrame:
+    """
+    AODP /stats/prices/ endpoint'inden anlık alış/satış fiyatlarını çeker.
+    Public endpoint, API key gerektirmez.
+    """
     all_data = []
     chunk_size = 50
     for i in range(0, len(item_ids), chunk_size):
@@ -137,9 +168,11 @@ def fetch_current_prices(item_ids: List[str], cities: List[str], qualities: str
         data = safe_request(url, params)
         if data:
             all_data.extend(data)
-        time.sleep(0.2)
+        # Public API'ye nazik ol
+        time.sleep(0.3)
     if not all_data:
         return pd.DataFrame()
+
     df = pd.DataFrame(all_data)
     for col in ["sell_price_min", "sell_price_max", "buy_price_min", "buy_price_max"]:
         if col in df.columns:
@@ -151,6 +184,11 @@ def fetch_current_prices(item_ids: List[str], cities: List[str], qualities: str
 
 
 def fetch_history(item_ids: List[str], cities: List[str], time_scale: int = 24, qualities: str = "1") -> pd.DataFrame:
+    """
+    AODP /stats/history/ endpoint'inden tarihsel ortalama fiyatları çeker.
+    time_scale: 1, 6, 24 saatlik bucket.
+    Public endpoint, API key gerektirmez.
+    """
     all_records = []
     chunk_size = 30
     for i in range(0, len(item_ids), chunk_size):
@@ -158,7 +196,11 @@ def fetch_history(item_ids: List[str], cities: List[str], time_scale: int = 24,
         items_str = ",".join(chunk)
         locations_str = ",".join(cities)
         url = f"{API_BASE}/stats/history/{items_str}.json"
-        params = {"locations": locations_str, "qualities": qualities, "time-scale": time_scale}
+        params = {
+            "locations": locations_str,
+            "qualities": qualities,
+            "time-scale": time_scale,
+        }
         data = safe_request(url, params)
         if data:
             for entry in data:
@@ -174,9 +216,10 @@ def fetch_history(item_ids: List[str], cities: List[str], time_scale: int = 24,
                         "avg_price": point.get("avg_price"),
                         "item_count": point.get("item_count", 0),
                     })
-        time.sleep(0.3)
+        time.sleep(0.4)
     if not all_records:
         return pd.DataFrame()
+
     df = pd.DataFrame(all_records)
     df["timestamp"] = pd.to_datetime(df["timestamp"], errors="coerce")
     df["avg_price"] = pd.to_numeric(df["avg_price"], errors="coerce").astype("float64")
@@ -184,6 +227,21 @@ def fetch_history(item_ids: List[str], cities: List[str], time_scale: int = 24,
     return df
 
 
+def check_api_health() -> Tuple[bool, str]:
+    """
+    Public API'nin erişilebilirliğini kontrol eder.
+    """
+    try:
+        url = f"{API_BASE}/stats/prices/T4_BAG.json"
+        params = {"locations": "Bridgewatch", "qualities": "1"}
+        data = safe_request(url, params)
+        if data is not None:
+            return True, "Public API erişilebilir."
+        return False, "Public API yanıt vermedi."
+    except Exception as e:
+        return False, f"API kontrol hatası: {e}"
+
+
 def clean_market_data(df: pd.DataFrame) -> pd.DataFrame:
     if df.empty:
         return df
@@ -192,6 +250,7 @@ def clean_market_data(df: pd.DataFrame) -> pd.DataFrame:
     if "item_count" in df.columns:
         df["item_count"] = pd.to_numeric(df["item_count"], errors="coerce").fillna(0).astype("float64")
     df = df[df["avg_price"] > 0].copy()
+
     if "item_id" in df.columns:
         for item in df["item_id"].unique():
             mask = df["item_id"] == item
@@ -201,6 +260,7 @@ def clean_market_data(df: pd.DataFrame) -> pd.DataFrame:
             upper = df.loc[mask, "avg_price"].quantile(0.995)
             if pd.notna(lower) and pd.notna(upper) and upper > lower:
                 df.loc[mask, "avg_price"] = df.loc[mask, "avg_price"].clip(lower, upper)
+
     df = df.sort_values(["item_id", "city", "timestamp"]).reset_index(drop=True)
     return df
 
@@ -497,8 +557,9 @@ class DataPipeline:
         self.featured_df = pd.DataFrame()
         self.model = None
         self.last_update = None
-        self.status_message = "Veri yüklenmedi."
+        self.status_message = "Veri yüklenmedi. 'Verileri Yenile' butonuna basın."
         self._backtest_cache = None
+        self.data_source = "PUBLIC_API_EUROPE"
 
     def fetch_data(self, item_ids: List[str] = None, cities: List[str] = None):
         if item_ids is None:
@@ -506,7 +567,12 @@ class DataPipeline:
         if cities is None:
             cities = CITIES
 
-        self.status_message = "API'den veri çekiliyor..."
+        self.status_message = f"Public API ({API_BASE}) üzerinden veri çekiliyor..."
+        ok, msg = check_api_health()
+        if not ok:
+            self.status_message = f"API erişilemiyor: {msg}"
+            return
+
         try:
             hist = fetch_history(item_ids, cities)
             prices = fetch_current_prices(item_ids, cities)
@@ -515,12 +581,15 @@ class DataPipeline:
             return
 
         if hist.empty:
-            self.status_message = "Tarihsel veri alınamadı. API bağlantısını kontrol edin."
+            self.status_message = "Tarihsel veri alınamadı. Public API geçici olarak yanıt vermiyor olabilir."
             return
 
         self.history_df = clean_market_data(hist)
         self.prices_df = prices
-        self.status_message = f"{len(self.history_df)} satır tarihsel veri, {len(self.prices_df)} anlık fiyat alındı."
+        self.status_message = (
+            f"✓ Public API'den alındı: {len(self.history_df)} satır tarihsel, "
+            f"{len(self.prices_df)} anlık fiyat."
+        )
 
         try:
             save_to_csv(self.history_df, "history")
@@ -546,7 +615,7 @@ class DataPipeline:
             self.status_message = "Model eğitimi başarısız."
             return False
 
-        self.status_message = f"Model eğitildi ({len(X)} örnek)."
+        self.status_message = f"Model eğitildi ({len(X)} örnek). Kaynak: Public API (EU)."
         self.last_update = dt.datetime.now()
         return True
 
@@ -592,10 +661,14 @@ pipeline = DataPipeline()
 
 def get_dashboard_metrics():
     if pipeline.featured_df.empty:
-        return pd.DataFrame({"Metrik": ["Durum"], "Değer": ["Veri yok - Lütfen 'Verileri Yenile' butonuna tıklayın."]})
+        return pd.DataFrame({
+            "Metrik": ["Durum", "Veri Kaynağı"],
+            "Değer": ["Veri yok - 'Verileri Yenile' butonuna tıklayın.", "Public AODP API (europe)"]
+        })
 
     df = pipeline.featured_df
     metrics = {
+        "Veri Kaynağı": "Public AODP API (europe.albion-online-data.com)",
         "Toplam Gözlem": len(df),
         "Ürün Sayısı": df["item_id"].nunique(),
         "Şehir Sayısı": df["city"].nunique(),
@@ -642,7 +715,7 @@ def get_prediction_table():
     preds = pipeline.get_latest_predictions()
     if preds.empty:
         return pd.DataFrame({
-            "Bilgi": ["Tahmin üretilemedi. Veri çekip model eğitin veya yeterli veri olduğundan emin olun."]
+            "Bilgi": ["Tahmin üretilemedi. Veri çekip model eğitin."]
         })
 
     preds = preds.copy()
@@ -881,6 +954,8 @@ with gr.Blocks(title="GOSHAWK ALBION MARKET AI", theme=gr.themes.Soft(primary_hu
         **Profesyonel Market Intelligence Dashboard** | Avrupa Sunucusu
         *LightGBM tabanlı 24 saatlik fiyat tahmini ve arbitraj analizi.*
 
+        **Veri kaynağı:** Public Albion Online Data Project API (`europe.albion-online-data.com`)
+
         **⚠️ Risk Uyarısı:** Bu uygulama yatırım tavsiyesi değildir. Model tahminleri belirsizlik içerir ve kesin kazanç garantisi sunmaz. Geçmiş performans gelecek sonuçların göstergesi değildir.
         """
     )
@@ -896,9 +971,13 @@ with gr.Blocks(title="GOSHAWK ALBION MARKET AI", theme=gr.themes.Soft(primary_hu
             gr.Markdown(
                 "### Kullanım\n"
                 "1. 'Verileri Yenile ve Modeli Eğit' butonuna tıklayın.\n"
-                "2. API'den gerçek piyasa verileri çekilir ve global LightGBM modeli eğitilir.\n"
-                "3. Diğer sekmelerden analizleri inceleyebilirsiniz.\n\n"
-                "*Veriler `gos_hawk_data/` dizininde CSV olarak saklanır.*\n\n"
+                "2. Public AODP API'sinden gerçek piyasa verileri çekilir.\n"
+                "3. Global LightGBM modeli eğitilir.\n"
+                "4. Diğer sekmelerden analizleri inceleyebilirsiniz.\n\n"
+                "### API Notu\n"
+                "- Public endpoint'tir, API key gerekmez.\n"
+                "- Rate-limit: dakikada ~60 istek.\n"
+                "- Çok sık yenilemek geçici olarak bloklanmanıza neden olabilir.\n\n"
                 "### Riskler ve Belirsizlikler\n"
                 "- Model tahminleri **olasılıksaldır**, kesin değildir.\n"
                 "- Albion Online piyasası oyuncu davranışı, güncellemeler ve sezon değişimlerinden etkilenir.\n"
@@ -940,7 +1019,12 @@ with gr.Blocks(title="GOSHAWK ALBION MARKET AI", theme=gr.themes.Soft(primary_hu
             )
 
         with gr.TabItem("🗄️ Veri Yönetimi"):
-            gr.Markdown("Veriler `gos_hawk_data/` dizininde CSV olarak saklanır.")
+            gr.Markdown(
+                "Veriler `gos_hawk_data/` dizininde CSV olarak saklanır.\n\n"
+                "**API Kaynağı:** Public AODP API — `europe.albion-online-data.com/api/v2`\n"
+                "**Endpoint'ler:** `/stats/prices/` (anlık), `/stats/history/` (tarihsel)\n"
+                "**Rate-limit:** dakikada ~60 istek (public)"
+            )
             csv_files = gr.Dataframe(
                 label="Kayıtlı CSV Dosyaları (Yenile butonuna basınca güncellenir)",
                 interactive=False,