data clean and combine dataset

app.py

@@ -10,6 +10,7 @@ import urllib.request
 import matplotlib.pyplot as plt
 import seaborn as sns
 import matplotlib.font_manager as fm
+import shutil
 
 # --- 🌟 解決 Matplotlib 中文顯示問題 ---
 font_path = 'SimHei.ttf'
@@ -57,19 +58,30 @@ try:
     le_action = joblib.load('le_action.pkl')
     le_ip = joblib.load('le_ip.pkl')
     
-    # 📁 步驟 A：讀取你的 5 萬筆靜態訓練基底資料
-    print("📂 正在讀取靜態訓練基底資料 baseline_logs (1).csv...")
-    if os.path.exists('baseline_logs (1).csv'):
+    print("📂 正在處理靜態訓練基底資料...")
+    static_file = 'static_train_data.csv'
+    
+    # 🛡️【自動隔離防護盾】避免 5 萬筆資料被 logger_service 覆蓋
+    # 如果 baseline_logs.csv 存在且超過 500KB (大機率是 5 萬筆資料檔)
+    if os.path.exists('baseline_logs.csv') and os.path.getsize('baseline_logs.csv') > 500000:
+        if not os.path.exists(static_file):
+            shutil.copy('baseline_logs.csv', static_file)
+            print(f"🛡️ 系統防護：已自動將 5 萬筆訓練資料備份為 '{static_file}' 避免被雲端同步洗掉！")
+            
+    # 📁 步驟 A：優先讀取被保護的靜態資料 (或原本的舊檔名)
+    if os.path.exists(static_file):
+        base_df = pd.read_csv(static_file)
+    elif os.path.exists('baseline_logs (1).csv'):
         base_df = pd.read_csv('baseline_logs (1).csv')
     else:
-        print("⚠️ 找不到 baseline_logs (1).csv，建立空資料表")
+        print("⚠️ 找不到靜態訓練資料，建立空資料表")
         base_df = pd.DataFrame(columns=["timestamp", "ip_address", "cookie_id", "account", "role", "action", "status"])
 
     # ☁️ 步驟 B：同步雲端動態歷史資料庫
     print("🔄 正在從 Hugging Face 雲端同步最新動態歷史資料...")
     dynamic_df = logger_service.sync_from_hf()
     
-    # 🤝 步驟 C：將靜態訓練資料與動態資料合併
+    # 🤝 步驟 C：將靜態訓練資料與動態資料無縫合併
     if not dynamic_df.empty:
         baseline_df = pd.concat([base_df, dynamic_df], ignore_index=True)
     else:
@@ -78,21 +90,20 @@ try:
     # 確保時間格式正確
     baseline_df['timestamp'] = pd.to_datetime(baseline_df['timestamp'])
     
-    # 🧹 步驟 D：資料清洗 (強制切除 IP 後面的中文字串，保護 AI 模型)
+    # 🧹 步驟 D：資料統一清洗 (強制切除 IP 後面的中文字串，保護 AI 模型)
     baseline_df['clean_ip'] = baseline_df['ip_address'].astype(str).apply(lambda x: x.split(" ")[0])
     
-    # 📊 實現功能 1：統計資料整合 (包含 5萬筆 + 動態新增)
+    # 📊 【功能 1】：統計資料整合 (包含 5萬筆 + 動態新增)
     global_stats["total_count"] = len(baseline_df)
     global_stats["abnormal_count"] = baseline_df[baseline_df['status'].str.contains("異常", na=False)].shape[0]
     print(f"📊 統計初始化：總監測量 {global_stats['total_count']}, 異常數 {global_stats['abnormal_count']}")
 
-    # 📜 實現功能 4：即時 Log 顯示最新動態資料
+    # 📜 【功能 4】：即時 Log 顯示最新動態資料
     display_df = baseline_df.sort_values(by='timestamp', ascending=False).head(20).copy()
     display_df['timestamp'] = display_df['timestamp'].dt.strftime('%Y-%m-%d %H:%M:%S')
-    # 這裡丟給介面的還是原本帶有中文說明的原始 IP 欄位
     log_history = display_df[['timestamp', 'ip_address', 'cookie_id', 'account', 'role', 'action', 'status']].to_dict('records')
     
-    # 🚨 實現功能 3：異常 Log 分析區預先載入歷史異常
+    # 🚨 【功能 3】：異常 Log 分析區預先載入歷史異常 (涵蓋動靜態庫)
     abnormal_mask = baseline_df['status'].astype(str).str.contains("異常", na=False)
     if abnormal_mask.any():
         abn_df_temp = baseline_df[abnormal_mask].sort_values(by='timestamp', ascending=False).copy()
@@ -186,7 +197,7 @@ def get_plot_data(selected_key):
     action_code = ACTION_MAP.get(selected_key)
     try:
         plt.close('all') 
-        # 📊 實現功能 2：圖表整合所有基準資料 (baseline_df 現在已經包含靜態+動態)
+        # 📊 【功能 2】：圖表整合所有基準資料 (baseline_df 已包含靜態+動態)
         df_hist = baseline_df[baseline_df['action'] == action_code].copy()
         
         # 加上啟動後即時產生的新資料