|
|
| """
|
| =============================================================================
|
| BẢNG TỔNG HỢP SO SÁNH TOÀN DIỆN CÁC MÔ HÌNH DỰ BÁO PHỤ TẢI ĐIỆN 30 PHÚT
|
| (PHIÊN BẢN CHUẨN MỰC HỌC THUẬT CHO LUẬN VĂN THẠC SĨ)
|
| =============================================================================
|
| Đặc điểm hiệu chỉnh:
|
| 1. Đồng nhất mốc thời gian chính xác theo preprocessing_summary.json:
|
| - Tập kiểm thử: 02/11/2024 15:30:00 -> 30/08/2025 23:30:00 (14,440 mẫu, lọc 14,385 mẫu hợp lệ).
|
| 2. Chuẩn hóa diễn đạt tính liên tục:
|
| - "14.385 mẫu hợp lệ, được phân thành 16 đoạn thời gian liên tục; bootstrap không vượt qua các khoảng đứt gãy."
|
| 3. Minh bạch phương pháp Ensemble:
|
| - Sử dụng Trung bình đều cố định (Uniform Simple Average, trọng số w_i = 1/5 cho cả 5 seeds),
|
| hoàn toàn không dùng bất kỳ thông tin nào từ tập test để tối ưu trọng số (Zero Data Leakage).
|
| 4. Công thức cải thiện:
|
| Improvement (%) = (Metric_Baseline - Metric_Model) / Metric_Baseline * 100%
|
| =============================================================================
|
| """
|
|
|
| import os
|
| import sys
|
| import json
|
| from pathlib import Path
|
|
|
| if sys.platform.startswith("win"):
|
| try:
|
| sys.stdout.reconfigure(encoding="utf-8")
|
| sys.stderr.reconfigure(encoding="utf-8")
|
| except Exception:
|
| pass
|
|
|
| import pandas as pd
|
| import numpy as np
|
|
|
|
|
| def generate_master_benchmark_table():
|
| reports_dir = Path("output_preprocessing/reports")
|
|
|
|
|
| df_base = pd.read_csv(reports_dir / "baseline_models_comparison.csv")
|
|
|
|
|
| with open(reports_dir / "kan_multi_seed_stability.json", "r", encoding="utf-8") as f:
|
| kan_data = json.load(f)
|
|
|
| stats = kan_data["summary_statistics"]
|
| ens = kan_data["ensemble_5_seeds"]["metrics"]
|
|
|
| master_rows = []
|
|
|
| for _, row in df_base.iterrows():
|
| master_rows.append({
|
| "Phân nhóm": "Baseline / ML Truyền thống",
|
| "Mô hình": row["model_name"],
|
| "MAE (kW)": f"{row['MAE_kW']:.2f}",
|
| "RMSE (kW)": f"{row['RMSE_kW']:.2f}",
|
| "MAE (MW)": f"{row['MAE_MW']:.4f}",
|
| "RMSE (MW)": f"{row['RMSE_MW']:.4f}",
|
| "sMAPE (%)": f"{row['sMAPE_pct']:.2f}%",
|
| "R2 Score": f"{row['R2_score']:.4f}",
|
| "ΔMAE vs Persistence (%)": f"{((598.36 - row['MAE_kW']) / 598.36 * 100):+.2f}%" if "Persistence" not in row["model_name"] else "Baseline (0.00%)",
|
| "ΔRMSE vs Persistence (%)": f"{((1160.44 - row['RMSE_kW']) / 1160.44 * 100):+.2f}%" if "Persistence" not in row["model_name"] else "Baseline (0.00%)",
|
| })
|
|
|
|
|
| master_rows.append({
|
| "Phân nhóm": "Thống kê độ ổn định (5 Seed)",
|
| "Mô hình": "8. Residual KAN đơn lẻ (Mean ± Std qua 5 Seed)*",
|
| "MAE (kW)": f"{stats['MAE_kW_mean']:.2f} ± {stats['MAE_kW_std']:.2f}",
|
| "RMSE (kW)": f"{stats['RMSE_kW_mean']:.2f} ± {stats['RMSE_kW_std']:.2f}",
|
| "MAE (MW)": f"{stats['MAE_kW_mean']/1000:.4f}",
|
| "RMSE (MW)": f"{stats['RMSE_kW_mean']/1000:.4f}",
|
| "sMAPE (%)": f"{stats['sMAPE_pct_mean']:.2f}% ± {stats['sMAPE_pct_std']:.2f}%",
|
| "R2 Score": f"{stats['R2_score_mean']:.4f} ± {stats['R2_score_std']:.4f}",
|
| "ΔMAE vs Persistence (%)": f"+{stats['Improvement_MAE_pct_mean']:.2f}%",
|
| "ΔRMSE vs Persistence (%)": f"+{stats['Improvement_RMSE_pct_mean']:.2f}%"
|
| })
|
|
|
|
|
| master_rows.append({
|
| "Phân nhóm": "Mô hình đề xuất (Deep Learning)",
|
| "Mô hình": "9. Residual KAN Ensemble (Trung bình đều 5 Seed)**",
|
| "MAE (kW)": f"{ens['MAE_kW']:.2f}",
|
| "RMSE (kW)": f"{ens['RMSE_kW']:.2f}",
|
| "MAE (MW)": f"{ens['MAE_MW']:.4f}",
|
| "RMSE (MW)": f"{ens['RMSE_MW']:.4f}",
|
| "sMAPE (%)": f"{ens['sMAPE_pct']:.2f}%",
|
| "R2 Score": f"{ens['R2_score']:.4f}",
|
| "ΔMAE vs Persistence (%)": f"+{ens['Improvement_MAE_pct']:.2f}%",
|
| "ΔRMSE vs Persistence (%)": f"+{ens['Improvement_RMSE_pct']:.2f}%"
|
| })
|
|
|
| df_master = pd.DataFrame(master_rows)
|
| df_master.to_csv(reports_dir / "master_model_comparison_benchmark.csv", index=False, encoding="utf-8-sig")
|
|
|
| headers = list(df_master.columns)
|
| lines = [
|
| "| " + " | ".join(headers) + " |",
|
| "| " + " | ".join(["---"] * len(headers)) + " |"
|
| ]
|
| for _, r in df_master.iterrows():
|
| lines.append("| " + " | ".join([str(r[c]) for c in headers]) + " |")
|
| md_table = "\n".join(lines)
|
|
|
| notes = """
|
| ### Ghi chú phương pháp và phạm vi áp dụng (Dành cho Luận văn Thạc sĩ):
|
|
|
| 1. **Phạm vi dữ liệu thực nghiệm:**
|
| - Tập kiểm thử gồm **14.385 mẫu hợp lệ**, được phân thành **16 phân đoạn thời gian liên tục**; quy trình bootstrap kiểm định không vượt qua các khoảng đứt gãy dữ liệu.
|
| - Khoảng thời gian kiểm thử chính xác: **02/11/2024 15:30:00 đến 30/08/2025 23:30:00**.
|
| - Đối tượng kiểm định: **Lộ 480 Trạm biến áp 224 Tân Hưng** (Công ty Điện lực Tây Ninh).
|
| - *Lưu ý học thuật:* Kết quả phản ánh hiệu năng trên tập kiểm định cụ thể này; việc mở rộng sang các xuất tuyến khác (như trạm Suối Ngô hoặc các năm khác) cần có thực nghiệm tái thẩm định riêng biệt.
|
|
|
| 2. **Công thức tính tỷ lệ cải thiện:**
|
| $$\\text{Improvement (\\%)} = \\frac{\\text{Metric}_{\\text{Persistence}} - \\text{Metric}_{\\text{Model}}}{\\text{Metric}_{\\text{Persistence}}} \\times 100\\%$$
|
| - Giá trị **dương (+)**: Mô hình giảm sai số (tốt hơn Persistence).
|
| - Giá trị **âm (-)**: Mô hình có sai số lớn hơn Persistence (kém hơn).
|
|
|
| 3. **Phân biệt hai dòng kết quả KAN:**
|
| - `(*)` **Dòng 8 (Mean ± Std):** Thống kê độ ổn định của mô hình đơn qua 5 lần khởi tạo ngẫu nhiên khác nhau (`seeds = [42, 101, 2024, 7, 999]`), thể hiện tính hội tụ vững chắc của mạng.
|
| - `(**)` **Dòng 9 (Ensemble):** Mô hình kết hợp bằng **trung bình đều cố định** $(\\hat{y}_{\\text{ens}} = \\frac{1}{5}\\sum_{i=1}^5 \\hat{y}_i)$, tuyệt đối không tối ưu hóa trọng số trên tập kiểm thử nhằm đảm bảo khách quan (Zero Data Leakage).
|
|
|
| 4. **Đánh giá toàn diện:**
|
| - **Residual KAN** đạt ưu thế rõ rệt và vượt trội về **MAE, RMSE và R²**.
|
| - **Persistence Naive** vẫn giữ vị trí dẫn đầu về **sMAPE (13.35%)** và là mốc baseline bắt buộc phải có để đối chiếu trong bài toán dự báo phụ tải ngắn hạn 30 phút.
|
|
|
| 5. **Kiểm soát rò rỉ dữ liệu (Data Leakage Control):**
|
| - Bộ điền khuyết thiếu (`SimpleImputer`) và bộ chuẩn hóa (`StandardScaler`) được tính toán (`fit`) **nghiêm ngặt chỉ trên tập Train** (giai đoạn 03/2020 đến 01/2024), sau đó chỉ áp dụng phép chuyển đổi (`transform`) sang tập Validation và Test.
|
| - Các siêu tham số dừng sớm (Early Stopping) được theo dõi độc lập trên tập Validation (01/2024 đến 11/2024). Tập Test tuyệt đối không tham gia vào bất kỳ khâu huấn luyện hay điều chỉnh ngưỡng nào.
|
| """
|
|
|
| with open(reports_dir / "master_model_comparison_benchmark.md", "w", encoding="utf-8") as f:
|
| f.write("# BẢNG TỔNG HỢP ĐỐI CHIẾU MÔ HÌNH DỰ BÁO PHỤ TẢI (TRẠM 224 TÂN HƯNG)\n\n")
|
| f.write(md_table)
|
| f.write("\n\n" + notes.strip() + "\n")
|
|
|
| print("✅ Đã cập nhật bảng tổng hợp chuẩn mực học thuật hoàn thiện tại:")
|
| print(f" - {reports_dir / 'master_model_comparison_benchmark.csv'}")
|
| print(f" - {reports_dir / 'master_model_comparison_benchmark.md'}")
|
|
|
|
|
| if __name__ == "__main__":
|
| generate_master_benchmark_table()
|
|
|
