Add and refactor evaluation scripts

evaluation/__init__.py

@@ -0,0 +1 @@
+# RAG Chatbot Evaluation Package

evaluation/evaluate.py

@@ -0,0 +1,350 @@
+"""
+RAGAS Evaluation Suite cho RAG Chatbot.
+Các metrics được đánh giá:
+    1. Faithfulness          - Câu trả lời có trung thực với context không?
+    2. Answer Relevancy      - Câu trả lời có liên quan đến câu hỏi không?
+    3. Context Precision     - Context retrieve được có chính xác không?
+    4. Context Recall        - Context có đủ để trả lời câu hỏi không?
+    5. Answer Correctness    - Câu trả lời có đúng so với ground truth không?
+"""
+
+import os
+import sys
+import json
+import time
+import logging
+from datetime import datetime
+from pathlib import Path
+import pandas as pd
+from datasets import Dataset
+
+
+
+from ragas import evaluate
+from ragas.metrics import (
+    Faithfulness,
+    AnswerRelevancy,
+    ContextPrecision,
+    ContextRecall,
+    AnswerCorrectness,
+)
+from langchain_groq import ChatGroq
+from langchain_huggingface import HuggingFaceEmbeddings
+from ragas.llms import LangchainLLMWrapper
+from ragas.embeddings import LangchainEmbeddingsWrapper
+from ragas.run_config import RunConfig
+from evaluation.rag_pipeline import run_rag_pipeline
+
+# ──────────────────────────────────────────────────────────────
+# Logging
+# ──────────────────────────────────────────────────────────────
+logging.basicConfig(
+    level=logging.INFO,
+    format="%(asctime)s [%(levelname)s] %(message)s",
+    handlers=[logging.StreamHandler()],
+)
+logger = logging.getLogger(__name__)
+
+# ──────────────────────────────────────────────────────────────
+# Cấu hình LLM & Embedding cho RAGAS
+# ──────────────────────────────────────────────────────────────
+GROQ_API_KEY = os.getenv("GROQ_API_KEY")
+RAGAS_EMBED_MODEL = "bkai-foundation-models/vietnamese-bi-encoder"
+
+def get_ragas_llm():
+    """Khởi tạo LLM cho RAGAS 0.4 dùng Groq (Llama 3.1 70B) và LangchainLLMWrapper."""
+    if not GROQ_API_KEY:
+        raise ValueError("Chưa cấu hình GROQ_API_KEY trong file .env")
+    groq_llm = ChatGroq(
+        model="llama-3.3-70b-versatile",
+        groq_api_key=GROQ_API_KEY,
+        temperature=0,
+        max_retries=10
+    )
+    return LangchainLLMWrapper(groq_llm)
+
+def get_ragas_embeddings():
+    """Khởi tạo Embedding cho RAGAS 0.4 dùng HuggingFace và LangchainEmbeddingsWrapper."""
+    hf_embeddings = HuggingFaceEmbeddings(model_name=RAGAS_EMBED_MODEL)
+    return LangchainEmbeddingsWrapper(hf_embeddings)
+
+# ──────────────────────────────────────────────────────────────
+# Thu thập dữ liệu từ RAG pipeline
+# ──────────────────────────────────────────────────────────────
+def collect_rag_outputs(dataset_path: str, limit: int = None, delay_seconds: float = 5.0) -> list[dict]:
+    """
+    Chạy RAG pipeline trên từng câu hỏi trong dataset và thu thập kết quả.
+    """
+    with open(dataset_path, "r", encoding="utf-8") as f:
+        samples = json.load(f)
+
+    print("⏳ LLM (GPT-4o-mini) sẽ tính điểm từng metric — có thể mất 2-3 phút (chạy sequential để tránh Rate Limit)...")
+    if limit is not None and limit > 0:
+        logger.info(f"Giới hạn bộ test còn {limit} mẫu để tránh Rate Limit API.")
+        samples = samples[:limit]
+
+    results = []
+    total = len(samples)
+
+    for idx, sample in enumerate(samples, 1):
+        question = sample["question"]
+        ground_truth = sample["ground_truth"]
+
+        logger.info(f"[{idx}/{total}] Đang chạy RAG cho: '{question[:50]}...'")
+
+        try:
+            output = run_rag_pipeline(
+                question=question,
+                session_id=f"eval_{idx}",
+            )
+            
+            # Format context và đảm bảo là list
+            contexts = output.get("contexts", [])
+            if isinstance(contexts, str):
+                contexts = [contexts]
+
+            results.append(
+                {
+                    "question": question,
+                    "answer": output["answer"],
+                    "contexts": contexts,
+                    "ground_truth": ground_truth,
+                }
+            )
+            logger.info(f"  ✓ Answer: {output['answer'][:70]}...")
+        except Exception as e:
+            logger.error(f"  ✗ Lỗi khi xử lý câu hỏi #{idx}: {e}")
+            results.append(
+                {
+                    "question": question,
+                    "answer": f"ERROR: {str(e)}",
+                    "contexts": ["Không tìm thấy ngữ cảnh vì xảy ra lỗi."],
+                    "ground_truth": ground_truth,
+                }
+            )
+
+        if idx < total:
+            time.sleep(delay_seconds)
+
+    return results
+
+# ──────────────────────────────────────────────────────────────
+# Vẽ biểu đồ kết quả
+# ──────────────────────────────────────────────────────────────
+def generate_plots(df_results: pd.DataFrame, output_dir: str):
+    """
+    Vẽ các biểu đồ trực quan hóa kết quả và lưu dưới dạng ảnh PNG.
+    """
+    try:
+        import matplotlib.pyplot as plt
+        import numpy as np
+    except ImportError:
+        logger.warning("Không thể import matplotlib hoặc numpy, bỏ qua bước vẽ biểu đồ.")
+        return
+
+    METRICS = [
+        "faithfulness",
+        "answer_relevancy",
+        "context_precision",
+        "context_recall",
+        "answer_correctness",
+    ]
+    METRIC_LABELS = {
+        "faithfulness":       "Faithfulness\n(Trung thực)",
+        "answer_relevancy":   "Answer Relevancy\n(Liên quan)",
+        "context_precision":  "Context Precision\n(Chính xác)",
+        "context_recall":     "Context Recall\n(Đầy đủ)",
+        "answer_correctness": "Answer Correctness\n(Đúng đắn)",
+    }
+
+    available_metrics = [m for m in METRICS if m in df_results.columns]
+    avg_scores = df_results[available_metrics].mean()
+    plot_scores = np.nan_to_num(avg_scores.values, nan=0.0)
+
+    # 1. Bar Chart & Radar Chart (Side by Side)
+    fig = plt.figure(figsize=(15, 6))
+    fig.suptitle("KẾT QUẢ ĐÁNH GIÁ CHẤT LƯỢNG CHATBOT (RAGAS)", fontsize=15, fontweight="bold", y=0.98)
+
+    # Bar chart
+    ax1 = fig.add_subplot(1, 2, 1)
+    colors = [
+        "#27ae60" if (not np.isnan(s) and s >= 0.7) else ("#f39c12" if (not np.isnan(s) and s >= 0.5) else "#d35400")
+        for s in avg_scores.values
+    ]
+    bars = ax1.bar(
+        [METRIC_LABELS.get(m, m) for m in available_metrics],
+        plot_scores,
+        color=colors, width=0.5, edgecolor="white", linewidth=1.2
+    )
+    ax1.set_ylim(0, 1.15)
+    ax1.set_ylabel("Điểm số (Score)", fontsize=11)
+    ax1.set_title("Điểm Trung Bình Từng Metric", fontsize=12, fontweight="bold")
+    ax1.axhline(y=0.7, color="#27ae60", linestyle="--", alpha=0.6, label="Tốt (>=0.7)")
+    ax1.axhline(y=0.5, color="#f39c12", linestyle="--", alpha=0.6, label="Tạm ổn (>=0.5)")
+    ax1.legend(loc="upper right", fontsize=9)
+    ax1.set_xticks(range(len(available_metrics)))
+    ax1.set_xticklabels([METRIC_LABELS.get(m, m) for m in available_metrics], fontsize=9)
+    for bar, score in zip(bars, avg_scores.values):
+        height = bar.get_height()
+        label_val = f"{score:.3f}" if not np.isnan(score) else "NaN"
+        ax1.text(bar.get_x() + bar.get_width() / 2.0, height + 0.02,
+                 label_val, ha="center", va="bottom", fontweight="bold", fontsize=10)
+    ax1.set_facecolor("#fcfcfc")
+    ax1.grid(axis="y", alpha=0.2)
+
+    # Radar chart
+    ax2 = fig.add_subplot(1, 2, 2, projection="polar")
+    N = len(available_metrics)
+    angles = np.linspace(0, 2 * np.pi, N, endpoint=False).tolist()
+    values = plot_scores.tolist()
+    
+    # Close the polygon
+    angles_c = angles + angles[:1]
+    values_c = values + values[:1]
+
+    ax2.plot(angles_c, values_c, "o-", linewidth=2, color="#2980b9")
+    ax2.fill(angles_c, values_c, alpha=0.2, color="#2980b9")
+    ax2.set_xticks(angles)
+    ax2.set_xticklabels([m.replace("_", "\n").title() for m in available_metrics], fontsize=9)
+    ax2.set_ylim(0, 1.0)
+    ax2.set_yticks([0.2, 0.4, 0.6, 0.8, 1.0])
+    ax2.set_yticklabels(["0.2", "0.4", "0.6", "0.8", "1.0"], fontsize=8)
+    ax2.set_title("Biểu Đồ Radar Đa Chiều", pad=20, fontsize=12, fontweight="bold")
+    ax2.grid(True, alpha=0.3)
+
+    plt.tight_layout()
+    chart_path = os.path.join(output_dir, "ragas_metrics_chart.png")
+    plt.savefig(chart_path, dpi=150, bbox_inches="tight")
+    plt.close()
+    logger.info(f"Đã cập nhật biểu đồ: {chart_path}")
+
+    # 2. Heatmap per Sample
+    heatmap_data = df_results[available_metrics].values.astype(float)
+    question_col = "user_input" if "user_input" in df_results.columns else "question"
+    q_labels = [f"Q{i+1}: {str(q)[:30]}..." for i, q in enumerate(df_results.get(question_col, ["Unknown"] * len(df_results)))]
+
+    fig, ax = plt.subplots(figsize=(10, max(4, len(df_results) * 0.5)))
+    im = ax.imshow(heatmap_data, cmap="RdYlGn", aspect="auto", vmin=0, vmax=1)
+    plt.colorbar(im, ax=ax, fraction=0.04, pad=0.04)
+
+    ax.set_xticks(range(len(available_metrics)))
+    ax.set_xticklabels(available_metrics, rotation=20, ha="right", fontsize=9)
+    ax.set_yticks(range(len(df_results)))
+    ax.set_yticklabels(q_labels, fontsize=9)
+    ax.set_title("Bản Đồ Nhiệt (Heatmap) Điểm Số Từng Mẫu", fontsize=13, fontweight="bold", pad=12)
+
+    for i in range(len(df_results)):
+        for j in range(len(available_metrics)):
+            val = heatmap_data[i, j]
+            if not np.isnan(val):
+                ax.text(j, i, f"{val:.2f}", ha="center", va="center",
+                        fontsize=8.5, fontweight="bold",
+                        color="white" if val < 0.4 else "black")
+
+    plt.tight_layout()
+    heatmap_path = os.path.join(output_dir, "ragas_heatmap.png")
+    plt.savefig(heatmap_path, dpi=150, bbox_inches="tight")
+    plt.close()
+    logger.info(f"✓ Đã cập nhật Heatmap: {heatmap_path}")
+
+# ──────────────────────────────────────────────────────────────
+# Chạy RAGAS Evaluation
+# ──────────────────────────────────────────────────────────────
+def run_ragas_evaluation(
+    rag_results: list[dict],
+    output_dir: str = None,
+) -> tuple[pd.DataFrame, dict]:
+    """
+    Chạy RAGAS evaluation trên tập kết quả từ RAG pipeline.
+    """
+    if output_dir is None:
+        output_dir = os.path.join(os.path.dirname(__file__), "results")
+    Path(output_dir).mkdir(parents=True, exist_ok=True)
+
+    # Chuyển sang Hugging Face Dataset format
+    dataset_dict = {
+        "question": [r["question"] for r in rag_results],
+        "answer": [r["answer"] for r in rag_results],
+        "contexts": [r["contexts"] for r in rag_results],
+        "ground_truth": [r["ground_truth"] for r in rag_results],
+    }
+    hf_dataset = Dataset.from_dict(dataset_dict)
+
+    logger.info("Đang khởi tạo LLM và Embeddings cho RAGAS...")
+    ragas_llm = get_ragas_llm()
+    ragas_embeddings = get_ragas_embeddings()
+
+    # Khởi tạo các metric RAGAS
+    metrics = [
+        Faithfulness(llm=ragas_llm),
+        AnswerRelevancy(llm=ragas_llm, embeddings=ragas_embeddings),
+        ContextPrecision(llm=ragas_llm),
+        ContextRecall(llm=ragas_llm),
+        AnswerCorrectness(llm=ragas_llm, embeddings=ragas_embeddings),
+    ]
+
+    logger.info(f"Bắt đầu chấm điểm {len(rag_results)} mẫu với {len(metrics)} metrics...")
+    logger.info(f"Metrics: {[m.name for m in metrics]}")
+
+    run_config = RunConfig(max_workers=1, timeout=300)
+    result = evaluate(
+        dataset=hf_dataset,
+        metrics=metrics,
+        run_config=run_config,
+        raise_exceptions=False,
+    )
+
+    df = result.to_pandas()
+    timestamp = datetime.now().strftime("%Y%m%d_%H%M%S")
+    df["timestamp"] = timestamp
+
+    # Tính điểm trung bình
+    metric_cols = [m.name for m in metrics]
+    avg_scores = df[metric_cols].mean()
+
+    logger.info("\n" + "=" * 60)
+    logger.info("KẾT QUẢ ĐÁNH GIÁ RAGAS TRUNG BÌNH")
+    logger.info("=" * 60)
+    for col, score in avg_scores.items():
+        if pd.isna(score):
+            bar = "░" * 20
+            logger.info(f"  {col:<25} {bar} NaN (Failed/API Quota Exceeded)")
+        else:
+            bar = "█" * int(score * 20) + "░" * (20 - int(score * 20))
+            logger.info(f"  {col:<25} {bar} {score:.4f}")
+    logger.info("=" * 60)
+
+    # Lưu kết quả theo dạng timestamp
+    csv_path = os.path.join(output_dir, f"ragas_results_{timestamp}.csv")
+    json_path = os.path.join(output_dir, f"ragas_results_{timestamp}.json")
+    summary_path = os.path.join(output_dir, f"ragas_summary_{timestamp}.json")
+
+    df.to_csv(csv_path, index=False, encoding="utf-8-sig")
+    df.to_json(json_path, orient="records", force_ascii=False, indent=2)
+
+    summary = {
+        "evaluation_timestamp": timestamp,
+        "total_samples": len(rag_results),
+        "metrics_used": [m.name for m in metrics],
+        "average_scores": avg_scores.to_dict(),
+        "overall_score": avg_scores.mean(),
+    }
+    with open(summary_path, "w", encoding="utf-8") as f:
+        json.dump(summary, f, ensure_ascii=False, indent=2)
+
+    # Lưu thêm phiên bản tĩnh "latest" để dashboard dễ truy cập
+    latest_json_path = os.path.join(output_dir, "ragas_results_latest.json")
+    latest_summary_path = os.path.join(output_dir, "ragas_summary_latest.json")
+    
+    df.to_json(latest_json_path, orient="records", force_ascii=False, indent=2)
+    with open(latest_summary_path, "w", encoding="utf-8") as f:
+        json.dump(summary, f, ensure_ascii=False, indent=2)
+        
+    logger.info("Đã lưu các kết quả dạng timestamp và dạng 'latest'")
+
+    # Vẽ biểu đồ tĩnh
+    generate_plots(df, output_dir)
+
+    return df, summary
+
+

evaluation/optimization_dataset.json

@@ -0,0 +1,110 @@
+[
+  {
+    "id": 1,
+    "source_file": "Optimization_Chap04_2_new.pdf",
+    "question": "Trong Bước (k3) của thuật toán, siêu phẳng {x ∈ Rn | ⟨∇gik(xk), x − xk⟩ + gik(xk) = 0} được gọi là gì và có chức năng như thế nào?",
+    "ground_truth": "Siêu phẳng {x ∈ Rn | ⟨∇gik(xk), x − xk⟩ + gik(xk) = 0} được gọi là siêu phẳng cắt. Đây chính là siêu phẳng tách tập lồi X và điểm xk không thuộc X."
+  },
+  {
+    "id": 2,
+    "source_file": "Optimization_Chap04_2_new.pdf",
+    "question": "Khi giải hệ phương trình ∇xψ(x, α) = 0, điểm dừng x*(α) nhận được là gì và giới hạn của các thành phần của điểm dừng này khi tham số α tiến về 0+ là bao nhiêu?",
+    "ground_truth": "Khi giải hệ phương trình ∇xψ(x, α) = 0, ta nhận được điểm dừng x*(α) = (x*1(α), x*2(α))T với x*1(α) = (√1 + 2α + 3α - 1)/2 và x*2(α) = 1 + (√1 + 2α)/2. Khi tham số α > 0 và giảm dần về 0, giới hạn của các thành phần của điểm dừng là limα→0+ x*1(α) = 0 và limα→0+ x*2(α) = 1."
+  },
+  {
+    "id": 3,
+    "source_file": "Optimization_Chap02_4.pdf",
+    "question": "Theo Định lý về độ lệch bù, ý nghĩa kinh tế đối với các phương pháp sản xuất là gì khi một phương pháp được áp dụng và khi không được áp dụng?",
+    "ground_truth": "Theo Định lý về độ lệch bù, đối với các phương pháp sản xuất, nếu phương pháp thứ j được áp dụng (t∗j > 0), tổng giá trị các sản phẩm sản xuất theo phương pháp j phải vừa đúng bằng chi phí cj. Ngược lại, nếu phương pháp thứ j không được áp dụng (t∗j = 0), tổng giá trị các sản phẩm sản xuất theo phương pháp j thấp hơn chi phí cj, điều này có nghĩa là sản xuất theo phương pháp này sẽ bị lỗ."
+  },
+  {
+    "id": 4,
+    "source_file": "Optimization_Chap02_4.pdf",
+    "question": "Theo đoạn văn, mục đích của bài toán đối ngẫu là gì và nó liên quan đến việc xác định yếu tố nào để đạt được mục tiêu đó?",
+    "ground_truth": "Mục đích của bài toán đối ngẫu là xác định giá trị zi cho mỗi đơn vị sản phẩm loại i sao cho tổng giá trị toàn bộ sản phẩm theo yêu cầu của xã hội là lớn nhất."
+  },
+  {
+    "id": 5,
+    "source_file": "Optimization_Chap02_1.pdf",
+    "question": "Theo đoạn văn, nghiệm tối ưu (phương án tối ưu) được định nghĩa như thế nào?",
+    "ground_truth": "Nghiệm tối ưu (phương án tối ưu) là một nghiệm chấp nhận được x∗ ∈ D thỏa mãn f (x∗) = ⟨c, x∗⟩ ≤ f (x) = ⟨c, x⟩, với mọi x ∈ D."
+  },
+  {
+    "id": 6,
+    "source_file": "Optimization_Chap02_1.pdf",
+    "question": "Trong bài toán tối ưu hóa, làm thế nào để chuyển đổi một ràng buộc đẳng thức thành các ràng buộc bất đẳng thức?",
+    "ground_truth": "Để chuyển đổi một ràng buộc đẳng thức có dạng nXj=1 aijxj = bi, ta có thể thay thế nó bằng hai ràng buộc bất đẳng thức: nXj=1 aijxj ≥ bi và −nXj=1 aijxj ≥ −bi."
+  },
+  {
+    "id": 7,
+    "source_file": "Optimization_Chap02_3.pdf",
+    "question": "Khi giải bài toán (LP) bằng phương pháp đơn hình, để chuyển từ bảng đơn hình cuối cùng của Pha 1 sang bảng đơn hình xuất phát của Pha 2, cần thực hiện những sửa đổi nào?",
+    "ground_truth": "Bảng đơn hình đầu tiên của Pha 2 là bảng đơn hình cuối cùng ở Pha 1 nhưng với một số sửa đổi như sau: Xóa tất cả các cột tương ứng với các biến giả; Thay cột CB bởi hệ số mục tiêu cơ sở tương ứng của bài toán gốc; Thay các hệ số mục tiêu của bài toán phụ ở dòng 1 bằng hệ số mục tiêu của bài toán gốc; Nếu trong cơ sở tương ứng với phương án tối ưu của bài toán phụ (LP*) không có vector giả thì cơ sở ứng với phương án này cũng chính là cơ sở tương ứng với x0. Để có bảng đơn hình xuất phát cho bài toán ban đầu, ta chỉ cần tính giá trị hàm mục tiêu tại x0 và tính lại các ước lượng theo công thức f(x0) = Σj∈J(x0) cjx0j và Δk = Σj∈J(x0) zjkcj − ck."
+  },
+  {
+    "id": 8,
+    "source_file": "Optimization_Chap02_3.pdf",
+    "question": "Dựa vào Bảng 3 trong Pha 2 của quá trình giải bài toán gốc, hãy xác định giá trị hàm mục tiêu hiện tại và các biến cơ sở cùng với giá trị của chúng.",
+    "ground_truth": "Từ Bảng 3, giá trị hàm mục tiêu hiện tại là -82/5. Các biến cơ sở và giá trị của chúng là: A3 = 12, A4 = 0, và A2 = 7."
+  },
+  {
+    "id": 9,
+    "source_file": "Optimization_Chap03_2.pdf",
+    "question": "Thuật toán Newton thuần túy có những ưu điểm nổi bật nào khi áp dụng cho hàm toàn phương và khi điểm xuất phát đủ gần điểm dừng?",
+    "ground_truth": "Thuật toán Newton thuần túy có hai ưu điểm nổi bật: Thứ nhất, nếu f là hàm toàn phương f(x) = 1/2 xTAx − bTx + c với A đối xứng xác định dương, thuật toán sẽ cho nghiệm chỉ sau một vòng lặp. Thứ hai, nếu xuất phát đủ gần điểm dừng, thuật toán hội tụ rất nhanh (bậc hai)."
+  },
+  {
+    "id": 10,
+    "source_file": "Optimization_Chap03_2.pdf",
+    "question": "Dựa vào Bước lặp k = 3, hãy cho biết điều kiện dừng thuật toán được thỏa mãn là gì và nghiệm tìm được sau khi dừng thuật toán là bao nhiêu?",
+    "ground_truth": "Tại Bước lặp k = 3, thuật toán dừng lại vì gradient của hàm mục tiêu tại x4, tức là ∇f(x4), bằng vectơ không (0, 0, 0). Nghiệm tìm được sau khi dừng thuật toán là x* = (-1, -0.2, -0.04)."
+  },
+  {
+    "id": 11,
+    "source_file": "Optimization_Chap01.pdf",
+    "question": "Trong Quy hoạch phi tuyến, Quy hoạch lồi được định nghĩa như thế nào?",
+    "ground_truth": "Quy hoạch lồi là bài toán cực tiểu một hàm mục tiêu f(x) là hàm lồi trên tập chấp nhận được D ⊆ R^n là tập lồi."
+  },
+  {
+    "id": 12,
+    "source_file": "Optimization_Chap01.pdf",
+    "question": "Bài toán được mô tả trong đoạn văn bản yêu cầu xác định những vị trí nào?",
+    "ground_truth": "Bài toán yêu cầu xác định vị trí để xây dựng một trạm biến áp tổng để cung cấp điện cho 4 khu chung cư và vị trí (xi, yi) ∈ Ki để đặt trạm biến áp phân phối của mỗi khu chung cư Ki, i = 1, ."
+  },
+  {
+    "id": 13,
+    "source_file": "Optimization_Chap02_2.pdf",
+    "question": "Theo thuật toán đơn hình, điều kiện để phương án cực biên x0 được coi là nghiệm tối ưu là gì?",
+    "ground_truth": "Theo Bước 3 của thuật toán đơn hình, nếu tất cả các ước lượng biến ∆k ≤ 0 với mọi k không thuộc tập chỉ số cơ sở J(x0), thì x0 là nghiệm tối ưu và thuật toán sẽ dừng lại."
+  },
+  {
+    "id": 14,
+    "source_file": "Optimization_Chap02_2.pdf",
+    "question": "Dựa vào bảng đơn hình cuối cùng được cung cấp, hãy cho biết điều kiện để đạt được nghiệm tối ưu, nghiệm tối ưu là gì và giá trị tối ưu tương ứng?",
+    "ground_truth": "Dựa vào bảng đơn hình cuối cùng, điều kiện để đạt được nghiệm tối ưu là khi tất cả ∆k ≤ 0. Nghiệm tối ưu duy nhất là x∗ = (4/3, 0, 4/3, 2/3, 0, 0)^T và giá trị tối ưu fmin = 0."
+  },
+  {
+    "id": 15,
+    "source_file": "Optimization_Chap03_1.pdf",
+    "question": "Theo Định lý hội tụ, các điều kiện nào cần được thỏa mãn để mọi điểm tụ của dãy {xk} sinh bởi Thuật toán 3.1 đều có gradient của hàm f bằng 0?",
+    "ground_truth": "Theo Định lý hội tụ, các điều kiện cần được thỏa mãn là: x0 ∈ Rn, hàm f khả vi liên tục trên Rn và có tập mức dưới {x ∈ Rn | f (x) ≤ f (x0)} bị chặn. Khi đó, mọi điểm tụ x∗ của dãy {xk} sinh bởi Thuật toán 3.1 đều thỏa mãn ∇f (x∗) = 0."
+  },
+  {
+    "id": 16,
+    "source_file": "Optimization_Chap03_1.pdf",
+    "question": "Bài toán quy hoạch phi tuyến không ràng buộc (P) được định nghĩa như thế nào và hàm mục tiêu f trong bài toán này có những tính chất gì theo đoạn văn?",
+    "ground_truth": "Bài toán quy hoạch phi tuyến không ràng buộc (P) được định nghĩa là min f(x) v.đ.k. x ∈ Rn. Hàm mục tiêu f trong bài toán này là hàm phi tuyến và được xác định, khả vi trên Rn."
+  },
+  {
+    "id": 17,
+    "source_file": "Optimization_Chap04_1.pdf",
+    "question": "Chương 4 của môn Cơ sở Tối ưu hóa, với tiêu đề 'Quy hoạch phi tuyến có ràng buộc', bao gồm những nội dung chính nào?",
+    "ground_truth": "Chương 4: Quy hoạch phi tuyến có ràng buộc bao gồm các nội dung chính sau: Điều kiện tối ưu, Định lý Karush–Kuhn–Tucker (KKT), Phương pháp nhân tử Lagrange, Phương pháp tuyến tính hóa, Phương pháp hướng có thể, Phương pháp Frank-Wolfe và Phương pháp hàm phạt."
+  },
+  {
+    "id": 18,
+    "source_file": "Optimization_Chap04_1.pdf",
+    "question": "Theo Định lý về điều kiện tối ưu cơ bản, điều kiện cần để x* là cực tiểu địa phương của bài toán min{f(x) : x ∈ X} là gì, và điều kiện để x* là cực tiểu địa phương chặt là gì?",
+    "ground_truth": "Theo Định lý v��� điều kiện tối ưu cơ bản: (i) Nếu x* ∈ X là cực tiểu địa phương của bài toán min{f(x) : x ∈ X} thì ⟨∇f(x*), v⟩ ≥ 0 ∀v ∈ T(X, x*). (ii) Nếu x* ∈ X thỏa mãn ⟨∇f(x*), v⟩ > 0 ∀v ∈ T(X, x*) \\ {0}, thì x* là cực tiểu địa phương chặt."
+  }
+]

evaluation/rag_pipeline.py

@@ -0,0 +1,55 @@
+
+from app.service.memory import contextualize_user_query, add_message_to_history
+from app.service.router import logical_router
+from app.service.retriever import hybrid_retrieval, apply_post_retrieval_rerank
+from app.service.generator import generate_answer
+from app.core.config import get_llm
+
+
+def run_rag_pipeline(question: str, session_id: str = "eval_session") -> dict:
+    """
+    Chạy toàn bộ pipeline RAG và trả về answer + contexts.
+
+    Args:
+        question: Câu hỏi của người dùng.
+        session_id: ID phiên để quản lý memory.
+
+    Returns:
+        dict với các key:
+            - question (str): Câu hỏi gốc
+            - answer (str): Câu trả lời từ RAG pipeline
+            - contexts (list[str]): Danh sách các đoạn context đã retrieve được
+    """
+    llm = get_llm()
+
+    # Bước 1: Contextualize query với lịch sử hội thoại
+    full_query = contextualize_user_query(question, session_id)
+
+    # Bước 2: Router phân loại độ phức tạp và nguồn dữ liệu
+    routing_res = logical_router(full_query)
+
+    # Bước 3: Retrieve tài liệu liên quan
+    raw_docs = hybrid_retrieval(routing_res)
+
+    # Bước 4: Rerank để lấy các context tốt nhất
+    final_context_str = apply_post_retrieval_rerank(full_query, raw_docs)
+
+    # Tách chuỗi context thành danh sách
+    contexts = [
+        c.strip()
+        for c in final_context_str.split("\n\n---\n\n")
+        if c.strip()
+    ]
+
+    # Bước 5: Sinh câu trả lời
+    answer = generate_answer(full_query, final_context_str, llm)
+
+    # Lưu vào memory
+    add_message_to_history(session_id, "user", question)
+    add_message_to_history(session_id, "ai", answer)
+
+    return {
+        "question": question,
+        "answer": answer,
+        "contexts": contexts if contexts else ["Không tìm thấy ngữ cảnh phù hợp."],
+    }

evaluation/results/ragas_results_20260523_212654.csv

@@ -0,0 +1,19 @@
+user_input,retrieved_contexts,response,reference,faithfulness,answer_relevancy,context_precision,context_recall,answer_correctness,timestamp
+"Trong Bước (k3) của thuật toán, siêu phẳng {x ∈ Rn | ⟨∇gik(xk), x − xk⟩ + gik(xk) = 0} được gọi là gì và có chức năng như thế nào?","['6/46\nChú ý: Tại Bước (k3) của thuật toán trên:\ni) Ta luôn có ∇gik(xk) ̸= 0 vì nếu ngược lại thì dogik là hàm lồi\nnên ta có\ngik(x) ≥ gik(xk) + ⟨∇gik(xk), x − xk⟩ > 0 ∀x\nvà điều này có nghĩa là tập chấp nhận được X của bài toán\nđang xét bằng rỗng;\nii) Siêu phẳng\n{x ∈ Rn | ⟨∇gik(xk), x − xk⟩ + gik(xk) = 0}\nđể xây dựng đa diệnXk+1 được gọi là siêu phẳng cắt. Đây\nchính là siêu phẳng tách tập lồi X và điểm xk /∈ X.', 'Giải\nmin\n\x1a\n⟨∇f (x1), x⟩ = 2\n5x1 + 4\n5x2\n\x0c\x0c\x0c\x0c x ∈ D\n\x1b\n.', 'Phương án cực biên\nx0 = (b1, b2, .']","Trong Bước (k3) của thuật toán, siêu phẳng {x ∈ Rn | ⟨∇gik(xk), x − xk⟩ + gik(xk) = 0} được gọi là siêu phẳng cắt. Siêu phẳng này có chức năng tách tập lồi X và điểm xk không thuộc X. Nó được sử dụng để xây dựng đa diện Xk+1.","Siêu phẳng {x ∈ Rn | ⟨∇gik(xk), x − xk⟩ + gik(xk) = 0} được gọi là siêu phẳng cắt. Đây chính là siêu phẳng tách tập lồi X và điểm xk không thuộc X.",1.0,,0.9999999999,1.0,0.6475692390187693,20260523_212654
+"Khi giải hệ phương trình ∇xψ(x, α) = 0, điểm dừng x*(α) nhận được là gì và giới hạn của các thành phần của điểm dừng này khi tham số α tiến về 0+ là bao nhiêu?","['45/46\nGiải hệ phương trình\n∇xψ(x, α) = 0 ⇐ ⇒\n\uf8f1\n\uf8f4\uf8f4\uf8f2\n\uf8f4\uf8f4\uf8f3\n1 − α\n1 + x1 − x2\n2\n= 0\n−2 + 2αx2\n1 + x1 − x2\n2\n− α\nx2\n= 0\nta nhận được điểm dừngx∗(α) = (x∗\n1(α), x∗\n2(α))T với\nx∗\n1(α) =\n√\n1 + 2α + 3α − 1\n2 , x∗\n2(α) = 1 +\n√\n1 + 2α\n2 . Vì tham sốα > 0 và giảm dần về 0 nên\nlim\nα→0+\nx∗\n1(α) = 0, lim\nα→0+\nx∗\n2(α) = 1.', 'Kiểm tra gradient tại x1:\n∇f (x1) =\n\x123 · 12 − 3\n2 · 1 − 2\n\x13\n=\n\x120\n0\n\x13\n. Kết luận: Dừng thuật toán với điểm dừng\nx1 = (1, 1).', '25/37\nVì∇f (x1) = 0, điểm x1 = (1, 1)T là điểm dừng của hàm f . Kết luận: Dừng thuật toán tạix1 = (1, 1).']","Khi giải hệ phương trình ∇xψ(x, α) = 0, điểm dừng x*(α) nhận được là:
+
+* x∗1(α) = √(1 + 2α + 3α²) / 2
+* x∗2(α) = 1 + √(1 + 2α) / 2
+
+Giới hạn của các thành phần của điểm dừng này khi tham số α tiến về 0+ là:
+
+* lim α→0+ x∗1(α) = 0
+* lim α→0+ x∗2(α) = 1
+
+Điều này cho thấy rằng khi tham số α giảm dần về 0, điểm dừng x*(α) sẽ tiến về điểm (0, 1).","Khi giải hệ phương trình ∇xψ(x, α) = 0, ta nhận được điểm dừng x*(α) = (x*1(α), x*2(α))T với x*1(α) = (√1 + 2α + 3α - 1)/2 và x*2(α) = 1 + (√1 + 2α)/2. Khi tham số α > 0 và giảm dần về 0, giới hạn của các thành phần của điểm dừng là limα→0+ x*1(α) = 0 và limα→0+ x*2(α) = 1.",0.6666666666666666,,0.9999999999,1.0,0.5591398630901252,20260523_212654
+"Theo Định lý về độ lệch bù, ý nghĩa kinh tế đối với các phương pháp sản xuất là gì khi một phương pháp được áp dụng và khi không được áp dụng?","['20/29\nTheo Định lý về độ lệch bù, ta có những ý nghĩa kinh tế quan\ntrọng sau đây:\n/cgĐối với các phương pháp sản xuất:\n Nếu phương pháp thứ j được áp dụng (t∗\nj > 0):\nmP\ni=1\naijz∗\ni = cj\n Tổng giá trị các sản phẩm sản xuất theo phương phápj phải\nvừa đúng bằng chi phí cj. ○ Nếu phương pháp thứ j không được áp dụng (t∗\nj = 0):\nmP\ni=1\naijz∗\ni < cj Tổng giá trị các sản phẩm sản xuất theo\nphương pháp j thấp hơn chi phícj (sản xuất theo phương pháp\nnày sẽ bị lỗ).', '12/29\nĐịnh lý về độ lệch bù\nGiả sử x là phương án của (P) và y là phương án của (D). Khi đó, x, y là phương án tối ưu của cặp bài toán đối ngẫu\nkhi và chỉ khi\n(\n⟨Ax − b, y⟩ = 0 (1)\n⟨c − ATy, x⟩ = 0 (2)\nNhận xét:\ni) Nếu bài toán gốc có dạng chính tắc (Ax = b, x ≥ 0), điều kiện\n(1) luôn thỏa mãn.', 'Khi đó, điều kiện độ lệch bù chỉ còn là:\n⟨c − ATy, x⟩ = 0\nii) Điều kiện độ lệch bù cho phép tìm nghiệm tối ưu của bài toán\nnày khi biết nghiệm tối ưu của bài toán kia.']","Theo Định lý về độ lệch bù, ý nghĩa kinh tế đối với các phương pháp sản xuất như sau:
+
+* Khi phương pháp thứ j được áp dụng (t∗j > 0):
+ + Tổng giá trị các sản phẩm sản xuất theo phương pháp j phải vừa đúng bằng chi phí cj.
+* Khi phương pháp thứ j không được áp dụng (t∗j = 0):
+ + Tổng giá trị các sản phẩm sản xuất theo phương pháp j thấp hơn chi phí cj, nghĩa là sản xuất theo phương pháp này sẽ bị lỗ.","Theo Định lý về độ lệch bù, đối với các phương pháp sản xuất, nếu phương pháp thứ j được áp dụng (t∗j > 0), tổng giá trị các sản phẩm sản xuất theo phương pháp j phải vừa đúng bằng chi phí cj. Ngược lại, nếu phương pháp thứ j không được áp dụng (t∗j = 0), tổng giá trị các sản phẩm sản xuất theo phương pháp j thấp hơn chi phí cj, điều này có nghĩa là sản xuất theo phương pháp này sẽ bị lỗ.",1.0,,0.9999999999,1.0,0.6709179689144527,20260523_212654

evaluation/results/ragas_results_20260523_212654.json

@@ -0,0 +1,50 @@
+[
+  {
+    "user_input":"Trong Bước (k3) của thuật toán, siêu phẳng {x ∈ Rn | ⟨∇gik(xk), x − xk⟩ + gik(xk) = 0} được gọi là gì và có chức năng như thế nào?",
+    "retrieved_contexts":[
+      "6\/46\nChú ý: Tại Bước (k3) của thuật toán trên:\ni) Ta luôn có ∇gik(xk) ̸= 0 vì nếu ngược lại thì dogik là hàm lồi\nnên ta có\ngik(x) ≥ gik(xk) + ⟨∇gik(xk), x − xk⟩ > 0 ∀x\nvà điều này có nghĩa là tập chấp nhận được X của bài toán\nđang xét bằng rỗng;\nii) Siêu phẳng\n{x ∈ Rn | ⟨∇gik(xk), x − xk⟩ + gik(xk) = 0}\nđể xây dựng đa diệnXk+1 được gọi là siêu phẳng cắt. Đây\nchính là siêu phẳng tách tập lồi X và điểm xk \/∈ X.",
+      "Giải\nmin\n\u001a\n⟨∇f (x1), x⟩ = 2\n5x1 + 4\n5x2\n\f\f\f\f x ∈ D\n\u001b\n.",
+      "Phương án cực biên\nx0 = (b1, b2, ."
+    ],
+    "response":"Trong Bước (k3) của thuật toán, siêu phẳng {x ∈ Rn | ⟨∇gik(xk), x − xk⟩ + gik(xk) = 0} được gọi là siêu phẳng cắt. Siêu phẳng này có chức năng tách tập lồi X và điểm xk không thuộc X. Nó được sử dụng để xây dựng đa diện Xk+1.",
+    "reference":"Siêu phẳng {x ∈ Rn | ⟨∇gik(xk), x − xk⟩ + gik(xk) = 0} được gọi là siêu phẳng cắt. Đây chính là siêu phẳng tách tập lồi X và điểm xk không thuộc X.",
+    "faithfulness":1.0,
+    "answer_relevancy":null,
+    "context_precision":0.9999999999,
+    "context_recall":1.0,
+    "answer_correctness":0.647569239,
+    "timestamp":"20260523_212654"
+  },
+  {
+    "user_input":"Khi giải hệ phương trình ∇xψ(x, α) = 0, điểm dừng x*(α) nhận được là gì và giới hạn của các thành phần của điểm dừng này khi tham số α tiến về 0+ là bao nhiêu?",
+    "retrieved_contexts":[
+      "45\/46\nGiải hệ phương trình\n∇xψ(x, α) = 0 ⇐ ⇒\n\n\n\n1 − α\n1 + x1 − x2\n2\n= 0\n−2 + 2αx2\n1 + x1 − x2\n2\n− α\nx2\n= 0\nta nhận được điểm dừngx∗(α) = (x∗\n1(α), x∗\n2(α))T với\nx∗\n1(α) =\n√\n1 + 2α + 3α − 1\n2 , x∗\n2(α) = 1 +\n√\n1 + 2α\n2 . Vì tham sốα > 0 và giảm dần về 0 nên\nlim\nα→0+\nx∗\n1(α) = 0, lim\nα→0+\nx∗\n2(α) = 1.",
+      "Kiểm tra gradient tại x1:\n∇f (x1) =\n\u00123 · 12 − 3\n2 · 1 − 2\n\u0013\n=\n\u00120\n0\n\u0013\n. Kết luận: Dừng thuật toán với điểm dừng\nx1 = (1, 1).",
+      "25\/37\nVì∇f (x1) = 0, điểm x1 = (1, 1)T là điểm dừng của hàm f . Kết luận: Dừng thuật toán tạix1 = (1, 1)."
+    ],
+    "response":"Khi giải hệ phương trình ∇xψ(x, α) = 0, điểm dừng x*(α) nhận được là:\n\n* x∗1(α) = √(1 + 2α + 3α²) \/ 2\n* x∗2(α) = 1 + √(1 + 2α) \/ 2\n\nGiới hạn của các thành phần của điểm dừng này khi tham số α tiến về 0+ là:\n\n* lim α→0+ x∗1(α) = 0\n* lim α→0+ x∗2(α) = 1\n\nĐiều này cho thấy rằng khi tham số α giảm dần về 0, điểm dừng x*(α) sẽ tiến về điểm (0, 1).",
+    "reference":"Khi giải hệ phương trình ∇xψ(x, α) = 0, ta nhận được điểm dừng x*(α) = (x*1(α), x*2(α))T với x*1(α) = (√1 + 2α + 3α - 1)\/2 và x*2(α) = 1 + (√1 + 2α)\/2. Khi tham số α > 0 và giảm dần về 0, giới hạn của các thành phần của điểm dừng là limα→0+ x*1(α) = 0 và limα→0+ x*2(α) = 1.",
+    "faithfulness":0.6666666667,
+    "answer_relevancy":null,
+    "context_precision":0.9999999999,
+    "context_recall":1.0,
+    "answer_correctness":0.5591398631,
+    "timestamp":"20260523_212654"
+  },
+  {
+    "user_input":"Theo Định lý về độ lệch bù, ý nghĩa kinh tế đối với các phương pháp sản xuất là gì khi một phương pháp được áp dụng và khi không được áp dụng?",
+    "retrieved_contexts":[
+      "20\/29\nTheo Định lý về độ lệch bù, ta có những ý nghĩa kinh tế quan\ntrọng sau đây:\n\/cgĐối với các phương pháp sản xuất:\n Nếu phương pháp thứ j được áp dụng (t∗\nj > 0):\nmP\ni=1\naijz∗\ni = cj\n Tổng giá trị các sản phẩm sản xuất theo phương phápj phải\nvừa đúng bằng chi phí cj. ○ Nếu phương pháp thứ j không được áp dụng (t∗\nj = 0):\nmP\ni=1\naijz∗\ni < cj Tổng giá trị các sản phẩm sản xuất theo\nphương pháp j thấp hơn chi phícj (sản xuất theo phương pháp\nnày sẽ bị lỗ).",
+      "12\/29\nĐịnh lý về độ lệch bù\nGiả sử x là phương án của (P) và y là phương án của (D). Khi đó, x, y là phương án tối ưu của cặp bài toán đối ngẫu\nkhi và chỉ khi\n(\n⟨Ax − b, y⟩ = 0 (1)\n⟨c − ATy, x⟩ = 0 (2)\nNhận xét:\ni) Nếu bài toán gốc có dạng chính tắc (Ax = b, x ≥ 0), điều kiện\n(1) luôn thỏa mãn.",
+      "Khi đó, điều kiện độ lệch bù chỉ còn là:\n⟨c − ATy, x⟩ = 0\nii) Điều kiện độ lệch bù cho phép tìm nghiệm tối ưu của bài toán\nnày khi biết nghiệm tối ưu của bài toán kia."
+    ],
+    "response":"Theo Định lý về độ lệch bù, ý nghĩa kinh tế đối với các phương pháp sản xuất như sau:\n\n* Khi phương pháp thứ j được áp dụng (t∗j > 0):\n + Tổng giá trị các sản phẩm sản xuất theo phương pháp j phải vừa đúng bằng chi phí cj.\n* Khi phương pháp thứ j không được áp dụng (t∗j = 0):\n + Tổng giá trị các sản phẩm sản xuất theo phương pháp j thấp hơn chi phí cj, nghĩa là sản xuất theo phương pháp này sẽ bị lỗ.",
+    "reference":"Theo Định lý về độ lệch bù, đối với các phương pháp sản xuất, nếu phương pháp thứ j được áp dụng (t∗j > 0), tổng giá trị các sản phẩm sản xuất theo phương pháp j phải vừa đúng bằng chi phí cj. Ngược lại, nếu phương pháp thứ j không được áp dụng (t∗j = 0), tổng giá trị các sản phẩm sản xuất theo phương pháp j thấp hơn chi phí cj, điều này có nghĩa là sản xuất theo phương pháp này sẽ bị lỗ.",
+    "faithfulness":1.0,
+    "answer_relevancy":null,
+    "context_precision":0.9999999999,
+    "context_recall":1.0,
+    "answer_correctness":0.6709179689,
+    "timestamp":"20260523_212654"
+  }
+]

evaluation/results/ragas_results_latest.json

@@ -0,0 +1,50 @@
+[
+  {
+    "user_input":"Trong Bước (k3) của thuật toán, siêu phẳng {x ∈ Rn | ⟨∇gik(xk), x − xk⟩ + gik(xk) = 0} được gọi là gì và có chức năng như thế nào?",
+    "retrieved_contexts":[
+      "6\/46\nChú ý: Tại Bước (k3) của thuật toán trên:\ni) Ta luôn có ∇gik(xk) ̸= 0 vì nếu ngược lại thì dogik là hàm lồi\nnên ta có\ngik(x) ≥ gik(xk) + ⟨∇gik(xk), x − xk⟩ > 0 ∀x\nvà điều này có nghĩa là tập chấp nhận được X của bài toán\nđang xét bằng rỗng;\nii) Siêu phẳng\n{x ∈ Rn | ⟨∇gik(xk), x − xk⟩ + gik(xk) = 0}\nđể xây dựng đa diệnXk+1 được gọi là siêu phẳng cắt. Đây\nchính là siêu phẳng tách tập lồi X và điểm xk \/∈ X.",
+      "Giải\nmin\n\u001a\n⟨∇f (x1), x⟩ = 2\n5x1 + 4\n5x2\n\f\f\f\f x ∈ D\n\u001b\n.",
+      "Phương án cực biên\nx0 = (b1, b2, ."
+    ],
+    "response":"Trong Bước (k3) của thuật toán, siêu phẳng {x ∈ Rn | ⟨∇gik(xk), x − xk⟩ + gik(xk) = 0} được gọi là siêu phẳng cắt. Siêu phẳng này có chức năng tách tập lồi X và điểm xk không thuộc X. Nó được sử dụng để xây dựng đa diện Xk+1.",
+    "reference":"Siêu phẳng {x ∈ Rn | ⟨∇gik(xk), x − xk⟩ + gik(xk) = 0} được gọi là siêu phẳng cắt. Đây chính là siêu phẳng tách tập lồi X và điểm xk không thuộc X.",
+    "faithfulness":1.0,
+    "answer_relevancy":null,
+    "context_precision":0.9999999999,
+    "context_recall":1.0,
+    "answer_correctness":0.647569239,
+    "timestamp":"20260523_212654"
+  },
+  {
+    "user_input":"Khi giải hệ phương trình ∇xψ(x, α) = 0, điểm dừng x*(α) nhận được là gì và giới hạn của các thành phần của điểm dừng này khi tham số α tiến về 0+ là bao nhiêu?",
+    "retrieved_contexts":[
+      "45\/46\nGiải hệ phương trình\n∇xψ(x, α) = 0 ⇐ ⇒\n\n\n\n1 − α\n1 + x1 − x2\n2\n= 0\n−2 + 2αx2\n1 + x1 − x2\n2\n− α\nx2\n= 0\nta nhận được điểm dừngx∗(α) = (x∗\n1(α), x∗\n2(α))T với\nx∗\n1(α) =\n√\n1 + 2α + 3α − 1\n2 , x∗\n2(α) = 1 +\n√\n1 + 2α\n2 . Vì tham sốα > 0 và giảm dần về 0 nên\nlim\nα→0+\nx∗\n1(α) = 0, lim\nα→0+\nx∗\n2(α) = 1.",
+      "Kiểm tra gradient tại x1:\n∇f (x1) =\n\u00123 · 12 − 3\n2 · 1 − 2\n\u0013\n=\n\u00120\n0\n\u0013\n. Kết luận: Dừng thuật toán với điểm dừng\nx1 = (1, 1).",
+      "25\/37\nVì∇f (x1) = 0, điểm x1 = (1, 1)T là điểm dừng của hàm f . Kết luận: Dừng thuật toán tạix1 = (1, 1)."
+    ],
+    "response":"Khi giải hệ phương trình ∇xψ(x, α) = 0, điểm dừng x*(α) nhận được là:\n\n* x∗1(α) = √(1 + 2α + 3α²) \/ 2\n* x∗2(α) = 1 + √(1 + 2α) \/ 2\n\nGiới hạn của các thành phần của điểm dừng này khi tham số α tiến về 0+ là:\n\n* lim α→0+ x∗1(α) = 0\n* lim α→0+ x∗2(α) = 1\n\nĐiều này cho thấy rằng khi tham số α giảm dần về 0, điểm dừng x*(α) sẽ tiến về điểm (0, 1).",
+    "reference":"Khi giải hệ phương trình ∇xψ(x, α) = 0, ta nhận được điểm dừng x*(α) = (x*1(α), x*2(α))T với x*1(α) = (√1 + 2α + 3α - 1)\/2 và x*2(α) = 1 + (√1 + 2α)\/2. Khi tham số α > 0 và giảm dần về 0, giới hạn của các thành phần của điểm dừng là limα→0+ x*1(α) = 0 và limα→0+ x*2(α) = 1.",
+    "faithfulness":0.6666666667,
+    "answer_relevancy":null,
+    "context_precision":0.9999999999,
+    "context_recall":1.0,
+    "answer_correctness":0.5591398631,
+    "timestamp":"20260523_212654"
+  },
+  {
+    "user_input":"Theo Định lý về độ lệch bù, ý nghĩa kinh tế đối với các phương pháp sản xuất là gì khi một phương pháp được áp dụng và khi không được áp dụng?",
+    "retrieved_contexts":[
+      "20\/29\nTheo Định lý về độ lệch bù, ta có những ý nghĩa kinh tế quan\ntrọng sau đây:\n\/cgĐối với các phương pháp sản xuất:\n Nếu phương pháp thứ j được áp dụng (t∗\nj > 0):\nmP\ni=1\naijz∗\ni = cj\n Tổng giá trị các sản phẩm sản xuất theo phương phápj phải\nvừa đúng bằng chi phí cj. ○ Nếu phương pháp thứ j không được áp dụng (t∗\nj = 0):\nmP\ni=1\naijz∗\ni < cj Tổng giá trị các sản phẩm sản xuất theo\nphương pháp j thấp hơn chi phícj (sản xuất theo phương pháp\nnày sẽ bị lỗ).",
+      "12\/29\nĐịnh lý về độ lệch bù\nGiả sử x là phương án của (P) và y là phương án của (D). Khi đó, x, y là phương án tối ưu của cặp bài toán đối ngẫu\nkhi và chỉ khi\n(\n⟨Ax − b, y⟩ = 0 (1)\n⟨c − ATy, x⟩ = 0 (2)\nNhận xét:\ni) Nếu bài toán gốc có dạng chính tắc (Ax = b, x ≥ 0), điều kiện\n(1) luôn thỏa mãn.",
+      "Khi đó, điều kiện độ lệch bù chỉ còn là:\n⟨c − ATy, x⟩ = 0\nii) Điều kiện độ lệch bù cho phép tìm nghiệm tối ưu của bài toán\nnày khi biết nghiệm tối ưu của bài toán kia."
+    ],
+    "response":"Theo Định lý về độ lệch bù, ý nghĩa kinh tế đối với các phương pháp sản xuất như sau:\n\n* Khi phương pháp thứ j được áp dụng (t∗j > 0):\n + Tổng giá trị các sản phẩm sản xuất theo phương pháp j phải vừa đúng bằng chi phí cj.\n* Khi phương pháp thứ j không được áp dụng (t∗j = 0):\n + Tổng giá trị các sản phẩm sản xuất theo phương pháp j thấp hơn chi phí cj, nghĩa là sản xuất theo phương pháp này sẽ bị lỗ.",
+    "reference":"Theo Định lý về độ lệch bù, đối với các phương pháp sản xuất, nếu phương pháp thứ j được áp dụng (t∗j > 0), tổng giá trị các sản phẩm sản xuất theo phương pháp j phải vừa đúng bằng chi phí cj. Ngược lại, nếu phương pháp thứ j không được áp dụng (t∗j = 0), tổng giá trị các sản phẩm sản xuất theo phương pháp j thấp hơn chi phí cj, điều này có nghĩa là sản xuất theo phương pháp này sẽ bị lỗ.",
+    "faithfulness":1.0,
+    "answer_relevancy":null,
+    "context_precision":0.9999999999,
+    "context_recall":1.0,
+    "answer_correctness":0.6709179689,
+    "timestamp":"20260523_212654"
+  }
+]

evaluation/results/ragas_summary_20260523_212654.json

@@ -0,0 +1,19 @@
+{
+  "evaluation_timestamp": "20260523_212654",
+  "total_samples": 3,
+  "metrics_used": [
+    "faithfulness",
+    "answer_relevancy",
+    "context_precision",
+    "context_recall",
+    "answer_correctness"
+  ],
+  "average_scores": {
+    "faithfulness": 0.8888888888888888,
+    "answer_relevancy": NaN,
+    "context_precision": 0.9999999999,
+    "context_recall": 1.0,
+    "answer_correctness": 0.6258756903411157
+  },
+  "overall_score": 0.8786911447825011
+}

evaluation/results/ragas_summary_latest.json

@@ -0,0 +1,19 @@
+{
+  "evaluation_timestamp": "20260523_212654",
+  "total_samples": 3,
+  "metrics_used": [
+    "faithfulness",
+    "answer_relevancy",
+    "context_precision",
+    "context_recall",
+    "answer_correctness"
+  ],
+  "average_scores": {
+    "faithfulness": 0.8888888888888888,
+    "answer_relevancy": NaN,
+    "context_precision": 0.9999999999,
+    "context_recall": 1.0,
+    "answer_correctness": 0.6258756903411157
+  },
+  "overall_score": 0.8786911447825011
+}

evaluation/run_eval.py

@@ -0,0 +1,60 @@
+"""
+Script chạy RAGAS evaluation trực tiếp (không qua notebook).
+Dùng khi notebook timeout hoặc có vấn đề với kernel.
+"""
+import os, sys
+
+PROJECT_ROOT = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
+sys.path.insert(0, PROJECT_ROOT)
+os.chdir(PROJECT_ROOT)
+
+from dotenv import load_dotenv
+load_dotenv(os.path.join(PROJECT_ROOT, ".env"))
+
+# ── Bước 1: Test RAG pipeline 1 câu ──────────────────────────
+print("=" * 60)
+print("BƯỚC 1: Test RAG pipeline")
+print("=" * 60)
+from evaluation.rag_pipeline import run_rag_pipeline
+
+test_q = "Trong Bước (k3) của thuật toán, siêu phẳng là gì?"
+print(f"Test câu hỏi: {test_q[:60]}...")
+result = run_rag_pipeline(test_q, session_id="test_eval")
+print(f"Answer ({len(result['answer'])} ký tự): {result['answer'][:200]}...")
+print(f"Contexts: {len(result['contexts'])}")
+print()
+
+# ── Bước 2: Thu thập RAG outputs ─────────────────────────────
+print("=" * 60)
+print("BƯỚC 2: Thu thập RAG outputs (3 câu, delay=4s)")
+print("=" * 60)
+from evaluation.evaluate import collect_rag_outputs
+
+rag_results = collect_rag_outputs(
+    "evaluation/optimization_dataset.json",
+    delay_seconds=2.0
+)
+
+# ── Bước 3: RAGAS evaluation ──────────────────────────────────
+print("=" * 60)
+print("BƯỚC 3: RAGAS Evaluation (Groq Llama 3.1 70B)")
+print("=" * 60)
+from evaluation.evaluate import run_ragas_evaluation
+
+df, summary = run_ragas_evaluation(rag_results, output_dir="evaluation/results")
+
+print("\n" + "=" * 60)
+print("KẾT QUẢ CUỐI CÙNG")
+print("=" * 60)
+for metric, score in summary["average_scores"].items():
+    import math
+    if score and not math.isnan(score):
+        bar = "#" * int(score * 20) + "-" * (20 - int(score * 20))
+        grade = "GOOD" if score >= 0.7 else ("OK" if score >= 0.5 else "POOR")
+        print(f"  {metric:<25} [{bar}] {score:.4f} ({grade})")
+    else:
+        print(f"  {metric:<25} [--------------------] NaN")
+print("=" * 60)
+print(f"  Overall Score: {summary['overall_score']:.4f}")
+print("=" * 60)
+print(f"\nKết quả lưu tại: evaluation/results/")