sbert_training/testing_E5.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "9c3a22b2-3206-418c-9ea4-964882f40520",
   "metadata": {},
   "source": [
    "### queries mn lwst "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "6c61aa03-2af4-40e7-8e2a-987fe388a0ed",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/home/skiredj.abderrahman/.conda/envs/sbert_khalil/lib/python3.10/site-packages/tqdm/auto.py:21: TqdmWarning: IProgress not found. Please update jupyter and ipywidgets. See https://ipywidgets.readthedocs.io/en/stable/user_install.html\n",
      "  from .autonotebook import tqdm as notebook_tqdm\n"
     ]
    }
   ],
   "source": [
    "import torch.nn.functional as F\n",
    "\n",
    "from torch import Tensor\n",
    "from transformers import AutoTokenizer, AutoModel"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "e1c559ce-9418-4530-a8ab-5ad29a3b8f6d",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Loading parquet ...\n",
      "Loading model ...\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Loading weights: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 199/199 [00:00<00:00, 1113.49it/s, Materializing param=pooler.dense.weight]\n",
      "\u001b[1mXLMRobertaModel LOAD REPORT\u001b[0m from: intfloat/multilingual-e5-base\n",
      "Key                     | Status     |  | \n",
      "------------------------+------------+--+-\n",
      "embeddings.position_ids | UNEXPECTED |  | \n",
      "\n",
      "\u001b[3mNotes:\n",
      "- UNEXPECTED\u001b[3m\t:can be ignored when loading from different task/architecture; not ok if you expect identical arch.\u001b[0m\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Encoding 500000 corpus texts ...\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n",
      "KeyboardInterrupt\n",
      "\n"
     ]
    }
   ],
   "source": [
    "import pandas as pd\n",
    "import torch\n",
    "from sentence_transformers import SentenceTransformer\n",
    "\n",
    "# ── Config ────────────────────────────────────────────────────────────────────\n",
    "PARQUET_PATH = \"shamela_q_chunk_00_0_500000.parquet\"\n",
    "MODEL_PATH   = \"intfloat/multilingual-e5-base\"\n",
    "TOP_K        = 6\n",
    "# ─────────────────────────────────────────────────────────────────────────────\n",
    "\n",
    "# Load data\n",
    "print(\"Loading parquet ...\")\n",
    "df = pd.read_parquet(PARQUET_PATH, columns=[\"text\", \"q1\"])\n",
    "df = df.dropna(subset=[\"text\", \"q1\"]).reset_index(drop=True)\n",
    "\n",
    "corpus  = df[\"text\"].tolist()\n",
    "queries = df[\"q1\"].iloc[200000:200010].tolist()\n",
    "\n",
    "# Load model\n",
    "print(\"Loading model ...\")\n",
    "model = SentenceTransformer(MODEL_PATH)\n",
    "\n",
    "# Encode corpus with \"passage: \" prefix (required for E5)\n",
    "print(f\"Encoding {len(corpus)} corpus texts ...\")\n",
    "corpus_embeddings = model.encode(\n",
    "    [\"passage: \" + t for t in corpus],\n",
    "    convert_to_tensor=True,\n",
    "    show_progress_bar=True,\n",
    "    normalize_embeddings=True,\n",
    ")\n",
    "\n",
    "# Search\n",
    "top_k = min(TOP_K, len(corpus))\n",
    "\n",
    "for i, query in enumerate(queries):\n",
    "    true_idx = 200000 + i\n",
    "\n",
    "    query_embedding = model.encode(\n",
    "        \"query: \" + query,\n",
    "        convert_to_tensor=True,\n",
    "        normalize_embeddings=True,\n",
    "    )\n",
    "\n",
    "    similarity_scores = model.similarity(query_embedding, corpus_embeddings)[0]\n",
    "    scores, indices   = torch.topk(similarity_scores, k=top_k)\n",
    "\n",
    "    correct_text = df[\"text\"].iloc[true_idx]\n",
    "\n",
    "    print(\"\\n\" + \"=\" * 70)\n",
    "    print(f\"Query {i+1} [row {true_idx}]: {query}\")\n",
    "    print(f\"\\n✅ Ground Truth Text (row {true_idx}):\\n   {correct_text[:200]}\")\n",
    "    print(f\"\\nTop {top_k} retrieved texts:\")\n",
    "\n",
    "    for rank, (score, idx) in enumerate(zip(scores, indices), start=1):\n",
    "        idx   = idx.item()\n",
    "        match = \"✅ CORRECT\" if idx == true_idx else \"❌\"\n",
    "        print(f\"\\n  Rank {rank} {match} (Score: {score:.4f}) [row {idx}]:\")\n",
    "        print(f\"  {corpus[idx][:200]}\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "f8e69554-fbc8-43ac-9d4b-53df98e2a3dc",
   "metadata": {},
   "outputs": [],
   "source": [
    "df = pd.read_parquet(PARQUET_PATH, columns=[\"text\", \"q1\"])\n",
    "df = df.dropna(subset=[\"text\", \"q1\"]).reset_index(drop=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 61,
   "id": "d30eb55a-1433-4550-ba85-32a64ede6c06",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "text    وروى ابن ماجه والحاكم في صحيحه وغيرهما أنه صلى الله عليه وسلم، قال: (استعينوا بالسحر على صيام النهار والقيلولة على قيام الليل (1) )، ومن نظم الجلال السيوطي: يا معشر الصُّوام في الحَرور … ومبتغي الجنة والأجور تنزهوا عن رفث وزور … وإن أردتم غرف القصور تسحروا فإن في السحور … بركة في الخبر المأثور وفي حديث أبي هريرة: (ثلاثة لا يحاسب عليها العبد، أكلة السحور وما أفطر عليه وما أكل مع الإخوان (2) ). انتهى. وزاد بعضهم: وفضلة الضيف، لما نقل من بعض السلف أنه كان إذا جاء الأضياف يقدم لهم في وقت ما يقوم بنفقة شهر أو نحوه، فيقال له في ذلك، فيقول: قد ورد أن بقية الضيف لا حساب على المرء فيها، فكان لا يأكل إلا فضلة الضيف لأجل ذلك. قاله الشبراخيتي. وقد مر الحديث: (فصل ما بين صومنا وصوم أهل الكتاب أكلة السحر (3) )، قال في الإكمال: صوابه بفتح الهمزة والرواية فبه بضمها، وبالضم إنما هو بمعنى اللقمة الواحدة، وبالفتح الأكل مرة واحدة وهو الأشبه هنا، والفصل بالصاد الفرق بين الشيئين. انتهى. قال ابن ناجي في شرحي المدونة والرسالة: قال التادلي: فيما ذكره نظر، والأشبه ما فيه الرواية لما فيه من التنبيه على قلة الأكل باللقمة الواحدة، بخلاف الأكل مرة واحدة، فإنه قد يكون فيه الطعام الكثير والشبع المذموم، انتهى. وقال النووي: ضبطه الجمهور بفتح الهمزة وهي الرواية المشهورة في رواية بلادنا، وقال القاضي عياض: الرواية فيه بالضم، ولعله يريد في بلادهم. انتهى. قاله الحطاب. وقد مر عنه أنه يستحب تأخير السحور ما لم يدخل إلى الشك في الفجر. تنبيه: وقعت نازلة في بغداد في رجل حلف بالطلاق وهو صائم أن لا يفطر على حار ولا بارد، فأفتى ابن الصباغ إمام الشافعية بحنثه؛ إذ لابد له من أحدهما، وأفتى الشيرازي بعدم حنثه\n",
      "q1                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      ما هي البركة المأثورة في السحور كما ورد في حديث أبي هريرة؟\n"
     ]
    }
   ],
   "source": [
    "pd.set_option('display.max_colwidth', None)\n",
    "print(df.iloc[437798].to_string())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "a2b8ef59-ce64-4345-8a75-bcb7be468339",
   "metadata": {},
   "outputs": [],
   "source": [
    "## top 10 queries "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "id": "d4a10267-0efc-490c-93c7-d78924392c56",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Loading parquet ...\n",
      "The history saving thread hit an unexpected error (OperationalError('attempt to write a readonly database')).History will not be written to the database.\n",
      "Loading model ...\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Loading weights: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████| 199/199 [00:00<00:00, 1360.23it/s, Materializing param=pooler.dense.weight]\n",
      "\u001b[1mXLMRobertaModel LOAD REPORT\u001b[0m from: intfloat/multilingual-e5-base\n",
      "Key                     | Status     |  | \n",
      "------------------------+------------+--+-\n",
      "embeddings.position_ids | UNEXPECTED |  | \n",
      "\n",
      "\u001b[3mNotes:\n",
      "- UNEXPECTED\u001b[3m\t:can be ignored when loading from different task/architecture; not ok if you expect identical arch.\u001b[0m\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Encoding 500000 corpus texts ...\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Batches: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 15625/15625 [27:36<00:00,  9.43it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "======================================================================\n",
      "Query 1 [row 0]: ما هي الجهة التي قدم لها مازن بن محمد بن عيسى رسالته للدكتوراه في العقيدة؟\n",
      "\n",
      "✅ Ground Truth Text (row 0):\n",
      "   القسم: العقيدة الكتاب : آراء الإمام أبي المظفر السمعاني العقدية ، من خلال كتابه تفسير القرآن العزيز - جمعًا ودراسة رسالة : دكتوراه في العقيدة بجامعة القرآن الكريم والعلوم الإسلامية بأم درمان في السودا\n",
      "\n",
      "Top 6 retrieved texts:\n",
      "\n",
      "  Rank 1 ❌ (Score: 0.8295) [row 304959]:\n",
      "  وانتشار في الآثار، وعمق أثر في خدمة المذهب، ونفع الأجيال من طلابه على امتداد الزمان والمكان (1). وموضوع الرسالة \"جملة مختصرة من واجب أمور الديانة، مما تنطبق به الألسنة، وتعتقده القلوب، وتعمله الجوارح،\n",
      "\n",
      "  Rank 2 ❌ (Score: 0.8270) [row 1]:\n",
      "  آراء الإمام أبي المظفر السمعاني العقدية من خلال كتابه \"تفسير القرآن العزيز\" جمعًا ودراسة إعداد الطالب: مازن بن محمد بن عيسى إشراف الأستاذ الدكتور: صلاح إبراهيم عيسى 1437 هـ ـ 2016 م رسالة علمية مقدمة \n",
      "\n",
      "  Rank 3 ❌ (Score: 0.8220) [row 4586]:\n",
      "  جمهورية السودان وزارة التعليم العالي والبحث العلمي جامعة القرآن الكريم والعلوم الإسلامية كلية الدراسات العليا دائرة: القرآن الكريم والدراسات الإسلامية قسم: العقيدة عنوان البحث: (الإيمان باليوم الآخر، \n",
      "\n",
      "  Rank 4 ❌ (Score: 0.8208) [row 4587]:\n",
      "  ‌ ‌مقدمة الأستاذ الدكتور صلاح إبراهيم عيسى بعض الناس ينكرون الكثير من الحقائق الدينية التي جاء بها الرسل وعلى رأسها الإيمان باليوم الآخر، إلا أنهم يجدون أنفسهم مضطرين للإيمان بحقيقة الموت. فلو أنهم فك\n",
      "\n",
      "  Rank 5 ❌ (Score: 0.8172) [row 406838]:\n",
      "  2 - ونظم نظائرها فقط محمد بن أحمد بن عبد الله الفاسى العثمانى المكناسى (المتوفى 919 هـ 1513 م) (1) ، وشرحه شمس الدين الحطاب (ت: 952 هـ) بشرح سماه تحرير المقالة. 3 - وقد نُظِمت عقيدة الرسالة وحدها، نظم\n",
      "\n",
      "  Rank 6 ❌ (Score: 0.8136) [row 96430]:\n",
      "  الطبعة الخامسة - 1427 هـ أصل هذا الكتاب رسالة \"دكتوراه\" نوقشت في الجامعة الإسلامية بالمدينة المنورة. وقد تكونت لجنة المناقشة من أصحب الفضيلة: - د. عمر بن عبد العزيز أستاذ أصول الفقه بقسم الدراسات العل\n",
      "\n",
      "======================================================================\n",
      "Query 2 [row 1]: ما هي أهمية جمع ودراسة آراء الإمام أبي المظفر السمعاني العقدية؟\n",
      "\n",
      "✅ Ground Truth Text (row 1):\n",
      "   آراء الإمام أبي المظفر السمعاني العقدية من خلال كتابه \"تفسير القرآن العزيز\" جمعًا ودراسة إعداد الطالب: مازن بن محمد بن عيسى إشراف الأستاذ الدكتور: صلاح إبراهيم عيسى 1437 هـ ـ 2016 م رسالة علمية مقدمة \n",
      "\n",
      "Top 6 retrieved texts:\n",
      "\n",
      "  Rank 1 ✅ CORRECT (Score: 0.8760) [row 1]:\n",
      "  آراء الإمام أبي المظفر السمعاني العقدية من خلال كتابه \"تفسير القرآن العزيز\" جمعًا ودراسة إعداد الطالب: مازن بن محمد بن عيسى إشراف الأستاذ الدكتور: صلاح إبراهيم عيسى 1437 هـ ـ 2016 م رسالة علمية مقدمة \n",
      "\n",
      "  Rank 2 ❌ (Score: 0.8617) [row 6]:\n",
      "  7 ـ عَرْضُ آراءِ السلفِ ودراستها وفق المنهج السلفي الصحيح، مؤشر خير، يُسهم في تقويض التعصب المقيت، والتقليد المذموم، ويبين أن الآراء البشرية غير معصومة، وأنها عرضة للوقوع في الخطأ، وإن كانت آراء السلف\n",
      "\n",
      "  Rank 3 ❌ (Score: 0.8599) [row 145019]:\n",
      "  وقال الزركشي: والقواطع لأبي المظفر السمعاني، وهو أجل كتاب للشافعية في أصول الفقه نقلًا وحجاجًا (1) . وكان أبو المظفر السمعاني أحد أئمة أهل السنة من أصحاب الشافعي (2) . وقال الذهبي: تعصب لأهل الحديث وا\n",
      "\n",
      "  Rank 4 ❌ (Score: 0.8477) [row 37]:\n",
      "  ولذا كان الإمام السمعاني محلا لثناء العلماء عليه، لِما آتاه الله تعالى من الفقه والعلم والديانة، يقول ابن القيسراني (1) : \"الإمام أبو المظفر السمعاني، صاحب السنة والفقه والعلوم \" (2) ، وقد انهالت عليه\n",
      "\n",
      "  Rank 5 ❌ (Score: 0.8439) [row 7]:\n",
      "  1 ـ أن سعادة البشرية معقودة على سَيْرِ عقيدتها الصحيحة، الخالية من كل ألوان البدع والأوهام والخرافات والاعتقادات الفاسدة، وأشد ما يُناقضها الآراء المخالفة التي تحارب العقائد الصحيحة، فدراسة آراء السلف\n",
      "\n",
      "  Rank 6 ❌ (Score: 0.8436) [row 743]:\n",
      "  وقد تعددت مظاهر ذلك الانحراف ما بين سلوك واعتقاد وفكر وطريقة في الفهم والاستنباط، كنتيجة حتمية وثمرة لازمة لانحرافهم في مصادر التلقى ومناهج الاستدلال. فتأكد الدفاع عن الحق نتيجة لذلك، إذ معرفته فقط لم\n",
      "\n",
      "======================================================================\n",
      "Query 3 [row 2]: ما هي أبرز الصفات التي تميز والدي المؤلف في نظرته؟\n",
      "\n",
      "✅ Ground Truth Text (row 2):\n",
      "   أهدي هذا البحث المتواضع .. إلى كل من له الفضل عليَّ بعد الله تعالى إلى والديَّ الكريمين .. أعظم القامات التي أشعرتني بالأمان والاطمئنان بعد الله تعالى .. وأعلى الهامات التي شجعتني على البذل والعطاء ..\n",
      "\n",
      "Top 6 retrieved texts:\n",
      "\n",
      "  Rank 1 ❌ (Score: 0.8256) [row 84308]:\n",
      "  فكان لهذه الأسرة الصالحة المحافظة أثرها البالغ في حبه للعلم والتعلم. فجد واجتهد ولازم العلماء حتى أدرك علما جما وهو بعد في ميعة صباه وريعان شبابه ن وأعانه على ذلك ما حباه الله من ذهن وقّاد وفهم ثاقب و\n",
      "\n",
      "  Rank 2 ❌ (Score: 0.8248) [row 168759]:\n",
      "  موقعاً عليها من الثلاثة - ما يدل على تواضع العلماء وعدم الاستئثار بالفتوى وتقدير أمانتها وهل أدل على ذلك من أن يشرك الرجل ابنته وتلميذه؟ واحترام المؤلف وإجلاله للماتريدي ظاهر بجلاء لكل من يطالع الكتاب\n",
      "\n",
      "  Rank 3 ❌ (Score: 0.8242) [row 385579]:\n",
      "  لا يُعتَدُّ بهم، لكن لا شك أن الأب عنده من الشفقة ومن الرحمة ومن المودة ومن الحرص على سعادة أبنائه بحيث إنه يتمنى أن يكونوا في أحسن حالًا منه، إذن هناك صفاتٌ أيضًا توجد في الأب لا توجد لغيره. بهذه الأ\n",
      "\n",
      "  Rank 4 ❌ (Score: 0.8231) [row 68333]:\n",
      "  سرقسطة (538) هـ (1). 3 - إبراهيم بن أبي الفتح بن عبيدالله بن خفاجة الهواري الشاعر من أهل جزيرة شقر يكنى أبا إسحاق (2). تلاميذه: 1 - أحمد بن سلمة بن أحمد بن يوسف الأنصاري يعرف بابن الصيقل ويكنى أبا جعف\n",
      "\n",
      "  Rank 5 ❌ (Score: 0.8231) [row 97887]:\n",
      "  3. نُسِب له كتاب ((الدلالة على عموم الرسالة))، وهذا الكتاب لوالده وهو مطبوع 4. نُسِب له كتاب ((كشف الغمة في ميراث أهل الذمة))، وهو لوالده وقد ذكره التاج في مصنفات والده في الطبقات (10/ 310) ‌ ‌المبحث \n",
      "\n",
      "  Rank 6 ❌ (Score: 0.8226) [row 60016]:\n",
      "  8 - وقال في موضعٍ: \"وقد صَنَّفَ الخطيب في روايةِ الآباء عن الأبناء تصنيفاً، .. وبَيَّنَ ذلك وحقَّقَهُ، وخَرّج في كل ترجمةٍ حديثاً مِن مَرْوِيِّهِ، وقد لخّصْتُ كتابَهُ المذكورَ وزِدْتُ عليه تَرَاجِمَ ك\n",
      "\n",
      "======================================================================\n",
      "Query 4 [row 3]: ما هي الصفات التي وصف بها المؤلف القرآن الكريم في بداية المقدمة؟\n",
      "\n",
      "✅ Ground Truth Text (row 3):\n",
      "   ‌ ‌المقدمة الحمد لله رب العالمين، حمدًا كثيرًا طيبًا مباركًا فيه، ملء السموات، وملء الأرض، وملء ما شاء من شيء بعد. أهل الثناء والمجد، لا نحصي ثناء عليه، هو كما أثنى على نفسه المقدسة. له الحمد سبحانه، \n",
      "\n",
      "Top 6 retrieved texts:\n",
      "\n",
      "  Rank 1 ❌ (Score: 0.8561) [row 5157]:\n",
      "  وفي الجمع في هذه الآية الكريمة، من التكريم في أولها، والتفضيل في آخرها وجه بديع: وذلك \"أن الله تعالى كرم الإنسان على سائر الحيوان بأمور خلقية ذاتية طبيعية، مثل: العقل، والنطق، والخط، وحسن الصورة ثم إن\n",
      "\n",
      "  Rank 2 ❌ (Score: 0.8476) [row 158526]:\n",
      "  قوله: (المبين معنى مجمل الكتاب، والمبدع أنواعه وأجناسه) المراد بالكتاب القرآن الكريم، ويأتي الكلام عليه وعلى المجمل إن شاء الله تعالى عند ذكرهما. و(1) المبدع: هو الذي يَفعل على غير مثال سبق. والأنواع:\n",
      "\n",
      "  Rank 3 ❌ (Score: 0.8473) [row 445398]:\n",
      "  والصفات العلى لم يزل بجميع صفاته وأسمائه تعالى أن تكون صفاته مخلوقة وأسماؤه محدثة كلم موسى بكلامه الذي هو صفة ذاته لا خلق من خلقه وتجلى للجبل فصار دكا من جلاله وأن القرآن كلام الله ليس بمخلوق فيبيد ول\n",
      "\n",
      "  Rank 4 ❌ (Score: 0.8471) [row 355890]:\n",
      "  حسن بعضها النووي، وقد ألف المحدث أحمد بن محمد بن الصديق الغماري رسالة في الرد على من صحح الحديث، وقال في المداوي عن حديث: «كل أمر ذي بال لا يبدأ فيه ببسم الله الرحمن الرحيم أقطع»: «إنه باطل موضوع»، ان\n",
      "\n",
      "  Rank 5 ❌ (Score: 0.8461) [row 1124]:\n",
      "  بهذه الآية الكريمة، يقول: \"ودفع بذلك ما قيل: إن ظاهر الآية يدل على حدوث القرآن من وجوه ثلاثة: الأول: أنها تدل على أن القرآن مجعول، والمجعول هو المصنوع والمخلوق. والثاني: أنه وصفه بكونه قرآنًا، والمجمو\n",
      "\n",
      "  Rank 6 ❌ (Score: 0.8460) [row 5153]:\n",
      "  فقد\" ذكر الله في هذه السورة الكريمة، أول حالة الإنسان، ومبتدأها ومتوسطها، ومنتهاها، فذكر أنه مرّ عليه دهر طويل، وهو الذي قبل وجوده وهو معدوم، بل ليس مذكوراً، ثم لما أراد الله تعالى خلقه خلق أباه من طي\n",
      "\n",
      "======================================================================\n",
      "Query 5 [row 4]: ما هي أبرز أوجه الهداية القرآنية التي ذكرها النص؟\n",
      "\n",
      "✅ Ground Truth Text (row 4):\n",
      "   ومن أعلى أوجه الهداية القرآنية، هدايته \" للطريقة التي هي أقوم الطرق وأعدلها، وهي توحيده جل وعلا في ربوبيته، وفي عبادته، وفي أسمائه وصفاته \" (1) ، وتوغله في دواخل النفس البشرية، وعوالم الضمير والشعور، \n",
      "\n",
      "Top 6 retrieved texts:\n",
      "\n",
      "  Rank 1 ❌ (Score: 0.8606) [row 4748]:\n",
      "  وأما تمام هذه الهداية: فلأنها احتوت أرقى وأوفى ما عرفت البشرية، وعرف التاريخ من هدايات الله والناس، وانتظمت كل ما يحتاج إليه الخلق في العقائد والأخلاق والعبادات والمعاملات على اختلاف أنواعها، وجمعت بي\n",
      "\n",
      "  Rank 2 ❌ (Score: 0.8589) [row 18914]:\n",
      "  ‌ ‌هداية الله بعض الناس يستمرئ طريق الضلال، ويتقاعد عن فعل الخير، فإذا دعوته إلى الفضيلة قال: إن الله لم يهدني. وتصحيحا لعقيدة الشباب، ونهوضا بهمم الكسالى أحاول أن أوضح معنى (هداية الله) والدارس للقرآ\n",
      "\n",
      "  Rank 3 ❌ (Score: 0.8587) [row 45988]:\n",
      "  ‌ ‌الوجه الثالث: \"كون القرآن هدى \" فكل ما في القرآن هداية لمن أراد الخير والرشاد، ودلالة على ما يجب اتباعه من سبل الحياة المختلفة، والمضطربة، فكل إرشاده هداية للسبيل الأقوم، ودلالة على الطريق الأسلم، \n",
      "\n",
      "  Rank 4 ❌ (Score: 0.8561) [row 18543]:\n",
      "  يعني أن الله تعالى يقدر الهدى والضلال، على وفق مبدأ السببية وارتباط الأسباب بالمسببات. وقد نقل الشيخ رشيد رضا عن شيخه معنى الهداية ومراتبها، فقال: \"ذكر الأستاذ الإمام أولاً ما قالوه في معنى الهداية لغ\n",
      "\n",
      "  Rank 5 ❌ (Score: 0.8550) [row 223317]:\n",
      "  و\"تتمةِ الفتاوى\" (1) و \"فوائدِ الإمامِ أبي عليٍّ النسفيّ\"، وفتاوى الفقيهِ أبي جعْفرٍ البلخيّ\"، و \"فتاوى شمس الأئمة الحلوانيّ\" (2) ، و \"فتاوى بهاءِ الدين الإسبيجابيّ\" (3) ، و \"فتاوى التُّمُرتاشي\" (4) ،\n",
      "\n",
      "  Rank 6 ❌ (Score: 0.8506) [row 272680]:\n",
      "  ‌ ‌المبحث الرابع التعريف بمصادر المؤلف في كتابه يمكن تقسيم المصادر التي اعتمد عليها المؤلف في كتابه إلى قسمين: قسمٍ نصّ عليه في مقدمته، وقسمٍ لم ينصّ عليه، وهذا بيانها: ‌ ‌القسم الأول: ما نصّ المؤلف ع\n",
      "\n",
      "======================================================================\n",
      "Query 6 [row 5]: ما هي أهمية اختيار كتاب الإمام السمعاني في التفسير كعنوان لرسالة الدكتوراه؟\n",
      "\n",
      "✅ Ground Truth Text (row 5):\n",
      "   ومن العلماء المجتهدين، والمفسرين المبرزين، الذين خاضوا غمار هذا الباب، وولجوا مضمار هذا الكتاب، إمام الكَلِم والمعاني، أبو المظفر منصور بن محمد السمعاني، فألف كتاباً أظهر فيه المقاصد، وأبان فيه المحام\n",
      "\n",
      "Top 6 retrieved texts:\n",
      "\n",
      "  Rank 1 ✅ CORRECT (Score: 0.8586) [row 5]:\n",
      "  ومن العلماء المجتهدين، والمفسرين المبرزين، الذين خاضوا غمار هذا الباب، وولجوا مضمار هذا الكتاب، إمام الكَلِم والمعاني، أبو المظفر منصور بن محمد السمعاني، فألف كتاباً أظهر فيه المقاصد، وأبان فيه المحام\n",
      "\n",
      "  Rank 2 ❌ (Score: 0.8472) [row 8]:\n",
      "  7 ـ إبراز مكانة الإمام أبي المظفر السمعاني، وخصائص تفسيره. 8 - إبراز منهج الإمام السمعاني في دراسته وتعاطيه لمسائل العقيدة. ‌ ‌رابعًا: أسئلة البحث: يهدف البحث للإجابة على التساؤلات التالية: - ما مكانة\n",
      "\n",
      "  Rank 3 ❌ (Score: 0.8467) [row 44]:\n",
      "  وقال العلامة اليافعي: \" وله تفسير القرآن العزيز، كتاب نفيس \" (1) . وقال العلامة ابن العماد: \" وله تفسير جيد حسن \" (2) . وكثيرون غير هؤلاء ممن ترجم للإمام السمعاني، أشاروا إلى نسبة الكتاب إليه. وتقدمت \n",
      "\n",
      "  Rank 4 ❌ (Score: 0.8442) [row 9]:\n",
      "  ‌ ‌سابعًا: الدراسات السابقة: غالب الدراسات التي اطلعت عليها، اهتمت بذكر منهج الإمام السمعاني في التفسير، وبعضها الآخر أشار إلى منحى تميز به الإمام السمعاني في تفسيره، كمنهجه في الترجيح والاستنباط. ومع\n",
      "\n",
      "  Rank 5 ❌ (Score: 0.8428) [row 46]:\n",
      "  6 - أنه تفسير غني بالاستنباطات العلمية (1) ، التي تُنبئ عن علم دقيق، وفهم عميق. 7 - أنه حديقة غنّاء، يقتطف منه طالب العلم والمعرفة من كل فن قطفة، فتفسير السمعاني امتاز: - بإيراد أسباب النزول، والناسخ \n",
      "\n",
      "  Rank 6 ❌ (Score: 0.8419) [row 43]:\n",
      "  ‌ ‌المبحث الثالث: تفسير أبي المظفر السمعاني: ‌ ‌المطلب الأول: نسبة التفسير لمؤلفه، ومكانته العلمية: تفسير الإمام السمعاني، ضمن مصنفاته النفيسة، ومؤلفاته الثمينة، وآثاره الحميدة. وقد نص المترجمون للإما\n",
      "\n",
      "======================================================================\n",
      "Query 7 [row 6]: ما هي الآثار المترتبة على عرض آراء السلف ودراستها وفق المنهج السلفي الصحيح؟\n",
      "\n",
      "✅ Ground Truth Text (row 6):\n",
      "   7 ـ عَرْضُ آراءِ السلفِ ودراستها وفق المنهج السلفي الصحيح، مؤشر خير، يُسهم في تقويض التعصب المقيت، والتقليد المذموم، ويبين أن الآراء البشرية غير معصومة، وأنها عرضة للوقوع في الخطأ، وإن كانت آراء السلف\n",
      "\n",
      "Top 6 retrieved texts:\n",
      "\n",
      "  Rank 1 ✅ CORRECT (Score: 0.8606) [row 6]:\n",
      "  7 ـ عَرْضُ آراءِ السلفِ ودراستها وفق المنهج السلفي الصحيح، مؤشر خير، يُسهم في تقويض التعصب المقيت، والتقليد المذموم، ويبين أن الآراء البشرية غير معصومة، وأنها عرضة للوقوع في الخطأ، وإن كانت آراء السلف\n",
      "\n",
      "  Rank 2 ❌ (Score: 0.8500) [row 94176]:\n",
      "  الصالح، فاقتصار عملهم على بعض ما تشمله تلك الأدلة يُعَدّ تقييداً لإطلاقها، ورفع ذلك التقييد يحتاج إلى دليل في إعمال الوجه الجديد. ويكون العمل على الوجه الذي لم يَجْرِ به عمل الرسول صلى الله عليه وسلم \n",
      "\n",
      "  Rank 3 ❌ (Score: 0.8475) [row 18319]:\n",
      "  في المقدمة 1، وهي أن الشيخ محمد رشيد نشأ ـ حين نشأ ـ على ما ينشأ عليه لداته من طلبة العلم، على كتب الأشعرية وشروحها 2، وكان يظن ـ كغيره ـ أن هذه الكتب \"هي وحدها منبع الدين وطريق اليقين\" 3 و \"أن مذهب ا\n",
      "\n",
      "  Rank 4 ❌ (Score: 0.8448) [row 137987]:\n",
      "  وقيل بالثاني. لنا: أن الوصف إنما يعلم كونه حجة بأثره، لأنه غير محسوس ولا اعتبار بالخيال لأنه ظن وقد تعارض بالمثل. ولا بالعرض لأنه تزكية يترتب على الشهادة. مثال الأثر: التعليل بالطوف في \"إنها ليست بنجس\n",
      "\n",
      "  Rank 5 ❌ (Score: 0.8447) [row 132421]:\n",
      "  السابع: أن تكون على سبيل الكثرة ولزومها أغلبي الثامن: ما لزومها غير أغلبي الأول: باقٍ على أصله من الأذن 55 الثاني: لا إشكال في منع القصد إلى الإضرار 55 النظرية الحديثة لسوء استعمال الحق والتعسف فيه 56\n",
      "\n",
      "  Rank 6 ❌ (Score: 0.8441) [row 27224]:\n",
      "  والآية الثانية: دلت على وجوب نفي التمثيل، والآية الثالثة دلت على وجوب نفي الكيفية، وعلى وجوب التوقف فيما لم يرد إثباته ولا نفيه. أما من السنة فالأدلة كثيرة منها قوله\": =اللهم أنت الأول فليس قبلك شيء، \n",
      "\n",
      "======================================================================\n",
      "Query 8 [row 7]: ما هي العلاقة بين سعادة البشرية وسير العقيدة الصحيحة كما يراها الإمام السمعاني؟\n",
      "\n",
      "✅ Ground Truth Text (row 7):\n",
      "   1 ـ أن سعادة البشرية معقودة على سَيْرِ عقيدتها الصحيحة، الخالية من كل ألوان البدع والأوهام والخرافات والاعتقادات الفاسدة، وأشد ما يُناقضها الآراء المخالفة التي تحارب العقائد الصحيحة، فدراسة آراء السلف\n",
      "\n",
      "Top 6 retrieved texts:\n",
      "\n",
      "  Rank 1 ❌ (Score: 0.8468) [row 8949]:\n",
      "  وقال سليمان التيمي: \"إن الرجل ليصيب الذنب في السر فيصبح وعليه مذلته\". وهذا من أعظم الأدلة على وجود الإله الحق المجازي بذرات العمال في الدنيا قبل الآخرة، ولا يضيع عنده عمل عامل، ولا ينفع من قدرته حجاب \n",
      "\n",
      "  Rank 2 ❌ (Score: 0.8426) [row 648]:\n",
      "  أن الأشياء التي قدر الله كونها، هي في علم الله كالكائنة القائمة، فاستقام قوله \" إِنَّمَا قَوْلُنَا لِشَيْءٍ إِذَا أَرَدْنَاهُ \". وقيل: إن هذا على طريق المجاز، ومعناه: إنما يكون شيئاً إذا أردنا تكوينه \n",
      "\n",
      "  Rank 3 ❌ (Score: 0.8412) [row 74680]:\n",
      "  السمعاني بمدينة مرو، والده1 \"رحمهما الله\"2، قال: سمعت أبا السعادات المبارك بن الحسين الشاهد3 بواسط يقول: دخلت على قاضي القضاة أبي عبد الله الدامغاني4 وكان معي رقعة فيها مسألة، فسألته الجواب عنها، فأخذ\n",
      "\n",
      "  Rank 4 ❌ (Score: 0.8410) [row 12456]:\n",
      "  ‌ ‌بين العقيدة والأخلاق ‌ ‌تقديم حين تكون العقيدة حية في أنفس المؤمنين، فإنها تضيء جوانب النفس، وتكتسح جميع الظلمات، وتشرق بسببها شمس الحقيقة في القلوب، وينتفض الكيان الإنساني بها انتقاضة الحق فيرمي ب\n",
      "\n",
      "  Rank 5 ❌ (Score: 0.8401) [row 233734]:\n",
      "  ما فيه سعادة أبدية ونجاة عقباوية سرمدية فهي من أجل المنافع وعاجله أولى حجة الشافعي رحمه الله: لوكان الإيمان صحيحا من الصبي لكان واجبا عليه ولو كان واجبا عليه لما جوز الشرع تركه إذ ترك إسلام من وجب علي\n",
      "\n",
      "  Rank 6 ❌ (Score: 0.8390) [row 4766]:\n",
      "  ‌ ‌المسألة الثالثة: نتائج العناية باليوم الآخر في القرآن الكريم: وأما نتائج هذه العناية القرآنية بذكر أخبار المعاد وتفاصيل وأحداث اليوم الآخر، فتتمثل فيما يجده المرء من سعادة واطمئنان، وراحة وأمن وأما\n",
      "\n",
      "======================================================================\n",
      "Query 9 [row 8]: ما هي أهم الخصائص التي تميز تفسير الإمام أبي المظفر السمعاني كما ورد في الصفحة؟\n",
      "\n",
      "✅ Ground Truth Text (row 8):\n",
      "   7 ـ إبراز مكانة الإمام أبي المظفر السمعاني، وخصائص تفسيره. 8 - إبراز منهج الإمام السمعاني في دراسته وتعاطيه لمسائل العقيدة. ‌ ‌رابعًا: أسئلة البحث: يهدف البحث للإجابة على التساؤلات التالية: - ما مكانة\n",
      "\n",
      "Top 6 retrieved texts:\n",
      "\n",
      "  Rank 1 ❌ (Score: 0.8974) [row 45]:\n",
      "  ولذا كانت جُل أنظار العلماء وطلاب العلم، منصبة إلى التفاسير التي عُنيت بالمنهج السلفي في التعامل مع النص القرآني، الذي يعتمد على تفسير القرآن بالقرآن، والقرآن بالسنة، وبكلام الصحابة، وبما صح في لغة ال\n",
      "\n",
      "  Rank 2 ❌ (Score: 0.8858) [row 43]:\n",
      "  ‌ ‌المبحث الثالث: تفسير أبي المظفر السمعاني: ‌ ‌المطلب الأول: نسبة التفسير لمؤلفه، ومكانته العلمية: تفسير الإمام السمعاني، ضمن مصنفاته النفيسة، ومؤلفاته الثمينة، وآثاره الحميدة. وقد نص المترجمون للإما\n",
      "\n",
      "  Rank 3 ❌ (Score: 0.8753) [row 145019]:\n",
      "  وقال الزركشي: والقواطع لأبي المظفر السمعاني، وهو أجل كتاب للشافعية في أصول الفقه نقلًا وحجاجًا (1) . وكان أبو المظفر السمعاني أحد أئمة أهل السنة من أصحاب الشافعي (2) . وقال الذهبي: تعصب لأهل الحديث وا\n",
      "\n",
      "  Rank 4 ❌ (Score: 0.8749) [row 37]:\n",
      "  ولذا كان الإمام السمعاني محلا لثناء العلماء عليه، لِما آتاه الله تعالى من الفقه والعلم والديانة، يقول ابن القيسراني (1) : \"الإمام أبو المظفر السمعاني، صاحب السنة والفقه والعلوم \" (2) ، وقد انهالت عليه\n",
      "\n",
      "  Rank 5 ❌ (Score: 0.8740) [row 44]:\n",
      "  وقال العلامة اليافعي: \" وله تفسير القرآن العزيز، كتاب نفيس \" (1) . وقال العلامة ابن العماد: \" وله تفسير جيد حسن \" (2) . وكثيرون غير هؤلاء ممن ترجم للإمام السمعاني، أشاروا إلى نسبة الكتاب إليه. وتقدمت \n",
      "\n",
      "  Rank 6 ❌ (Score: 0.8736) [row 49]:\n",
      "  ‌ ‌المطلب الرابع: منهج الإمام السمعاني في تفسيره: امتاز تفسير الإمام السمعاني - كما سبق - بتنوع مصادره، والثراء العلمي الغزير، الذي ضمنه السمعاني تفسيره. وكان دمج هذه العلوم والمعارف وترتيبها في مواضع\n",
      "\n",
      "======================================================================\n",
      "Query 10 [row 9]: ما هي أبرز المجالات التي اهتمت بها الدراسات السابقة حول منهج الإمام السمعاني في التفسير؟\n",
      "\n",
      "✅ Ground Truth Text (row 9):\n",
      "   ‌ ‌سابعًا: الدراسات السابقة: غالب الدراسات التي اطلعت عليها، اهتمت بذكر منهج الإمام السمعاني في التفسير، وبعضها الآخر أشار إلى منحى تميز به الإمام السمعاني في تفسيره، كمنهجه في الترجيح والاستنباط. ومع\n",
      "\n",
      "Top 6 retrieved texts:\n",
      "\n",
      "  Rank 1 ❌ (Score: 0.8756) [row 49]:\n",
      "  ‌ ‌المطلب الرابع: منهج الإمام السمعاني في تفسيره: امتاز تفسير الإمام السمعاني - كما سبق - بتنوع مصادره، والثراء العلمي الغزير، الذي ضمنه السمعاني تفسيره. وكان دمج هذه العلوم والمعارف وترتيبها في مواضع\n",
      "\n",
      "  Rank 2 ❌ (Score: 0.8694) [row 45]:\n",
      "  ولذا كانت جُل أنظار العلماء وطلاب العلم، منصبة إلى التفاسير التي عُنيت بالمنهج السلفي في التعامل مع النص القرآني، الذي يعتمد على تفسير القرآن بالقرآن، والقرآن بالسنة، وبكلام الصحابة، وبما صح في لغة ال\n",
      "\n",
      "  Rank 3 ❌ (Score: 0.8661) [row 8]:\n",
      "  7 ـ إبراز مكانة الإمام أبي المظفر السمعاني، وخصائص تفسيره. 8 - إبراز منهج الإمام السمعاني في دراسته وتعاطيه لمسائل العقيدة. ‌ ‌رابعًا: أسئلة البحث: يهدف البحث للإجابة على التساؤلات التالية: - ما مكانة\n",
      "\n",
      "  Rank 4 ❌ (Score: 0.8612) [row 50]:\n",
      "  ‌ ‌المبحث الرابع: منهجه في دراسة العقيدة: ‌ ‌المطلب الأول: المنهج العام في دراسة مسائل العقيدة: المتتبع لمسار الإمام السمعاني العلمي والمنهجي في تعاطيه لمسائل العقيدة، دراسة وتأصيلا وتقعيدا، يلمح المن\n",
      "\n",
      "  Rank 5 ✅ CORRECT (Score: 0.8515) [row 9]:\n",
      "  ‌ ‌سابعًا: الدراسات السابقة: غالب الدراسات التي اطلعت عليها، اهتمت بذكر منهج الإمام السمعاني في التفسير، وبعضها الآخر أشار إلى منحى تميز به الإمام السمعاني في تفسيره، كمنهجه في الترجيح والاستنباط. ومع\n",
      "\n",
      "  Rank 6 ❌ (Score: 0.8504) [row 46]:\n",
      "  6 - أنه تفسير غني بالاستنباطات العلمية (1) ، التي تُنبئ عن علم دقيق، وفهم عميق. 7 - أنه حديقة غنّاء، يقتطف منه طالب العلم والمعرفة من كل فن قطفة، فتفسير السمعاني امتاز: - بإيراد أسباب النزول، والناسخ \n"
     ]
    }
   ],
   "source": [
    "import pandas as pd\n",
    "import torch\n",
    "from sentence_transformers import SentenceTransformer\n",
    "\n",
    "# ── Config ────────────────────────────────────────────────────────────────────\n",
    "PARQUET_PATH = \"shamela_q_chunk_00_0_500000.parquet\"\n",
    "MODEL_PATH   = \"intfloat/multilingual-e5-base\"\n",
    "TOP_K        = 6\n",
    "# ─────────────────────────────────────────────────────────────────────────────\n",
    "\n",
    "# Load data\n",
    "print(\"Loading parquet ...\")\n",
    "df = pd.read_parquet(PARQUET_PATH, columns=[\"text\", \"q1\"])\n",
    "df = df.dropna(subset=[\"text\", \"q1\"]).reset_index(drop=True)\n",
    "\n",
    "corpus  = df[\"text\"].tolist()\n",
    "queries = df[\"q1\"].iloc[0:10].tolist()\n",
    "\n",
    "# Load model\n",
    "print(\"Loading model ...\")\n",
    "model = SentenceTransformer(MODEL_PATH)\n",
    "\n",
    "# Encode corpus with \"passage: \" prefix (required for E5)\n",
    "print(f\"Encoding {len(corpus)} corpus texts ...\")\n",
    "corpus_embeddings = model.encode(\n",
    "    [\"passage: \" + t for t in corpus],\n",
    "    convert_to_tensor=True,\n",
    "    show_progress_bar=True,\n",
    "    normalize_embeddings=True,\n",
    ")\n",
    "\n",
    "# Search\n",
    "top_k = min(TOP_K, len(corpus))\n",
    "\n",
    "for i, query in enumerate(queries):\n",
    "    true_idx = i\n",
    "\n",
    "    query_embedding = model.encode(\n",
    "        \"query: \" + query,\n",
    "        convert_to_tensor=True,\n",
    "        normalize_embeddings=True,\n",
    "    )\n",
    "\n",
    "    similarity_scores = model.similarity(query_embedding, corpus_embeddings)[0]\n",
    "    scores, indices   = torch.topk(similarity_scores, k=top_k)\n",
    "\n",
    "    correct_text = df[\"text\"].iloc[true_idx]\n",
    "\n",
    "    print(\"\\n\" + \"=\" * 70)\n",
    "    print(f\"Query {i+1} [row {true_idx}]: {query}\")\n",
    "    print(f\"\\n✅ Ground Truth Text (row {true_idx}):\\n   {correct_text[:200]}\")\n",
    "    print(f\"\\nTop {top_k} retrieved texts:\")\n",
    "\n",
    "    for rank, (score, idx) in enumerate(zip(scores, indices), start=1):\n",
    "        idx   = idx.item()\n",
    "        match = \"✅ CORRECT\" if idx == true_idx else \"❌\"\n",
    "        print(f\"\\n  Rank {rank} {match} (Score: {score:.4f}) [row {idx}]:\")\n",
    "        print(f\"  {corpus[idx][:200]}\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "cbf85168-51fc-4b41-bcb9-d7acb46bf2a3",
   "metadata": {},
   "source": [
    "### random 10 "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "77565e77-6cc2-4874-8619-cc6669fb9a32",
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import torch\n",
    "from sentence_transformers import SentenceTransformer\n",
    "\n",
    "# ── Config ────────────────────────────────────────────────────────────────────\n",
    "PARQUET_PATH = \"shamela_q_chunk_00_0_500000.parquet\"\n",
    "MODEL_PATH   = \"intfloat/multilingual-e5-base\"\n",
    "TOP_K        = 6\n",
    "# ─────────────────────────────────────────────────────────────────────────────\n",
    "\n",
    "# Load data\n",
    "print(\"Loading parquet ...\")\n",
    "df = pd.read_parquet(PARQUET_PATH, columns=[\"text\", \"q1\"])\n",
    "df = df.dropna(subset=[\"text\", \"q1\"]).reset_index(drop=True)\n",
    "\n",
    "corpus         = df[\"text\"].tolist()\n",
    "sample_indices = df.sample(n=10, random_state=42).index.tolist()\n",
    "queries        = df[\"q1\"].loc[sample_indices].tolist()\n",
    "\n",
    "# Load model\n",
    "print(\"Loading model ...\")\n",
    "model = SentenceTransformer(MODEL_PATH)\n",
    "\n",
    "# Encode corpus with \"passage: \" prefix (required for E5)\n",
    "print(f\"Encoding {len(corpus)} corpus texts ...\")\n",
    "corpus_embeddings = model.encode(\n",
    "    [\"passage: \" + t for t in corpus],\n",
    "    convert_to_tensor=True,\n",
    "    show_progress_bar=True,\n",
    "    normalize_embeddings=True,\n",
    ")\n",
    "\n",
    "# Search\n",
    "top_k = min(TOP_K, len(corpus))\n",
    "\n",
    "for i, (query, true_idx) in enumerate(zip(queries, sample_indices)):\n",
    "\n",
    "    query_embedding = model.encode(\n",
    "        \"query: \" + query,\n",
    "        convert_to_tensor=True,\n",
    "        normalize_embeddings=True,\n",
    "    )\n",
    "\n",
    "    similarity_scores = model.similarity(query_embedding, corpus_embeddings)[0]\n",
    "    scores, indices   = torch.topk(similarity_scores, k=top_k)\n",
    "\n",
    "    correct_text = df[\"text\"].iloc[true_idx]\n",
    "\n",
    "    print(\"\\n\" + \"=\" * 70)\n",
    "    print(f\"Query {i+1} [row {true_idx}]: {query}\")\n",
    "    print(f\"\\n✅ Ground Truth Text (row {true_idx}):\\n   {correct_text[:200]}\")\n",
    "    print(f\"\\nTop {top_k} retrieved texts:\")\n",
    "\n",
    "    for rank, (score, idx) in enumerate(zip(scores, indices), start=1):\n",
    "        idx   = idx.item()\n",
    "        match = \"✅ CORRECT\" if idx == true_idx else \"❌\"\n",
    "        print(f\"\\n  Rank {rank} {match} (Score: {score:.4f}) [row {idx}]:\")\n",
    "        print(f\"  {corpus[idx][:200]}\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "233591e5-97fb-42a5-8a74-425e44b6029e",
   "metadata": {},
   "source": [
    "# mrr and hit rate test 1 "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "id": "55163395-e128-4256-84bb-eb98a6995361",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "2026-03-04 19:44:39,888 - INFO - Loading parquet: shamela_q_chunk_00_0_500000.parquet\n",
      "2026-03-04 19:44:43,887 - INFO - Using random sample of 100000 rows.\n",
      "2026-03-04 19:44:43,888 - INFO - Dataset size: 100000 rows\n",
      "2026-03-04 19:44:43,888 - INFO - Loading model: intfloat/multilingual-e5-base\n",
      "2026-03-04 19:44:43,910 - INFO - Use pytorch device_name: cuda:0\n",
      "2026-03-04 19:44:43,911 - INFO - Load pretrained SentenceTransformer: intfloat/multilingual-e5-base\n",
      "2026-03-04 19:44:44,122 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/modules.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 19:44:44,262 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/modules.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 19:44:44,411 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/config_sentence_transformers.json \"HTTP/1.1 404 Not Found\"\n",
      "2026-03-04 19:44:44,548 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/config_sentence_transformers.json \"HTTP/1.1 404 Not Found\"\n",
      "2026-03-04 19:44:44,685 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/README.md \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 19:44:45,087 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/README.md \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 19:44:45,224 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/modules.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 19:44:45,268 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/modules.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 19:44:45,405 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/sentence_bert_config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 19:44:45,541 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/sentence_bert_config.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 19:44:45,748 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/adapter_config.json \"HTTP/1.1 404 Not Found\"\n",
      "2026-03-04 19:44:45,900 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 19:44:46,037 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/config.json \"HTTP/1.1 200 OK\"\n",
      "Loading weights: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████| 199/199 [00:00<00:00, 1319.89it/s, Materializing param=pooler.dense.weight]\n",
      "\u001b[1mXLMRobertaModel LOAD REPORT\u001b[0m from: intfloat/multilingual-e5-base\n",
      "Key                     | Status     |  | \n",
      "------------------------+------------+--+-\n",
      "embeddings.position_ids | UNEXPECTED |  | \n",
      "\n",
      "\u001b[3mNotes:\n",
      "- UNEXPECTED\u001b[3m\t:can be ignored when loading from different task/architecture; not ok if you expect identical arch.\u001b[0m\n",
      "2026-03-04 19:44:46,445 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 19:44:46,492 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/config.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 19:44:46,655 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/tokenizer_config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 19:44:46,793 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/tokenizer_config.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 19:44:46,938 - INFO - HTTP Request: GET https://huggingface.co/api/models/intfloat/multilingual-e5-base/tree/main/additional_chat_templates?recursive=false&expand=false \"HTTP/1.1 404 Not Found\"\n",
      "2026-03-04 19:44:47,075 - INFO - HTTP Request: GET https://huggingface.co/api/models/intfloat/multilingual-e5-base/tree/main?recursive=true&expand=false \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 19:44:48,741 - INFO - HTTP Request: GET https://huggingface.co/api/models/intfloat/multilingual-e5-base \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 19:44:48,933 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/1_Pooling/config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 19:44:49,121 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/1_Pooling%2Fconfig.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 19:44:49,279 - INFO - HTTP Request: GET https://huggingface.co/api/models/intfloat/multilingual-e5-base \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 19:44:49,477 - INFO - Encoding 100000 corpus texts ...\n",
      "Batches: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1563/1563 [06:04<00:00,  4.29it/s]\n",
      "2026-03-04 19:51:00,942 - INFO - Encoding queries from 'q1' ...\n",
      "Batches: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1563/1563 [00:28<00:00, 54.62it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "=============================================\n",
      "  SBERT Evaluation Results\n",
      "=============================================\n",
      "  Hit Rate @  1: 16936/100000 = 16.94%\n",
      "  Hit Rate @  5: 27878/100000 = 27.88%\n",
      "  Hit Rate @ 10: 32772/100000 = 32.77%\n",
      "  MRR          : 0.2232\n",
      "=============================================\n",
      "\n"
     ]
    }
   ],
   "source": [
    "import pandas as pd\n",
    "import numpy as np\n",
    "from sentence_transformers import SentenceTransformer\n",
    "from sklearn.metrics.pairwise import cosine_similarity\n",
    "import logging\n",
    "from pathlib import Path\n",
    "import torch\n",
    "\n",
    "\n",
    "logging.basicConfig(level=logging.INFO, format=\"%(asctime)s - %(levelname)s - %(message)s\")\n",
    "logger = logging.getLogger(__name__)\n",
    "\n",
    "# ── Config ───────────────────────────────────────────────────────────────────\n",
    "PARQUET_PATH = \"shamela_q_chunk_00_0_500000.parquet\"\n",
    "MODEL_PATH   = \"intfloat/multilingual-e5-base\"\n",
    "BATCH_SIZE   = 64\n",
    "TOP_K        = (1, 5, 10)\n",
    "SAMPLE_N     = 100000   # set e.g. 5000 to run on a subset; None = full file\n",
    "# ─────────────────────────────────────────────────────────────────────────────\n",
    "\n",
    "QUERY_COLS = [\"q1\"]\n",
    "TEXT_COL   = \"text\"\n",
    "\n",
    "\n",
    "def evaluate(df: pd.DataFrame, model: SentenceTransformer):\n",
    "    texts = df[TEXT_COL].tolist()\n",
    "\n",
    "    # Encode corpus\n",
    "    logger.info(f\"Encoding {len(texts)} corpus texts ...\")\n",
    "    text_embs = model.encode(\n",
    "        texts,\n",
    "        batch_size=BATCH_SIZE,\n",
    "        show_progress_bar=True,\n",
    "        convert_to_numpy=True,\n",
    "        normalize_embeddings=True,\n",
    "    )\n",
    "\n",
    "    hit_counts = {k: 0 for k in TOP_K}\n",
    "    mrr_scores = []\n",
    "    total = 0\n",
    "\n",
    "    for col in QUERY_COLS:\n",
    "        queries = df[col].tolist()\n",
    "        logger.info(f\"Encoding queries from '{col}' ...\")\n",
    "\n",
    "        q_embs = model.encode(\n",
    "            queries,\n",
    "            batch_size=BATCH_SIZE,\n",
    "            show_progress_bar=True,\n",
    "            convert_to_numpy=True,\n",
    "            normalize_embeddings=True,\n",
    "        )\n",
    "\n",
    "        sims = cosine_similarity(q_embs, text_embs)   # (n, n)\n",
    "\n",
    "        for i in range(len(texts)):\n",
    "            ranked = np.argsort(-sims[i])              # numpy array, descending\n",
    "\n",
    "            # MRR — find where index i appears in ranked\n",
    "            rank_pos = np.where(ranked == i)[0][0] + 1  # 1-based\n",
    "            mrr_scores.append(1.0 / rank_pos)\n",
    "\n",
    "            # Hit Rate @ K\n",
    "            for k in TOP_K:\n",
    "                if i in ranked[:k]:\n",
    "                    hit_counts[k] += 1\n",
    "\n",
    "            total += 1\n",
    "\n",
    "    return hit_counts, mrr_scores, total\n",
    "\n",
    "\n",
    "def main():\n",
    "    logger.info(f\"Loading parquet: {PARQUET_PATH}\")\n",
    "    df = pd.read_parquet(PARQUET_PATH, columns=[TEXT_COL] + QUERY_COLS)\n",
    "    df = df.dropna(subset=[TEXT_COL] + QUERY_COLS).reset_index(drop=True)\n",
    "\n",
    "    if SAMPLE_N and SAMPLE_N < len(df):\n",
    "        df = df.sample(n=SAMPLE_N, random_state=42).reset_index(drop=True)\n",
    "        logger.info(f\"Using random sample of {SAMPLE_N} rows.\")\n",
    "\n",
    "    logger.info(f\"Dataset size: {len(df)} rows\")\n",
    "\n",
    "    logger.info(f\"Loading model: {MODEL_PATH}\")\n",
    "    model = SentenceTransformer(MODEL_PATH)\n",
    "\n",
    "    hit_counts, mrr_scores, total = evaluate(df, model)\n",
    "\n",
    "    print(\"\\n\" + \"=\" * 45)\n",
    "    print(\"  SBERT Evaluation Results\")\n",
    "    print(\"=\" * 45)\n",
    "    for k in TOP_K:\n",
    "        h = hit_counts[k]\n",
    "        print(f\"  Hit Rate @ {k:2d}: {h}/{total} = {h/total*100:.2f}%\")\n",
    "    print(f\"  MRR          : {np.mean(mrr_scores):.4f}\")\n",
    "    print(\"=\" * 45 + \"\\n\")\n",
    "\n",
    "main()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "id": "8e907032-eeae-48b1-9ce3-9427189183cf",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "2026-03-04 20:20:37,792 - INFO - Loading parquet: shamela_q_chunk_00_0_500000.parquet\n",
      "2026-03-04 20:20:41,450 - INFO - Using random sample of 100000 rows.\n",
      "2026-03-04 20:20:41,451 - INFO - Dataset size: 100000 rows\n",
      "2026-03-04 20:20:41,452 - INFO - Loading model: intfloat/multilingual-e5-base\n",
      "2026-03-04 20:20:41,459 - INFO - Use pytorch device_name: cuda:0\n",
      "2026-03-04 20:20:41,460 - INFO - Load pretrained SentenceTransformer: intfloat/multilingual-e5-base\n",
      "2026-03-04 20:20:41,675 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/modules.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:20:41,694 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/modules.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:20:41,840 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/config_sentence_transformers.json \"HTTP/1.1 404 Not Found\"\n",
      "2026-03-04 20:20:41,984 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/config_sentence_transformers.json \"HTTP/1.1 404 Not Found\"\n",
      "2026-03-04 20:20:42,119 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/README.md \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:20:42,139 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/README.md \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:20:42,280 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/modules.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:20:42,300 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/modules.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:20:42,442 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/sentence_bert_config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:20:42,461 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/sentence_bert_config.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:20:42,603 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/adapter_config.json \"HTTP/1.1 404 Not Found\"\n",
      "2026-03-04 20:20:42,741 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:20:42,760 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/config.json \"HTTP/1.1 200 OK\"\n",
      "Loading weights: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████| 199/199 [00:00<00:00, 1313.62it/s, Materializing param=pooler.dense.weight]\n",
      "\u001b[1mXLMRobertaModel LOAD REPORT\u001b[0m from: intfloat/multilingual-e5-base\n",
      "Key                     | Status     |  | \n",
      "------------------------+------------+--+-\n",
      "embeddings.position_ids | UNEXPECTED |  | \n",
      "\n",
      "\u001b[3mNotes:\n",
      "- UNEXPECTED\u001b[3m\t:can be ignored when loading from different task/architecture; not ok if you expect identical arch.\u001b[0m\n",
      "2026-03-04 20:20:43,107 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:20:43,126 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/config.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:20:43,271 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/tokenizer_config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:20:43,290 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/tokenizer_config.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:20:43,433 - INFO - HTTP Request: GET https://huggingface.co/api/models/intfloat/multilingual-e5-base/tree/main/additional_chat_templates?recursive=false&expand=false \"HTTP/1.1 404 Not Found\"\n",
      "2026-03-04 20:20:43,590 - INFO - HTTP Request: GET https://huggingface.co/api/models/intfloat/multilingual-e5-base/tree/main?recursive=true&expand=false \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:20:45,613 - INFO - HTTP Request: GET https://huggingface.co/api/models/intfloat/multilingual-e5-base \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:20:45,802 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/1_Pooling/config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:20:45,821 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/1_Pooling%2Fconfig.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:20:45,978 - INFO - HTTP Request: GET https://huggingface.co/api/models/intfloat/multilingual-e5-base \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:20:46,192 - INFO - Encoding 100000 corpus texts ...\n",
      "Batches: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1563/1563 [06:04<00:00,  4.29it/s]\n",
      "2026-03-04 20:26:56,073 - INFO - Encoding queries from 'q2' ...\n",
      "Batches: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1563/1563 [00:30<00:00, 50.74it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "=============================================\n",
      "  SBERT Evaluation Results\n",
      "=============================================\n",
      "  Hit Rate @  1: 17897/100000 = 17.90%\n",
      "  Hit Rate @  5: 29898/100000 = 29.90%\n",
      "  Hit Rate @ 10: 35168/100000 = 35.17%\n",
      "  MRR          : 0.2377\n",
      "=============================================\n",
      "\n"
     ]
    }
   ],
   "source": [
    "# query 2\n",
    "QUERY_COLS = [\"q2\"]\n",
    "main()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "id": "98144f26-fd71-42f1-930c-7c183afbbe16",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "2026-03-04 19:53:44,496 - INFO - Loading parquet: shamela_q_chunk_00_0_500000.parquet\n",
      "2026-03-04 19:53:48,240 - INFO - Using random sample of 100000 rows.\n",
      "2026-03-04 19:53:48,241 - INFO - Dataset size: 100000 rows\n",
      "2026-03-04 19:53:48,241 - INFO - Loading model: intfloat/multilingual-e5-base\n",
      "2026-03-04 19:53:48,252 - INFO - Use pytorch device_name: cuda:0\n",
      "2026-03-04 19:53:48,252 - INFO - Load pretrained SentenceTransformer: intfloat/multilingual-e5-base\n",
      "2026-03-04 19:53:48,463 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/modules.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 19:53:48,508 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/modules.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 19:53:48,665 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/config_sentence_transformers.json \"HTTP/1.1 404 Not Found\"\n",
      "2026-03-04 19:53:48,808 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/config_sentence_transformers.json \"HTTP/1.1 404 Not Found\"\n",
      "2026-03-04 19:53:48,945 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/README.md \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 19:53:48,988 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/README.md \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 19:53:49,133 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/modules.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 19:53:49,152 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/modules.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 19:53:49,290 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/sentence_bert_config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 19:53:49,336 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/sentence_bert_config.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 19:53:49,476 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/adapter_config.json \"HTTP/1.1 404 Not Found\"\n",
      "2026-03-04 19:53:49,615 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 19:53:49,662 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/config.json \"HTTP/1.1 200 OK\"\n",
      "Loading weights: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████| 199/199 [00:00<00:00, 1291.00it/s, Materializing param=pooler.dense.weight]\n",
      "\u001b[1mXLMRobertaModel LOAD REPORT\u001b[0m from: intfloat/multilingual-e5-base\n",
      "Key                     | Status     |  | \n",
      "------------------------+------------+--+-\n",
      "embeddings.position_ids | UNEXPECTED |  | \n",
      "\n",
      "\u001b[3mNotes:\n",
      "- UNEXPECTED\u001b[3m\t:can be ignored when loading from different task/architecture; not ok if you expect identical arch.\u001b[0m\n",
      "2026-03-04 19:53:50,000 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 19:53:50,019 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/config.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 19:53:50,157 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/tokenizer_config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 19:53:50,202 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/tokenizer_config.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 19:53:50,345 - INFO - HTTP Request: GET https://huggingface.co/api/models/intfloat/multilingual-e5-base/tree/main/additional_chat_templates?recursive=false&expand=false \"HTTP/1.1 404 Not Found\"\n",
      "2026-03-04 19:53:50,484 - INFO - HTTP Request: GET https://huggingface.co/api/models/intfloat/multilingual-e5-base/tree/main?recursive=true&expand=false \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 19:53:52,449 - INFO - HTTP Request: GET https://huggingface.co/api/models/intfloat/multilingual-e5-base \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 19:53:52,640 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/1_Pooling/config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 19:53:52,730 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/1_Pooling%2Fconfig.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 19:53:52,889 - INFO - HTTP Request: GET https://huggingface.co/api/models/intfloat/multilingual-e5-base \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 19:53:53,091 - INFO - Encoding 100000 corpus texts ...\n",
      "Batches: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1563/1563 [06:05<00:00,  4.28it/s]\n",
      "2026-03-04 20:00:03,872 - INFO - Encoding queries from 'q3' ...\n",
      "Batches: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1563/1563 [00:31<00:00, 49.50it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "=============================================\n",
      "  SBERT Evaluation Results\n",
      "=============================================\n",
      "  Hit Rate @  1: 16632/100000 = 16.63%\n",
      "  Hit Rate @  5: 28127/100000 = 28.13%\n",
      "  Hit Rate @ 10: 33222/100000 = 33.22%\n",
      "  MRR          : 0.2228\n",
      "=============================================\n",
      "\n"
     ]
    }
   ],
   "source": [
    "# query 3\n",
    "QUERY_COLS = [\"q3\"]\n",
    "main()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7edc5453-3d8a-4257-a7a6-855c3a05add8",
   "metadata": {},
   "source": [
    "# test 2"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "id": "25ba8b91-8574-4fa8-b8ae-8457745ba9ed",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "2026-03-04 20:02:43,865 - INFO - Loading parquet: shamela_q_chunk_00_0_500000.parquet\n",
      "2026-03-04 20:02:47,131 - INFO - Using random sample of 100000 rows.\n",
      "2026-03-04 20:02:47,132 - INFO - Dataset size: 100000 rows\n",
      "2026-03-04 20:02:47,132 - INFO - Loading model: intfloat/multilingual-e5-base\n",
      "2026-03-04 20:02:47,144 - INFO - Use pytorch device_name: cuda:0\n",
      "2026-03-04 20:02:47,144 - INFO - Load pretrained SentenceTransformer: intfloat/multilingual-e5-base\n",
      "2026-03-04 20:02:47,345 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/modules.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:02:47,365 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/modules.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:02:47,512 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/config_sentence_transformers.json \"HTTP/1.1 404 Not Found\"\n",
      "2026-03-04 20:02:47,655 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/config_sentence_transformers.json \"HTTP/1.1 404 Not Found\"\n",
      "2026-03-04 20:02:47,799 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/README.md \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:02:47,819 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/README.md \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:02:47,979 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/modules.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:02:48,000 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/modules.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:02:48,139 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/sentence_bert_config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:02:48,161 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/sentence_bert_config.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:02:48,396 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/adapter_config.json \"HTTP/1.1 404 Not Found\"\n",
      "2026-03-04 20:02:48,544 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:02:48,565 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/config.json \"HTTP/1.1 200 OK\"\n",
      "Loading weights: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████| 199/199 [00:00<00:00, 1196.59it/s, Materializing param=pooler.dense.weight]\n",
      "\u001b[1mXLMRobertaModel LOAD REPORT\u001b[0m from: intfloat/multilingual-e5-base\n",
      "Key                     | Status     |  | \n",
      "------------------------+------------+--+-\n",
      "embeddings.position_ids | UNEXPECTED |  | \n",
      "\n",
      "\u001b[3mNotes:\n",
      "- UNEXPECTED\u001b[3m\t:can be ignored when loading from different task/architecture; not ok if you expect identical arch.\u001b[0m\n",
      "2026-03-04 20:02:48,914 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:02:48,935 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/config.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:02:49,080 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/tokenizer_config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:02:49,100 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/tokenizer_config.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:02:49,251 - INFO - HTTP Request: GET https://huggingface.co/api/models/intfloat/multilingual-e5-base/tree/main/additional_chat_templates?recursive=false&expand=false \"HTTP/1.1 404 Not Found\"\n",
      "2026-03-04 20:02:49,394 - INFO - HTTP Request: GET https://huggingface.co/api/models/intfloat/multilingual-e5-base/tree/main?recursive=true&expand=false \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:02:51,213 - INFO - HTTP Request: GET https://huggingface.co/api/models/intfloat/multilingual-e5-base \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:02:51,402 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/1_Pooling/config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:02:51,422 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/1_Pooling%2Fconfig.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:02:51,580 - INFO - HTTP Request: GET https://huggingface.co/api/models/intfloat/multilingual-e5-base \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:02:51,795 - INFO - Encoding 100000 corpus texts ...\n",
      "Batches: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1563/1563 [06:05<00:00,  4.28it/s]\n",
      "2026-03-04 20:09:02,309 - INFO - Encoding queries from 'q1' ...\n",
      "Batches: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1563/1563 [00:28<00:00, 54.53it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "=============================================\n",
      "  SBERT Evaluation Results\n",
      "=============================================\n",
      "  Hit Rate @  1: 16936/100000 = 16.94%\n",
      "  Hit Rate @  5: 27878/100000 = 27.88%\n",
      "  Hit Rate @ 10: 32772/100000 = 32.77%\n",
      "  MRR          : 0.2232\n",
      "=============================================\n",
      "\n"
     ]
    }
   ],
   "source": [
    "QUERY_COLS = [\"q1\"]\n",
    "main()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "id": "6983ef96-c1bf-4aa8-81f6-81280dbedb8b",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "2026-03-04 20:29:35,185 - INFO - Loading parquet: shamela_q_chunk_00_0_500000.parquet\n",
      "2026-03-04 20:29:38,822 - INFO - Using random sample of 100000 rows.\n",
      "2026-03-04 20:29:38,823 - INFO - Dataset size: 100000 rows\n",
      "2026-03-04 20:29:38,823 - INFO - Loading model: intfloat/multilingual-e5-base\n",
      "2026-03-04 20:29:38,834 - INFO - Use pytorch device_name: cuda:0\n",
      "2026-03-04 20:29:38,835 - INFO - Load pretrained SentenceTransformer: intfloat/multilingual-e5-base\n",
      "2026-03-04 20:29:39,036 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/modules.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:29:39,057 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/modules.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:29:39,205 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/config_sentence_transformers.json \"HTTP/1.1 404 Not Found\"\n",
      "2026-03-04 20:29:39,358 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/config_sentence_transformers.json \"HTTP/1.1 404 Not Found\"\n",
      "2026-03-04 20:29:39,492 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/README.md \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:29:39,512 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/README.md \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:29:39,659 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/modules.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:29:39,681 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/modules.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:29:39,821 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/sentence_bert_config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:29:39,842 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/sentence_bert_config.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:29:39,988 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/adapter_config.json \"HTTP/1.1 404 Not Found\"\n",
      "2026-03-04 20:29:40,126 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:29:40,147 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/config.json \"HTTP/1.1 200 OK\"\n",
      "Loading weights: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████| 199/199 [00:00<00:00, 1131.42it/s, Materializing param=pooler.dense.weight]\n",
      "\u001b[1mXLMRobertaModel LOAD REPORT\u001b[0m from: intfloat/multilingual-e5-base\n",
      "Key                     | Status     |  | \n",
      "------------------------+------------+--+-\n",
      "embeddings.position_ids | UNEXPECTED |  | \n",
      "\n",
      "\u001b[3mNotes:\n",
      "- UNEXPECTED\u001b[3m\t:can be ignored when loading from different task/architecture; not ok if you expect identical arch.\u001b[0m\n",
      "2026-03-04 20:29:40,522 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:29:40,543 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/config.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:29:40,684 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/tokenizer_config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:29:40,705 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/tokenizer_config.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:29:40,849 - INFO - HTTP Request: GET https://huggingface.co/api/models/intfloat/multilingual-e5-base/tree/main/additional_chat_templates?recursive=false&expand=false \"HTTP/1.1 404 Not Found\"\n",
      "2026-03-04 20:29:40,988 - INFO - HTTP Request: GET https://huggingface.co/api/models/intfloat/multilingual-e5-base/tree/main?recursive=true&expand=false \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:29:42,994 - INFO - HTTP Request: GET https://huggingface.co/api/models/intfloat/multilingual-e5-base \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:29:43,188 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/1_Pooling/config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:29:43,209 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/1_Pooling%2Fconfig.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:29:43,368 - INFO - HTTP Request: GET https://huggingface.co/api/models/intfloat/multilingual-e5-base \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:29:43,573 - INFO - Encoding 100000 corpus texts ...\n",
      "Batches: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1563/1563 [06:04<00:00,  4.29it/s]\n",
      "2026-03-04 20:35:53,157 - INFO - Encoding queries from 'q2' ...\n",
      "Batches: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1563/1563 [00:30<00:00, 50.55it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "=============================================\n",
      "  SBERT Evaluation Results\n",
      "=============================================\n",
      "  Hit Rate @  1: 17897/100000 = 17.90%\n",
      "  Hit Rate @  5: 29898/100000 = 29.90%\n",
      "  Hit Rate @ 10: 35168/100000 = 35.17%\n",
      "  MRR          : 0.2377\n",
      "=============================================\n",
      "\n"
     ]
    }
   ],
   "source": [
    "# query 2\n",
    "QUERY_COLS = [\"q2\"]\n",
    "main()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "id": "114648d0-cbbd-4eb0-904e-b41830521b8e",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "2026-03-04 20:11:38,832 - INFO - Loading parquet: shamela_q_chunk_00_0_500000.parquet\n",
      "2026-03-04 20:11:42,484 - INFO - Using random sample of 100000 rows.\n",
      "2026-03-04 20:11:42,485 - INFO - Dataset size: 100000 rows\n",
      "2026-03-04 20:11:42,486 - INFO - Loading model: intfloat/multilingual-e5-base\n",
      "2026-03-04 20:11:42,496 - INFO - Use pytorch device_name: cuda:0\n",
      "2026-03-04 20:11:42,497 - INFO - Load pretrained SentenceTransformer: intfloat/multilingual-e5-base\n",
      "2026-03-04 20:11:42,734 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/modules.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:11:42,752 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/modules.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:11:42,895 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/config_sentence_transformers.json \"HTTP/1.1 404 Not Found\"\n",
      "2026-03-04 20:11:43,033 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/config_sentence_transformers.json \"HTTP/1.1 404 Not Found\"\n",
      "2026-03-04 20:11:43,171 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/README.md \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:11:43,190 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/README.md \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:11:43,337 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/modules.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:11:43,356 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/modules.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:11:43,492 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/sentence_bert_config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:11:43,511 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/sentence_bert_config.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:11:43,648 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/adapter_config.json \"HTTP/1.1 404 Not Found\"\n",
      "2026-03-04 20:11:43,782 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:11:43,800 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/config.json \"HTTP/1.1 200 OK\"\n",
      "Loading weights: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████| 199/199 [00:00<00:00, 1168.52it/s, Materializing param=pooler.dense.weight]\n",
      "\u001b[1mXLMRobertaModel LOAD REPORT\u001b[0m from: intfloat/multilingual-e5-base\n",
      "Key                     | Status     |  | \n",
      "------------------------+------------+--+-\n",
      "embeddings.position_ids | UNEXPECTED |  | \n",
      "\n",
      "\u001b[3mNotes:\n",
      "- UNEXPECTED\u001b[3m\t:can be ignored when loading from different task/architecture; not ok if you expect identical arch.\u001b[0m\n",
      "2026-03-04 20:11:44,158 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:11:44,177 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/config.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:11:44,318 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/tokenizer_config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:11:44,336 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/tokenizer_config.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:11:44,476 - INFO - HTTP Request: GET https://huggingface.co/api/models/intfloat/multilingual-e5-base/tree/main/additional_chat_templates?recursive=false&expand=false \"HTTP/1.1 404 Not Found\"\n",
      "2026-03-04 20:11:44,623 - INFO - HTTP Request: GET https://huggingface.co/api/models/intfloat/multilingual-e5-base/tree/main?recursive=true&expand=false \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:11:46,575 - INFO - HTTP Request: GET https://huggingface.co/api/models/intfloat/multilingual-e5-base \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:11:46,761 - INFO - HTTP Request: HEAD https://huggingface.co/intfloat/multilingual-e5-base/resolve/main/1_Pooling/config.json \"HTTP/1.1 307 Temporary Redirect\"\n",
      "2026-03-04 20:11:46,780 - INFO - HTTP Request: HEAD https://huggingface.co/api/resolve-cache/models/intfloat/multilingual-e5-base/835193815a3936a24a0ee7dc9e3d48c1fbb19c55/1_Pooling%2Fconfig.json \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:11:46,938 - INFO - HTTP Request: GET https://huggingface.co/api/models/intfloat/multilingual-e5-base \"HTTP/1.1 200 OK\"\n",
      "2026-03-04 20:11:47,142 - INFO - Encoding 100000 corpus texts ...\n",
      "Batches: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1563/1563 [06:04<00:00,  4.28it/s]\n",
      "2026-03-04 20:17:57,666 - INFO - Encoding queries from 'q3' ...\n",
      "Batches: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1563/1563 [00:31<00:00, 49.62it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "=============================================\n",
      "  SBERT Evaluation Results\n",
      "=============================================\n",
      "  Hit Rate @  1: 16632/100000 = 16.63%\n",
      "  Hit Rate @  5: 28127/100000 = 28.13%\n",
      "  Hit Rate @ 10: 33222/100000 = 33.22%\n",
      "  MRR          : 0.2228\n",
      "=============================================\n",
      "\n"
     ]
    }
   ],
   "source": [
    "# query 3\n",
    "QUERY_COLS = [\"q3\"]\n",
    "main()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "556cbf44-93b0-44c9-8176-1ca0aeb69f76",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.19"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}