Spaces:
Sleeping
Sleeping
Enabley RAG commited on
Commit ·
8205dab
1
Parent(s): 55d1c69
Deploy Enabley Smart Search — semantic RAG for Hebrew training content
Browse files- app.py +60 -0
- data/daycare_registration.txt +86 -0
- data/extracted_texts.json +6 -0
- index/chunks.pkl +3 -0
- index/faiss.index +0 -0
- rag.py +162 -0
- requirements.txt +6 -0
app.py
ADDED
|
@@ -0,0 +1,60 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
"""
|
| 2 |
+
app.py — Streamlit search interface for Enabley RAG.
|
| 3 |
+
Run: streamlit run app.py
|
| 4 |
+
"""
|
| 5 |
+
|
| 6 |
+
import streamlit as st
|
| 7 |
+
from rag import RAGIndex
|
| 8 |
+
|
| 9 |
+
st.set_page_config(page_title="🔍 Enabley Smart Search", layout="wide")
|
| 10 |
+
|
| 11 |
+
st.title("🔍 Enabley Smart Search")
|
| 12 |
+
st.caption("Semantic search over training course content — Hebrew / English / Russian")
|
| 13 |
+
|
| 14 |
+
|
| 15 |
+
@st.cache_resource
|
| 16 |
+
def load_index():
|
| 17 |
+
rag = RAGIndex()
|
| 18 |
+
rag.load()
|
| 19 |
+
return rag
|
| 20 |
+
|
| 21 |
+
|
| 22 |
+
try:
|
| 23 |
+
rag = load_index()
|
| 24 |
+
st.success(f"Index loaded: {rag.index.ntotal} chunks indexed")
|
| 25 |
+
except Exception as e:
|
| 26 |
+
st.error(f"No index found. Run `python rag.py build` first.\n\nError: {e}")
|
| 27 |
+
st.stop()
|
| 28 |
+
|
| 29 |
+
|
| 30 |
+
query = st.text_input(
|
| 31 |
+
"Search query / שאילתת חיפוש",
|
| 32 |
+
placeholder="e.g. מתי נגמר הרישום? / what documents do I need?",
|
| 33 |
+
)
|
| 34 |
+
|
| 35 |
+
top_k = st.slider("Number of results", 1, 10, 5)
|
| 36 |
+
|
| 37 |
+
if query:
|
| 38 |
+
results = rag.search(query, top_k=top_k)
|
| 39 |
+
|
| 40 |
+
st.markdown(f"### Results for: *{query}*")
|
| 41 |
+
|
| 42 |
+
for i, r in enumerate(results, 1):
|
| 43 |
+
score = r["score"]
|
| 44 |
+
source = r.get("source", "unknown")
|
| 45 |
+
text = r["text"]
|
| 46 |
+
|
| 47 |
+
# Color-code relevance
|
| 48 |
+
if score > 0.85:
|
| 49 |
+
badge = "🟢"
|
| 50 |
+
elif score > 0.70:
|
| 51 |
+
badge = "🟡"
|
| 52 |
+
else:
|
| 53 |
+
badge = "🔴"
|
| 54 |
+
|
| 55 |
+
with st.expander(f"{badge} Result {i} — score: {score:.3f} — [{source}]", expanded=(i <= 3)):
|
| 56 |
+
st.markdown(text)
|
| 57 |
+
if "slide" in r:
|
| 58 |
+
st.caption(f"📄 Slide {r['slide']}")
|
| 59 |
+
if "page" in r:
|
| 60 |
+
st.caption(f"📄 Page {r['page']}")
|
data/daycare_registration.txt
ADDED
|
@@ -0,0 +1,86 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
רישום למעון יום
|
| 2 |
+
|
| 3 |
+
רישום למעון יום הוא השלב הראשון בתהליך, שבסופו יתאפשר להורים להכניס את ילדיהם לאחד ממעונות היום המוכרים על ידי האגף לעידוד תעסוקת הורים (מעונות בעלי סמל) ולהגיש בקשה להשתתפות בשכר הלימוד.
|
| 4 |
+
|
| 5 |
+
הרישום הינו למעונות בלבד! רישום למשפחתונים ולצהרונים אינו מתבצע דרך המשרד!
|
| 6 |
+
|
| 7 |
+
לאחר שליחת הבקשה יש לוודא כי אכן התקבלה אסמכתא לבקשת הרישום במייל ורק לאחר קבלת האסמכתא יהיה ניתן לצפות בסטטוס הבקשה באזור האישי.
|
| 8 |
+
|
| 9 |
+
יש לשים לב: הטופס מאפשר גם עריכת בקשה שכבר הוגשה ואף להסיר את הרישום!
|
| 10 |
+
|
| 11 |
+
מי יכול לבצע את הרישום?
|
| 12 |
+
|
| 13 |
+
כל הורה (הרישום יבוצע ע"י הורה אחד בלבד ואין צורך בהורה השני בשלב זה).
|
| 14 |
+
|
| 15 |
+
אפוטרופוס מטעם החוק.
|
| 16 |
+
|
| 17 |
+
יש למלא בטופס בקשת הרישום גם את המייל של ההורה השני (בין אם מנהלים משק בית משותף או יחיד) וזאת כל עוד אין מניעה או החלטה כזו או אחרת של בית המשפט אשר מונעת מההורה השני לדעת כל דבר הקשור לתהליך זה.
|
| 18 |
+
|
| 19 |
+
תקופת הרישום לשנת הלימודים תשפ"ז
|
| 20 |
+
|
| 21 |
+
הרישום למעונות היום לשנה"ל תשפ"ז, לכלל ההורים המכניסים את ילדיהם למסגרת מוכרת מסוג "מעון" יחול בין התאריכים הבאים (כולל):
|
| 22 |
+
|
| 23 |
+
מועד תחילת הרישום: 15/02/2026
|
| 24 |
+
המועד האחרון לרישום: 08/03/2026
|
| 25 |
+
|
| 26 |
+
יש לשים לב כי לאחר תקופת רישום זו, הרישום יהיה על בסיס מקום פנוי בלבד מול מנהלות המעון וזאת לאחר תקופת וועדות הקבלה והשגות.
|
| 27 |
+
|
| 28 |
+
שלב ראשון: זיהוי משתמש
|
| 29 |
+
|
| 30 |
+
הרשמה לאזור האישי: במידה וההורה טרם נרשם להזדהות הלאומית, עליו לבצע תחילה את ההרשמה עצמה (קיים סרטון הדרכה באתר לגבי אופן ביצוע הרישום להזדהות).
|
| 31 |
+
|
| 32 |
+
לצורך הרישום להזדהות הלאומית ההורה מחויב להיות עם ת"ז ביומטרית בתוקף.
|
| 33 |
+
|
| 34 |
+
במידה וקיים משתמש להזדהות הלאומית, משתמש זה ישמש לצורך ביצוע הרישום עצמו.
|
| 35 |
+
|
| 36 |
+
יש לשים לב כי פרטי ההתקשרות (מייל וטלפון) מחוברים למערכת ההזדהות.
|
| 37 |
+
|
| 38 |
+
במידה ופרטים אלו לא מעודכנים, יש לעדכנם במערכת ההזהות תחילה.
|
| 39 |
+
|
| 40 |
+
שלב שני: בחירת שנת לימודים
|
| 41 |
+
|
| 42 |
+
הטופס המקוון יאפשר בחירת שנת לימודים אליה ההורה מעוניין לבצע רישום לילד.
|
| 43 |
+
|
| 44 |
+
המערכת תאפשר בחירת שנה"ל תשפ"ז שכן זו השנה שגם על ההורה לבחור (אין רישום לשנים קדימה ולא לשנת הלימודים הנוכחית!).
|
| 45 |
+
|
| 46 |
+
שלב שלישי: בחירת ילד
|
| 47 |
+
|
| 48 |
+
בטופס הרישום יוצגו ילדים שהינם בחתך הגיל המתאים לרישום למעון היום לשנה"ל הבאה וזאת בהתאם למידע הקיים במשרד האוכלוסין.
|
| 49 |
+
|
| 50 |
+
במידה וקיימת בעיה בנושא, יש לפנות למנהל האוכלוסין.
|
| 51 |
+
|
| 52 |
+
יש לשים לב כי במידה והילד לא מופיע תחתיו מהסיבות של: תושב ולא אזרח, אומנה חסויה, הילד רק נולד והרישום נסגר במעוד יומיים, אז הרישום יבוצע ידני על פי הנחיות המוקד.
|
| 53 |
+
|
| 54 |
+
אחרת הרישום יבוצע באופן מקוון או בעמדות השירות הפרוסות ברחבי הארץ.
|
| 55 |
+
|
| 56 |
+
במידה ומחזיק הילד אינו ההורה הביולוגי אלא אפוטרופוס מטעם החוק, על ההורה לרשום מספר ת"ז של הילד ואז יתבצע אימות מול משרד המשפטים על היותו אפוטרופוס.
|
| 57 |
+
|
| 58 |
+
לאחר האימות, ההורה יוכל להמשיך בתהליך הרישום לילד.
|
| 59 |
+
|
| 60 |
+
שלב רביעי: בחירת מעון לילד
|
| 61 |
+
|
| 62 |
+
על ההורה הרושם לבחור עד שתי אופציות של מעונות יום אליהן ההורה מעוניין לרשום את ילדיו וזאת על פי סדר עדיפויות (לעדיפות א' – תוכנס האופציה שההורה הכי מעדיף ומעוניין בה, לעדיפות ב' – תוכנס האופציה עם העדיפות הנמוכה יותר).
|
| 63 |
+
|
| 64 |
+
במידה והילד הינו ילד ממשיך באופציה א', יופיע באופציה זו באופן אוטומטי המעון אליו הילד משתייך כיום.
|
| 65 |
+
|
| 66 |
+
באפשרות ההורה הרושם לשנות אופציה זו.
|
| 67 |
+
|
| 68 |
+
ניתן לשנות ולבטל את הרישום בתקופת הרישום בלבד!
|
| 69 |
+
|
| 70 |
+
מהן תוצאות הרישום?
|
| 71 |
+
|
| 72 |
+
ככל וקיים מקום במעון שנבחר בעדיפות הראשונה – הילד ישובץ למעון שבעדיפות הראשונה והרישום שבוצע לעדיפות השנייה יבוטל.
|
| 73 |
+
|
| 74 |
+
במידה וקיים עודף רישום במעון באופציה א' ובאופציה ב' יש מקום – ההורים יקבלו תשובה שעליהם להגיש בקשה לוועדות קבלה (תתקיים בין החודשים מרץ עד יוני) עבור אופציה א' בעוד שבאופציה ב' יקבלו תשובה של "התקבל" ובמידה ויגישו ויעברו וועדות קבלה על אופציה א', המקום באופציה ב' יישמר עד לסיום קביעת סדרי קדימויות במעון הראשון.
|
| 75 |
+
|
| 76 |
+
אם קיים עודף רישום בשני המעונות שנבחרו – ההורים יקבלו תשובה של "וועדות קבלה" עבור כל אחת מהאופציות ויהיה באפשרות ההורים להגיש בקשה לוועדות עבור אופציה א' או עבור שתי האופציות.
|
| 77 |
+
|
| 78 |
+
לא ניתן להגיש וועדות עבור אופציה שנייה בלבד.
|
| 79 |
+
|
| 80 |
+
יש לשים לב: אין חשיבות למועד ביצוע הרישום כל עוד הרישום מבוצע בתקופת הרישום (15/02/26-08/03/26).
|
| 81 |
+
|
| 82 |
+
ההרשמה לא מתבצעת על בסיס "כל הקודם זוכה"!
|
| 83 |
+
|
| 84 |
+
ניתן לצפות בסטטוס בקשת הרישום והן בתוצאות הרישום שיפורסמו במהלך חודש מרץ באזור האישי.
|
| 85 |
+
|
| 86 |
+
במידה וההורים לא יודעים את סמל המסגרת או את רשימת המעונות אליהם ניתן לבצע את הרישום, יש להפנות את ההורים ל"איתור מסגרת מוכרת".
|
data/extracted_texts.json
ADDED
|
@@ -0,0 +1,6 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
[
|
| 2 |
+
{
|
| 3 |
+
"source": "daycare_registration.txt",
|
| 4 |
+
"text": "רישום למעון יום\n\nרישום למעון יום הוא השלב הראשון בתהליך, שבסופו יתאפשר להורים להכניס את ילדיהם לאחד ממעונות היום המוכרים על ידי האגף לעידוד תעסוקת הורים (מעונות בעלי סמל) ולהגיש בקשה להשתתפות בשכר הלימוד.\n\nהרישום הינו למעונות בלבד! רישום למשפחתונים ולצהרונים אינו מתבצע דרך המשרד!\n\nלאחר שליחת הבקשה יש לוודא כי אכן התקבלה אסמכתא לבקשת הרישום במייל ורק לאחר קבלת האסמכתא יהיה ניתן לצפות בסטטוס הבקשה באזור האישי.\n\nיש לשים לב: הטופס מאפשר גם עריכת בקשה שכבר הוגשה ואף להסיר את הרישום!\n\nמי יכול לבצע את הרישום?\n\nכל הורה (הרישום יבוצע ע\"י הורה אחד בלבד ואין צורך בהורה השני בשלב זה).\n\nאפוטרופוס מטעם החוק.\n\nיש למלא בטופס בקשת הרישום גם את המייל של ההורה השני (בין אם מנהלים משק בית משותף או יחיד) וזאת כל עוד אין מניעה או החלטה כזו או אחרת של בית המשפט אשר מונעת מההורה השני לדעת כל דבר הקשור לתהליך זה.\n\nתקופת הרישום לשנת הלימודים תשפ\"ז\n\nהרישום למעונות היום לשנה\"ל תשפ\"ז, לכלל ההורים המכניסים את ילדיהם למסגרת מוכרת מסוג \"מעון\" יחול בין התאריכים הבאים (כולל):\n\nמועד תחילת הרישום: 15/02/2026\nהמועד האחרון לרישום: 08/03/2026\n\nיש לשים לב כי לאחר תקופת רישום זו, הרישום יהיה על בסיס מקום פנוי בלבד מול מנהלות המעון וזאת לאחר תקופת וועדות הקבלה והשגות.\n\nשלב ראשון: זיהוי משתמש\n\nהרשמה לאזור האישי: במידה וההורה טרם נרשם להזדהות הלאומית, עליו לבצע תחילה את ההרשמה עצמה (קיים סרטון הדרכה באתר לגבי אופן ביצוע הרישום להזדהות).\n\nלצורך הרישום להזדהות הלאומית ההורה מחויב להיות עם ת\"ז ביומטרית בתוקף.\n\nבמידה וקיים משתמש להזדהות הלאומית, משתמש זה ישמש לצורך ביצוע הרישום עצמו.\n\nיש לשים לב כי פרטי ההתקשרות (מייל וטלפון) מחוברים למערכת ההזדהות.\n\nבמידה ופרטים אלו לא מעודכנים, יש לעדכנם במערכת ההזהות תחילה.\n\nשלב שני: בחירת שנת לימודים\n\nהטופס המקוון יאפשר בחירת שנת לימודים אליה ההורה מעוניין לבצע רישום לילד.\n\nהמערכת תאפשר בחירת שנה\"ל תשפ\"ז שכן זו השנה שגם על ההורה לבחור (אין רישום לשנים קדימה ולא לשנת הלימודים הנוכחית!).\n\nשלב שלישי: בחירת ילד\n\nבטופס הרישום יוצגו ילדים שהינם בחתך הגיל המתאים לרישום למעון היום לשנה\"ל הבאה וזאת בהתאם למידע הקיים במשרד האוכלוסין.\n\nבמידה וקיימת בעיה בנושא, יש לפנות למנהל האוכלוסין.\n\nיש לשים לב כי במידה והילד לא מופיע תחתיו מהסיבות של: תושב ולא אזרח, אומנה חסויה, הילד רק נולד והרישום נסגר במעוד יומיים, אז הרישום יבוצע ידני על פי הנחיות המוקד.\n\nאחרת הרישום יבוצע באופן מקוון או בעמדות השירות הפרוסות ברחבי הארץ.\n\nבמידה ומחזיק הילד אינו ההורה הביולוגי אלא אפוטרופוס מטעם החוק, על ההורה לרשום מספר ת\"ז של הילד ואז יתבצע אימות מול משרד המשפטים על היותו אפוטרופוס.\n\nלאחר האימות, ההורה יוכל להמשיך בתהליך הרישום לילד.\n\nשלב רביעי: בחירת מעון לילד\n\nעל ההורה הרושם לבחור עד שתי אופציות של מעונות יום אליהן ההורה מעוניין לרשום את ילדיו וזאת על פי סדר עדיפויות (לעדיפות א' – תוכנס האופציה שההורה הכי מעדיף ומעוניין בה, לעדיפות ב' – תוכנס האופציה עם העדיפות הנמוכה יותר).\n\nבמידה והילד הינו ילד ממשיך באופציה א', יופיע באופציה זו באופן אוטומטי המעון אליו הילד משתייך כיום.\n\nבאפשר��ת ההורה הרושם לשנות אופציה זו.\n\nניתן לשנות ולבטל את הרישום בתקופת הרישום בלבד!\n\nמהן תוצאות הרישום?\n\nככל וקיים מקום במעון שנבחר בעדיפות הראשונה – הילד ישובץ למעון שבעדיפות הראשונה והרישום שבוצע לעדיפות השנייה יבוטל.\n\nבמידה וקיים עודף רישום במעון באופציה א' ובאופציה ב' יש מקום – ההורים יקבלו תשובה שעליהם להגיש בקשה לוועדות קבלה (תתקיים בין החודשים מרץ עד יוני) עבור אופציה א' בעוד שבאופציה ב' יקבלו תשובה של \"התקבל\" ובמידה ויגישו ויעברו וועדות קבלה על אופציה א', המקום באופציה ב' יישמר עד לסיום קביעת סדרי קדימויות במעון הראשון.\n\nאם קיים עודף רישום בשני המעונות שנבחרו – ההורים יקבלו תשובה של \"וועדות קבלה\" עבור כל אחת מהאופציות ויהיה באפשרות ההורים להגיש בקשה לוועדות עבור אופציה א' או עבור שתי האופציות.\n\nלא ניתן להגיש וועדות עבור אופציה שנייה בלבד.\n\nיש לשים לב: אין חשיבות למועד ביצוע הרישום כל עוד הרישום מבוצע בתקופת הרישום (15/02/26-08/03/26).\n\nההרשמה לא מתבצעת על בסיס \"כל הקודם זוכה\"!\n\nניתן לצפות בסטטוס בקשת הרישום והן בתוצאות הרישום שיפורסמו במהלך חודש מרץ באזור האישי.\n\nבמידה וההורים לא יודעים את סמל המסגרת או את רשימת המעונות אליהם ניתן לבצע את הרישום, יש להפנות את ההורים ל\"איתור מסגרת מוכרת\"."
|
| 5 |
+
}
|
| 6 |
+
]
|
index/chunks.pkl
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:68e908a65da065f5180a57dbf7278f8d67917d0c2e21bfc786a8243b8dec3c86
|
| 3 |
+
size 9035
|
index/faiss.index
ADDED
|
Binary file (43.1 kB). View file
|
|
|
rag.py
ADDED
|
@@ -0,0 +1,162 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
"""
|
| 2 |
+
rag.py — Core RAG engine: chunk → embed → index → search.
|
| 3 |
+
Works with Hebrew, Russian, and English out of the box.
|
| 4 |
+
"""
|
| 5 |
+
|
| 6 |
+
import json
|
| 7 |
+
import os
|
| 8 |
+
import pickle
|
| 9 |
+
import numpy as np
|
| 10 |
+
import faiss
|
| 11 |
+
from sentence_transformers import SentenceTransformer
|
| 12 |
+
|
| 13 |
+
# ── Config ──────────────────────────────────────────────────
|
| 14 |
+
MODEL_NAME = "intfloat/multilingual-e5-base" # great Hebrew support
|
| 15 |
+
INDEX_DIR = "index"
|
| 16 |
+
CHUNK_SIZE = 400 # characters per chunk
|
| 17 |
+
CHUNK_OVERLAP = 80 # overlap between chunks
|
| 18 |
+
|
| 19 |
+
|
| 20 |
+
class TextChunker:
|
| 21 |
+
"""Split long texts into overlapping chunks with metadata."""
|
| 22 |
+
|
| 23 |
+
def __init__(self, chunk_size: int = CHUNK_SIZE, overlap: int = CHUNK_OVERLAP):
|
| 24 |
+
self.chunk_size = chunk_size
|
| 25 |
+
self.overlap = overlap
|
| 26 |
+
|
| 27 |
+
def chunk_text(self, text: str, metadata: dict = None) -> list[dict]:
|
| 28 |
+
"""Split text into overlapping chunks, preserving sentence boundaries."""
|
| 29 |
+
if metadata is None:
|
| 30 |
+
metadata = {}
|
| 31 |
+
|
| 32 |
+
# Split by paragraphs first, then by sentences
|
| 33 |
+
paragraphs = [p.strip() for p in text.split("\n") if p.strip()]
|
| 34 |
+
|
| 35 |
+
chunks = []
|
| 36 |
+
current_chunk = ""
|
| 37 |
+
|
| 38 |
+
for para in paragraphs:
|
| 39 |
+
if len(current_chunk) + len(para) + 1 <= self.chunk_size:
|
| 40 |
+
current_chunk += ("\n" + para if current_chunk else para)
|
| 41 |
+
else:
|
| 42 |
+
if current_chunk:
|
| 43 |
+
chunks.append({
|
| 44 |
+
"text": current_chunk,
|
| 45 |
+
**metadata,
|
| 46 |
+
})
|
| 47 |
+
# Start new chunk with overlap from previous
|
| 48 |
+
if self.overlap > 0 and current_chunk:
|
| 49 |
+
overlap_text = current_chunk[-self.overlap:]
|
| 50 |
+
current_chunk = overlap_text + "\n" + para
|
| 51 |
+
else:
|
| 52 |
+
current_chunk = para
|
| 53 |
+
|
| 54 |
+
if current_chunk:
|
| 55 |
+
chunks.append({"text": current_chunk, **metadata})
|
| 56 |
+
|
| 57 |
+
return chunks
|
| 58 |
+
|
| 59 |
+
def chunk_documents(self, documents: list[dict]) -> list[dict]:
|
| 60 |
+
"""Chunk a list of extracted documents."""
|
| 61 |
+
all_chunks = []
|
| 62 |
+
for doc in documents:
|
| 63 |
+
text = doc["text"]
|
| 64 |
+
metadata = {k: v for k, v in doc.items() if k != "text"}
|
| 65 |
+
chunks = self.chunk_text(text, metadata)
|
| 66 |
+
all_chunks.extend(chunks)
|
| 67 |
+
return all_chunks
|
| 68 |
+
|
| 69 |
+
|
| 70 |
+
class RAGIndex:
|
| 71 |
+
"""FAISS-based vector index with semantic search."""
|
| 72 |
+
|
| 73 |
+
def __init__(self, model_name: str = MODEL_NAME):
|
| 74 |
+
print(f"🔄 Loading embedding model: {model_name}")
|
| 75 |
+
self.model = SentenceTransformer(model_name)
|
| 76 |
+
self.dimension = self.model.get_sentence_embedding_dimension()
|
| 77 |
+
self.index = None
|
| 78 |
+
self.chunks = []
|
| 79 |
+
|
| 80 |
+
def _embed(self, texts: list[str]) -> np.ndarray:
|
| 81 |
+
"""Embed texts with E5 prefix for better retrieval."""
|
| 82 |
+
# multilingual-e5 uses "query: " and "passage: " prefixes
|
| 83 |
+
return self.model.encode(texts, normalize_embeddings=True, show_progress_bar=True)
|
| 84 |
+
|
| 85 |
+
def build(self, chunks: list[dict]):
|
| 86 |
+
"""Build FAISS index from text chunks."""
|
| 87 |
+
self.chunks = chunks
|
| 88 |
+
texts = [f"passage: {c['text']}" for c in chunks]
|
| 89 |
+
|
| 90 |
+
print(f"🧮 Embedding {len(texts)} chunks...")
|
| 91 |
+
embeddings = self._embed(texts)
|
| 92 |
+
|
| 93 |
+
# Use IndexFlatIP for cosine similarity (embeddings are normalized)
|
| 94 |
+
self.index = faiss.IndexFlatIP(self.dimension)
|
| 95 |
+
self.index.add(embeddings.astype("float32"))
|
| 96 |
+
print(f"✅ Index built: {self.index.ntotal} vectors, dim={self.dimension}")
|
| 97 |
+
|
| 98 |
+
def search(self, query: str, top_k: int = 5) -> list[dict]:
|
| 99 |
+
"""Semantic search: returns top_k most relevant chunks."""
|
| 100 |
+
query_vec = self._embed([f"query: {query}"])
|
| 101 |
+
scores, indices = self.index.search(query_vec.astype("float32"), top_k)
|
| 102 |
+
|
| 103 |
+
results = []
|
| 104 |
+
for score, idx in zip(scores[0], indices[0]):
|
| 105 |
+
if idx == -1:
|
| 106 |
+
continue
|
| 107 |
+
chunk = self.chunks[idx].copy()
|
| 108 |
+
chunk["score"] = float(score)
|
| 109 |
+
results.append(chunk)
|
| 110 |
+
return results
|
| 111 |
+
|
| 112 |
+
def save(self, index_dir: str = INDEX_DIR):
|
| 113 |
+
"""Save index and chunks to disk."""
|
| 114 |
+
os.makedirs(index_dir, exist_ok=True)
|
| 115 |
+
faiss.write_index(self.index, os.path.join(index_dir, "faiss.index"))
|
| 116 |
+
with open(os.path.join(index_dir, "chunks.pkl"), "wb") as f:
|
| 117 |
+
pickle.dump(self.chunks, f)
|
| 118 |
+
print(f"💾 Index saved to {index_dir}/")
|
| 119 |
+
|
| 120 |
+
def load(self, index_dir: str = INDEX_DIR):
|
| 121 |
+
"""Load index and chunks from disk."""
|
| 122 |
+
self.index = faiss.read_index(os.path.join(index_dir, "faiss.index"))
|
| 123 |
+
with open(os.path.join(index_dir, "chunks.pkl"), "rb") as f:
|
| 124 |
+
self.chunks = pickle.load(f)
|
| 125 |
+
print(f"📂 Index loaded: {self.index.ntotal} vectors")
|
| 126 |
+
|
| 127 |
+
|
| 128 |
+
# ── CLI ─────────────────────────────────────────────────────
|
| 129 |
+
if __name__ == "__main__":
|
| 130 |
+
import sys
|
| 131 |
+
|
| 132 |
+
if len(sys.argv) > 1 and sys.argv[1] == "build":
|
| 133 |
+
# Build index from extracted texts
|
| 134 |
+
with open("data/extracted_texts.json", "r", encoding="utf-8") as f:
|
| 135 |
+
documents = json.load(f)
|
| 136 |
+
|
| 137 |
+
chunker = TextChunker()
|
| 138 |
+
chunks = chunker.chunk_documents(documents)
|
| 139 |
+
print(f"📝 {len(chunks)} chunks created")
|
| 140 |
+
|
| 141 |
+
rag = RAGIndex()
|
| 142 |
+
rag.build(chunks)
|
| 143 |
+
rag.save()
|
| 144 |
+
|
| 145 |
+
elif len(sys.argv) > 1 and sys.argv[1] == "search":
|
| 146 |
+
query = " ".join(sys.argv[2:])
|
| 147 |
+
rag = RAGIndex()
|
| 148 |
+
rag.load()
|
| 149 |
+
results = rag.search(query)
|
| 150 |
+
|
| 151 |
+
print(f"\n🔍 Query: {query}\n{'─' * 60}")
|
| 152 |
+
for i, r in enumerate(results, 1):
|
| 153 |
+
src = r.get("source", "?")
|
| 154 |
+
score = r["score"]
|
| 155 |
+
text = r["text"][:200]
|
| 156 |
+
print(f"\n [{i}] (score: {score:.3f}) [{src}]")
|
| 157 |
+
print(f" {text}...")
|
| 158 |
+
|
| 159 |
+
else:
|
| 160 |
+
print("Usage:")
|
| 161 |
+
print(" python rag.py build # Build index from data/extracted_texts.json")
|
| 162 |
+
print(" python rag.py search <query> # Search the index")
|
requirements.txt
ADDED
|
@@ -0,0 +1,6 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
sentence-transformers>=2.2.0
|
| 2 |
+
faiss-cpu>=1.7.0
|
| 3 |
+
python-pptx>=0.6.21
|
| 4 |
+
pdfplumber>=0.10.0
|
| 5 |
+
streamlit>=1.30.0
|
| 6 |
+
numpy>=1.24.0
|