Spaces:
Sleeping
Sleeping
Update server.py
Browse files
server.py
CHANGED
|
@@ -12,13 +12,11 @@ from pydantic import BaseModel
|
|
| 12 |
from huggingface_hub import InferenceClient
|
| 13 |
|
| 14 |
# --- Configuration ---
|
| 15 |
-
# מודל Llama 3 8B - המודל הכי מאוזן ויציב לעברית כרגע ב-API החינמי
|
| 16 |
MODEL_ID = "meta-llama/Meta-Llama-3-8B-Instruct"
|
| 17 |
PORT = int(os.environ.get("PORT", 8000))
|
| 18 |
HOST = "0.0.0.0"
|
| 19 |
DB_FILE = "chatbot.db"
|
| 20 |
JSON_SOURCE = "database.json"
|
| 21 |
-
# וודא שהגדרת את HF_TOKEN ב-Settings -> Variables and secrets
|
| 22 |
HF_TOKEN = os.environ.get("HF_TOKEN")
|
| 23 |
|
| 24 |
logging.basicConfig(level=logging.INFO)
|
|
@@ -34,7 +32,6 @@ app.add_middleware(
|
|
| 34 |
allow_headers=["*"],
|
| 35 |
)
|
| 36 |
|
| 37 |
-
# חיבור ללקוח ה-API של Hugging Face
|
| 38 |
client = InferenceClient(model=MODEL_ID, token=HF_TOKEN)
|
| 39 |
|
| 40 |
# --- מילון מונחים לחיפוש ---
|
|
@@ -87,15 +84,20 @@ def expand_query(query: str) -> List[str]:
|
|
| 87 |
|
| 88 |
def simplify_schematic_text(text: str) -> str:
|
| 89 |
"""
|
| 90 |
-
מנקה את הטקסט מ
|
| 91 |
"""
|
| 92 |
-
# 1. מחיקת
|
| 93 |
-
# זה מונע מהמודל לזהות את הרכיב הספציפי ולהביא מידע חיצוני שגוי
|
| 94 |
text = re.sub(r'\([A-Za-z0-9_\-]+\)', '', text)
|
| 95 |
|
| 96 |
-
# 2.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 97 |
replacements = {
|
| 98 |
-
"ESP32-DEVKITC-32D_ESP32-DEVKITC-30GPIO": "בקר",
|
| 99 |
"TLM-SH_board": "לוח ראשי",
|
| 100 |
"LevelConvertor": "ממיר רמות",
|
| 101 |
"NEXTION": "מסך",
|
|
@@ -109,14 +111,14 @@ def simplify_schematic_text(text: str) -> str:
|
|
| 109 |
for eng, heb in replacements.items():
|
| 110 |
text = text.replace(eng, heb)
|
| 111 |
|
| 112 |
-
#
|
| 113 |
text = re.sub(r'\b[UJ]\d+\b', '', text)
|
| 114 |
|
| 115 |
-
#
|
| 116 |
text = text.replace("Pin Pin", "פין")
|
| 117 |
text = text.replace("פין פין", "פין")
|
| 118 |
|
| 119 |
-
#
|
| 120 |
text = re.sub(r'\s+', ' ', text).strip()
|
| 121 |
|
| 122 |
return text
|
|
@@ -137,7 +139,6 @@ def query_knowledge_base(query: str) -> str:
|
|
| 137 |
for row_id, content, topic in rows:
|
| 138 |
if row_id not in seen_ids:
|
| 139 |
score = 1
|
| 140 |
-
# מתן עדיפות גבוהה למידע על שרטוטים אם השאלה עוסקת בחיבורים
|
| 141 |
if "Schematic" in content and any(x in query for x in ["שרטוט", "חיבור", "פין", "לאן", "מחובר", "מסך"]):
|
| 142 |
score += 100
|
| 143 |
elif term.lower() in topic.lower():
|
|
@@ -155,18 +156,18 @@ def query_knowledge_base(query: str) -> str:
|
|
| 155 |
if results:
|
| 156 |
raw_content = results[0][1]
|
| 157 |
|
| 158 |
-
# אם מצאנו מידע טכני/שרטוט, ננקה אותו ונסנן רק את השורות הרלוונטיות
|
| 159 |
if "Schematic" in raw_content:
|
| 160 |
lines = raw_content.split('\n')
|
| 161 |
relevant_lines = []
|
| 162 |
target_terms = [t.lower() for t in search_terms if len(t) > 1]
|
| 163 |
for line in lines:
|
| 164 |
-
# מביא
|
| 165 |
-
|
|
|
|
| 166 |
relevant_lines.append(line.strip())
|
| 167 |
|
| 168 |
clean_text = simplify_schematic_text("\n".join(relevant_lines))
|
| 169 |
-
return f"רשימת חיבורים
|
| 170 |
|
| 171 |
return raw_content
|
| 172 |
return ""
|
|
@@ -187,7 +188,7 @@ class Message(BaseModel):
|
|
| 187 |
class ChatCompletionRequest(BaseModel):
|
| 188 |
messages: List[Message]
|
| 189 |
max_tokens: Optional[int] = 1024
|
| 190 |
-
temperature: Optional[float] = 0.1
|
| 191 |
stream: Optional[bool] = False
|
| 192 |
|
| 193 |
@app.on_event("startup")
|
|
@@ -204,20 +205,20 @@ async def chat_completions(request: ChatCompletionRequest):
|
|
| 204 |
save_message("user", last_user_msg.content)
|
| 205 |
context = query_knowledge_base(last_user_msg.content)
|
| 206 |
|
| 207 |
-
# הודעת מערכת
|
| 208 |
sys_msg = (
|
| 209 |
"תפקידך: טכנאי מומחה לפרויקט 'בית חכם תלם'.\n"
|
| 210 |
"הנחיות קריטיות:\n"
|
| 211 |
"1. דבר בעברית.\n"
|
| 212 |
-
"2. **העתקה
|
| 213 |
-
"3. **אסור
|
| 214 |
-
"4. ה
|
| 215 |
-
"5. ה
|
| 216 |
)
|
| 217 |
if context:
|
| 218 |
sys_msg += f"\nמידע טכני לשימוש:\n{context}"
|
| 219 |
else:
|
| 220 |
-
sys_msg += "\n(לא נמצא מידע ספציפי במערכת, ענה מהידע הכללי שלך
|
| 221 |
|
| 222 |
messages_payload = [msg.dict() for msg in request.messages]
|
| 223 |
|
|
@@ -226,7 +227,6 @@ async def chat_completions(request: ChatCompletionRequest):
|
|
| 226 |
else:
|
| 227 |
messages_payload.insert(0, {"role": "system", "content": sys_msg})
|
| 228 |
|
| 229 |
-
# טיפול ב-Streaming
|
| 230 |
if request.stream:
|
| 231 |
async def stream_generator():
|
| 232 |
full_text = ""
|
|
@@ -249,7 +249,6 @@ async def chat_completions(request: ChatCompletionRequest):
|
|
| 249 |
|
| 250 |
return StreamingResponse(stream_generator(), media_type="text/event-stream; charset=utf-8")
|
| 251 |
|
| 252 |
-
# טיפול בבקשה רגילה
|
| 253 |
try:
|
| 254 |
response = client.chat_completion(
|
| 255 |
messages=messages_payload,
|
|
|
|
| 12 |
from huggingface_hub import InferenceClient
|
| 13 |
|
| 14 |
# --- Configuration ---
|
|
|
|
| 15 |
MODEL_ID = "meta-llama/Meta-Llama-3-8B-Instruct"
|
| 16 |
PORT = int(os.environ.get("PORT", 8000))
|
| 17 |
HOST = "0.0.0.0"
|
| 18 |
DB_FILE = "chatbot.db"
|
| 19 |
JSON_SOURCE = "database.json"
|
|
|
|
| 20 |
HF_TOKEN = os.environ.get("HF_TOKEN")
|
| 21 |
|
| 22 |
logging.basicConfig(level=logging.INFO)
|
|
|
|
| 32 |
allow_headers=["*"],
|
| 33 |
)
|
| 34 |
|
|
|
|
| 35 |
client = InferenceClient(model=MODEL_ID, token=HF_TOKEN)
|
| 36 |
|
| 37 |
# --- מילון מונחים לחיפוש ---
|
|
|
|
| 84 |
|
| 85 |
def simplify_schematic_text(text: str) -> str:
|
| 86 |
"""
|
| 87 |
+
מנקה את הטקסט, מפשטת שמות פינים מסובכים ומסירה מק"טים
|
| 88 |
"""
|
| 89 |
+
# 1. מחיקת מק"טים בסוגריים (מונע הזיות על מספרי פינים)
|
|
|
|
| 90 |
text = re.sub(r'\([A-Za-z0-9_\-]+\)', '', text)
|
| 91 |
|
| 92 |
+
# 2. פישוט שמות פינים של ESP32 (מונע בלבול כמו D16_or_RX2)
|
| 93 |
+
text = text.replace("D16_or_RX2", "D16 (RX2)")
|
| 94 |
+
text = text.replace("D17_or_TX2", "D17 (TX2)")
|
| 95 |
+
text = text.replace("D22_I2C_SCL", "D22")
|
| 96 |
+
text = text.replace("D39_VN", "D39")
|
| 97 |
+
|
| 98 |
+
# 3. החלפות שמות לרכיבים בעברית
|
| 99 |
replacements = {
|
| 100 |
+
"ESP32-DEVKITC-32D_ESP32-DEVKITC-30GPIO": "בקר ESP32",
|
| 101 |
"TLM-SH_board": "לוח ראשי",
|
| 102 |
"LevelConvertor": "ממיר רמות",
|
| 103 |
"NEXTION": "מסך",
|
|
|
|
| 111 |
for eng, heb in replacements.items():
|
| 112 |
text = text.replace(eng, heb)
|
| 113 |
|
| 114 |
+
# 4. מחיקת מזהים טכניים כמו U1, U2
|
| 115 |
text = re.sub(r'\b[UJ]\d+\b', '', text)
|
| 116 |
|
| 117 |
+
# 5. ניקוי כפילויות נפוצות
|
| 118 |
text = text.replace("Pin Pin", "פין")
|
| 119 |
text = text.replace("פין פין", "פין")
|
| 120 |
|
| 121 |
+
# 6. ניקוי רווחים
|
| 122 |
text = re.sub(r'\s+', ' ', text).strip()
|
| 123 |
|
| 124 |
return text
|
|
|
|
| 139 |
for row_id, content, topic in rows:
|
| 140 |
if row_id not in seen_ids:
|
| 141 |
score = 1
|
|
|
|
| 142 |
if "Schematic" in content and any(x in query for x in ["שרטוט", "חיבור", "פין", "לאן", "מחובר", "מסך"]):
|
| 143 |
score += 100
|
| 144 |
elif term.lower() in topic.lower():
|
|
|
|
| 156 |
if results:
|
| 157 |
raw_content = results[0][1]
|
| 158 |
|
|
|
|
| 159 |
if "Schematic" in raw_content:
|
| 160 |
lines = raw_content.split('\n')
|
| 161 |
relevant_lines = []
|
| 162 |
target_terms = [t.lower() for t in search_terms if len(t) > 1]
|
| 163 |
for line in lines:
|
| 164 |
+
# מביא שורות שקשורות לחיפוש (למשל גם LevelConvertor וגם ESP32 אם מחפשים מסך)
|
| 165 |
+
# הרחבנו את החיפוש כדי לתפוס את שני הצדדים של הממיר
|
| 166 |
+
if "connect" in line.lower():
|
| 167 |
relevant_lines.append(line.strip())
|
| 168 |
|
| 169 |
clean_text = simplify_schematic_text("\n".join(relevant_lines))
|
| 170 |
+
return f"להלן רשימת כל החיבורים שנמצאו (חפש את הרכיב המבוקש):\n{clean_text}"
|
| 171 |
|
| 172 |
return raw_content
|
| 173 |
return ""
|
|
|
|
| 188 |
class ChatCompletionRequest(BaseModel):
|
| 189 |
messages: List[Message]
|
| 190 |
max_tokens: Optional[int] = 1024
|
| 191 |
+
temperature: Optional[float] = 0.1
|
| 192 |
stream: Optional[bool] = False
|
| 193 |
|
| 194 |
@app.on_event("startup")
|
|
|
|
| 205 |
save_message("user", last_user_msg.content)
|
| 206 |
context = query_knowledge_base(last_user_msg.content)
|
| 207 |
|
| 208 |
+
# הודעת מערכת משודרגת
|
| 209 |
sys_msg = (
|
| 210 |
"תפקידך: טכנאי מומחה לפרויקט 'בית חכם תלם'.\n"
|
| 211 |
"הנחיות קריטיות:\n"
|
| 212 |
"1. דבר בעברית.\n"
|
| 213 |
+
"2. **העתקה מדויקת**: העתק את שמות הפינים (כמו HV1, HV2, LV1, D16) בדיוק כפי שהם כתובים בטקסט.\n"
|
| 214 |
+
"3. **איסור המרה**: אל תהפוך שמות למספרים (HV1 הוא לא פין 7!).\n"
|
| 215 |
+
"4. **הבנת המערכת**: זכור ש-'בקר ESP32' הוא המוח. המסך מתחבר לממיר רמות, וממיר הרמות מתחבר ל-ESP32.\n"
|
| 216 |
+
"5. אם המידע מראה חיבורים מרובים (למשל מסך->ממיר->בקר), הסבר את השרשרת המלאה.\n"
|
| 217 |
)
|
| 218 |
if context:
|
| 219 |
sys_msg += f"\nמידע טכני לשימוש:\n{context}"
|
| 220 |
else:
|
| 221 |
+
sys_msg += "\n(לא נמצא מידע ספציפי במערכת, ענה מהידע הכללי שלך)."
|
| 222 |
|
| 223 |
messages_payload = [msg.dict() for msg in request.messages]
|
| 224 |
|
|
|
|
| 227 |
else:
|
| 228 |
messages_payload.insert(0, {"role": "system", "content": sys_msg})
|
| 229 |
|
|
|
|
| 230 |
if request.stream:
|
| 231 |
async def stream_generator():
|
| 232 |
full_text = ""
|
|
|
|
| 249 |
|
| 250 |
return StreamingResponse(stream_generator(), media_type="text/event-stream; charset=utf-8")
|
| 251 |
|
|
|
|
| 252 |
try:
|
| 253 |
response = client.chat_completion(
|
| 254 |
messages=messages_payload,
|