Spaces:
Sleeping
Sleeping
Update server.py
Browse files
server.py
CHANGED
|
@@ -12,11 +12,13 @@ from pydantic import BaseModel
|
|
| 12 |
from huggingface_hub import InferenceClient
|
| 13 |
|
| 14 |
# --- Configuration ---
|
|
|
|
| 15 |
MODEL_ID = "meta-llama/Meta-Llama-3-8B-Instruct"
|
| 16 |
PORT = int(os.environ.get("PORT", 8000))
|
| 17 |
HOST = "0.0.0.0"
|
| 18 |
DB_FILE = "chatbot.db"
|
| 19 |
JSON_SOURCE = "database.json"
|
|
|
|
| 20 |
HF_TOKEN = os.environ.get("HF_TOKEN")
|
| 21 |
|
| 22 |
logging.basicConfig(level=logging.INFO)
|
|
@@ -32,6 +34,7 @@ app.add_middleware(
|
|
| 32 |
allow_headers=["*"],
|
| 33 |
)
|
| 34 |
|
|
|
|
| 35 |
client = InferenceClient(model=MODEL_ID, token=HF_TOKEN)
|
| 36 |
|
| 37 |
# --- מילון מונחים לחיפוש ---
|
|
@@ -84,10 +87,10 @@ def expand_query(query: str) -> List[str]:
|
|
| 84 |
|
| 85 |
def simplify_schematic_text(text: str) -> str:
|
| 86 |
"""
|
| 87 |
-
מנקה את הטקסט ממק"טים ספציפיים שגורמים להזיות
|
| 88 |
"""
|
| 89 |
# 1. מחיקת כל מה שבתוך סוגריים אם הוא מכיל מספרים או אותיות לועזיות (כמו BOB_19002)
|
| 90 |
-
# זה מונע מהמודל לזהות את הרכיב הספציפי ולהביא מידע חיצוני
|
| 91 |
text = re.sub(r'\([A-Za-z0-9_\-]+\)', '', text)
|
| 92 |
|
| 93 |
# 2. החלפות שמות לרכיבים בעברית
|
|
@@ -106,10 +109,14 @@ def simplify_schematic_text(text: str) -> str:
|
|
| 106 |
for eng, heb in replacements.items():
|
| 107 |
text = text.replace(eng, heb)
|
| 108 |
|
| 109 |
-
# 3. מחיקת מזהים טכניים
|
| 110 |
text = re.sub(r'\b[UJ]\d+\b', '', text)
|
| 111 |
|
| 112 |
-
# 4.
|
|
|
|
|
|
|
|
|
|
|
|
|
| 113 |
text = re.sub(r'\s+', ' ', text).strip()
|
| 114 |
|
| 115 |
return text
|
|
@@ -130,6 +137,7 @@ def query_knowledge_base(query: str) -> str:
|
|
| 130 |
for row_id, content, topic in rows:
|
| 131 |
if row_id not in seen_ids:
|
| 132 |
score = 1
|
|
|
|
| 133 |
if "Schematic" in content and any(x in query for x in ["שרטוט", "חיבור", "פין", "לאן", "מחובר", "מסך"]):
|
| 134 |
score += 100
|
| 135 |
elif term.lower() in topic.lower():
|
|
@@ -146,16 +154,20 @@ def query_knowledge_base(query: str) -> str:
|
|
| 146 |
|
| 147 |
if results:
|
| 148 |
raw_content = results[0][1]
|
|
|
|
|
|
|
| 149 |
if "Schematic" in raw_content:
|
| 150 |
lines = raw_content.split('\n')
|
| 151 |
relevant_lines = []
|
| 152 |
target_terms = [t.lower() for t in search_terms if len(t) > 1]
|
| 153 |
for line in lines:
|
|
|
|
| 154 |
if "connect" in line.lower() and any(t in line.lower() for t in target_terms):
|
| 155 |
relevant_lines.append(line.strip())
|
| 156 |
|
| 157 |
clean_text = simplify_schematic_text("\n".join(relevant_lines))
|
| 158 |
return f"רשימת חיבורים (העתק במדויק את שמות הפינים באנגלית):\n{clean_text}"
|
|
|
|
| 159 |
return raw_content
|
| 160 |
return ""
|
| 161 |
|
|
@@ -175,7 +187,7 @@ class Message(BaseModel):
|
|
| 175 |
class ChatCompletionRequest(BaseModel):
|
| 176 |
messages: List[Message]
|
| 177 |
max_tokens: Optional[int] = 1024
|
| 178 |
-
temperature: Optional[float] = 0.1
|
| 179 |
stream: Optional[bool] = False
|
| 180 |
|
| 181 |
@app.on_event("startup")
|
|
@@ -192,18 +204,20 @@ async def chat_completions(request: ChatCompletionRequest):
|
|
| 192 |
save_message("user", last_user_msg.content)
|
| 193 |
context = query_knowledge_base(last_user_msg.content)
|
| 194 |
|
|
|
|
| 195 |
sys_msg = (
|
| 196 |
"תפקידך: טכנאי מומחה לפרויקט 'בית חכם תלם'.\n"
|
| 197 |
"הנחיות קריטיות:\n"
|
| 198 |
"1. דבר בעברית.\n"
|
| 199 |
-
"2. **העתקה עיוור
|
| 200 |
-
"3. **אסור לפרש**:
|
| 201 |
-
"4. ה
|
|
|
|
| 202 |
)
|
| 203 |
if context:
|
| 204 |
sys_msg += f"\nמידע טכני לשימוש:\n{context}"
|
| 205 |
else:
|
| 206 |
-
sys_msg += "\n(לא נמצא מידע ספציפי במערכת)."
|
| 207 |
|
| 208 |
messages_payload = [msg.dict() for msg in request.messages]
|
| 209 |
|
|
@@ -212,6 +226,7 @@ async def chat_completions(request: ChatCompletionRequest):
|
|
| 212 |
else:
|
| 213 |
messages_payload.insert(0, {"role": "system", "content": sys_msg})
|
| 214 |
|
|
|
|
| 215 |
if request.stream:
|
| 216 |
async def stream_generator():
|
| 217 |
full_text = ""
|
|
@@ -234,6 +249,7 @@ async def chat_completions(request: ChatCompletionRequest):
|
|
| 234 |
|
| 235 |
return StreamingResponse(stream_generator(), media_type="text/event-stream; charset=utf-8")
|
| 236 |
|
|
|
|
| 237 |
try:
|
| 238 |
response = client.chat_completion(
|
| 239 |
messages=messages_payload,
|
|
|
|
| 12 |
from huggingface_hub import InferenceClient
|
| 13 |
|
| 14 |
# --- Configuration ---
|
| 15 |
+
# מודל Llama 3 8B - המודל הכי מאוזן ויציב לעברית כרגע ב-API החינמי
|
| 16 |
MODEL_ID = "meta-llama/Meta-Llama-3-8B-Instruct"
|
| 17 |
PORT = int(os.environ.get("PORT", 8000))
|
| 18 |
HOST = "0.0.0.0"
|
| 19 |
DB_FILE = "chatbot.db"
|
| 20 |
JSON_SOURCE = "database.json"
|
| 21 |
+
# וודא שהגדרת את HF_TOKEN ב-Settings -> Variables and secrets
|
| 22 |
HF_TOKEN = os.environ.get("HF_TOKEN")
|
| 23 |
|
| 24 |
logging.basicConfig(level=logging.INFO)
|
|
|
|
| 34 |
allow_headers=["*"],
|
| 35 |
)
|
| 36 |
|
| 37 |
+
# חיבור ללקוח ה-API של Hugging Face
|
| 38 |
client = InferenceClient(model=MODEL_ID, token=HF_TOKEN)
|
| 39 |
|
| 40 |
# --- מילון מונחים לחיפוש ---
|
|
|
|
| 87 |
|
| 88 |
def simplify_schematic_text(text: str) -> str:
|
| 89 |
"""
|
| 90 |
+
מנקה את הטקסט ממק"טים ספציפיים שגורמים להזיות ומפשטת שמות
|
| 91 |
"""
|
| 92 |
# 1. מחיקת כל מה שבתוך סוגריים אם הוא מכיל מספרים או אותיות לועזיות (כמו BOB_19002)
|
| 93 |
+
# זה מונע מהמודל לזהות את הרכיב הספציפי ולהביא מידע חיצוני שגוי
|
| 94 |
text = re.sub(r'\([A-Za-z0-9_\-]+\)', '', text)
|
| 95 |
|
| 96 |
# 2. החלפות שמות לרכיבים בעברית
|
|
|
|
| 109 |
for eng, heb in replacements.items():
|
| 110 |
text = text.replace(eng, heb)
|
| 111 |
|
| 112 |
+
# 3. מחיקת מזהים טכניים כמו U1, U2 כדי לא לבלבל
|
| 113 |
text = re.sub(r'\b[UJ]\d+\b', '', text)
|
| 114 |
|
| 115 |
+
# 4. תיקון טעות נפוצה בדאטהבייס שלך (Pin Pin -> פין)
|
| 116 |
+
text = text.replace("Pin Pin", "פין")
|
| 117 |
+
text = text.replace("פין פין", "פין")
|
| 118 |
+
|
| 119 |
+
# 5. ניקוי רווחים כפולים
|
| 120 |
text = re.sub(r'\s+', ' ', text).strip()
|
| 121 |
|
| 122 |
return text
|
|
|
|
| 137 |
for row_id, content, topic in rows:
|
| 138 |
if row_id not in seen_ids:
|
| 139 |
score = 1
|
| 140 |
+
# מתן עדיפות גבוהה למידע על שרטוטים אם השאלה עוסקת בחיבורים
|
| 141 |
if "Schematic" in content and any(x in query for x in ["שרטוט", "חיבור", "פין", "לאן", "מחובר", "מסך"]):
|
| 142 |
score += 100
|
| 143 |
elif term.lower() in topic.lower():
|
|
|
|
| 154 |
|
| 155 |
if results:
|
| 156 |
raw_content = results[0][1]
|
| 157 |
+
|
| 158 |
+
# אם מצאנו מידע טכני/שרטוט, ננקה אותו ונסנן רק את השורות הרלוונטיות
|
| 159 |
if "Schematic" in raw_content:
|
| 160 |
lines = raw_content.split('\n')
|
| 161 |
relevant_lines = []
|
| 162 |
target_terms = [t.lower() for t in search_terms if len(t) > 1]
|
| 163 |
for line in lines:
|
| 164 |
+
# מביא רק שורות שקשורות למונחי החיפוש
|
| 165 |
if "connect" in line.lower() and any(t in line.lower() for t in target_terms):
|
| 166 |
relevant_lines.append(line.strip())
|
| 167 |
|
| 168 |
clean_text = simplify_schematic_text("\n".join(relevant_lines))
|
| 169 |
return f"רשימת חיבורים (העתק במדויק את שמות הפינים באנגלית):\n{clean_text}"
|
| 170 |
+
|
| 171 |
return raw_content
|
| 172 |
return ""
|
| 173 |
|
|
|
|
| 187 |
class ChatCompletionRequest(BaseModel):
|
| 188 |
messages: List[Message]
|
| 189 |
max_tokens: Optional[int] = 1024
|
| 190 |
+
temperature: Optional[float] = 0.1 # טמפרטורה נמוכה מאוד לדיוק מקסימלי
|
| 191 |
stream: Optional[bool] = False
|
| 192 |
|
| 193 |
@app.on_event("startup")
|
|
|
|
| 204 |
save_message("user", last_user_msg.content)
|
| 205 |
context = query_knowledge_base(last_user_msg.content)
|
| 206 |
|
| 207 |
+
# הודעת מערכת קפדנית למניעת הזיות
|
| 208 |
sys_msg = (
|
| 209 |
"תפקידך: טכנאי מומחה לפרויקט 'בית חכם תלם'.\n"
|
| 210 |
"הנחיות קריטיות:\n"
|
| 211 |
"1. דבר בעברית.\n"
|
| 212 |
+
"2. **העתקה עיוור��**: בתיאור חיבורים, עליך להעתיק את שמות הפינים (כמו HV1, HV2, RX, TX) בדיוק כפי שהם כתובים בטקסט.\n"
|
| 213 |
+
"3. **אסור לפרש או להמיר**: לעולם אל תמיר שם של פין למספר. אם כתוב HV1, כתוב 'HV1'. אסור לכתוב 'פין 7'.\n"
|
| 214 |
+
"4. הסר קודים טכניים כמו U1, U2 ודבר בשמות הרכיבים (בקר, מסך, ממיר).\n"
|
| 215 |
+
"5. הצג את התשובה כרשימה ברורה.\n"
|
| 216 |
)
|
| 217 |
if context:
|
| 218 |
sys_msg += f"\nמידע טכני לשימוש:\n{context}"
|
| 219 |
else:
|
| 220 |
+
sys_msg += "\n(לא נמצא מידע ספציפי במערכת, ענה מהידע הכללי שלך אך סייג את דבריך)."
|
| 221 |
|
| 222 |
messages_payload = [msg.dict() for msg in request.messages]
|
| 223 |
|
|
|
|
| 226 |
else:
|
| 227 |
messages_payload.insert(0, {"role": "system", "content": sys_msg})
|
| 228 |
|
| 229 |
+
# טיפול ב-Streaming
|
| 230 |
if request.stream:
|
| 231 |
async def stream_generator():
|
| 232 |
full_text = ""
|
|
|
|
| 249 |
|
| 250 |
return StreamingResponse(stream_generator(), media_type="text/event-stream; charset=utf-8")
|
| 251 |
|
| 252 |
+
# טיפול בבקשה רגילה
|
| 253 |
try:
|
| 254 |
response = client.chat_completion(
|
| 255 |
messages=messages_payload,
|