Spaces:
Sleeping
Sleeping
Update server.py
Browse files
server.py
CHANGED
|
@@ -160,7 +160,8 @@ def query_knowledge_base(query: str) -> Tuple[str, List[str]]:
|
|
| 160 |
relevant_lines.append(f"- {clean_line}")
|
| 161 |
|
| 162 |
if relevant_lines:
|
| 163 |
-
|
|
|
|
| 164 |
return context_str, search_terms
|
| 165 |
else:
|
| 166 |
return "נמצא שרטוט, אך לא נמצאו חיבורים ספציפיים לרכיב זה.", search_terms
|
|
@@ -226,15 +227,16 @@ async def chat_completions(request: ChatCompletionRequest):
|
|
| 226 |
context, _ = query_knowledge_base(last_user_msg.content)
|
| 227 |
|
| 228 |
if context:
|
| 229 |
-
# הנחיית מערכת
|
| 230 |
sys_msg = (
|
| 231 |
-
"
|
| 232 |
-
"
|
| 233 |
-
"1.
|
| 234 |
-
"2.
|
| 235 |
-
"3.
|
| 236 |
-
"4.
|
| 237 |
-
|
|
|
|
| 238 |
)
|
| 239 |
else:
|
| 240 |
sys_msg = (
|
|
@@ -260,7 +262,7 @@ async def chat_completions(request: ChatCompletionRequest):
|
|
| 260 |
top_p=0.9,
|
| 261 |
do_sample=True,
|
| 262 |
pad_token_id=tokenizer.eos_token_id,
|
| 263 |
-
repetition_penalty=1.1
|
| 264 |
)
|
| 265 |
|
| 266 |
if request.stream:
|
|
@@ -272,6 +274,7 @@ async def chat_completions(request: ChatCompletionRequest):
|
|
| 272 |
async def stream_generator():
|
| 273 |
full_text = ""
|
| 274 |
for text in streamer:
|
|
|
|
| 275 |
if text:
|
| 276 |
if not is_valid_text(text):
|
| 277 |
logger.warning(f"Blocked: {text}")
|
|
|
|
| 160 |
relevant_lines.append(f"- {clean_line}")
|
| 161 |
|
| 162 |
if relevant_lines:
|
| 163 |
+
# הוגדל ל-20 שורות כדי לוודא שכל המידע מגיע למודל
|
| 164 |
+
context_str = "רשימת החיבורים שנמצאה:\n" + "\n".join(relevant_lines[:20])
|
| 165 |
return context_str, search_terms
|
| 166 |
else:
|
| 167 |
return "נמצא שרטוט, אך לא נמצאו חיבורים ספציפיים לרכיב זה.", search_terms
|
|
|
|
| 227 |
context, _ = query_knowledge_base(last_user_msg.content)
|
| 228 |
|
| 229 |
if context:
|
| 230 |
+
# הנחיית מערכת מעודכנת לדיוק טכני
|
| 231 |
sys_msg = (
|
| 232 |
+
"תפקידך: אתה טכנאי מומחה המסביר על חיבורים במערכת 'בית חכם'.\n"
|
| 233 |
+
"הנחיות:\n"
|
| 234 |
+
"1. דבר אך ורק בשפה העברית.\n"
|
| 235 |
+
"2. השתמש במידע המצורף כדי לענות. הוא מכיל רשימת חיבורים מדויקת.\n"
|
| 236 |
+
"3. כאשר אתה מתאר חיבור, ציין במפורש את שמות הרכיבים ואת מספרי הפינים.\n"
|
| 237 |
+
"4. דוגמה לתשובה טובה: 'המסך מחובר לממיר הרמות בפין 7, והממיר מחובר לבקר בפין RX'.\n"
|
| 238 |
+
"5. אל תמציא מידע. אם חסר פין, אל תנחש אותו.\n"
|
| 239 |
+
f"\nמידע טכני מהשרטוט:\n{context}"
|
| 240 |
)
|
| 241 |
else:
|
| 242 |
sys_msg = (
|
|
|
|
| 262 |
top_p=0.9,
|
| 263 |
do_sample=True,
|
| 264 |
pad_token_id=tokenizer.eos_token_id,
|
| 265 |
+
repetition_penalty=1.1
|
| 266 |
)
|
| 267 |
|
| 268 |
if request.stream:
|
|
|
|
| 274 |
async def stream_generator():
|
| 275 |
full_text = ""
|
| 276 |
for text in streamer:
|
| 277 |
+
# הגנה בזמן אמת
|
| 278 |
if text:
|
| 279 |
if not is_valid_text(text):
|
| 280 |
logger.warning(f"Blocked: {text}")
|