ItamarMordo commited on
Commit
3f173e5
·
verified ·
1 Parent(s): 6722e2a

Update server.py

Browse files
Files changed (1) hide show
  1. server.py +13 -10
server.py CHANGED
@@ -160,7 +160,8 @@ def query_knowledge_base(query: str) -> Tuple[str, List[str]]:
160
  relevant_lines.append(f"- {clean_line}")
161
 
162
  if relevant_lines:
163
- context_str = "רשימת החיבורים שנמצאה:\n" + "\n".join(relevant_lines)
 
164
  return context_str, search_terms
165
  else:
166
  return "נמצא שרטוט, אך לא נמצאו חיבורים ספציפיים לרכיב זה.", search_terms
@@ -226,15 +227,16 @@ async def chat_completions(request: ChatCompletionRequest):
226
  context, _ = query_knowledge_base(last_user_msg.content)
227
 
228
  if context:
229
- # הנחיית מערכת באנגלית - עובד הרבה יותר טוב למודל הזה
230
  sys_msg = (
231
- "You are a technical expert for the 'Telem Smart Home' project. You speak Hebrew.\n"
232
- "Instructions:\n"
233
- "1. Answer ONLY in Hebrew. Do not use English words unless they are part names (like ESP32).\n"
234
- "2. Use the provided Context below to answer.\n"
235
- "3. Summarize the connections. For example, say 'The screen connects to the Level Shifter'.\n"
236
- "4. Do not make up information.\n"
237
- f"\nContext:\n{context}"
 
238
  )
239
  else:
240
  sys_msg = (
@@ -260,7 +262,7 @@ async def chat_completions(request: ChatCompletionRequest):
260
  top_p=0.9,
261
  do_sample=True,
262
  pad_token_id=tokenizer.eos_token_id,
263
- repetition_penalty=1.1 # מאוזן
264
  )
265
 
266
  if request.stream:
@@ -272,6 +274,7 @@ async def chat_completions(request: ChatCompletionRequest):
272
  async def stream_generator():
273
  full_text = ""
274
  for text in streamer:
 
275
  if text:
276
  if not is_valid_text(text):
277
  logger.warning(f"Blocked: {text}")
 
160
  relevant_lines.append(f"- {clean_line}")
161
 
162
  if relevant_lines:
163
+ # הוגדל ל-20 שורות כדי לוודא שכל המידע מגיע למודל
164
+ context_str = "רשימת החיבורים שנמצאה:\n" + "\n".join(relevant_lines[:20])
165
  return context_str, search_terms
166
  else:
167
  return "נמצא שרטוט, אך לא נמצאו חיבורים ספציפיים לרכיב זה.", search_terms
 
227
  context, _ = query_knowledge_base(last_user_msg.content)
228
 
229
  if context:
230
+ # הנחיית מערכת מעודכנת לדיוק טכני
231
  sys_msg = (
232
+ "תפקידך: אתה טכנאי מומחה המסביר על חיבורים במערכת 'בית חכם'.\n"
233
+ "הנחיות:\n"
234
+ "1. דבר אך ורק בשפה העברית.\n"
235
+ "2. השתמש במידע המצורף כדי לענות. הוא מכיל רשימת חיבורים מדויקת.\n"
236
+ "3. כאשר אתה מתאר חיבור, ציין במפורש את שמות הרכיבים ואת מספרי הפינים.\n"
237
+ "4. דוגמה לתשובה טובה: 'המסך מחובר לממיר הרמות בפין 7, והממיר מחובר לבקר בפין RX'.\n"
238
+ "5. אל תמציא מידע. אם חסר פין, אל תנחש אותו.\n"
239
+ f"\nמידע טכני מהשרטוט:\n{context}"
240
  )
241
  else:
242
  sys_msg = (
 
262
  top_p=0.9,
263
  do_sample=True,
264
  pad_token_id=tokenizer.eos_token_id,
265
+ repetition_penalty=1.1
266
  )
267
 
268
  if request.stream:
 
274
  async def stream_generator():
275
  full_text = ""
276
  for text in streamer:
277
+ # הגנה בזמן אמת
278
  if text:
279
  if not is_valid_text(text):
280
  logger.warning(f"Blocked: {text}")