ItamarMordo commited on
Commit
e8f187f
·
verified ·
1 Parent(s): 255c1e3

Update server.py

Browse files
Files changed (1) hide show
  1. server.py +25 -9
server.py CHANGED
@@ -12,11 +12,13 @@ from pydantic import BaseModel
12
  from huggingface_hub import InferenceClient
13
 
14
  # --- Configuration ---
 
15
  MODEL_ID = "meta-llama/Meta-Llama-3-8B-Instruct"
16
  PORT = int(os.environ.get("PORT", 8000))
17
  HOST = "0.0.0.0"
18
  DB_FILE = "chatbot.db"
19
  JSON_SOURCE = "database.json"
 
20
  HF_TOKEN = os.environ.get("HF_TOKEN")
21
 
22
  logging.basicConfig(level=logging.INFO)
@@ -32,6 +34,7 @@ app.add_middleware(
32
  allow_headers=["*"],
33
  )
34
 
 
35
  client = InferenceClient(model=MODEL_ID, token=HF_TOKEN)
36
 
37
  # --- מילון מונחים לחיפוש ---
@@ -84,10 +87,10 @@ def expand_query(query: str) -> List[str]:
84
 
85
  def simplify_schematic_text(text: str) -> str:
86
  """
87
- מנקה את הטקסט ממק"טים ספציפיים שגורמים להזיות
88
  """
89
  # 1. מחיקת כל מה שבתוך סוגריים אם הוא מכיל מספרים או אותיות לועזיות (כמו BOB_19002)
90
- # זה מונע מהמודל לזהות את הרכיב הספציפי ולהביא מידע חיצוני
91
  text = re.sub(r'\([A-Za-z0-9_\-]+\)', '', text)
92
 
93
  # 2. החלפות שמות לרכיבים בעברית
@@ -106,10 +109,14 @@ def simplify_schematic_text(text: str) -> str:
106
  for eng, heb in replacements.items():
107
  text = text.replace(eng, heb)
108
 
109
- # 3. מחיקת מזהים טכניים (U1, U2...)
110
  text = re.sub(r'\b[UJ]\d+\b', '', text)
111
 
112
- # 4. ניקוי רווחים כפולים שנוצרו
 
 
 
 
113
  text = re.sub(r'\s+', ' ', text).strip()
114
 
115
  return text
@@ -130,6 +137,7 @@ def query_knowledge_base(query: str) -> str:
130
  for row_id, content, topic in rows:
131
  if row_id not in seen_ids:
132
  score = 1
 
133
  if "Schematic" in content and any(x in query for x in ["שרטוט", "חיבור", "פין", "לאן", "מחובר", "מסך"]):
134
  score += 100
135
  elif term.lower() in topic.lower():
@@ -146,16 +154,20 @@ def query_knowledge_base(query: str) -> str:
146
 
147
  if results:
148
  raw_content = results[0][1]
 
 
149
  if "Schematic" in raw_content:
150
  lines = raw_content.split('\n')
151
  relevant_lines = []
152
  target_terms = [t.lower() for t in search_terms if len(t) > 1]
153
  for line in lines:
 
154
  if "connect" in line.lower() and any(t in line.lower() for t in target_terms):
155
  relevant_lines.append(line.strip())
156
 
157
  clean_text = simplify_schematic_text("\n".join(relevant_lines))
158
  return f"רשימת חיבורים (העתק במדויק את שמות הפינים באנגלית):\n{clean_text}"
 
159
  return raw_content
160
  return ""
161
 
@@ -175,7 +187,7 @@ class Message(BaseModel):
175
  class ChatCompletionRequest(BaseModel):
176
  messages: List[Message]
177
  max_tokens: Optional[int] = 1024
178
- temperature: Optional[float] = 0.1
179
  stream: Optional[bool] = False
180
 
181
  @app.on_event("startup")
@@ -192,18 +204,20 @@ async def chat_completions(request: ChatCompletionRequest):
192
  save_message("user", last_user_msg.content)
193
  context = query_knowledge_base(last_user_msg.content)
194
 
 
195
  sys_msg = (
196
  "תפקידך: טכנאי מומחה לפרויקט 'בית חכם תלם'.\n"
197
  "הנחיות קריטיות:\n"
198
  "1. דבר בעברית.\n"
199
- "2. **העתקה עיוורת**: בתיאור חיבורים, אתה רובוט שרק מעתיק את שמות הפינים (כמו HV1, HV2, RX, TX) מהטקסט.\n"
200
- "3. **אסור לפרש**: אם כתוב HV1, אל תכתוב 'פין 7'. אם כתוב D15, אל תכתוב 'פין 3'. כתוב רק את השם המקורי.\n"
201
- "4. הצג את התשובה כרשימה ברורה.\n"
 
202
  )
203
  if context:
204
  sys_msg += f"\nמידע טכני לשימוש:\n{context}"
205
  else:
206
- sys_msg += "\n(לא נמצא מידע ספציפי במערכת)."
207
 
208
  messages_payload = [msg.dict() for msg in request.messages]
209
 
@@ -212,6 +226,7 @@ async def chat_completions(request: ChatCompletionRequest):
212
  else:
213
  messages_payload.insert(0, {"role": "system", "content": sys_msg})
214
 
 
215
  if request.stream:
216
  async def stream_generator():
217
  full_text = ""
@@ -234,6 +249,7 @@ async def chat_completions(request: ChatCompletionRequest):
234
 
235
  return StreamingResponse(stream_generator(), media_type="text/event-stream; charset=utf-8")
236
 
 
237
  try:
238
  response = client.chat_completion(
239
  messages=messages_payload,
 
12
  from huggingface_hub import InferenceClient
13
 
14
  # --- Configuration ---
15
+ # מודל Llama 3 8B - המודל הכי מאוזן ויציב לעברית כרגע ב-API החינמי
16
  MODEL_ID = "meta-llama/Meta-Llama-3-8B-Instruct"
17
  PORT = int(os.environ.get("PORT", 8000))
18
  HOST = "0.0.0.0"
19
  DB_FILE = "chatbot.db"
20
  JSON_SOURCE = "database.json"
21
+ # וודא שהגדרת את HF_TOKEN ב-Settings -> Variables and secrets
22
  HF_TOKEN = os.environ.get("HF_TOKEN")
23
 
24
  logging.basicConfig(level=logging.INFO)
 
34
  allow_headers=["*"],
35
  )
36
 
37
+ # חיבור ללקוח ה-API של Hugging Face
38
  client = InferenceClient(model=MODEL_ID, token=HF_TOKEN)
39
 
40
  # --- מילון מונחים לחיפוש ---
 
87
 
88
  def simplify_schematic_text(text: str) -> str:
89
  """
90
+ מנקה את הטקסט ממק"טים ספציפיים שגורמים להזיות ומפשטת שמות
91
  """
92
  # 1. מחיקת כל מה שבתוך סוגריים אם הוא מכיל מספרים או אותיות לועזיות (כמו BOB_19002)
93
+ # זה מונע מהמודל לזהות את הרכיב הספציפי ולהביא מידע חיצוני שגוי
94
  text = re.sub(r'\([A-Za-z0-9_\-]+\)', '', text)
95
 
96
  # 2. החלפות שמות לרכיבים בעברית
 
109
  for eng, heb in replacements.items():
110
  text = text.replace(eng, heb)
111
 
112
+ # 3. מחיקת מזהים טכניים כמו U1, U2 כדי לא לבלבל
113
  text = re.sub(r'\b[UJ]\d+\b', '', text)
114
 
115
+ # 4. תיקון טעות נפוצה בדאטהבייס שלך (Pin Pin -> פין)
116
+ text = text.replace("Pin Pin", "פין")
117
+ text = text.replace("פין פין", "פין")
118
+
119
+ # 5. ניקוי רווחים כפולים
120
  text = re.sub(r'\s+', ' ', text).strip()
121
 
122
  return text
 
137
  for row_id, content, topic in rows:
138
  if row_id not in seen_ids:
139
  score = 1
140
+ # מתן עדיפות גבוהה למידע על שרטוטים אם השאלה עוסקת בחיבורים
141
  if "Schematic" in content and any(x in query for x in ["שרטוט", "חיבור", "פין", "לאן", "מחובר", "מסך"]):
142
  score += 100
143
  elif term.lower() in topic.lower():
 
154
 
155
  if results:
156
  raw_content = results[0][1]
157
+
158
+ # אם מצאנו מידע טכני/שרטוט, ננקה אותו ונסנן רק את השורות הרלוונטיות
159
  if "Schematic" in raw_content:
160
  lines = raw_content.split('\n')
161
  relevant_lines = []
162
  target_terms = [t.lower() for t in search_terms if len(t) > 1]
163
  for line in lines:
164
+ # מביא רק שורות שקשורות למונחי החיפוש
165
  if "connect" in line.lower() and any(t in line.lower() for t in target_terms):
166
  relevant_lines.append(line.strip())
167
 
168
  clean_text = simplify_schematic_text("\n".join(relevant_lines))
169
  return f"רשימת חיבורים (העתק במדויק את שמות הפינים באנגלית):\n{clean_text}"
170
+
171
  return raw_content
172
  return ""
173
 
 
187
  class ChatCompletionRequest(BaseModel):
188
  messages: List[Message]
189
  max_tokens: Optional[int] = 1024
190
+ temperature: Optional[float] = 0.1 # טמפרטורה נמוכה מאוד לדיוק מקסימלי
191
  stream: Optional[bool] = False
192
 
193
  @app.on_event("startup")
 
204
  save_message("user", last_user_msg.content)
205
  context = query_knowledge_base(last_user_msg.content)
206
 
207
+ # הודעת מערכת קפדנית למניעת הזיות
208
  sys_msg = (
209
  "תפקידך: טכנאי מומחה לפרויקט 'בית חכם תלם'.\n"
210
  "הנחיות קריטיות:\n"
211
  "1. דבר בעברית.\n"
212
+ "2. **העתקה עיוור��**: בתיאור חיבורים, עליך להעתיק את שמות הפינים (כמו HV1, HV2, RX, TX) בדיוק כפי שהם כתובים בטקסט.\n"
213
+ "3. **אסור לפרש או להמיר**: לעולם אל תמיר שם של פין למספר. אם כתוב HV1, כתוב 'HV1'. אסור לכתוב 'פין 7'.\n"
214
+ "4. הסר קודים טכניים כמו U1, U2 ודבר בשמות הרכיבים (בקר, מסך, ממיר).\n"
215
+ "5. הצג את התשובה כרשימה ברורה.\n"
216
  )
217
  if context:
218
  sys_msg += f"\nמידע טכני לשימוש:\n{context}"
219
  else:
220
+ sys_msg += "\n(לא נמצא מידע ספציפי במערכת, ענה מהידע הכללי שלך אך סייג את דבריך)."
221
 
222
  messages_payload = [msg.dict() for msg in request.messages]
223
 
 
226
  else:
227
  messages_payload.insert(0, {"role": "system", "content": sys_msg})
228
 
229
+ # טיפול ב-Streaming
230
  if request.stream:
231
  async def stream_generator():
232
  full_text = ""
 
249
 
250
  return StreamingResponse(stream_generator(), media_type="text/event-stream; charset=utf-8")
251
 
252
+ # טיפול בבקשה רגילה
253
  try:
254
  response = client.chat_completion(
255
  messages=messages_payload,