ItamarMordo commited on
Commit
4821098
·
verified ·
1 Parent(s): f9e47dd

Update server.py

Browse files
Files changed (1) hide show
  1. server.py +43 -25
server.py CHANGED
@@ -23,7 +23,7 @@ JSON_SOURCE = "database.json"
23
  logging.basicConfig(level=logging.INFO)
24
  logger = logging.getLogger(__name__)
25
 
26
- app = FastAPI(title="Hebrew Smart Home Technician", version="11.0.0")
27
 
28
  app.add_middleware(
29
  CORSMiddleware,
@@ -86,19 +86,27 @@ def expand_query(query: str) -> List[str]:
86
  return list(search_terms)
87
 
88
  def simplify_schematic_text(text: str) -> str:
89
- # ניקוי אגרסיבי של שמות טכניים כדי שהמודל ידבר עברית
90
- text = text.replace("ESP32-DEVKITC-32D_ESP32-DEVKITC-30GPIO", "בקר ESP32")
91
- text = text.replace("BOB_19002", "ממיר רמות")
92
- text = text.replace("TLM-SH_board", "הלוח הראשי")
93
- text = text.replace("NEXTION", "המסך")
94
- text = text.replace("LCD1", "המסך")
95
- text = text.replace("connects to", "מחובר ל-")
 
 
 
 
 
 
96
  text = text.replace("Pin", "פין")
 
97
  return text
98
 
99
  def query_knowledge_base(query: str) -> str:
100
  conn = sqlite3.connect(DB_FILE)
101
  cursor = conn.cursor()
 
102
  search_terms = expand_query(query)
103
  logger.info(f"🔍 Searching for: {search_terms}")
104
 
@@ -111,14 +119,19 @@ def query_knowledge_base(query: str) -> str:
111
  for row_id, content, topic in rows:
112
  if row_id not in seen_ids:
113
  score = 1
 
 
114
  if "Schematic" in content and any(x in query for x in ["שרטוט", "חיבור", "פין", "לאן", "מחובר", "מסך"]):
115
  score += 100
116
  elif term.lower() in topic.lower():
117
  score += 10
 
 
118
  numbers_in_query = [int(s) for s in query.split() if s.isdigit()]
119
  for num in numbers_in_query:
120
  if str(num) in content:
121
  score += 50
 
122
  results.append((score, content))
123
  seen_ids.add(row_id)
124
  conn.close()
@@ -127,19 +140,24 @@ def query_knowledge_base(query: str) -> str:
127
 
128
  if results:
129
  raw_content = results[0][1]
 
 
130
  if "Schematic" in raw_content:
131
  lines = raw_content.split('\n')
132
  relevant_lines = []
133
  target_terms = [t.lower() for t in search_terms if len(t) > 1]
 
134
  for line in lines:
 
135
  if "connect" in line.lower() and any(t in line.lower() for t in target_terms):
136
- relevant_lines.append(simplify_schematic_text(line.strip()))
137
 
138
- # מחזיר טקסט נקי מאוד בעברית
139
- if relevant_lines:
140
- return "\n".join(relevant_lines)
141
 
142
  return raw_content
 
143
  return ""
144
 
145
  def save_message(role: str, content: str):
@@ -158,7 +176,7 @@ class Message(BaseModel):
158
  class ChatCompletionRequest(BaseModel):
159
  messages: List[Message]
160
  max_tokens: Optional[int] = 512
161
- temperature: Optional[float] = 0.25
162
  stream: Optional[bool] = False
163
 
164
  @app.on_event("startup")
@@ -199,17 +217,17 @@ async def chat_completions(request: ChatCompletionRequest):
199
  context = query_knowledge_base(last_user_msg.content)
200
 
201
  if context:
202
- sys_msg = f"""תפקידך: אתה המדריך של פרויקט 'בית חכם תלם'. עליך לענות בעברית טבעית וברורה.
203
- הנחיות לתשובה:
204
- 1. קרא את רשימת החיבורים הטכנית למטה.
205
- 2. **אל תעתיק את הרשימה!** במקום זאת, הסבר אותה במילים שלך.
206
- 3. דוגמה לתשובה טובה: 'המסך מחובר לבקר בפיני התקשורת RX ו-TX וכן למתח 5V'.
207
- 4. אם שו��לים על רכיב מסוים (כמו המסך), תאר לאן הוא מתחבר בצורה פשוטה.
208
-
209
- מידע טכני (רשימת חיבורים):
210
- {context}"""
211
  else:
212
- sys_msg = "אתה עוזר חכם לפרויקט תלם. ענה בעברית."
213
 
214
  if request.messages[0].role == "system":
215
  request.messages[0].content = sys_msg
@@ -224,11 +242,11 @@ async def chat_completions(request: ChatCompletionRequest):
224
  gen_kwargs = dict(
225
  inputs=prompt_ids,
226
  max_new_tokens=request.max_tokens,
227
- temperature=0.25, # טמפרטורה מאוזנת לניסוח טבעי
228
  top_p=0.9,
229
  do_sample=True,
230
  pad_token_id=tokenizer.eos_token_id,
231
- repetition_penalty=1.1 # מניעת חזרתיות עדינה
232
  )
233
 
234
  if request.stream:
 
23
  logging.basicConfig(level=logging.INFO)
24
  logger = logging.getLogger(__name__)
25
 
26
+ app = FastAPI(title="Hebrew Smart Home Technician", version="10.0.0")
27
 
28
  app.add_middleware(
29
  CORSMiddleware,
 
86
  return list(search_terms)
87
 
88
  def simplify_schematic_text(text: str) -> str:
89
+ """
90
+ פונקציה קריטית: מנקה את השמות הארוכים והמסובכים ומחליפה אותם בשמות פשוטים בעברית.
91
+ זה מקל מאוד על המודל להבין ולתרגם.
92
+ """
93
+ # החלפת שמות רכיבים ארוכים בשמות קריאים
94
+ text = text.replace("ESP32-DEVKITC-32D_ESP32-DEVKITC-30GPIO", "בקר (ESP32)")
95
+ text = text.replace("BOB_19002", "ממיר רמות (Level Shifter)")
96
+ text = text.replace("TLM-SH_board", "לוח ראשי")
97
+ text = text.replace("NEXTION", "מסך")
98
+ text = text.replace("LCD1", "מסך")
99
+
100
+ # פישוט פעלים
101
+ text = text.replace("connects to", "מחובר אל")
102
  text = text.replace("Pin", "פין")
103
+
104
  return text
105
 
106
  def query_knowledge_base(query: str) -> str:
107
  conn = sqlite3.connect(DB_FILE)
108
  cursor = conn.cursor()
109
+
110
  search_terms = expand_query(query)
111
  logger.info(f"🔍 Searching for: {search_terms}")
112
 
 
119
  for row_id, content, topic in rows:
120
  if row_id not in seen_ids:
121
  score = 1
122
+
123
+ # אם זו שאלה טכנית ויש מידע טכני
124
  if "Schematic" in content and any(x in query for x in ["שרטוט", "חיבור", "פין", "לאן", "מחובר", "מסך"]):
125
  score += 100
126
  elif term.lower() in topic.lower():
127
  score += 10
128
+
129
+ # חיפוש מספרים מדויק (כמו 18)
130
  numbers_in_query = [int(s) for s in query.split() if s.isdigit()]
131
  for num in numbers_in_query:
132
  if str(num) in content:
133
  score += 50
134
+
135
  results.append((score, content))
136
  seen_ids.add(row_id)
137
  conn.close()
 
140
 
141
  if results:
142
  raw_content = results[0][1]
143
+
144
+ # אם מצאנו שרטוט, ננקה אותו ונחזיר רק שורות רלוונטיות
145
  if "Schematic" in raw_content:
146
  lines = raw_content.split('\n')
147
  relevant_lines = []
148
  target_terms = [t.lower() for t in search_terms if len(t) > 1]
149
+
150
  for line in lines:
151
+ # סינון שורות רלוונטיות בלבד
152
  if "connect" in line.lower() and any(t in line.lower() for t in target_terms):
153
+ relevant_lines.append(line.strip())
154
 
155
+ # ניקוי הטקסט (החלפת אנגלית בעברית)
156
+ clean_text = simplify_schematic_text("\n".join(relevant_lines))
157
+ return f"להלן החיבורים שנמצאו:\n{clean_text}"
158
 
159
  return raw_content
160
+
161
  return ""
162
 
163
  def save_message(role: str, content: str):
 
176
  class ChatCompletionRequest(BaseModel):
177
  messages: List[Message]
178
  max_tokens: Optional[int] = 512
179
+ temperature: Optional[float] = 0.2
180
  stream: Optional[bool] = False
181
 
182
  @app.on_event("startup")
 
217
  context = query_knowledge_base(last_user_msg.content)
218
 
219
  if context:
220
+ sys_msg = (
221
+ "תפקידך: טכנאי מומחה לפרויקט 'בית חכם תלם'.\n"
222
+ "הנחיות:\n"
223
+ "1. דבר בעברית טבעית בלבד.\n"
224
+ "2. המידע שתקבל עבר עיבוד והוא מציג חיבורים (למשל: 'מסך פין RX מחובר אל...').\n"
225
+ "3. **אל תחזור על הטקסט כמו תוכי!** הפוך אותו לרשימה מסודרת או למשפט הסבר.\n"
226
+ "4. דוגמה: 'המסך מחובר לבקר בפיני התקשורת (RX/TX) וכן למתח 5V'.\n"
227
+ f"\nמידע מעובד מהמערכת:\n{context}"
228
+ )
229
  else:
230
+ sys_msg = "אתה עוזר חכם לפרויקט תלם. ענה בעברית. אם אין לך מידע, אמור זאת."
231
 
232
  if request.messages[0].role == "system":
233
  request.messages[0].content = sys_msg
 
242
  gen_kwargs = dict(
243
  inputs=prompt_ids,
244
  max_new_tokens=request.max_tokens,
245
+ temperature=0.2,
246
  top_p=0.9,
247
  do_sample=True,
248
  pad_token_id=tokenizer.eos_token_id,
249
+ repetition_penalty=1.1 # מאוזן
250
  )
251
 
252
  if request.stream: