ItamarMordo commited on
Commit
0442f37
·
verified ·
1 Parent(s): 3690707

Update server.py

Browse files
Files changed (1) hide show
  1. server.py +52 -19
server.py CHANGED
@@ -23,7 +23,7 @@ JSON_SOURCE = "database.json"
23
  logging.basicConfig(level=logging.INFO)
24
  logger = logging.getLogger(__name__)
25
 
26
- app = FastAPI(title="Hebrew Smart Home Technician", version="8.4.2")
27
 
28
  app.add_middleware(
29
  CORSMiddleware,
@@ -83,12 +83,10 @@ def expand_query(query: str) -> List[str]:
83
  root = w[1:] if len(w) > 3 and w.startswith('ה') else w
84
  search_terms.add(root)
85
 
86
- # מיפוי מונחים
87
  for key, values in SEARCH_MAP.items():
88
  if key in root:
89
  search_terms.update(values)
90
 
91
- # טיפול מיוחד במספרים (למשל: 18 -> D18, GPIO18, Pin 18)
92
  if w.isdigit():
93
  search_terms.add(w)
94
  search_terms.add(f"D{w}")
@@ -97,7 +95,38 @@ def expand_query(query: str) -> List[str]:
97
 
98
  return list(search_terms)
99
 
100
- def query_knowledge_base(query: str) -> str:
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
101
  conn = sqlite3.connect(DB_FILE)
102
  cursor = conn.cursor()
103
 
@@ -114,21 +143,18 @@ def query_knowledge_base(query: str) -> str:
114
  if row_id not in seen_ids:
115
  score = 1
116
 
117
- # 1. תעדוף שרטוטים
118
  is_schematic = "Schematic" in content or "Connections" in content
119
  is_tech_query = any(x in query for x in ["שרטוט", "חיבור", "פין", "לאן", "מחובר"])
120
 
121
  if is_schematic and is_tech_query:
122
  score += 100
123
 
124
- # 2. תעדוף מספרים (בנפרד מה-IF הקודם כדי למנוע שגיאת תחביר)
125
  numbers_in_query = [int(s) for s in query.split() if s.isdigit()]
126
  for num in numbers_in_query:
127
  if str(num) in content:
128
  score += 50
129
 
130
- # 3. תעדוף נושא (Topic match)
131
- if term.lower() in topic.lower():
132
  score += 10
133
 
134
  results.append((score, content))
@@ -139,9 +165,15 @@ def query_knowledge_base(query: str) -> str:
139
  results.sort(key=lambda x: x[0], reverse=True)
140
 
141
  if results:
142
- logger.info(f"✅ Found context with score {results[0][0]}")
 
 
 
 
 
 
143
 
144
- return "\n---\n".join([r[1] for r in results[:2]])
145
 
146
  def save_message(role: str, content: str):
147
  try:
@@ -197,20 +229,21 @@ async def chat_completions(request: ChatCompletionRequest):
197
  context = ""
198
  if last_user_msg:
199
  save_message("user", last_user_msg.content)
200
- context = query_knowledge_base(last_user_msg.content)
 
201
 
202
  if context:
203
  sys_msg = (
204
  "תפקידך: טכנאי מומחה לפרויקט 'בית חכם תלם'.\n"
205
  "הנחיות:\n"
206
- "1. ענה אך ורק בעברית. תרגם כל מונח טכני מאנגלית לעברית בהסבר שלך.\n"
207
- "2. השתמש במידע המצורף (Context) כדי לענות.\n"
208
- "3. אם המידע מכיל שורה כמו 'U2 Pin D18 connects to U3 Pin 9', עליך לענות: 'פין 18 בבקר (U2) מחובר לפין 9 בלוח הראשי (U3)'.\n"
209
- "4. אל תמציא מידע. אם המספר לא מופיע, תגיד שלא מצאת.\n"
210
- f"\nמידע טכני (Context):\n{context}"
211
  )
212
  else:
213
- sys_msg = "אתה עוזר חכם לפרויקט תלם. ענה בעברית. לא נמצא מידע ספציפי במאגר לשאלה זו, ענה על סמך ידע כללי או אמור שאינך יודע."
214
 
215
  if request.messages[0].role == "system":
216
  request.messages[0].content = sys_msg
@@ -225,11 +258,11 @@ async def chat_completions(request: ChatCompletionRequest):
225
  gen_kwargs = dict(
226
  inputs=prompt_ids,
227
  max_new_tokens=request.max_tokens,
228
- temperature=0.25,
229
  top_p=0.9,
230
  do_sample=True,
231
  pad_token_id=tokenizer.eos_token_id,
232
- repetition_penalty=1.05
233
  )
234
 
235
  if request.stream:
 
23
  logging.basicConfig(level=logging.INFO)
24
  logger = logging.getLogger(__name__)
25
 
26
+ app = FastAPI(title="Hebrew Smart Home Technician", version="9.0.0")
27
 
28
  app.add_middleware(
29
  CORSMiddleware,
 
83
  root = w[1:] if len(w) > 3 and w.startswith('ה') else w
84
  search_terms.add(root)
85
 
 
86
  for key, values in SEARCH_MAP.items():
87
  if key in root:
88
  search_terms.update(values)
89
 
 
90
  if w.isdigit():
91
  search_terms.add(w)
92
  search_terms.add(f"D{w}")
 
95
 
96
  return list(search_terms)
97
 
98
+ def filter_schematic_context(full_context: str, query_terms: List[str]) -> str:
99
+ """
100
+ מסנן את השרטוט: משאיר רק שורות שרלוונטיות לשאלה.
101
+ זה מונע מהמודל להתבלבל מעודף מידע.
102
+ """
103
+ lines = full_context.split('\n')
104
+ relevant_lines = []
105
+
106
+ # מילים שחייבות להופיע תמיד אם זה שרטוט (כותרות וכו')
107
+ header_terms = ["Schematic Connections", "connects to"]
108
+
109
+ # זיהוי אם המשתמש שאל על רכיב ספציפי
110
+ target_terms = [t.lower() for t in query_terms if len(t) > 1] # מונחים מהשאלה
111
+
112
+ for line in lines:
113
+ line_lower = line.lower()
114
+
115
+ # תמיד לשמור כותרות
116
+ if any(h.lower() in line_lower for h in header_terms) and len(line) < 50:
117
+ relevant_lines.append(line)
118
+ continue
119
+
120
+ # אם השורה מכילה אחד ממונחי החיפוש (למשל "LCD1" או "18")
121
+ if any(t in line_lower for t in target_terms):
122
+ relevant_lines.append(line)
123
+
124
+ if not relevant_lines:
125
+ return full_context # אם לא מצאנו כלום, נחזיר הכל ליתר ביטחון
126
+
127
+ return "\n".join(relevant_lines)
128
+
129
+ def query_knowledge_base(query: str) -> Tuple[str, List[str]]:
130
  conn = sqlite3.connect(DB_FILE)
131
  cursor = conn.cursor()
132
 
 
143
  if row_id not in seen_ids:
144
  score = 1
145
 
 
146
  is_schematic = "Schematic" in content or "Connections" in content
147
  is_tech_query = any(x in query for x in ["שרטוט", "חיבור", "פין", "לאן", "מחובר"])
148
 
149
  if is_schematic and is_tech_query:
150
  score += 100
151
 
 
152
  numbers_in_query = [int(s) for s in query.split() if s.isdigit()]
153
  for num in numbers_in_query:
154
  if str(num) in content:
155
  score += 50
156
 
157
+ elif term.lower() in topic.lower():
 
158
  score += 10
159
 
160
  results.append((score, content))
 
165
  results.sort(key=lambda x: x[0], reverse=True)
166
 
167
  if results:
168
+ best_content = results[0][1]
169
+ # אם זה שרטוט, נפעיל את הסינון החכם
170
+ if "Schematic" in best_content:
171
+ filtered = filter_schematic_context(best_content, search_terms)
172
+ logger.info(f"📉 Filtered context from {len(best_content)} to {len(filtered)} chars")
173
+ return filtered, search_terms
174
+ return best_content, search_terms
175
 
176
+ return "", search_terms
177
 
178
  def save_message(role: str, content: str):
179
  try:
 
229
  context = ""
230
  if last_user_msg:
231
  save_message("user", last_user_msg.content)
232
+ # קבלת הקשר מסונן ונקי
233
+ context, _ = query_knowledge_base(last_user_msg.content)
234
 
235
  if context:
236
  sys_msg = (
237
  "תפקידך: טכנאי מומחה לפרויקט 'בית חכם תלם'.\n"
238
  "הנחיות:\n"
239
+ "1. ענה אך ורק בעברית. תרגם כל מונח טכני מאנגלית לעברית (למשל 'Connects' -> 'מחובר').\n"
240
+ "2. במידע המצורף יש רשימת חיבורים. השתמש רק בשורות שמופיעות שם כדי לענות.\n"
241
+ "3. אל תמציא מידע. ענה קצר ולעניין.\n"
242
+ "4. דוגמה: אם כתוב 'LCD1 Pin RX connects to U4', ענה: 'פין RX של המסך מחובר לרכיב U4'.\n"
243
+ f"\nמידע רלוונטי בלבד (Context):\n{context}"
244
  )
245
  else:
246
+ sys_msg = "אתה עוזר חכם לפרויקט תלם. ענה בעברית. לא נמצא מידע ספציפי, נסה לענות באופן כללי או אמור שאינך יודע."
247
 
248
  if request.messages[0].role == "system":
249
  request.messages[0].content = sys_msg
 
258
  gen_kwargs = dict(
259
  inputs=prompt_ids,
260
  max_new_tokens=request.max_tokens,
261
+ temperature=0.2,
262
  top_p=0.9,
263
  do_sample=True,
264
  pad_token_id=tokenizer.eos_token_id,
265
+ repetition_penalty=1.0 # ביטול ענישה מלא למניעת ג'יבריש כמו "uret"
266
  )
267
 
268
  if request.stream: