ItamarMordo commited on
Commit
9e286b7
·
verified ·
1 Parent(s): d552930

Update server.py

Browse files
Files changed (1) hide show
  1. server.py +20 -27
server.py CHANGED
@@ -14,7 +14,8 @@ from pydantic import BaseModel
14
  from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer
15
 
16
  # --- Configuration ---
17
- MODEL_ID = "Qwen/Qwen2.5-1.5B-Instruct"
 
18
  PORT = int(os.environ.get("PORT", 8000))
19
  HOST = "0.0.0.0"
20
  DB_FILE = "chatbot.db"
@@ -23,7 +24,7 @@ JSON_SOURCE = "database.json"
23
  logging.basicConfig(level=logging.INFO)
24
  logger = logging.getLogger(__name__)
25
 
26
- app = FastAPI(title="Hebrew Smart Home Technician", version="11.4.0")
27
 
28
  app.add_middleware(
29
  CORSMiddleware,
@@ -86,6 +87,7 @@ def expand_query(query: str) -> List[str]:
86
  return list(search_terms)
87
 
88
  def simplify_schematic_text(text: str) -> str:
 
89
  text = text.replace("ESP32-DEVKITC-32D_ESP32-DEVKITC-30GPIO", "בקר ESP32")
90
  text = text.replace("BOB_19002", "ממיר רמות")
91
  text = text.replace("TLM-SH_board", "הלוח הראשי")
@@ -132,13 +134,11 @@ def query_knowledge_base(query: str) -> str:
132
  relevant_lines = []
133
  target_terms = [t.lower() for t in search_terms if len(t) > 1]
134
  for line in lines:
135
- if "connect" in line.lower() and any(t in line.lower() for t in target_terms):
 
 
136
  relevant_lines.append(simplify_schematic_text(line.strip()))
137
 
138
- # Optimization: Limit lines
139
- if len(relevant_lines) > 10:
140
- relevant_lines = relevant_lines[:10]
141
-
142
  if relevant_lines:
143
  return "הנה החיבורים שנמצאו:\n" + "\n".join(relevant_lines)
144
 
@@ -161,25 +161,18 @@ class Message(BaseModel):
161
  class ChatCompletionRequest(BaseModel):
162
  messages: List[Message]
163
  max_tokens: Optional[int] = 512
164
- temperature: Optional[float] = 0.2
165
  stream: Optional[bool] = False
166
 
167
- # --- פילטר שפה (מונע סינית/ג'יבריש) ---
168
- def is_valid_text(text: str) -> bool:
169
- # בודק אם הטקסט מכיל תווים בטווח של סינית/יפנית/קוריאנית
170
- for char in text:
171
- if 0x4E00 <= ord(char) <= 0x9FFF: # CJK Unified Ideographs
172
- return False
173
- if 0x3040 <= ord(char) <= 0x309F: # Hiragana
174
- return False
175
- return True
176
-
177
  @app.on_event("startup")
178
  async def startup_event():
179
  global model, tokenizer, device
180
  init_db()
181
- logger.info(f"Loading model: {MODEL_ID}...")
 
 
182
  device = "cuda" if torch.cuda.is_available() else "cpu"
 
183
  try:
184
  tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, trust_remote_code=True)
185
  model = AutoModelForCausalLM.from_pretrained(
@@ -189,10 +182,10 @@ async def startup_event():
189
  low_cpu_mem_usage=True,
190
  trust_remote_code=True
191
  )
192
- logger.info("Model loaded!")
193
  except Exception as e:
194
  logger.error(f"Load failed: {e}")
195
- raise RuntimeError("Model failed")
196
 
197
  def run_generation(model, tokenizer, params):
198
  try:
@@ -213,11 +206,11 @@ async def chat_completions(request: ChatCompletionRequest):
213
 
214
  if context:
215
  sys_msg = (
216
- "אתה עוזר חכם לפרויקט 'בית חכם תלם' ומדבר עברית טבעית בלבד.\n"
217
  "הנחיות:\n"
218
- "1. השתמש במידע המצורף.\n"
219
- "2. אם זו רשימת חיבורים, נסח משפט פשוט כמו: 'המסך מחובר לבקר בפיני התקשורת וכן למתח'.\n"
220
- "3. אל תשתמש במילים באנגלית (crucial, pins).\n"
221
  f"\nמידע טכני:\n{context}"
222
  )
223
  else:
@@ -240,7 +233,7 @@ async def chat_completions(request: ChatCompletionRequest):
240
  top_p=0.9,
241
  do_sample=True,
242
  pad_token_id=tokenizer.eos_token_id,
243
- repetition_penalty=1.05 # תיקון קריטי: ענישה עדינה בלבד!
244
  )
245
 
246
  if request.stream:
@@ -252,7 +245,7 @@ async def chat_completions(request: ChatCompletionRequest):
252
  async def stream_generator():
253
  full_text = ""
254
  for text in streamer:
255
- if text and is_valid_text(text): # סינון סינית בזמן אמת
256
  full_text += text
257
  yield f"data: {json.dumps({'choices': [{'delta': {'content': text}}]}, ensure_ascii=False)}\n\n"
258
  save_message("assistant", full_text)
 
14
  from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer
15
 
16
  # --- Configuration ---
17
+ # UPGRADE: Switching to the 3B model for better intelligence and Hebrew support
18
+ MODEL_ID = "Qwen/Qwen2.5-3B-Instruct"
19
  PORT = int(os.environ.get("PORT", 8000))
20
  HOST = "0.0.0.0"
21
  DB_FILE = "chatbot.db"
 
24
  logging.basicConfig(level=logging.INFO)
25
  logger = logging.getLogger(__name__)
26
 
27
+ app = FastAPI(title="Hebrew Smart Home Technician (3B)", version="12.0.0")
28
 
29
  app.add_middleware(
30
  CORSMiddleware,
 
87
  return list(search_terms)
88
 
89
  def simplify_schematic_text(text: str) -> str:
90
+ # ניקוי אגרסיבי והפיכה לעברית
91
  text = text.replace("ESP32-DEVKITC-32D_ESP32-DEVKITC-30GPIO", "בקר ESP32")
92
  text = text.replace("BOB_19002", "ממיר רמות")
93
  text = text.replace("TLM-SH_board", "הלוח הראשי")
 
134
  relevant_lines = []
135
  target_terms = [t.lower() for t in search_terms if len(t) > 1]
136
  for line in lines:
137
+ # לוגיקה משופרת: אם חיפשנו רכיב (כמו מסך), נביא את כל החיבורים שלו
138
+ line_lower = line.lower()
139
+ if "connect" in line_lower and any(t in line_lower for t in target_terms):
140
  relevant_lines.append(simplify_schematic_text(line.strip()))
141
 
 
 
 
 
142
  if relevant_lines:
143
  return "הנה החיבורים שנמצאו:\n" + "\n".join(relevant_lines)
144
 
 
161
  class ChatCompletionRequest(BaseModel):
162
  messages: List[Message]
163
  max_tokens: Optional[int] = 512
164
+ temperature: Optional[float] = 0.3 # 3B model is smarter, can handle slightly higher temp
165
  stream: Optional[bool] = False
166
 
 
 
 
 
 
 
 
 
 
 
167
  @app.on_event("startup")
168
  async def startup_event():
169
  global model, tokenizer, device
170
  init_db()
171
+
172
+ # UPGRADE LOGIC
173
+ logger.info(f"Loading UPGRADED model: {MODEL_ID}...")
174
  device = "cuda" if torch.cuda.is_available() else "cpu"
175
+
176
  try:
177
  tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, trust_remote_code=True)
178
  model = AutoModelForCausalLM.from_pretrained(
 
182
  low_cpu_mem_usage=True,
183
  trust_remote_code=True
184
  )
185
+ logger.info("Model loaded successfully!")
186
  except Exception as e:
187
  logger.error(f"Load failed: {e}")
188
+ raise RuntimeError("Model failed to load. Check internet or RAM.")
189
 
190
  def run_generation(model, tokenizer, params):
191
  try:
 
206
 
207
  if context:
208
  sys_msg = (
209
+ "תפקידך: אתה המדריך הטכני של פרויקט 'בית חכם תלם'. עליך לענות בעברית טבעית וברורה.\n"
210
  "הנחיות:\n"
211
+ "1. השתמש במידע המצורף כדי לענות.\n"
212
+ "2. אם המידע הוא רשימת חיבורים, אל תקריא אותה כמו רובוט. הסבר אותה במשפט פשוט.\n"
213
+ "3. דוגמה: במקום 'פין 1 מחובר לפין 2', תגיד: 'המסך מתחבר לבקר בפיני התקשורת וכן למתח'.\n"
214
  f"\nמידע טכני:\n{context}"
215
  )
216
  else:
 
233
  top_p=0.9,
234
  do_sample=True,
235
  pad_token_id=tokenizer.eos_token_id,
236
+ repetition_penalty=1.05
237
  )
238
 
239
  if request.stream:
 
245
  async def stream_generator():
246
  full_text = ""
247
  for text in streamer:
248
+ if text:
249
  full_text += text
250
  yield f"data: {json.dumps({'choices': [{'delta': {'content': text}}]}, ensure_ascii=False)}\n\n"
251
  save_message("assistant", full_text)