ItamarMordo commited on
Commit
258f6c3
·
verified ·
1 Parent(s): f29d911

Update server.py

Browse files
Files changed (1) hide show
  1. server.py +53 -6
server.py CHANGED
@@ -199,9 +199,56 @@ async def chat_completions(request: ChatCompletionRequest):
199
  context = query_knowledge_base(last_user_msg.content)
200
 
201
  if context:
202
- sys_msg = (
203
- "תפקידך: אתה המדריך של פרויקט 'בית חכם תלם'. עליך לענות בעברית טבעית וברורה.\n"
204
- "הנחיות לתשובה:\n"
205
- "1. קרא את רשימת החיבורים הטכנית למטה.\n"
206
- "2. **אל תעתיק את הרשימה!** במקום זאת, הסבר אותה במילים שלך.\n"
207
- "3. דוגמה לתשובה טובה: 'המסך מחובר
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
199
  context = query_knowledge_base(last_user_msg.content)
200
 
201
  if context:
202
+ sys_msg = f"""תפקידך: אתה המדריך של פרויקט 'בית חכם תלם'. עליך לענות בעברית טבעית וברורה.
203
+ הנחיות לתשובה:
204
+ 1. קרא את רשימת החיבורים הטכנית למטה.
205
+ 2. **אל תעתיק את הרשימה!** במקום זאת, הסבר אותה במילים שלך.
206
+ 3. דוגמה לתשובה טובה: 'המסך מחובר לבקר בפיני התקשורת RX ו-TX וכן למתח 5V'.
207
+ 4. אם שואלים על רכיב מסוים (כמו המסך), תאר לאן הוא מתחבר בצורה פשוטה.
208
+
209
+ מידע טכני (רשימת חיבורים):
210
+ {context}"""
211
+ else:
212
+ sys_msg = "אתה עוזר חכם לפרויקט תלם. ענה בעברית."
213
+
214
+ if request.messages[0].role == "system":
215
+ request.messages[0].content = sys_msg
216
+ else:
217
+ request.messages.insert(0, Message(role="system", content=sys_msg))
218
+
219
+ try:
220
+ conversation = [msg.dict() for msg in request.messages]
221
+ prompt_ids = tokenizer.apply_chat_template(conversation, tokenize=True, add_generation_prompt=True, return_tensors="pt").to(device)
222
+ except: raise HTTPException(400, "Error formatting")
223
+
224
+ gen_kwargs = dict(
225
+ inputs=prompt_ids,
226
+ max_new_tokens=request.max_tokens,
227
+ temperature=0.25, # טמפרטורה מאוזנת לניסוח טבעי
228
+ top_p=0.9,
229
+ do_sample=True,
230
+ pad_token_id=tokenizer.eos_token_id,
231
+ repetition_penalty=1.1 # מניעת חזרתיות עדינה
232
+ )
233
+
234
+ if request.stream:
235
+ streamer = TextIteratorStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
236
+ gen_kwargs["streamer"] = streamer
237
+ thread = threading.Thread(target=run_generation, args=(model, tokenizer, gen_kwargs))
238
+ thread.start()
239
+
240
+ async def stream_generator():
241
+ full_text = ""
242
+ for text in streamer:
243
+ if text:
244
+ full_text += text
245
+ yield f"data: {json.dumps({'choices': [{'delta': {'content': text}}]}, ensure_ascii=False)}\n\n"
246
+ save_message("assistant", full_text)
247
+ yield "data: [DONE]\n\n"
248
+
249
+ return StreamingResponse(stream_generator(), media_type="text/event-stream; charset=utf-8")
250
+
251
+ return {}
252
+
253
+ if __name__ == "__main__":
254
+ uvicorn.run("server:app", host=HOST, port=PORT, reload=False)