Spaces:
Sleeping
Sleeping
Update server.py
Browse files
server.py
CHANGED
|
@@ -199,9 +199,56 @@ async def chat_completions(request: ChatCompletionRequest):
|
|
| 199 |
context = query_knowledge_base(last_user_msg.content)
|
| 200 |
|
| 201 |
if context:
|
| 202 |
-
sys_msg =
|
| 203 |
-
|
| 204 |
-
|
| 205 |
-
|
| 206 |
-
|
| 207 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 199 |
context = query_knowledge_base(last_user_msg.content)
|
| 200 |
|
| 201 |
if context:
|
| 202 |
+
sys_msg = f"""תפקידך: אתה המדריך של פרויקט 'בית חכם תלם'. עליך לענות בעברית טבעית וברורה.
|
| 203 |
+
הנחיות לתשובה:
|
| 204 |
+
1. קרא את רשימת החיבורים הטכנית למטה.
|
| 205 |
+
2. **אל תעתיק את הרשימה!** במקום זאת, הסבר אותה במילים שלך.
|
| 206 |
+
3. דוגמה לתשובה טובה: 'המסך מחובר לבקר בפיני התקשורת RX ו-TX וכן למתח 5V'.
|
| 207 |
+
4. אם שואלים על רכיב מסוים (כמו המסך), תאר לאן הוא מתחבר בצורה פשוטה.
|
| 208 |
+
|
| 209 |
+
מידע טכני (רשימת חיבורים):
|
| 210 |
+
{context}"""
|
| 211 |
+
else:
|
| 212 |
+
sys_msg = "אתה עוזר חכם לפרויקט תלם. ענה בעברית."
|
| 213 |
+
|
| 214 |
+
if request.messages[0].role == "system":
|
| 215 |
+
request.messages[0].content = sys_msg
|
| 216 |
+
else:
|
| 217 |
+
request.messages.insert(0, Message(role="system", content=sys_msg))
|
| 218 |
+
|
| 219 |
+
try:
|
| 220 |
+
conversation = [msg.dict() for msg in request.messages]
|
| 221 |
+
prompt_ids = tokenizer.apply_chat_template(conversation, tokenize=True, add_generation_prompt=True, return_tensors="pt").to(device)
|
| 222 |
+
except: raise HTTPException(400, "Error formatting")
|
| 223 |
+
|
| 224 |
+
gen_kwargs = dict(
|
| 225 |
+
inputs=prompt_ids,
|
| 226 |
+
max_new_tokens=request.max_tokens,
|
| 227 |
+
temperature=0.25, # טמפרטורה מאוזנת לניסוח טבעי
|
| 228 |
+
top_p=0.9,
|
| 229 |
+
do_sample=True,
|
| 230 |
+
pad_token_id=tokenizer.eos_token_id,
|
| 231 |
+
repetition_penalty=1.1 # מניעת חזרתיות עדינה
|
| 232 |
+
)
|
| 233 |
+
|
| 234 |
+
if request.stream:
|
| 235 |
+
streamer = TextIteratorStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
|
| 236 |
+
gen_kwargs["streamer"] = streamer
|
| 237 |
+
thread = threading.Thread(target=run_generation, args=(model, tokenizer, gen_kwargs))
|
| 238 |
+
thread.start()
|
| 239 |
+
|
| 240 |
+
async def stream_generator():
|
| 241 |
+
full_text = ""
|
| 242 |
+
for text in streamer:
|
| 243 |
+
if text:
|
| 244 |
+
full_text += text
|
| 245 |
+
yield f"data: {json.dumps({'choices': [{'delta': {'content': text}}]}, ensure_ascii=False)}\n\n"
|
| 246 |
+
save_message("assistant", full_text)
|
| 247 |
+
yield "data: [DONE]\n\n"
|
| 248 |
+
|
| 249 |
+
return StreamingResponse(stream_generator(), media_type="text/event-stream; charset=utf-8")
|
| 250 |
+
|
| 251 |
+
return {}
|
| 252 |
+
|
| 253 |
+
if __name__ == "__main__":
|
| 254 |
+
uvicorn.run("server:app", host=HOST, port=PORT, reload=False)
|