Update app.py

app.py

@@ -33,22 +33,32 @@ tokenizer = transformers.AutoTokenizer.from_pretrained(model_path)
 generator = ctranslate2.Generator(ct2_model_path, device="cpu")
 
 def chat_onyx(message, history):
-    # بناء الـ Prompt
+    # تقليص الذاكرة لسرعة الاستجابة
     recent_history = history[-3:] if len(history) > 3 else history
     prompt = ""
-    for user_msg, assistant_msg in recent_history:
-        prompt += f"User: {user_msg}\nAssistant: {assistant_msg}\n"
+
+    # 🛠 الحل الجذري لتنسيق Gradio الجديد
+    for msg in recent_history:
+        # بالنسخ الجديدة msg بكون قاموس فيه role و content
+        role = msg["role"]
+        content = msg["content"]
+        if role == "user":
+            prompt += f"User: {content}\n"
+        elif role == "assistant":
+            prompt += f"Assistant: {content}\n"
+    
     prompt += f"User: {message}\nAssistant:"
 
+    # تحويل النص لـ Tokens
     tokens = tokenizer.convert_ids_to_tokens(tokenizer.encode(prompt))
     
-    # 🚀 التعديلات لضبط التكرار والسرعة
+    # الـ Streaming باستخدام CTranslate2 مع ضبط التكرار
     step_results = generator.generate_tokens(
         tokens,
-        max_length=60, # قللنا الطول شوي ليكون أسرع بردود الـ Hi
+        max_length=100,
         sampling_topk=20,
         sampling_temperature=0.7,
-        repetition_penalty=1.2, # 👈 هاد السر بمنع التكرار
+        repetition_penalty=1.2, # لمنع تكرار الكلام
         end_token=tokenizer.eos_token
     )
 
@@ -56,7 +66,7 @@ def chat_onyx(message, history):
     for result in step_results:
         word = tokenizer.decode([result.token_id])
         
-        # ✋ فحص ذكي: إذا الموديل بلش يمثل دور المستخدم أو يكرر "Assistant:" وقف فوراً
+        # فحص لمنع الموديل من تخيل حوار كامل (Stopping Criteria)
         if "User:" in word or "Assistant:" in word or "\n" in word:
             break