Update app.py

app.py

@@ -14,13 +14,6 @@ from supabase import create_client, Client
 from PIL import Image
 
 import torch
-from transformers import (
-    Qwen2_5_VLForConditionalGeneration,
-    AutoProcessor,
-    TextIteratorStreamer
-)
-from qwen_vl_utils import process_vision_info
-from faster_whisper import WhisperModel
 
 app = FastAPI()
 
@@ -36,14 +29,27 @@ model_error_message = ""
 model = None
 processor = None
 whisper_model = None
+process_vision_info_fn = None
+TextIteratorStreamer_cls = None
 
 def load_models_in_background():
-    """تحميل النموذج في الخلفية لضمان عمل السيرفر في أقل من 5 ثوانٍ"""
-    global model, processor, whisper_model, model_status, model_error_message
+    """تحميل المستلزمات والنموذج في خيط خلفي آمن لمنع توقف السيرفر"""
+    global model, processor, whisper_model, process_vision_info_fn, TextIteratorStreamer_cls, model_status, model_error_message
     try:
-        print(f"جاري تحميل نموذج {MODEL_ID} في الخلفية على A100 GPU ({DEVICE})...")
+        print(f"جاري استيراد مكتبات الذكاء الاصطناعي وتجهيز {MODEL_ID} على A100 GPU ({DEVICE})...")
         
-        # تحميل Qwen 2.5-VL 32B AWQ
+        from transformers import (
+            Qwen2_5_VLForConditionalGeneration,
+            AutoProcessor,
+            TextIteratorStreamer
+        )
+        from qwen_vl_utils import process_vision_info
+        from faster_whisper import WhisperModel
+
+        process_vision_info_fn = process_vision_info
+        TextIteratorStreamer_cls = TextIteratorStreamer
+
+        # تحميل Qwen 2.5-VL 32B AWQ بطريقة صحيحة ومجربة
         model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
             MODEL_ID,
             torch_dtype="auto",
@@ -63,7 +69,7 @@ def load_models_in_background():
         model_error_message = str(e)
         print(f"خطأ أثناء تحميل النموذج على GPU: {e}")
 
-# إطلاق التحميل في خيط خلفي فور الإقلاع
+# إطلاق التحميل التفرعي في الخلفية فور تشغيل التطبيق
 threading.Thread(target=load_models_in_background, daemon=True).start()
 
 # ---------------------------------------------------------
@@ -144,10 +150,10 @@ async def chat_endpoint(
     image_file: Optional[UploadFile] = File(None),
     audio_file: Optional[UploadFile] = File(None)
 ):
-    if not model or not processor:
+    if not model or not processor or not TextIteratorStreamer_cls or not process_vision_info_fn:
         raise HTTPException(
             status_code=500,
-            detail=f"النموذج جاري تحميله حالياً في الذاكرة. الحالة: {model_status}. يرجى الانتظار بضع ثوانٍ..."
+            detail=f"النموذج جاري تحميله في الذاكرة. الحالة: '{model_status}'. الخطأ إن وجد: {model_error_message}"
         )
 
     user_text = message
@@ -252,7 +258,7 @@ async def chat_endpoint(
 
     # 7. التجهيز والبث الحي
     text_prompt = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
-    image_inputs, video_inputs = process_vision_info(messages)
+    image_inputs, video_inputs = process_vision_info_fn(messages)
     
     inputs = processor(
         text=[text_prompt],
@@ -262,7 +268,7 @@ async def chat_endpoint(
         return_tensors="pt"
     ).to(DEVICE)
 
-    streamer = TextIteratorStreamer(processor.tokenizer, skip_prompt=True, skip_special_tokens=True)
+    streamer = TextIteratorStreamer_cls(processor.tokenizer, skip_prompt=True, skip_special_tokens=True)
     generation_kwargs = dict(inputs, streamer=streamer, max_new_tokens=2048)
 
     thread = Thread(target=model.generate, kwargs=generation_kwargs)