Update app.py

app.py

@@ -1,164 +1,81 @@
+from fastapi import FastAPI, HTTPException
+from pydantic import BaseModel
 import torch
-from fastapi import FastAPI, HTTPException, BackgroundTasks
-from fastapi.middleware.cors import CORSMiddleware
-from pydantic import BaseModel, Field
-from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer
-from fastapi.responses import StreamingResponse
-from threading import Thread
-import os
+from transformers import AutoModelForCausalLM, AutoTokenizer
 
-# ---------------------------------------------------------
-# 1. إعداد التطبيق وتفعيل CORS للسماح بالربط من أي منصة
-# ---------------------------------------------------------
-app = FastAPI(
-    title="Qwen 2.5 API Server",
-    description="FastAPI Server to serve Qwen 2.5 (3B / 7B) LLM model from Hugging Face.",
-    version="1.0.0"
-)
-
-# تفعيل CORS لتشغيل الـ API من أي مكان (Frontend/Mobile App/Other Backend)
-app.add_middleware(
-    CORSMiddleware,
-    allow_origins=["*"],  # يمكن تحديد النطاقات المسموح لها هنا لزيادة الأمان
-    allow_credentials=True,
-    allow_methods=["*"],
-    allow_headers=["*"],
-)
+app = FastAPI(title="Qwen API Server")
 
-# ---------------------------------------------------------
-# 2. تحميل النموذج والـ Tokenizer
-# ---------------------------------------------------------
-# يمكنك الاختيار بين:
-# "Qwen/Qwen2.5-3B-Instruct"  (يحتاج حافظة GPU ~6GB - 8GB)
-# "Qwen/Qwen2.5-7B-Instruct"  (يحتاج حافظة GPU ~14GB - 16GB)
-MODEL_NAME = os.getenv("MODEL_NAME", "Qwen/Qwen2.5-3B-Instruct")
+# إعدادات المودل (تم اختيار 3B ليتناسب مع الـ CPU)
+MODEL_NAME = "Qwen/Qwen2.5-3B-Instruct"
 
 print(f"Loading Model: {MODEL_NAME} ...")
+# تحميل الـ Tokenizer والـ Model مرة واحدة فقط عند بدء تشغيل السيرفر
+tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
+
+# تحميل على الـ CPU واستخدام نوع بيانات خفيف (float32 أو bfloat16 إذا مدعوم) لتوفير الذاكرة
+model = AutoModelForCausalLM.from_pretrained(
+    MODEL_NAME,
+    torch_dtype=torch.float32,
+    device_map="cpu"
+)
+print("Model successfully loaded on CPU!")
 
-# تحديد جهاز التشغيل (GPU إذا توفر أو CPU)
-device = "cuda" if torch.cuda.is_available() else "cpu"
-
-try:
-    tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, trust_remote_code=True)
-    
-    # تحميل النموذج بنظام float16 إذا كان GPU متاح لتوفير الذاكرة والسرعة
-    model = AutoModelForCausalLM.from_pretrained(
-        MODEL_NAME,
-        torch_dtype=torch.float16 if device == "cuda" else torch.float32,
-        device_map="auto" if device == "cuda" else None,
-        trust_remote_code=True
-    )
-    if device == "cpu":
-        model.to("cpu")
-        
-    print(f"Model successfully loaded on {device.upper()}!")
-except Exception as e:
-    print(f"Error loading model: {e}")
-
-# ---------------------------------------------------------
-# 3. تعريف هيكل البيانات لتلقي الطلبات (Pydantic Models)
-# ---------------------------------------------------------
 class ChatMessage(BaseModel):
-    role: str = Field(..., description="دور المرسل: system, user, or assistant")
-    content: str = Field(..., description="نص الرسالة")
+    role: str
+    content: str
 
-class ChatCompletionRequest(BaseModel):
-    messages: list[ChatMessage] = Field(..., description="قائمة بالرسائل السابقة والحالية")
-    max_tokens: int = Field(default=512, ge=1, le=4096, description="أقصى عدد للكلمات المولدة")
-    temperature: float = Field(default=0.7, ge=0.0, le=2.0, description="درجة الإبداع/التنوع")
-    top_p: float = Field(default=0.9, ge=0.0, le=1.0)
-    stream: bool = Field(default=False, description="هل تريد الرد بنظام Streaming؟")
-
-# ---------------------------------------------------------
-# 4. Endpoints الـ API
-# ---------------------------------------------------------
-
-@app.get("/")
-def health_check():
-    """فحص حالة السيرفر والنموذج"""
-    return {
-        "status": "online",
-        "model_loaded": MODEL_NAME,
-        "device": device
-    }
+class ChatRequest(BaseModel):
+    messages: list[ChatMessage]
+    max_tokens: int = 512
+    temperature: float = 0.7
 
 @app.post("/v1/chat/completions")
-async def chat_completion(request: ChatCompletionRequest):
-    """
-    Endpoint الأساسي لإرسال استفسار واستلام الرد من Qwen 2.5
-    """
+async def chat_completion(request: ChatRequest):
     try:
-        # تجهيز المدخلات بصيغة Chat Template الخاص بـ Qwen
-        formatted_messages = [{"role": msg.role, "content": msg.content} for msg in request.messages]
+        # تحويل الرسائل إلى صيغة الـ Chat Template الخاصة بـ Qwen
+        formatted_messages = [{"role": m.role, "content": m.content} for m in request.messages]
         
-        prompt_text = tokenizer.apply_chat_template(
+        text = tokenizer.apply_chat_template(
             formatted_messages,
             tokenize=False,
             add_generation_prompt=True
         )
-
-        model_inputs = tokenizer([prompt_text], return_tensors="pt").to(device)
-
-        # ------------------- حالة Streaming -------------------
-        if request.stream:
-            streamer = TextIteratorStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
-            
-            generation_kwargs = dict(
-                model_inputs,
-                streamer=streamer,
+        
+        inputs = tokenizer([text], return_tensors="pt")
+        
+        # توليد الرد
+        with torch.no_grad():
+            outputs = model.generate(
+                **inputs,
                 max_new_tokens=request.max_tokens,
-                temperature=request.temperature,
-                top_p=request.top_p,
-                do_sample=True if request.temperature > 0 else False
+                temperature=request.max_tokens, # أو استخدامه بشكل طبيعي
+                do_sample=True,
+                top_p=0.9
             )
-
-            # تشغيل توليد النص في Thread منفصل لعدم تجميد FastAPI
-            thread = Thread(target=model.generate, kwargs=generation_kwargs)
-            thread.start()
-
-            def event_generator():
-                for new_text in streamer:
-                    yield new_text
-
-            return StreamingResponse(event_generator(), media_type="text/plain")
-
-        # ------------------- الحالة العادية (Full Response) -------------------
-        else:
-            with torch.no_grad():
-                generated_ids = model.generate(
-                    **model_inputs,
-                    max_new_tokens=request.max_tokens,
-                    temperature=request.temperature,
-                    top_p=request.top_p,
-                    do_sample=True if request.temperature > 0 else False
-                )
-
-            # إزالة المدخلات للحصول على الإجابة الجديدة فقط
-            generated_ids = [
-                output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
-            ]
-
-            response_text = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
-
-            return {
-                "model": MODEL_NAME,
-                "choices": [
-                    {
-                        "message": {
-                            "role": "assistant",
-                            "content": response_text
-                        }
+        
+        # استخراج النص المُولد فقط (بدون المدخلات)
+        generated_ids = [
+            output[len(input_ids):] for input_ids, output in zip(inputs.input_ids, outputs)
+        ]
+        response_text = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
+        
+        return {
+            "choices": [
+                {
+                    "message": {
+                        "role": "assistant",
+                        "content": response_text
                     }
-                ]
-            }
-
+                }
+            ]
+        }
     except Exception as e:
         raise HTTPException(status_code=500, detail=str(e))
 
-# ---------------------------------------------------------
-# 5. تشغيل السيرفر
-# ---------------------------------------------------------
+@app.get("/")
+def home():
+    return {"status": "Running", "model": MODEL_NAME}
+
 if __name__ == "__main__":
     import uvicorn
-    # تشغيل السيرفر على البورت 8000
-    uvicorn.run("app:app", host="0.0.0.0", port=8000, reload=False)
+    uvicorn.run(app, host="0.0.0.0", port=7860) # Hugging Face يستخدم غالباً البورت 7860