Update app.py

app.py

@@ -1,21 +1,19 @@
-import gradio as gr
+from fastapi import FastAPI
+from pydantic import BaseModel
 from transformers import pipeline
 
-# Modeli başlangıçta yüklemiyoruz (Arayüzün anında açılması için)
-pipe = None
+# FastAPI uygulamasını başlatıyoruz. HF Spaces "app" objesini otomatik tanıyıp uvicorn ile sunar.
+app = FastAPI()
 
-def generate_response(prompt):
-    global pipe
-    
-    # Eğer model henüz yüklenmediyse, ilk istekte yükle
-    if pipe is None:
-        print("Model belleğe yükleniyor...")
-        pipe = pipeline("text-generation", model="Qwen/Qwen2.5-0.5B-Instruct", device="cpu")
-        
-    # Prompt'u işleyip cevabı dön
-    output = pipe(prompt, max_new_tokens=256, do_sample=True, temperature=0.7)
-    return output[0]['generated_text']
+# Modeli sadece CPU kullanacak şekilde yüklüyoruz
+pipe = pipeline("text-generation", model="Qwen/Qwen2.5-0.5B-Instruct", device="cpu")
 
-# Arayüzü oluştur ve başlat
-demo = gr.Interface(fn=generate_response, inputs="text", outputs="text")
-demo.launch()
+# Gelen JSON verisinin şemasını belirliyoruz
+class GenerateRequest(BaseModel):
+    prompt: str
+
+@app.post("/api/generate")
+def generate(request: GenerateRequest):
+    # Gelen prompt'u modele verip sonucu döndürüyoruz
+    output = pipe(request.prompt, max_new_tokens=256, do_sample=True, temperature=0.7)
+    return {"response": output[0]['generated_text']}