Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
|
@@ -1,19 +1,20 @@
|
|
|
|
|
| 1 |
from fastapi import FastAPI
|
| 2 |
from pydantic import BaseModel
|
| 3 |
from transformers import pipeline
|
| 4 |
|
| 5 |
-
# FastAPI uygulamasını başlatıyoruz. HF Spaces "app" objesini otomatik tanıyıp uvicorn ile sunar.
|
| 6 |
app = FastAPI()
|
| 7 |
|
| 8 |
-
#
|
| 9 |
pipe = pipeline("text-generation", model="Qwen/Qwen2.5-0.5B-Instruct", device="cpu")
|
| 10 |
|
| 11 |
-
# Gelen JSON verisinin şemasını belirliyoruz
|
| 12 |
class GenerateRequest(BaseModel):
|
| 13 |
prompt: str
|
| 14 |
|
| 15 |
@app.post("/api/generate")
|
| 16 |
def generate(request: GenerateRequest):
|
| 17 |
-
# Gelen prompt'u modele verip sonucu döndürüyoruz
|
| 18 |
output = pipe(request.prompt, max_new_tokens=256, do_sample=True, temperature=0.7)
|
| 19 |
-
return {"response": output[0]['generated_text']}
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
import uvicorn
|
| 2 |
from fastapi import FastAPI
|
| 3 |
from pydantic import BaseModel
|
| 4 |
from transformers import pipeline
|
| 5 |
|
|
|
|
| 6 |
app = FastAPI()
|
| 7 |
|
| 8 |
+
# Model başarıyla iniyor, burada sorun yok
|
| 9 |
pipe = pipeline("text-generation", model="Qwen/Qwen2.5-0.5B-Instruct", device="cpu")
|
| 10 |
|
|
|
|
| 11 |
class GenerateRequest(BaseModel):
|
| 12 |
prompt: str
|
| 13 |
|
| 14 |
@app.post("/api/generate")
|
| 15 |
def generate(request: GenerateRequest):
|
|
|
|
| 16 |
output = pipe(request.prompt, max_new_tokens=256, do_sample=True, temperature=0.7)
|
| 17 |
+
return {"response": output[0]['generated_text']}
|
| 18 |
+
|
| 19 |
+
# Programın kapanmasını engelleyip 7860 portunda API isteklerini dinlemeye başlıyoruz
|
| 20 |
+
uvicorn.run(app, host="0.0.0.0", port=7860)
|