ghosttech commited on
Commit
7fc6229
·
verified ·
1 Parent(s): f022315

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +6 -5
app.py CHANGED
@@ -1,19 +1,20 @@
 
1
  from fastapi import FastAPI
2
  from pydantic import BaseModel
3
  from transformers import pipeline
4
 
5
- # FastAPI uygulamasını başlatıyoruz. HF Spaces "app" objesini otomatik tanıyıp uvicorn ile sunar.
6
  app = FastAPI()
7
 
8
- # Modeli sadece CPU kullanacak şekilde yüklüyoruz
9
  pipe = pipeline("text-generation", model="Qwen/Qwen2.5-0.5B-Instruct", device="cpu")
10
 
11
- # Gelen JSON verisinin şemasını belirliyoruz
12
  class GenerateRequest(BaseModel):
13
  prompt: str
14
 
15
  @app.post("/api/generate")
16
  def generate(request: GenerateRequest):
17
- # Gelen prompt'u modele verip sonucu döndürüyoruz
18
  output = pipe(request.prompt, max_new_tokens=256, do_sample=True, temperature=0.7)
19
- return {"response": output[0]['generated_text']}
 
 
 
 
1
+ import uvicorn
2
  from fastapi import FastAPI
3
  from pydantic import BaseModel
4
  from transformers import pipeline
5
 
 
6
  app = FastAPI()
7
 
8
+ # Model başarıyla iniyor, burada sorun yok
9
  pipe = pipeline("text-generation", model="Qwen/Qwen2.5-0.5B-Instruct", device="cpu")
10
 
 
11
  class GenerateRequest(BaseModel):
12
  prompt: str
13
 
14
  @app.post("/api/generate")
15
  def generate(request: GenerateRequest):
 
16
  output = pipe(request.prompt, max_new_tokens=256, do_sample=True, temperature=0.7)
17
+ return {"response": output[0]['generated_text']}
18
+
19
+ # Programın kapanmasını engelleyip 7860 portunda API isteklerini dinlemeye başlıyoruz
20
+ uvicorn.run(app, host="0.0.0.0", port=7860)