app.py

import gradio as gr
from transformers import pipeline

# device="cpu" ekliyoruz ki sistem boşuna GPU arayıp çökmesin
pipe = pipeline("text-generation", model="Qwen/Qwen2.5-0.5B-Instruct", device="cpu")

def generate_response(prompt):
    output = pipe(prompt, max_new_tokens=256, do_sample=True, temperature=0.7)
    return output[0]['generated_text']

demo = gr.Interface(fn=generate_response, inputs="text", outputs="text")

# Sunucu ayarlarını manuel belirterek başlatıyoruz
demo.launch(server_name="0.0.0.0", server_port=7860)