import gradio as gr from llama_cpp import Llama # Načtení modelu (nutné stáhnout GGUF verzi) MODEL_PATH = "llama-2-7b.Q4_K_M.gguf" llm = Llama(model_path=MODEL_PATH) # Funkce pro odpovědi def chat(prompt): response = llm(prompt, max_tokens=100) return response["choices"][0]["text"] # Gradio UI interface = gr.Interface(fn=chat, inputs="text", outputs="text") interface.launch()