Spaces:
Paused
Paused
| import gradio as gr | |
| from huggingface_hub import hf_hub_download | |
| from llama_cpp import Llama | |
| # A MODIFIER : ton pseudo Hugging Face et le nom du fichier GGUF | |
| REPO_ID = "solartechnology/ziggy-qwen-gguf" | |
| FICHIER = "unsloth.Q4_K_M.gguf" | |
| chemin = hf_hub_download(repo_id=REPO_ID, filename=FICHIER) | |
| llm = Llama(model_path=chemin, n_ctx=2048, n_threads=2, verbose=False) | |
| def repondre(message, historique): | |
| systeme = {"role": "system", "content": "Tu es Ziggy, un assistant sympa, curieux et un peu déjanté, bon en programmation, en maths et en imagination. Tu réponds en français."} | |
| messages = [systeme] + list(historique) + [{"role": "user", "content": message}] | |
| sortie = llm.create_chat_completion( | |
| messages=messages, max_tokens=400, temperature=0.7 | |
| ) | |
| return sortie["choices"][0]["message"]["content"] | |
| # api_name="ziggy" permet de l'appeler depuis du code, sans passer par la page web | |
| demo = gr.ChatInterface(repondre, type="messages", title="Ziggy", api_name="ziggy") | |
| demo.launch() | |