AI / app.py
Vdphacker's picture
Upload 2 files
17d7adb verified
Raw History Blame Contribute Delete
2.11 kB
from transformers import AutoTokenizer, AutoModelForCausalLM
import gradio as gr
import torch
print("🔍 Chargement du modèle...")
model_name = "microsoft/Phi-3-mini-4k-instruct"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype=torch.float16,
device_map="auto",
trust_remote_code=True
# ✅ FlashAttention-2 DÉSACTIVÉ → pas de dépendance manquante
)
SYSTEM_PROMPT = (
"Tu es un expert en cybersécurité qui sensibilise le grand public. "
"Réponds toujours en français, de manière claire, simple et pédagogique. "
"Donne des conseils pratiques sur : mots de passe, phishing, mises à jour, "
"authentification à deux facteurs, réseaux Wi-Fi publics, etc. "
"N'invente pas d'informations. Si tu ne sais pas, dis-le poliment."
)
def generate_response(user_message, history):
messages = [{"role": "system", "content": SYSTEM_PROMPT}]
for human, ai in history:
messages.append({"role": "user", "content": human})
messages.append({"role": "assistant", "content": ai})
messages.append({"role": "user", "content": user_message})
input_ids = tokenizer.apply_chat_template(
messages, return_tensors="pt", add_generation_prompt=True
).to(model.device)
outputs = model.generate(
input_ids,
max_new_tokens=256,
do_sample=True,
temperature=0.7,
top_p=0.95,
pad_token_id=tokenizer.eos_token_id
)
response = tokenizer.decode(outputs[0][input_ids.shape[1]:], skip_special_tokens=True)
return response
demo = gr.ChatInterface(
fn=generate_response,
title="🛡️ Assistant Cybersécurité",
description="Posez-moi des questions sur la sécurité en ligne.",
examples=[
"Comment reconnaître un e-mail de phishing ?",
"Qu'est-ce qu'un mot de passe fort ?",
"Pourquoi activer la double authentification ?"
],
)
if __name__ == "__main__":
demo.launch()