Vdphacker commited on
Commit
61b2eb7
·
verified ·
1 Parent(s): 97b9aa0

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +112 -112
app.py CHANGED
@@ -1,112 +1,112 @@
1
- # app.py (version auto-indexante - sans besoin de chroma_db pré-uploadé)
2
- import gradio as gr
3
- import os
4
- import sys
5
-
6
- # ----------------------------
7
- # Auto-indexation au premier lancement
8
- # ----------------------------
9
- DB_PATH = "./chromo_db"
10
- if not os.path.exists(DB_PATH):
11
- print("🔍 Base de connaissances absente. Indexation en cours...")
12
- from ingest import run_ingest
13
- run_ingest(DB_PATH)
14
- print("✅ Indexation terminée.")
15
-
16
- # ----------------------------
17
- # Charger la base vectorielle
18
- # ----------------------------
19
- from langchain_community.vectorstores import Chroma
20
- from langchain_community.embeddings import HuggingFaceEmbeddings
21
-
22
- embedding_model = HuggingFaceEmbeddings(model_name="sentence-transformers/all-MiniLM-L6-v2")
23
- vectorstore = Chroma(persist_directory=DB_PATH, embedding_function=embedding_model)
24
- retriever = vectorstore.as_retriever(search_kwargs={"k": 3})
25
-
26
- # ----------------------------
27
- # Charger le LLM
28
- # ----------------------------
29
- from langchain_community.llms import HuggingFacePipeline
30
- from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline, BitsAndBytesConfig
31
- import torch
32
-
33
- model_name = "mistralai/Mistral-7B-Instruct-v0.3"
34
-
35
- bnb_config = BitsAndBytesConfig(
36
- load_in_4bit=True,
37
- bnb_4bit_quant_type="nf4",
38
- bnb_4bit_compute_dtype=torch.float16
39
- )
40
-
41
- tokenizer = AutoTokenizer.from_pretrained(model_name)
42
- model = AutoModelForCausalLM.from_pretrained(
43
- model_name,
44
- quantization_config=bnb_config,
45
- device_map="auto",
46
- trust_remote_code=True
47
- )
48
-
49
- pipe = pipeline(
50
- "text-generation",
51
- model=model,
52
- tokenizer=tokenizer,
53
- max_new_tokens=512,
54
- temperature=0.3,
55
- top_p=0.95,
56
- repetition_penalty=1.2
57
- )
58
-
59
- llm = HuggingFacePipeline(pipeline=pipe)
60
-
61
- # ----------------------------
62
- # Chaîne RAG
63
- # ----------------------------
64
- from langchain_core.prompts import PromptTemplate
65
-
66
- def format_docs(docs):
67
- sources = list(set(doc.metadata["source"] for doc in docs))
68
- context = "\n\n".join(doc.page_content for doc in docs)
69
- return context, sources
70
-
71
- prompt_template = """
72
- Tu es CyberWise, un assistant expert en cybersécurité, éducation numérique et analyse de logs.
73
- Utilise UNIQUEMENT les informations du contexte ci-dessous pour répondre.
74
- Si le contexte ne contient pas la réponse, dis strictement :
75
- "Je ne dispose pas d'informations fiables sur ce sujet dans mes sources officielles."
76
-
77
- Contexte :
78
- {context}
79
-
80
- Question : {question}
81
-
82
- Réponse (claire, pédagogique, en français si la question est en français) :
83
- """
84
-
85
- prompt = PromptTemplate.from_template(prompt_template)
86
-
87
- def rag_chain(question):
88
- docs = retriever.invoke(question)
89
- context, sources = format_docs(docs)
90
-
91
- if not context.strip():
92
- return "Je ne dispose pas d'informations fiables sur ce sujet dans mes sources officielles.", []
93
-
94
- formatted_prompt = prompt.format(context=context, question=question)
95
- response = llm.invoke(formatted_prompt)
96
- clean_response = response[0]["generated_text"].replace(formatted_prompt, "").strip()
97
- return clean_response, sources
98
-
99
- # ----------------------------
100
- # Interface Gradio
101
- # ----------------------------
102
- def predict(message, history):
103
- response, sources = rag_chain(message)
104
- if sources:
105
- source_links = "\n\n**Sources officielles :**\n" + "\n".join([f"- [{s}]({s})" for s in sources])
106
- response += source_links
107
- return response
108
-
109
- # ----------------------------
110
- # Modifier ingest.py pour qu'il soit appelable
111
- # ----------------------------
112
- # ➡️ On déplace la logique d'ingest dans une fonction
 
1
+ # app.py
2
+ import os
3
+ import gradio as gr
4
+ import chromadb
5
+ from chromadb.utils import embedding_functions
6
+
7
+ # Auto-indexation si base absente
8
+ DB_PATH = "./chroma_db"
9
+ if not os.path.exists(DB_PATH):
10
+ print("🔍 Base de connaissances absente. Indexation en cours…")
11
+ from ingest import run_ingest
12
+ run_ingest(DB_PATH)
13
+ print("✅ Indexation terminée.")
14
+
15
+ # Charger la base vectorielle
16
+ client = chromadb.PersistentClient(path=DB_PATH)
17
+ embedding_function = embedding_functions.SentenceTransformerEmbeddingFunction(
18
+ model_name="all-MiniLM-L6-v2"
19
+ )
20
+ collection = client.get_collection(name="cyberwise", embedding_function=embedding_function)
21
+
22
+ # Fonction de récupération
23
+ def retrieve_context(query: str, k=3):
24
+ results = collection.query(query_texts=[query], n_results=k)
25
+ if not results['documents'][0]:
26
+ return "", []
27
+ docs = results['documents'][0]
28
+ metas = results['metadatas'][0]
29
+ sources = list(set(m['source'] for m in metas))
30
+ context = "\n\n".join(docs)
31
+ return context, sources
32
+
33
+ # Charger le LLM (Mistral-7B en 4-bit)
34
+ print("⏳ Chargement du modèle Mistral-7B...")
35
+ from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline, BitsAndBytesConfig
36
+ import torch
37
+
38
+ use_gpu = torch.cuda.is_available()
39
+ bnb_config = BitsAndBytesConfig(
40
+ load_in_4bit=True,
41
+ bnb_4bit_quant_type="nf4",
42
+ bnb_4bit_compute_dtype=torch.float16 if use_gpu else torch.float32
43
+ )
44
+
45
+ model_name = "mistralai/Mistral-7B-Instruct-v0.3"
46
+ tokenizer = AutoTokenizer.from_pretrained(model_name)
47
+ model = AutoModelForCausalLM.from_pretrained(
48
+ model_name,
49
+ quantization_config=bnb_config,
50
+ device_map="auto" if use_gpu else "cpu",
51
+ trust_remote_code=True
52
+ )
53
+
54
+ pipe = pipeline(
55
+ "text-generation",
56
+ model=model,
57
+ tokenizer=tokenizer,
58
+ max_new_tokens=512,
59
+ temperature=0.3,
60
+ top_p=0.95,
61
+ repetition_penalty=1.2,
62
+ device=0 if use_gpu else -1
63
+ )
64
+
65
+ def llm_generate(prompt: str) -> str:
66
+ response = pipe(prompt)
67
+ return response[0]["generated_text"].replace(prompt, "").strip()
68
+
69
+ # Chaîne RAG
70
+ def rag_chain(question: str):
71
+ context, sources = retrieve_context(question)
72
+ if not context.strip():
73
+ return "Je ne dispose pas d'informations fiables sur ce sujet dans mes sources officielles.", []
74
+
75
+ prompt = f"""
76
+ Tu es CyberWise, un assistant expert en cybersécurité, vie numérique responsable et analyse de logs.
77
+ Utilise UNIQUEMENT les informations ci-dessous pour répondre.
78
+ Si le sujet n'est pas couvert, dis exactement :
79
+ "Je ne dispose pas d'informations fiables sur ce sujet dans mes sources officielles."
80
+
81
+ Contexte :
82
+ {context}
83
+
84
+ Question : {question}
85
+
86
+ Réponse (claire, pédagogique, en français si la question est en français) :
87
+ """.strip()
88
+
89
+ response = llm_generate(prompt)
90
+ return response, sources
91
+
92
+ # Interface Gradio
93
+ def predict(message, history):
94
+ response, sources = rag_chain(message)
95
+ if sources:
96
+ source_links = "\n\n**Sources officielles :**\n" + "\n".join([f"- [{s}]({s})" for s in sources])
97
+ response += source_links
98
+ return response
99
+
100
+ print("🚀 Démarrage de l'interface Gradio...")
101
+ demo = gr.ChatInterface(
102
+ fn=predict,
103
+ title="🔍 CyberWise Assistant",
104
+ description="Assistant IA spécialisé en cybersécurité. Réponses basées sur ANSSI, CNIL, OWASP, CISA.",
105
+ examples=[
106
+ "Comment reconnaître un mail de phishing ?",
107
+ "Qu'est-ce que la double authentification ?",
108
+ "Est-il dangereux de réutiliser un mot de passe ?"
109
+ ],
110
+ theme="soft"
111
+ )
112
+ demo.launch()