Update app.py

app.py

@@ -1,6 +1,6 @@
 import gradio as gr
 from transformers import pipeline
-from langchain_community.llms import HuggingFacePipeline
+from langchain_community.llms import CTransformers # AQUI está a alteração chave
 from langchain_community.embeddings import HuggingFaceEmbeddings
 from langchain_community.vectorstores import FAISS
 from langchain_community.document_loaders import PyMuPDFLoader
@@ -16,7 +16,6 @@ DOC_PATH = "meu-documento.pdf"
 MODEL_NAME = "TheBloke/Mistral-7B-Instruct-v0.2-GGUF"
 
 # 🔑 Autenticação no Hugging Face Hub (Passo adicionado)
-# Isso garante que o token seja usado para fazer o login antes de carregar o modelo.
 huggingface_token = os.getenv("HUGGINGFACE_TOKEN")
 if huggingface_token:
     try:
@@ -45,18 +44,22 @@ def carregar_documento_pdf(path):
     vectorstore = FAISS.from_documents(documentos_divididos, embeddings)
     return vectorstore
 
-# ⚙️ Configura o pipeline com o modelo Mistral
+# ⚙️ Configura o pipeline com o modelo Mistral Quantizado
+llm = None
 try:
-    pipe = pipeline(
-        "text-generation",
+    print("Tentando carregar o modelo quantizado...")
+    # Use CTransformers para carregar o modelo GGUF
+    llm = CTransformers(
         model=MODEL_NAME,
-        max_new_tokens=256,
-        temperature=0.7,
-        do_sample=True
+        model_type="mistral",
+        config={
+            "max_new_tokens": 256,
+            "temperature": 0.7
+        }
     )
-    llm = HuggingFacePipeline(pipeline=pipe)
+    print("Modelo carregado com sucesso.")
 except Exception as e:
-    print(f"Erro ao carregar o modelo HuggingFace: {e}")
+    print(f"Erro ao carregar o modelo CTransformers: {e}")
     llm = None
     
 # 🧠 Memória da conversação
@@ -99,28 +102,26 @@ with gr.Blocks() as demo:
 
     def interagir(msg, history):
         if not chat_chain:
-            # ... (código de erro)
+            history.append((msg, "Erro: A cadeia de chat não foi inicializada."))
             return "", history
 
         try:
             resposta_completa = chat_chain.invoke({"question": msg})
             resposta_texto_bruto = resposta_completa['answer']
-
-        # --- A DICA AQUI ---
-        # Busca a string "Resposta:" para extrair apenas a parte da resposta
+            
+            # --- Correção para remover o prompt duplicado ---
             partes = resposta_texto_bruto.split("Resposta:")
             if len(partes) > 1:
-            # Pega a parte do texto após "Resposta:" e remove espaços em branco extras
-               resposta_texto = partes[1].strip()
+                resposta_texto = partes[1].strip()
             else:
-            # Se não encontrar "Resposta:", usa a resposta bruta
-               resposta_texto = resposta_texto_bruto
-        # --- FIM DA DICA ---
-        
+                resposta_texto = resposta_texto_bruto
+            # --- Fim da correção ---
+            
         except Exception as e:
             resposta_texto = f"Erro ao gerar resposta: {e}"
-    
+        
         history.append((msg, resposta_texto))
+        
         return "", history
 
     entrada.submit(interagir, [entrada, chatbot], [entrada, chatbot])