Update app.py

app.py

@@ -3,29 +3,28 @@ from transformers import pipeline
 from langchain_community.llms import HuggingFacePipeline
 from langchain_community.embeddings import HuggingFaceEmbeddings
 from langchain_community.vectorstores import FAISS
-# ALTEARADO: Usaremos TextLoader em vez de PyPDFLoader
-from langchain_community.document_loaders import TextLoader # Importa TextLoader
+from langchain_community.document_loaders import TextLoader
 from langchain.text_splitter import RecursiveCharacterTextSplitter
 from langchain.chains import ConversationalRetrievalChain
 from langchain.memory import ConversationBufferMemory
 
 # 🔹 Inicializa pipeline com modelo leve
-# Sugiro voltar para um modelo não-gated e super leve para depuração inicial,
-# como 'google/flan-t5-small' ou 'TinyLlama/TinyLlama-1.1B-Chat-v1.0'
-# Mantenha o max_new_tokens pequeno para evitar o erro "Too much data" novamente.
 pipe = pipeline("text2text-generation", model="google/flan-t5-small", max_new_tokens=50)
 llm = HuggingFacePipeline(pipeline=pipe)
 
 # 🔹 Memória de conversa
 memory = ConversationBufferMemory(memory_key="chat_history", return_messages=True)
 
-# 🔹 Função de carregamento do documento (agora para TXT)
+# 🔹 Função de carregamento do documento (TXT com codificação explícita)
 def carregar_documento_txt(path):
-    # ALTEARADO: Usando TextLoader
-    loader = TextLoader(path)
+    # ATENÇÃO: Adicionado o parâmetro 'encoding' ao TextLoader
+    # Tente 'latin-1' ou 'iso-8859-1' primeiro, são os mais comuns para português
+    loader = TextLoader(path, encoding="latin-1")
+    # Se 'latin-1' não funcionar, tente 'cp1252' (Windows-1252)
+    # loader = TextLoader(path, encoding="cp1252")
+
     documentos = loader.load()
 
-    # O RecursiveCharacterTextSplitter funciona bem para TXT também
     splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
     documentos_divididos = splitter.split_documents(documentos)
 
@@ -34,7 +33,6 @@ def carregar_documento_txt(path):
     return vectorstore
 
 # 🔹 Carrega documento TXT do root
-# ALTEARADO: Chama a nova função com o nome do arquivo TXT
 vectorstore = carregar_documento_txt("meu_documento.txt")
 
 # 🔹 Cria cadeia de resposta com memória + busca por similaridade
@@ -56,7 +54,7 @@ with gr.Blocks() as demo:
 
     def interagir(msg, history):
         resposta = responder(msg)
-        history.append([msg, resposta]) # A correção para o chatbot.append()
+        history.append([msg, resposta])
         return "", history
 
     entrada.submit(interagir, [entrada, chatbot], [entrada, chatbot])