chatdoc / tests /test_rag.py
celiolr's picture
Deploy: 51 arquivos (116.9 MB) - 2025-12-18 13:52:22
4dc3b79
Raw History Blame Contribute Delete
5.08 kB
#!/usr/bin/env python3
"""
Script para testar perguntas específicas no RAG
"""
import sys
from pathlib import Path
# Adiciona o diretório app ao path
sys.path.append(str(Path(__file__).parent / "app"))
from app.services.document_processor import DocumentProcessor
from app.services.vector_store import VectorStoreManager
from app.services.rag_service import RAGService
def test_specific_questions():
"""Testa perguntas específicas sobre os documentos"""
print("🧪 TESTANDO PERGUNTAS ESPECÍFICAS")
print("=" * 50)
# Inicializar serviços
processor = DocumentProcessor()
vector_store = VectorStoreManager()
rag_service = RAGService()
# Lista de perguntas para testar
test_questions = [
# Perguntas sobre credenciais
"Qual a senha de homologação do sistema X?",
"Quais são as credenciais de produção?",
"Qual o usuário de desenvolvimento?",
# Perguntas sobre tecnologia
"Sistema X é desenvolvido em Java ou Python?",
"Qual banco de dados é usado?",
"Quais são as tecnologias do sistema?",
# Perguntas sobre configurações
"Qual a URL de homologação?",
"Qual o timeout configurado?",
"Como funciona o backup?",
# Perguntas sobre responsáveis
"Quem é o responsável pelo desenvolvimento?",
"Quem é o Tech Lead?",
"Qual o email da equipe de infraestrutura?",
# Perguntas gerais
"Quais são as dependências externas?",
"Como fazer deploy em produção?",
"Quais são os procedimentos de rollback?",
]
print(f"📝 Testando {len(test_questions)} perguntas...\n")
for i, question in enumerate(test_questions, 1):
print(f"{i}. ❓ {question}")
print("-" * 40)
try:
result = rag_service.query(question)
if result and result['answer']:
print(f"🤖 {result['answer'][:300]}...")
if result['sources']:
print(f" 📚 Fontes: {len(result['sources'])} documentos")
for source in result['sources'][:2]: # Mostra até 2 fontes
filename = Path(source['source']).name
print(f" • {filename}")
print() # Linha em branco
except Exception as e:
print(f"❌ Erro: {e}\n")
def search_specific_terms():
"""Busca por termos específicos nos documentos"""
print("\n🔍 BUSCA POR TERMOS ESPECÍFICOS")
print("=" * 50)
rag_service = RAGService()
search_terms = [
"senha",
"homologação",
"produção",
"Java",
"Python",
"banco de dados",
"URL",
"usuário",
"credencial",
"token",
"API key",
"configuração"
]
for term in search_terms:
print(f"\n🔎 Buscando: '{term}'")
results = rag_service.search_documents(term, k=3)
if results:
for i, result in enumerate(results[:2], 1): # Mostra até 2 resultados
print(f" {i}. {result['filename']} (score: {result['score']:.3f})")
print(f" {result['content'][:150]}...")
else:
print(" ⚠️ Nenhum resultado encontrado")
def test_system_capabilities():
"""Testa as capacidades do sistema"""
print("\n⚙️ TESTANDO CAPACIDADES DO SISTEMA")
print("=" * 50)
processor = DocumentProcessor()
vector_store = VectorStoreManager()
# Mostrar estatísticas
stats = vector_store.get_collection_stats()
print(f"📊 Documentos no banco vetorial: {stats.get('total_documents', 0)}")
# Testar buscas semânticas
test_queries = [
("senha homologação", ["senha", "homologação", "credencial"]),
("tecnologia java", ["Java", "Spring", "tecnologia"]),
("configuração banco", ["banco", "database", "configuração"])
]
for query, expected_terms in test_queries:
print(f"\n🧪 Testando: '{query}'")
print(f" Esperando termos relacionados: {expected_terms}")
results = vector_store.similarity_search(query, k=2)
if results:
print(f" ✅ Encontrou {len(results)} documentos")
for doc in results:
content_lower = doc.page_content.lower()
found_terms = [term for term in expected_terms if term.lower() in content_lower]
if found_terms:
print(f" • Encontrou termos: {found_terms}")
if __name__ == "__main__":
print("🚀 INICIANDO TESTES DO SISTEMA RAG")
print("=" * 60)
test_specific_questions()
search_specific_terms()
test_system_capabilities()
print("\n" + "=" * 60)
print("✅ TESTES CONCLUÍDOS!")
print("\n💡 Dica: Use 'python chat_rag.py_back --interactive' para chat interativo")