chatdoc / scripts /valida_search.py
celiolr's picture
Deploy: 51 arquivos (116.9 MB) - 2025-12-18 13:52:22
4dc3b79
Raw History Blame Contribute Delete
4.21 kB
import sys
from pathlib import Path
import logging
import os
# Add the app directory to the path
sys.path.append(str(Path(__file__).parent.parent))
from app.services.vector_store import VectorStoreManager
from app.core.config import settings
# Configure logging
logging.basicConfig(level=logging.INFO)
# Suppress noisy logs from third-party libraries
logging.getLogger("chromadb.telemetry.product.posthog").setLevel(logging.CRITICAL)
def main():
# Garante que o script rode na raiz do projeto para encontrar o banco correto em data/chroma_db
project_root = Path(__file__).resolve().parent.parent
os.chdir(project_root)
print("🔍 Initializing Vector Store...")
vector_store = VectorStoreManager()
# 1. Verificar se o PowerBuilder está indexado
term_check = "PowerBuilder"
print(f"\n1️⃣ Verificando se '{term_check}' existe no banco (Busca Direta)...")
results_check = vector_store.similarity_search_with_score(term_check, k=3)
if results_check:
print(f"✅ Encontrado! O melhor match tem score: {results_check[0][1]:.4f}")
print(f" Arquivo: {results_check[0][0].metadata.get('filename')}")
print(f" Conteúdo: {results_check[0][0].page_content[:150]}...")
else:
print(f"❌ '{term_check}' NÃO foi encontrado no banco. Verifique a ingestão.")
return
# 2. Busca original com K expandido
query = "linguagens de programação"
k_expanded = 100
print(f"\n2️⃣ Realizando busca original: '{query}' com k={k_expanded}...")
results = vector_store.similarity_search_with_score(query, k=k_expanded)
print(f"✅ Encontrados {len(results)} chunks. Procurando '{term_check}' nos resultados...\n")
found_at_index = -1
for i, (doc, score) in enumerate(results):
# Verifica se é o chunk do PowerBuilder
if term_check.lower() in doc.page_content.lower():
print(f"🎯 ENCONTRADO NA POSIÇÃO {i+1}!")
print(f" Score: {score:.4f}")
print(f" Arquivo: {doc.metadata.get('filename')}")
# Encontrar a posição do termo para mostrar o contexto
content = doc.page_content
idx = content.lower().find(term_check.lower())
start = max(0, idx - 50)
end = min(len(content), idx + 100)
preview = content[start:end].replace('\n', ' ')
print(f" Trecho com o termo: ...{preview}...")
found_at_index = i
break # Parar ao encontrar o primeiro
if found_at_index == -1:
print(f"❌ '{term_check}' não apareceu nos top {k_expanded} resultados para '{query}'.")
print(" Isso sugere que a conexão semântica entre a pergunta e o texto do PowerBuilder é fraca neste modelo.")
elif found_at_index >= 10:
print(f"\n⚠️ O chunk estava na posição {found_at_index+1}, por isso não apareceu no Top 10 original.")
print(" Sugestão: Aumente o 'k' no seu RAGService ou melhore o texto do documento.")
# 3. Diagnóstico de Escopos e Filtros
print("\n3️⃣ Diagnóstico de Escopos e Filtros...")
try:
# Busca genérica para pegar amostra de metadados
sample_docs = vector_store.similarity_search("a", k=50)
scopes_found = set()
for doc in sample_docs:
scopes_found.add(doc.metadata.get('scope', 'SEM_ESCOPO'))
print(f" Escopos encontrados no banco (amostra): {scopes_found}")
# Teste simulando o App
target_scopes = ['sistemas', 'farmaceutico']
filter_dict = {'scope': {'$in': target_scopes}}
print(f" Simulando busca do App com filtro: {filter_dict}")
results_filtered = vector_store.similarity_search("usuário", k=5, filter=filter_dict)
if results_filtered:
print(f" ✅ Busca com filtro retornou {len(results_filtered)} resultados.")
else:
print(f" ❌ Busca com filtro retornou 0 resultados. O problema é o filtro!")
except Exception as e:
print(f"❌ Erro ao diagnosticar escopos: {e}")
if __name__ == "__main__":
main()