Download scripts/valida_search.py from aionaion/chatdoc: direct link, hf CLI and curl.
- Browser
- Download file 4.21 kB
-
https://huggingface.co/spaces/aionaion/chatdoc/resolve/main/scripts/valida_search.py
- Command line
-
hf download hf://spaces/aionaion/chatdoc/scripts/valida_search.py
-
curl -L -o valida_search.py https://huggingface.co/spaces/aionaion/chatdoc/resolve/main/scripts/valida_search.py
4.21 kB
| import sys | |
| from pathlib import Path | |
| import logging | |
| import os | |
| # Add the app directory to the path | |
| sys.path.append(str(Path(__file__).parent.parent)) | |
| from app.services.vector_store import VectorStoreManager | |
| from app.core.config import settings | |
| # Configure logging | |
| logging.basicConfig(level=logging.INFO) | |
| # Suppress noisy logs from third-party libraries | |
| logging.getLogger("chromadb.telemetry.product.posthog").setLevel(logging.CRITICAL) | |
| def main(): | |
| # Garante que o script rode na raiz do projeto para encontrar o banco correto em data/chroma_db | |
| project_root = Path(__file__).resolve().parent.parent | |
| os.chdir(project_root) | |
| print("🔍 Initializing Vector Store...") | |
| vector_store = VectorStoreManager() | |
| # 1. Verificar se o PowerBuilder está indexado | |
| term_check = "PowerBuilder" | |
| print(f"\n1️⃣ Verificando se '{term_check}' existe no banco (Busca Direta)...") | |
| results_check = vector_store.similarity_search_with_score(term_check, k=3) | |
| if results_check: | |
| print(f"✅ Encontrado! O melhor match tem score: {results_check[0][1]:.4f}") | |
| print(f" Arquivo: {results_check[0][0].metadata.get('filename')}") | |
| print(f" Conteúdo: {results_check[0][0].page_content[:150]}...") | |
| else: | |
| print(f"❌ '{term_check}' NÃO foi encontrado no banco. Verifique a ingestão.") | |
| return | |
| # 2. Busca original com K expandido | |
| query = "linguagens de programação" | |
| k_expanded = 100 | |
| print(f"\n2️⃣ Realizando busca original: '{query}' com k={k_expanded}...") | |
| results = vector_store.similarity_search_with_score(query, k=k_expanded) | |
| print(f"✅ Encontrados {len(results)} chunks. Procurando '{term_check}' nos resultados...\n") | |
| found_at_index = -1 | |
| for i, (doc, score) in enumerate(results): | |
| # Verifica se é o chunk do PowerBuilder | |
| if term_check.lower() in doc.page_content.lower(): | |
| print(f"🎯 ENCONTRADO NA POSIÇÃO {i+1}!") | |
| print(f" Score: {score:.4f}") | |
| print(f" Arquivo: {doc.metadata.get('filename')}") | |
| # Encontrar a posição do termo para mostrar o contexto | |
| content = doc.page_content | |
| idx = content.lower().find(term_check.lower()) | |
| start = max(0, idx - 50) | |
| end = min(len(content), idx + 100) | |
| preview = content[start:end].replace('\n', ' ') | |
| print(f" Trecho com o termo: ...{preview}...") | |
| found_at_index = i | |
| break # Parar ao encontrar o primeiro | |
| if found_at_index == -1: | |
| print(f"❌ '{term_check}' não apareceu nos top {k_expanded} resultados para '{query}'.") | |
| print(" Isso sugere que a conexão semântica entre a pergunta e o texto do PowerBuilder é fraca neste modelo.") | |
| elif found_at_index >= 10: | |
| print(f"\n⚠️ O chunk estava na posição {found_at_index+1}, por isso não apareceu no Top 10 original.") | |
| print(" Sugestão: Aumente o 'k' no seu RAGService ou melhore o texto do documento.") | |
| # 3. Diagnóstico de Escopos e Filtros | |
| print("\n3️⃣ Diagnóstico de Escopos e Filtros...") | |
| try: | |
| # Busca genérica para pegar amostra de metadados | |
| sample_docs = vector_store.similarity_search("a", k=50) | |
| scopes_found = set() | |
| for doc in sample_docs: | |
| scopes_found.add(doc.metadata.get('scope', 'SEM_ESCOPO')) | |
| print(f" Escopos encontrados no banco (amostra): {scopes_found}") | |
| # Teste simulando o App | |
| target_scopes = ['sistemas', 'farmaceutico'] | |
| filter_dict = {'scope': {'$in': target_scopes}} | |
| print(f" Simulando busca do App com filtro: {filter_dict}") | |
| results_filtered = vector_store.similarity_search("usuário", k=5, filter=filter_dict) | |
| if results_filtered: | |
| print(f" ✅ Busca com filtro retornou {len(results_filtered)} resultados.") | |
| else: | |
| print(f" ❌ Busca com filtro retornou 0 resultados. O problema é o filtro!") | |
| except Exception as e: | |
| print(f"❌ Erro ao diagnosticar escopos: {e}") | |
| if __name__ == "__main__": | |
| main() | |