Update stj.py

stj.py

@@ -1,7 +1,6 @@
 import asyncio
 import glob
 import os
-import subprocess
 import time
 from pathlib import Path
 
@@ -14,23 +13,21 @@ URL_TESAURO = "https://scon.stj.jus.br/SCON/thesaurus/"
 SCREENSHOT_FILE = "stj_tesauro_debug.png"
 ERRO_FILE       = "stj_erro.png"
 
+# Argumentos para ambiente de container. O modo headless já é ativado via parâmetro.
 BROWSER_ARGS = [
     "--disable-background-timer-throttling",
     "--disable-backgrounding-occluded-windows",
     "--disable-renderer-backgrounding",
     "--disable-component-update",
     "--no-sandbox",
-    "--disable-setuid-sandbox",
     "--disable-dev-shm-usage",
     "--disable-gpu",
     "--no-zygote",
     "--lang=pt-BR",
     "--window-size=1366,900",
-    # Reduz o "headless fingerprint" em ambientes container
     "--disable-blink-features=AutomationControlled",
 ]
 
-
 # ============================================================
 # UTILITÁRIOS
 # ============================================================
@@ -42,26 +39,9 @@ def safe_unlink(path: str) -> None:
     except OSError:
         pass
 
-
-def start_xvfb() -> None:
-    """Sobe Xvfb no display :99 se ainda não estiver rodando."""
-    try:
-        subprocess.run(["pgrep", "-f", "Xvfb"], check=True, capture_output=True)
-        print("🖥️  Xvfb já está rodando.")
-    except subprocess.CalledProcessError:
-        print("🖥️  Iniciando Xvfb...")
-        subprocess.Popen(
-            ["Xvfb", ":99", "-screen", "0", "1366x900x24"],
-            stdout=subprocess.DEVNULL,
-            stderr=subprocess.DEVNULL,
-        )
-        time.sleep(2)
-        print("🖥️  Xvfb iniciado no display :99")
-
-
 def find_playwright_chrome() -> str:
-    """Encontra o binário do Chrome na imagem oficial do Playwright."""
-    print("🔎 Procurando Chrome em /ms-playwright...")
+    """Localiza o binário do Chrome na imagem do Playwright ou no cache."""
+    print("🔎 Procurando Chrome...")
     patterns = [
         "/ms-playwright/chromium-*/chrome-linux/chrome",
         "/ms-playwright/chromium-*/chrome-linux64/chrome",
@@ -72,51 +52,24 @@ def find_playwright_chrome() -> str:
             path = sorted(matches)[-1]
             print(f"✅ Chrome encontrado em: {path}")
             return path
-
-    home_cache = os.path.expanduser("~/.cache/ms-playwright")
-    if os.path.isdir(home_cache):
-        for pattern in (
-            f"{home_cache}/chromium-*/chrome-linux/chrome",
-            f"{home_cache}/chromium-*/chrome-linux64/chrome",
-        ):
-            matches = glob.glob(pattern)
-            if matches:
-                path = sorted(matches)[-1]
-                print(f"✅ Chrome encontrado no cache: {path}")
-                return path
-
-    # Fallback: instaladores "normais"
-    for alt in (
-        "/usr/bin/google-chrome-stable",
-        "/usr/bin/google-chrome",
-        "/usr/bin/chromium",
-    ):
+    # Fallback para instalações padrão
+    for alt in ("/usr/bin/google-chrome-stable", "/usr/bin/google-chrome", "/usr/bin/chromium"):
         if os.path.isfile(alt):
             print(f"✅ Chrome encontrado em: {alt}")
             return alt
-
-    raise FileNotFoundError("Nenhum binário do Chrome foi encontrado no container.")
-
+    raise FileNotFoundError("Nenhum binário do Chrome foi encontrado.")
 
 def is_page_not_found(body_text: str) -> bool:
-    markers = ["Página não encontrada", "oops!", "Coordenadoria de Segurança e Defesa Cibernética"]
+    markers = ["Página não encontrada", "oops!"]
     return any(m.lower() in body_text.lower() for m in markers)
 
-
 def is_cloudflare_challenge(body_text: str, title: str) -> bool:
-    markers = [
-        "just a moment",
-        "verify you are human",
-        "checking your browser",
-        "cloudflare",
-        "verificação de segurança",
-    ]
+    markers = ["just a moment", "verify you are human", "checking your browser", "cloudflare"]
     haystack = f"{title}\n{body_text}".lower()
     return any(m in haystack for m in markers)
 
-
 async def get_page_state(tab) -> tuple[str, str]:
-    """Retorna (body_text, title) da aba atual."""
+    """Retorna (body_text, title) de forma segura."""
     try:
         body = await tab.evaluate("document.body ? document.body.innerText : ''")
     except Exception:
@@ -127,122 +80,80 @@ async def get_page_state(tab) -> tuple[str, str]:
         title = ""
     return body or "", title or ""
 
-
-# ============================================================
-# BYPASS CLOUDFLARE — ETAPA 1: verify_cf nativo (OpenCV)
-# ============================================================
-async def try_native_verify_cf(tab, timeout: int = 45) -> bool:
-    """
-    Usa o verify_cf embutido do nodriver (template matching com OpenCV).
-    Retorna True se a página deixou de mostrar challenge.
-    """
-    print("🛡️  [1/2] verify_cf nativo (OpenCV)...")
-    start = time.time()
-    while time.time() - start < timeout:
-        body, title = await get_page_state(tab)
-        if not is_cloudflare_challenge(body, title):
-            print("✅ Sem challenge do Cloudflare (verify_cf nativo OK).")
-            return True
-
-        try:
-            result = await tab.verify_cf()
-            if result:
-                print(f"🖱️  verify_cf reportou clique em: {result}")
-        except Exception as e:
-            # Erro clássico "cannot unpack non-iterable NoneType" quando não há checkbox
-            print(f"⚠️  verify_cf: {e.__class__.__name__} (ignorado)")
-
-        await tab.sleep(2)
-
-    body, title = await get_page_state(tab)
-    if not is_cloudflare_challenge(body, title):
-        return True
-    print("❌ verify_cf nativo não resolveu dentro do tempo.")
-    return False
-
-
-# ============================================================
-# BYPASS CLOUDFLARE — ETAPA 2: CFVerify (fallback)
-# ============================================================
-async def try_cf_verify(tab, max_retries: int = 15) -> bool:
-    """Fallback usando a biblioteca nodriver-cf-verify (se instalada)."""
-    print("🛡️  [2/2] CFVerify (fallback)...")
-    try:
-        from nodriver_cf_verify import CFVerify
-    except ImportError:
-        print("⚠️  nodriver-cf-verify não instalado — pulando fallback.")
-        return False
-
-    try:
-        verifier = CFVerify(_browser_tab=tab, _debug=True)
-        success = await verifier.verify(
-            _max_retries=max_retries,
-            _interval_between_retries=1,
-            _reload_page_after_n_retries=5,
-        )
-        return bool(success)
-    except Exception as e:
-        print(f"⚠️  CFVerify lançou exceção: {e}")
-        return False
-
-
 # ============================================================
-# FLUXO PRINCIPAL
+# BYPASS CLOUDFLARE (simplificado)
 # ============================================================
 async def resolver_cloudflare(tab) -> bool:
-    """Tenta as duas estratégias em ordem até resolver."""
+    """Tenta resolver o desafio do Cloudflare com verify_cf nativo."""
+    print("🛡️  Tentando resolver Cloudflare (verify_cf nativo)...")
     body, title = await get_page_state(tab)
     if not is_cloudflare_challenge(body, title):
         print("🟢 Página já está limpa (sem Cloudflare).")
         return True
 
-    if await try_native_verify_cf(tab):
-        return True
-
-    # Recarrega antes de tentar CFVerify, para começar do zero
-    print("🔄 Recarregando antes do fallback...")
-    try:
-        await tab.reload()
-        await tab.sleep(2)
-    except Exception:
-        pass
-
-    if await try_cf_verify(tab):
-        return True
+    # Tenta o verify_cf nativo por algumas vezes
+    for i in range(10):
+        try:
+            # O erro NoneType é esperado quando não há checkbox; é ignorado.
+            await tab.verify_cf()
+        except Exception:
+            pass
+        await tab.sleep(3)
+        body, title = await get_page_state(tab)
+        if not is_cloudflare_challenge(body, title):
+            print("✅ Challenge do Cloudflare resolvido!")
+            return True
+        print(f"🔄 Tentativa {i+1}/10...")
 
+    print("❌ Não foi possível resolver o Cloudflare.")
     return False
 
-
+# ============================================================
+# FLUXO PRINCIPAL
+# ============================================================
 async def main() -> None:
-    print("🚀 Iniciando nodriver + anti-Cloudflare...")
-
-    # 1) Display virtual
-    start_xvfb()
-    os.environ["DISPLAY"] = ":99"
-
-    # 2) Limpeza de artefatos
+    print("🚀 Iniciando nodriver (headless, retry)...")
     safe_unlink(SCREENSHOT_FILE)
     safe_unlink(ERRO_FILE)
 
-    browser = None
+    # Localiza o Chrome antes de tentar iniciar
     try:
-        # 3) Chrome dinâmico
         chrome_path = find_playwright_chrome()
+    except FileNotFoundError as e:
+        print(f"💥 {e}")
+        return
+
+    browser = None
+    # Lógica de retry para contornar a falha de conexão inicial
+    for tentativa in range(1, 4):
+        print(f"🔄 Tentativa de inicialização {tentativa}/3...")
+        try:
+            browser = await uc.start(
+                headless=True,            # Modo headless é mais estável em containers
+                sandbox=False,            # Substitui no_sandbox=True
+                browser_executable_path=chrome_path,
+                browser_args=BROWSER_ARGS,
+            )
+            print("✅ Navegador iniciado com sucesso.")
+            break # Sai do loop se conectar
+        except Exception as e:
+            print(f"⚠️  Falha na tentativa {tentativa}: {e}")
+            if tentativa < 3:
+                print("⏳ Aguardando 3 segundos para tentar novamente...")
+                await asyncio.sleep(3)
+            else:
+                print("💥 Todas as tentativas de inicialização falharam.")
+                return
+
+    if not browser:
+        return
 
-        # 4) Abre navegador (headful via Xvfb)
-        browser = await uc.start(
-            headless=False,
-            no_sandbox=True,
-            browser_executable_path=chrome_path,
-            browser_args=BROWSER_ARGS,
-        )
+    try:
         tab = await browser.get(URL_TESAURO)
         await tab.sleep(3)
 
-        # 5) Anti-Cloudflare
-        ok = await resolver_cloudflare(tab)
-        if not ok:
-            print("❌ Não foi possível resolver o Cloudflare.")
+        # Tenta o bypass do Cloudflare
+        if not await resolver_cloudflare(tab):
             body, title = await get_page_state(tab)
             print(f"   Título atual: {title!r}")
             try:
@@ -252,13 +163,12 @@ async def main() -> None:
                 pass
             return
 
-        # 6) Validação da página real
+        # Valida se a página é a correta
         await tab.sleep(1)
         body_text, title = await get_page_state(tab)
 
         if is_page_not_found(body_text):
             print("❌ A página retornada é um 404 do STJ.")
-            print(f"   URL: {URL_TESAURO}")
             return
 
         if "tesauro" not in body_text.lower() and "vocabulário" not in body_text.lower():
@@ -266,7 +176,7 @@ async def main() -> None:
         else:
             print("✅ Página do Tesauro carregada com sucesso!")
 
-        # 7) Screenshot final
+        # Salva o screenshot final
         try:
             await tab.save_screenshot(SCREENSHOT_FILE)
             print(f"📸 Screenshot salvo em: {os.path.abspath(SCREENSHOT_FILE)}")
@@ -276,12 +186,11 @@ async def main() -> None:
         print("═" * 50)
 
     except Exception as e:
-        print(f"💥 Erro inesperado: {e}")
+        print(f"💥 Erro inesperado durante a navegação: {e}")
     finally:
         if browser:
             browser.stop()
             print("🛑 Navegador encerrado.")
 
-
 if __name__ == "__main__":
     uc.loop().run_until_complete(main())