Akiragpu / modules /hf_auth.py
Isaac Quarenta
fix(hf): snapshot_download autenticado via rotacao de tokens + hf-transfer (fim do 429) + fix Gradio JSON tuple
ce42495
Raw History Blame Contribute Delete
3.33 kB
# type: ignore
"""
modules/hf_auth.py
Auth centralizada no Hugging Face Hub — Akiragpu
- Resolve token por rotação (mesmo padrão do projeto `akira`):
HF_TOKEN > ANN_HF_TOKEN > ISAAC_HF_TOKEN > GITAKIRA_HF_TOKEN >
NETFLIX_HF_TOKEN > FUGAKUSAYKU_HF_TOKEN
- snapshot_download AUTENTICADO (sem isto dá rate limit mesmo com token nos Secrets,
porque o download anónimo tem quota mínima — era o nosso bug).
- FLUX.1-schnell é GATED: exige aceitar a licença em
https://huggingface.co/black-forest-labs/FLUX.1-schnell — sem isso dá 403
mesmo autenticado; nesse caso faz skip gracioso (visão/LLM continuam).
- Ativa hf_transfer (download paralelo rápido) quando instalado.
"""
import os
from typing import Optional
try:
from loguru import logger # type: ignore
except Exception:
class _Dummy:
def info(self, *a, **k): pass
def success(self, *a, **k): pass
def warning(self, *a, **k): pass
def error(self, *a, **k): pass
logger = _Dummy() # type: ignore
TOKEN_VARS = (
"HF_TOKEN",
"ANN_HF_TOKEN",
"ISAAC_HF_TOKEN",
"GITAKIRA_HF_TOKEN",
"NETFLIX_HF_TOKEN",
"FUGAKUSAYKU_HF_TOKEN",
)
_logged_in: bool = False
def get_hf_token() -> Optional[str]:
"""Primeiro token não-vazio da rotação (ou None)."""
for var in TOKEN_VARS:
val = (os.getenv(var) or "").strip().strip('"').strip("'")
if val:
return val
try:
import modules.config as _cfg # lazy p/ evitar ciclo
for var in TOKEN_VARS:
val = str(getattr(_cfg, var, "") or "").strip()
if val:
return val
except Exception:
pass
return None
def hf_login() -> bool:
"""Autentica no Hub (1x por processo). Sem isto tudo é anónimo → 429."""
global _logged_in
if _logged_in:
return True
token = get_hf_token()
if not token:
return False
try:
os.environ["HF_TOKEN"] = token
os.environ["HUGGING_FACE_HUB_TOKEN"] = token
from huggingface_hub import login # type: ignore
login(token=token, add_to_git_credential=False)
_logged_in = True
logger.success("[HF-AUTH] Autenticado no Hub (downloads com quota de token)")
return True
except Exception as e:
logger.warning(f"[HF-AUTH] login falhou: {e}")
return False
def snapshot_cached(repo_id: str, cache_dir: Optional[str] = None) -> bool:
"""snapshot_download com token + hf_transfer. True se OK ou já em cache."""
hf_login()
token = get_hf_token()
if os.path.isdir("/data") and os.access("/data", os.W_OK):
os.environ.setdefault("HF_HUB_ENABLE_HF_TRANSFER", "1")
try:
from huggingface_hub import snapshot_download # type: ignore
snapshot_download(repo_id, cache_dir=cache_dir, token=token)
return True
except Exception as e:
msg = str(e)
if "403" in msg or "gated" in msg.lower() or "access" in msg.lower():
logger.warning(
f"[HF-AUTH] {repo_id} é GATED (403) — aceita a licença em "
f"https://huggingface.co/{repo_id} com a conta do token. Skip gracioso."
)
else:
logger.warning(f"[HF-AUTH] Pré-download falhou ({repo_id}): {str(e)[:200]}")
return False