Isaac Quarenta
fix(hf): snapshot_download autenticado via rotacao de tokens + hf-transfer (fim do 429) + fix Gradio JSON tuple
ce42495 Download modules/hf_auth.py from akra35567/Akiragpu: direct link, hf CLI and curl.
- Browser
- Download file 3.33 kB
-
https://huggingface.co/spaces/akra35567/Akiragpu/resolve/main/modules/hf_auth.py
- Command line
-
hf download hf://spaces/akra35567/Akiragpu/modules/hf_auth.py
-
curl -L -o hf_auth.py https://huggingface.co/spaces/akra35567/Akiragpu/resolve/main/modules/hf_auth.py
3.33 kB
| # type: ignore | |
| """ | |
| modules/hf_auth.py | |
| Auth centralizada no Hugging Face Hub — Akiragpu | |
| - Resolve token por rotação (mesmo padrão do projeto `akira`): | |
| HF_TOKEN > ANN_HF_TOKEN > ISAAC_HF_TOKEN > GITAKIRA_HF_TOKEN > | |
| NETFLIX_HF_TOKEN > FUGAKUSAYKU_HF_TOKEN | |
| - snapshot_download AUTENTICADO (sem isto dá rate limit mesmo com token nos Secrets, | |
| porque o download anónimo tem quota mínima — era o nosso bug). | |
| - FLUX.1-schnell é GATED: exige aceitar a licença em | |
| https://huggingface.co/black-forest-labs/FLUX.1-schnell — sem isso dá 403 | |
| mesmo autenticado; nesse caso faz skip gracioso (visão/LLM continuam). | |
| - Ativa hf_transfer (download paralelo rápido) quando instalado. | |
| """ | |
| import os | |
| from typing import Optional | |
| try: | |
| from loguru import logger # type: ignore | |
| except Exception: | |
| class _Dummy: | |
| def info(self, *a, **k): pass | |
| def success(self, *a, **k): pass | |
| def warning(self, *a, **k): pass | |
| def error(self, *a, **k): pass | |
| logger = _Dummy() # type: ignore | |
| TOKEN_VARS = ( | |
| "HF_TOKEN", | |
| "ANN_HF_TOKEN", | |
| "ISAAC_HF_TOKEN", | |
| "GITAKIRA_HF_TOKEN", | |
| "NETFLIX_HF_TOKEN", | |
| "FUGAKUSAYKU_HF_TOKEN", | |
| ) | |
| _logged_in: bool = False | |
| def get_hf_token() -> Optional[str]: | |
| """Primeiro token não-vazio da rotação (ou None).""" | |
| for var in TOKEN_VARS: | |
| val = (os.getenv(var) or "").strip().strip('"').strip("'") | |
| if val: | |
| return val | |
| try: | |
| import modules.config as _cfg # lazy p/ evitar ciclo | |
| for var in TOKEN_VARS: | |
| val = str(getattr(_cfg, var, "") or "").strip() | |
| if val: | |
| return val | |
| except Exception: | |
| pass | |
| return None | |
| def hf_login() -> bool: | |
| """Autentica no Hub (1x por processo). Sem isto tudo é anónimo → 429.""" | |
| global _logged_in | |
| if _logged_in: | |
| return True | |
| token = get_hf_token() | |
| if not token: | |
| return False | |
| try: | |
| os.environ["HF_TOKEN"] = token | |
| os.environ["HUGGING_FACE_HUB_TOKEN"] = token | |
| from huggingface_hub import login # type: ignore | |
| login(token=token, add_to_git_credential=False) | |
| _logged_in = True | |
| logger.success("[HF-AUTH] Autenticado no Hub (downloads com quota de token)") | |
| return True | |
| except Exception as e: | |
| logger.warning(f"[HF-AUTH] login falhou: {e}") | |
| return False | |
| def snapshot_cached(repo_id: str, cache_dir: Optional[str] = None) -> bool: | |
| """snapshot_download com token + hf_transfer. True se OK ou já em cache.""" | |
| hf_login() | |
| token = get_hf_token() | |
| if os.path.isdir("/data") and os.access("/data", os.W_OK): | |
| os.environ.setdefault("HF_HUB_ENABLE_HF_TRANSFER", "1") | |
| try: | |
| from huggingface_hub import snapshot_download # type: ignore | |
| snapshot_download(repo_id, cache_dir=cache_dir, token=token) | |
| return True | |
| except Exception as e: | |
| msg = str(e) | |
| if "403" in msg or "gated" in msg.lower() or "access" in msg.lower(): | |
| logger.warning( | |
| f"[HF-AUTH] {repo_id} é GATED (403) — aceita a licença em " | |
| f"https://huggingface.co/{repo_id} com a conta do token. Skip gracioso." | |
| ) | |
| else: | |
| logger.warning(f"[HF-AUTH] Pré-download falhou ({repo_id}): {str(e)[:200]}") | |
| return False | |