Upload cnn_bigru/scripts/push_to_hf.py with huggingface_hub

cnn_bigru/scripts/push_to_hf.py

@@ -0,0 +1,105 @@
+"""push_to_hf.py — Envia scripts em lote ao HF novo repositório 'CNN-BiGRU'.
+
+Executa:
+    1. Cria repositório 'PowerMachine/CNN-BiGRU' (se não existir)
+    2. Envia todos os scripts .py, README.md, requirements.txt
+    3. Remove HF_TOKEN do ambiente após o uso
+
+Usage:
+    HF_TOKEN=hf_xxx python push_to_hf.py
+"""
+from __future__ import annotations
+
+import os
+import sys
+import logging
+from pathlib import Path
+
+logging.basicConfig(level=logging.INFO, format="%(asctime)s | %(levelname)s | %(message)s")
+logger = logging.getLogger("push_hf")
+
+REPO_ID = "PowerMachine/CNN-BiGRU"
+# Path: scripts/push_to_hf.py -> parent=scripts -> parent=cnn_bigru
+PROJECT_DIR = Path(__file__).resolve().parent.parent
+# PROJECT_DIR.parent = /home/z/my-project (raiz do projeto)
+REPO_ROOT = PROJECT_DIR.parent
+
+
+def main():
+    # Pega HF_TOKEN da variável de ambiente
+    hf_token = os.environ.get("HF_TOKEN") or os.environ.get("HUGGING_FACE_HUB_TOKEN")
+    if not hf_token:
+        logger.error("HF_TOKEN não definido no ambiente. Abortando.")
+        return 1
+
+    try:
+        from huggingface_hub import HfApi, create_repo
+    except ImportError:
+        logger.error("huggingface_hub não instalado. Execute: pip install huggingface_hub")
+        return 1
+
+    api = HfApi(token=hf_token)
+
+    # 1. Cria repositório (se não existir)
+    try:
+        repo_url = create_repo(
+            repo_id=REPO_ID,
+            token=hf_token,
+            repo_type="model",
+            exist_ok=True,
+            private=False,
+        )
+        logger.info("Repositório criado/acessado: %s", repo_url)
+    except Exception as e:
+        logger.error("Falha ao criar repositório: %s", e)
+        return 1
+
+    # 2. Coleta todos os arquivos para upload
+    files_to_upload = []
+    for path in PROJECT_DIR.rglob("*"):
+        if path.is_file():
+            # Pula arquivos de cache
+            if "__pycache__" in path.parts or ".pyc" in path.name:
+                continue
+            files_to_upload.append(path)
+
+    logger.info("Total de arquivos para upload: %d (de %s)", len(files_to_upload), PROJECT_DIR)
+
+    # 3. Upload em lote
+    n_ok = 0
+    n_fail = 0
+    for filepath in files_to_upload:
+        # Caminho relativo dentro do repo (preserva cnn_bigru/ prefix)
+        rel_path = filepath.relative_to(REPO_ROOT)
+        try:
+            api.upload_file(
+                path_or_fileobj=str(filepath),
+                path_in_repo=str(rel_path),
+                repo_id=REPO_ID,
+                repo_type="model",
+                token=hf_token,
+            )
+            logger.info("  OK  %s", rel_path)
+            n_ok += 1
+        except Exception as e:
+            logger.error("  FAIL %s: %s", rel_path, e)
+            n_fail += 1
+
+    logger.info("=" * 60)
+    logger.info("Upload concluído: %d OK, %d falhas", n_ok, n_fail)
+    logger.info("Repo: https://huggingface.co/%s", REPO_ID)
+    logger.info("=" * 60)
+
+    # 4. Remove HF_TOKEN do ambiente (requisito do usuário)
+    if "HF_TOKEN" in os.environ:
+        del os.environ["HF_TOKEN"]
+        logger.info("HF_TOKEN removido do ambiente")
+    if "HUGGING_FACE_HUB_TOKEN" in os.environ:
+        del os.environ["HUGGING_FACE_HUB_TOKEN"]
+        logger.info("HUGGING_FACE_HUB_TOKEN removido do ambiente")
+
+    return 0 if n_fail == 0 else 1
+
+
+if __name__ == "__main__":
+    sys.exit(main())