v0.6.0: verificador NCM calibrado (sem oráculo, V-1..V-4) + treino conjunto Pensamento↔backbone (fase C, PCGrad, acoplador duplex AC) + MoEs redirecionáveis c/ atenção própria (M-R1..M-R5, JEPA+SOM) + autoajuste por telemetria (A-1..A-5, UCB1) — 46/46 gates, provas r-23..r-27
bb2363d verified | #!/usr/bin/env python3 | |
| """60_publicar_v060.py — Publicação da v0.6.0 no HF (UM ÚNICO upload_folder | |
| organizado — o HF bloqueia envios parciais em sequência e em curto espaço de | |
| tempo; uma única operação atômica evita o bloqueio). | |
| Fases: | |
| 1. inventário da conta + APAGAMENTO de estados de treino remanescentes | |
| (qualquer repo — nenhum deve existir); | |
| 2. varredura local do VALOR do token (nenhum arquivo pode contê-lo); | |
| 3. UM ÚNICO upload_folder (sem estados — checkpoints regeneráveis); | |
| 4. verificação pós-upload (0 estados, módulos-chave presentes); | |
| 5. varredura REMOTA do valor do token (baixa e inspeciona todos os arquivos). | |
| Token: EXCLUSIVAMENTE via variável de ambiente HF_TOKEN (nunca em arquivo). | |
| """ | |
| import os, sys, tempfile | |
| ARQUIVOS_EXCLUIR_DIRS = {"target", ".cargo", "__pycache__", ".git"} | |
| ARQUIVOS_EXCLUIR_NOME = {"shard_treino.jsonl", "shard_validacao.jsonl"} | |
| # checkpoints/estados NUNCA publicados (regeneráveis via scripts 56/40) | |
| SUFIXOS_ESTADO = (".pt", ".pth", ".ckpt", ".safetensors", ".bin", ".npz", ".msgpack") | |
| NOMES_ESTADO = {"gerador_conceitos.json", "tokenizador_conceitos.json"} | |
| def coletar(pasta): | |
| arquivos = {} | |
| for raiz, dirs, fs in os.walk(pasta): | |
| dirs[:] = [d for d in dirs if d not in ARQUIVOS_EXCLUIR_DIRS] | |
| for f in fs: | |
| if f in ARQUIVOS_EXCLUIR_NOME or f in NOMES_ESTADO: | |
| continue | |
| if f.endswith(SUFIXOS_ESTADO): | |
| continue | |
| if f.endswith(".so") or f == ".gitignore": | |
| continue | |
| caminho = os.path.join(raiz, f) | |
| rel = os.path.relpath(caminho, pasta) | |
| arquivos[rel] = caminho | |
| return arquivos | |
| def varre_token_em_arquivos(token, pares): | |
| """Varre o VALOR do token em arquivos locais (menções TEXTUAIS ao | |
| CONCEITO 'HF_TOKEN' são legítimas e não contêm o valor).""" | |
| tb = token.encode() | |
| achados = [] | |
| for rel, p in pares.items(): | |
| try: | |
| with open(p, "rb") as f: | |
| if tb in f.read(): | |
| achados.append(rel) | |
| except OSError: | |
| pass | |
| return achados | |
| def main(): | |
| from huggingface_hub import HfApi | |
| token = os.environ.get("HF_TOKEN") | |
| if not token: | |
| print("ERRO: HF_TOKEN ausente"); sys.exit(1) | |
| api = HfApi(token=token) | |
| repo = "PowerMachine/khtst-rust" | |
| # ---------------- 1) inventário da conta + apaga estados ---------------- | |
| print("=== 1) inventário da conta HF (procura estados de treino) ===") | |
| repos = list(api.list_models(author="PowerMachine")) | |
| print(f"repos: {len(repos)}") | |
| total_removidos = 0 | |
| for r in repos: | |
| try: | |
| files = api.list_repo_files(repo_id=r.id, repo_type="model") | |
| except Exception as e: | |
| print(f" {r.id}: erro ao listar ({e})"); continue | |
| estados = [f for f in files | |
| if f.endswith(SUFIXOS_ESTADO) | |
| or f.split("/")[-1] in NOMES_ESTADO | |
| or (".meta.json" in f and "checkpoint" in f)] | |
| if estados: | |
| print(f" {r.id}: APAGANDO {len(estados)} estados: {estados[:5]}{'...' if len(estados) > 5 else ''}") | |
| for f in estados: | |
| api.delete_file(path_in_repo=f, repo_id=r.id, repo_type="model") | |
| total_removidos += len(estados) | |
| else: | |
| print(f" {r.id}: {len(files)} arquivos, 0 estados") | |
| print(f"estados removidos no total: {total_removidos}") | |
| # ---------------- 2) varredura local do token ---------------- | |
| pasta = os.path.dirname(os.path.dirname(os.path.abspath(__file__))) | |
| arquivos = coletar(pasta) | |
| print(f"\n=== 2) varredura local: {len(arquivos)} arquivos ===") | |
| achados = varre_token_em_arquivos(token, arquivos) | |
| if achados: | |
| print(f"ERRO: valor do token encontrado em: {achados}"); sys.exit(1) | |
| print("varredura de token local: limpa") | |
| # também varre o home (configs/caches) | |
| import subprocess | |
| home = os.path.expanduser("~") | |
| out = subprocess.run(["grep", "-rl", token, home, "--include=*", | |
| "--exclude-dir=.venv", "--exclude-dir=skills", | |
| "--exclude-dir=my-project"], | |
| capture_output=True, text=True) | |
| if out.stdout.strip(): | |
| print(f"ERRO: token em arquivos do home: {out.stdout.strip()}"); sys.exit(1) | |
| print("varredura do home: limpa") | |
| # ---------------- 3) UM ÚNICO upload_folder ---------------- | |
| print(f"\n=== 3) publicando {len(arquivos)} arquivos em {repo} (upload ÚNICO) ===") | |
| total_mb = sum(os.path.getsize(p) for p in arquivos.values()) / 1e6 | |
| print(f"tamanho total: {total_mb:.1f} MB") | |
| api.upload_folder( | |
| repo_id=repo, | |
| repo_type="model", | |
| folder_path=pasta, | |
| ignore_patterns=[ | |
| "target/*", ".cargo/*", "__pycache__/*", "*.so", ".gitignore", | |
| "dados/shard_*.jsonl", | |
| "resultados/gerador_conceitos.json", "resultados/tokenizador_conceitos.json", | |
| "*.pt", "*.ckpt", "*.safetensors", "*.bin", "*.npz", | |
| ], | |
| commit_message=("v0.6.0: verificador NCM calibrado (sem oráculo, V-1..V-4) + " | |
| "treino conjunto Pensamento↔backbone (fase C, PCGrad, acoplador duplex AC) + " | |
| "MoEs redirecionáveis c/ atenção própria (M-R1..M-R5, JEPA+SOM) + " | |
| "autoajuste por telemetria (A-1..A-5, UCB1) — 46/46 gates, provas r-23..r-27"), | |
| ) | |
| print("upload concluído") | |
| # ---------------- 4) verificação pós-upload ---------------- | |
| print("\n=== 4) verificação pós-upload ===") | |
| files = api.list_repo_files(repo_id=repo, repo_type="model") | |
| print(f"repo agora tem {len(files)} arquivos") | |
| estados = [f for f in files if f.endswith(SUFIXOS_ESTADO) or | |
| f.split("/")[-1] in NOMES_ESTADO] | |
| print(f"estados de treino no repo: {len(estados)} {estados if estados else '(limpo)'}") | |
| for chave in ("src/verificador.rs", "src/moe_redirecionavel.rs", "src/acoplador.rs", | |
| "docs/memorias/r-27-resultados-v060.md", | |
| "scripts/59_suite_v060.py", "scripts/60_publicar_v060.py", | |
| "resultados/suite_v060_final.json"): | |
| print(f" {'OK ' if chave in files else 'FALTA'} {chave}") | |
| # ---------------- 5) varredura REMOTA do token ---------------- | |
| print("\n=== 5) varredura remota do valor do token ===") | |
| tb = token.encode() | |
| suspeitos = [] | |
| with tempfile.TemporaryDirectory() as tmp: | |
| for f in files: | |
| try: | |
| destino = os.path.join(tmp, f.replace("/", "_")) | |
| api.hf_hub_download(repo_id=repo, filename=f, repo_type="model", | |
| local_dir=tmp) | |
| # hf_hub_download preserva o nome relativo | |
| cand = os.path.join(tmp, f) | |
| alvo = cand if os.path.exists(cand) else destino | |
| if os.path.exists(alvo): | |
| with open(alvo, "rb") as fh: | |
| if tb in fh.read(): | |
| suspeitos.append(f) | |
| except Exception: | |
| pass | |
| if suspeitos: | |
| print(f"ERRO: valor do token em arquivos REMOTOS: {suspeitos}"); sys.exit(1) | |
| print(f"varridos {len(files)} arquivos remotos: limpos") | |
| print("PUBLICACAO_OK") | |
| if __name__ == "__main__": | |
| main() | |