Download project-docs/status.md from enzoferracini/patchinsight-bertimbau-ptbr: direct link, hf CLI and curl.
- Browser
- Download file 4.35 kB
-
https://huggingface.co/enzoferracini/patchinsight-bertimbau-ptbr/resolve/main/project-docs/status.md
- Command line
-
hf download hf://enzoferracini/patchinsight-bertimbau-ptbr/project-docs/status.md
-
curl -L -o status.md https://huggingface.co/enzoferracini/patchinsight-bertimbau-ptbr/resolve/main/project-docs/status.md
Estado da v0.2 — 07/11/2026
Implementada e verificada localmente, sem retreino ou republicação de checkpoint. Detalhes, resultados e comandos: v02.md. Revisão dos novos dados feita pelo próprio assistente IA, conforme solicitado, sem revisão humana independente.
- 72 textos novos congelados: 36 desenvolvimento e 36 teste, 34 origens por split.
- Macro-F1 no novo teste: heurística 0,6910; regressão 0,6196; BERT 0,5584.
- Avaliação por F1, AP, ROC-AUC, MCC, Hamming, exact match, Brier e log loss; confiabilidade, recortes, risco/cobertura e bootstrap por origem.
- Temperatura ajustada só em desenvolvimento; melhora probabilística da regressão. Nenhum cutoff atingiu o critério de abstenção; confiança não vira promessa de risco.
- Inferência JSONL em lote, Action–Method e demo local com checkpoint real; comparação interativa por métrica e acesso ao JSON versionado.
- Pesos e dados/relatórios finais da v0.1 preservados; software/schema/regras 0.2.0.
- Sem publicação externa da v0.2, integração ao Patch Careers ou computação paga.
A evidência de verificação desta rodada está em reports/v02/verification.json.
O registro histórico abaixo se refere exclusivamente à v0.1.
Estado da v0.1 — 07/11/2026
Implementação, treino, avaliação, publicação dos artefatos e verificações locais concluídos. O experimento usa referências sintéticas revisadas pela mesma IA; não há validação humana ou evidência de generalização para currículos reais.
| Entregável | Evidência |
|---|---|
| Código e histórico | GitHub octopus-synapse/patch-insight; Conventional Commits em inglês, sem Co-authored-by |
| Dataset | 400 variantes de 100 origens, quatro lotes; 280/60/60; hashes em data/freeze.json |
| Guia e auditoria | annotation-guide.md, data-review.md, reports/data-audit.json |
| Heurísticas | Validação e teste final registrados |
| Encoder congelado + regressão | Executado, macro-F1 de teste 0,988825 |
| Fine-tuning completo | Cinco épocas, seleção da época 5 por validação; macro-F1 de teste 0,991101 |
| Checkpoint real | Hugging Face enzoferracini/patchinsight-bertimbau-ptbr |
| Dataset publicado | Hugging Face enzoferracini/patchinsight-synthetic-ptbr |
| Benchmark | reports/final: três métodos, suportes, contagens, previsões, erros e incerteza |
| CLI JSON | Pydantic, schema em configs/output.schema.json, componentes e estruturas versionados |
| Testes | 15 passaram em Python 3.11.14, incluindo modelo real; reports/verification.json |
| Lock | uv.lock resolvido; instalação com uv sync --frozen |
| Docker | Build e inferência sem rede passaram; reports/docker.json |
| Reprodução limpa | Clone SSH novo e nova virtualenv; treino, avaliação e carga real repetidos; reports/clean-room.json |
| Artigo e cards | article.pt-BR.md, Dataset Card e Model Card publicada com resultados reais |
Desvios e limites
O ambiente inicialmente restringia rede, GPU, Docker e escrita em .git.
Depois da liberação, os impedimentos foram resolvidos. A execução ocorreu
na GPU local NVIDIA RTX A1000 6 GB, sem contratação de computação. O notebook
de reprodução para Kaggle/Colab foi preparado, mas não se alega execução nessas
plataformas. Os checkpoints estão também no Hub, fora da sessão de treino.
O teste tem apenas 15 origens e variantes dependentes. O ganho de macro-F1 do fine-tuning frente à regressão foi 0,002275; intervalo bootstrap por origem de 95%: [−0,010818; 0,014463]. A baseline congelada permanece competitiva. Prefixos e moldes artificiais podem facilitar atalhos. Não há benchmark humano das estruturas nem revisão humana dos dados.
O PyTorch emitiu aviso de atenção backward não determinística. Nesta máquina, o retreino com a mesma configuração reproduziu inclusive o hash dos pesos; isso não garante identidade em outro hardware. A reprodução reutilizou caches de pacotes e downloads, mas criou clone e ambiente Python separados.
O Docker foi validado localmente; não foi enviado a um registry. O código
permite reconstruir a imagem com a revisão publicada. A documentação local
MODEL_CARD.md é um template para novos runs; a card efetiva está no Hub.
Demo visual, API REST e integração com Patch Careers permanecem fora do escopo.