enzoferracini's picture
feat: publish software v0.2.0 evaluation and documentation
76c0aec verified
|
Raw History Blame Contribute Delete
4.35 kB

Estado da v0.2 — 07/11/2026

Implementada e verificada localmente, sem retreino ou republicação de checkpoint. Detalhes, resultados e comandos: v02.md. Revisão dos novos dados feita pelo próprio assistente IA, conforme solicitado, sem revisão humana independente.

  • 72 textos novos congelados: 36 desenvolvimento e 36 teste, 34 origens por split.
  • Macro-F1 no novo teste: heurística 0,6910; regressão 0,6196; BERT 0,5584.
  • Avaliação por F1, AP, ROC-AUC, MCC, Hamming, exact match, Brier e log loss; confiabilidade, recortes, risco/cobertura e bootstrap por origem.
  • Temperatura ajustada só em desenvolvimento; melhora probabilística da regressão. Nenhum cutoff atingiu o critério de abstenção; confiança não vira promessa de risco.
  • Inferência JSONL em lote, Action–Method e demo local com checkpoint real; comparação interativa por métrica e acesso ao JSON versionado.
  • Pesos e dados/relatórios finais da v0.1 preservados; software/schema/regras 0.2.0.
  • Sem publicação externa da v0.2, integração ao Patch Careers ou computação paga.

A evidência de verificação desta rodada está em reports/v02/verification.json. O registro histórico abaixo se refere exclusivamente à v0.1.


Estado da v0.1 — 07/11/2026

Implementação, treino, avaliação, publicação dos artefatos e verificações locais concluídos. O experimento usa referências sintéticas revisadas pela mesma IA; não há validação humana ou evidência de generalização para currículos reais.

Entregável Evidência
Código e histórico GitHub octopus-synapse/patch-insight; Conventional Commits em inglês, sem Co-authored-by
Dataset 400 variantes de 100 origens, quatro lotes; 280/60/60; hashes em data/freeze.json
Guia e auditoria annotation-guide.md, data-review.md, reports/data-audit.json
Heurísticas Validação e teste final registrados
Encoder congelado + regressão Executado, macro-F1 de teste 0,988825
Fine-tuning completo Cinco épocas, seleção da época 5 por validação; macro-F1 de teste 0,991101
Checkpoint real Hugging Face enzoferracini/patchinsight-bertimbau-ptbr
Dataset publicado Hugging Face enzoferracini/patchinsight-synthetic-ptbr
Benchmark reports/final: três métodos, suportes, contagens, previsões, erros e incerteza
CLI JSON Pydantic, schema em configs/output.schema.json, componentes e estruturas versionados
Testes 15 passaram em Python 3.11.14, incluindo modelo real; reports/verification.json
Lock uv.lock resolvido; instalação com uv sync --frozen
Docker Build e inferência sem rede passaram; reports/docker.json
Reprodução limpa Clone SSH novo e nova virtualenv; treino, avaliação e carga real repetidos; reports/clean-room.json
Artigo e cards article.pt-BR.md, Dataset Card e Model Card publicada com resultados reais

Desvios e limites

O ambiente inicialmente restringia rede, GPU, Docker e escrita em .git. Depois da liberação, os impedimentos foram resolvidos. A execução ocorreu na GPU local NVIDIA RTX A1000 6 GB, sem contratação de computação. O notebook de reprodução para Kaggle/Colab foi preparado, mas não se alega execução nessas plataformas. Os checkpoints estão também no Hub, fora da sessão de treino.

O teste tem apenas 15 origens e variantes dependentes. O ganho de macro-F1 do fine-tuning frente à regressão foi 0,002275; intervalo bootstrap por origem de 95%: [−0,010818; 0,014463]. A baseline congelada permanece competitiva. Prefixos e moldes artificiais podem facilitar atalhos. Não há benchmark humano das estruturas nem revisão humana dos dados.

O PyTorch emitiu aviso de atenção backward não determinística. Nesta máquina, o retreino com a mesma configuração reproduziu inclusive o hash dos pesos; isso não garante identidade em outro hardware. A reprodução reutilizou caches de pacotes e downloads, mas criou clone e ambiente Python separados.

O Docker foi validado localmente; não foi enviado a um registry. O código permite reconstruir a imagem com a revisão publicada. A documentação local MODEL_CARD.md é um template para novos runs; a card efetiva está no Hub. Demo visual, API REST e integração com Patch Careers permanecem fora do escopo.