# Erros e interpretação da avaliação 0.2

Análise posterior ao teste; não orientou correções, regras, limiares ou retreino nesta versão.

| Método | Componente | FP | FN | Suporte positivo |
|---|---|---:|---:|---:|
| heuristic | action | 0 | 16 | 20 |
| heuristic | context | 1 | 3 | 14 |
| heuristic | method | 0 | 4 | 14 |
| heuristic | result | 0 | 7 | 11 |
| heuristic | measurement | 0 | 2 | 12 |
| frozen_logistic | action | 1 | 0 | 20 |
| frozen_logistic | context | 2 | 3 | 14 |
| frozen_logistic | method | 2 | 11 | 14 |
| frozen_logistic | result | 0 | 5 | 11 |
| frozen_logistic | measurement | 0 | 10 | 12 |
| bert_finetuned | action | 1 | 2 | 20 |
| bert_finetuned | context | 3 | 5 | 14 |
| bert_finetuned | method | 0 | 11 | 14 |
| bert_finetuned | result | 2 | 7 | 11 |
| bert_finetuned | measurement | 2 | 9 | 12 |

## Exemplos de erros do BERT

Amostra determinística: primeiros 12 textos com erro na ordem dos IDs. Referência revisada pela mesma IA, sem revisão humana.

- `v02-test-002` — method: FN. Auditei as permissões por meio de uma lista de verificação.
  Interpretação de referência registrada antes dos scores: Procedimento explícito; auditoria não afirma correção.
- `v02-test-004` — context: FN; method: FN. Durante a mudança de sede, examinei a conectividade usando captura de tráfego.
  Interpretação de referência registrada antes dos scores: Circunstância e meio, sem efeito declarado.
- `v02-test-005` — result: FN. Entreguei o roteiro de recuperação.
  Interpretação de referência registrada antes dos scores: Entrega concreta sem números.
- `v02-test-006` — method: FN; result: FN. Disponibilizei a biblioteca usando Docker; o pacote ficou acessível.
  Interpretação de referência registrada antes dos scores: Ação, método e disponibilidade explícitos.
- `v02-test-007` — context: FN; method: FN; result: FN; measurement: FN. No processo de conciliação, ajustei as consultas com PostgreSQL e o tempo caiu 22%.
  Interpretação de referência registrada antes dos scores: Cenário, atividade, ferramenta, efeito e medida.
- `v02-test-008` — measurement: FN. Na equipe de entregas, reorganizei os turnos. O atraso caiu de 30 para 10 minutos.
  Interpretação de referência registrada antes dos scores: Mudança e medida explícitas, sem procedimento separado.
- `v02-test-010` — measurement: FP. Em 2024. Ocorrência OPS-719.
  Interpretação de referência registrada antes dos scores: Data e identificador não medem realização.
- `v02-test-012` — context: FN; measurement: FN. Tenho seis anos de experiência no setor de pagamentos.
  Interpretação de referência registrada antes dos scores: Duração e setor; experiência genérica não é contribuição concreta.
- `v02-test-013` — context: FP; measurement: FP. Perfil colaborativo com foco em excelência e alta performance.
  Interpretação de referência registrada antes dos scores: Qualidades alegadas não são componentes de uma realização.
- `v02-test-015` — method: FN; measurement: FN. Planejo reduzir os custos em 17% por meio de compressão.
  Interpretação de referência registrada antes dos scores: Futuro preserva método e medida, sem efeito realizado.
- `v02-test-016` — action: FN; result: FN. Não migrei os arquivos; entreguei o plano de contingência.
  Interpretação de referência registrada antes dos scores: Negação restrita à primeira oração; segunda afirma entrega.
- `v02-test-017` — method: FN. Comparação de checksums como procedimento.
  Interpretação de referência registrada antes dos scores: Abordagem nominal explícita, sem contribuição afirmada.

## Sensibilidade a marcadores

Dois pares de origens, cada um com versão marcada e livre, preservam os rótulos. Isso é uma sondagem pequena, não uma estimativa populacional.

| Método | Origem | Componentes que mudaram de decisão | Mudança absoluta média do score |
|---|---|---:|---:|
| heuristic | v02-test-probe-1 | 1 | 0.2000 |
| heuristic | v02-test-probe-2 | 1 | 0.2000 |
| frozen_logistic | v02-test-probe-1 | 2 | 0.3921 |
| frozen_logistic | v02-test-probe-2 | 2 | 0.4020 |
| bert_finetuned | v02-test-probe-1 | 3 | 0.3497 |
| bert_finetuned | v02-test-probe-2 | 3 | 0.3063 |

## Leitura dos resultados

O BERT e a regressão acertam action com frequência maior que a heurística, mas perdem cobertura em method e measurement. A vantagem global das heurísticas nesta amostra não significa que elas sejam superiores em qualquer domínio.

Os pares sem marcadores mudam duas decisões por origem na regressão e três no BERT, embora os rótulos de referência permaneçam iguais. O comportamento é compatível com dependência de sinais de superfície; dois pares não isolam uma explicação causal.

A temperatura da regressão reduziu Brier/log loss, mantendo F1. A temperatura do BERT alterou pouco os scores. Nenhum cutoff de confiança cumpriu a meta de desenvolvimento; as políticas salvam abstenção desativada. Não selecionar um cutoff pelos erros deste teste.

Recortes podem não ter positivos em todos os rótulos: macro-F1 com zero_division=0 pode ser zero apesar de todas as decisões negativas estarem corretas. Usar suportes, Hamming e FP/FN na leitura desses recortes.

As fontes de desenvolvimento e teste têm categorias e algumas construções paralelas; a autoria/revisão única e a pequena amostra limitam independência. Não são textos reais, validação humana, avaliação de spans ou benchmark de estruturas. O teste original continua preservado.