| # Erros e interpretação da avaliação 0.2 |
|
|
| Análise posterior ao teste; não orientou correções, regras, limiares ou retreino nesta versão. |
|
|
| | Método | Componente | FP | FN | Suporte positivo | |
| |---|---|---:|---:|---:| |
| | heuristic | action | 0 | 16 | 20 | |
| | heuristic | context | 1 | 3 | 14 | |
| | heuristic | method | 0 | 4 | 14 | |
| | heuristic | result | 0 | 7 | 11 | |
| | heuristic | measurement | 0 | 2 | 12 | |
| | frozen_logistic | action | 1 | 0 | 20 | |
| | frozen_logistic | context | 2 | 3 | 14 | |
| | frozen_logistic | method | 2 | 11 | 14 | |
| | frozen_logistic | result | 0 | 5 | 11 | |
| | frozen_logistic | measurement | 0 | 10 | 12 | |
| | bert_finetuned | action | 1 | 2 | 20 | |
| | bert_finetuned | context | 3 | 5 | 14 | |
| | bert_finetuned | method | 0 | 11 | 14 | |
| | bert_finetuned | result | 2 | 7 | 11 | |
| | bert_finetuned | measurement | 2 | 9 | 12 | |
|
|
| ## Exemplos de erros do BERT |
|
|
| Amostra determinística: primeiros 12 textos com erro na ordem dos IDs. Referência revisada pela mesma IA, sem revisão humana. |
|
|
| - `v02-test-002` — method: FN. Auditei as permissões por meio de uma lista de verificação. |
| Interpretação de referência registrada antes dos scores: Procedimento explícito; auditoria não afirma correção. |
| - `v02-test-004` — context: FN; method: FN. Durante a mudança de sede, examinei a conectividade usando captura de tráfego. |
| Interpretação de referência registrada antes dos scores: Circunstância e meio, sem efeito declarado. |
| - `v02-test-005` — result: FN. Entreguei o roteiro de recuperação. |
| Interpretação de referência registrada antes dos scores: Entrega concreta sem números. |
| - `v02-test-006` — method: FN; result: FN. Disponibilizei a biblioteca usando Docker; o pacote ficou acessível. |
| Interpretação de referência registrada antes dos scores: Ação, método e disponibilidade explícitos. |
| - `v02-test-007` — context: FN; method: FN; result: FN; measurement: FN. No processo de conciliação, ajustei as consultas com PostgreSQL e o tempo caiu 22%. |
| Interpretação de referência registrada antes dos scores: Cenário, atividade, ferramenta, efeito e medida. |
| - `v02-test-008` — measurement: FN. Na equipe de entregas, reorganizei os turnos. O atraso caiu de 30 para 10 minutos. |
| Interpretação de referência registrada antes dos scores: Mudança e medida explícitas, sem procedimento separado. |
| - `v02-test-010` — measurement: FP. Em 2024. Ocorrência OPS-719. |
| Interpretação de referência registrada antes dos scores: Data e identificador não medem realização. |
| - `v02-test-012` — context: FN; measurement: FN. Tenho seis anos de experiência no setor de pagamentos. |
| Interpretação de referência registrada antes dos scores: Duração e setor; experiência genérica não é contribuição concreta. |
| - `v02-test-013` — context: FP; measurement: FP. Perfil colaborativo com foco em excelência e alta performance. |
| Interpretação de referência registrada antes dos scores: Qualidades alegadas não são componentes de uma realização. |
| - `v02-test-015` — method: FN; measurement: FN. Planejo reduzir os custos em 17% por meio de compressão. |
| Interpretação de referência registrada antes dos scores: Futuro preserva método e medida, sem efeito realizado. |
| - `v02-test-016` — action: FN; result: FN. Não migrei os arquivos; entreguei o plano de contingência. |
| Interpretação de referência registrada antes dos scores: Negação restrita à primeira oração; segunda afirma entrega. |
| - `v02-test-017` — method: FN. Comparação de checksums como procedimento. |
| Interpretação de referência registrada antes dos scores: Abordagem nominal explícita, sem contribuição afirmada. |
|
|
| ## Sensibilidade a marcadores |
|
|
| Dois pares de origens, cada um com versão marcada e livre, preservam os rótulos. Isso é uma sondagem pequena, não uma estimativa populacional. |
|
|
| | Método | Origem | Componentes que mudaram de decisão | Mudança absoluta média do score | |
| |---|---|---:|---:| |
| | heuristic | v02-test-probe-1 | 1 | 0.2000 | |
| | heuristic | v02-test-probe-2 | 1 | 0.2000 | |
| | frozen_logistic | v02-test-probe-1 | 2 | 0.3921 | |
| | frozen_logistic | v02-test-probe-2 | 2 | 0.4020 | |
| | bert_finetuned | v02-test-probe-1 | 3 | 0.3497 | |
| | bert_finetuned | v02-test-probe-2 | 3 | 0.3063 | |
|
|
| ## Leitura dos resultados |
|
|
| O BERT e a regressão acertam action com frequência maior que a heurística, mas perdem cobertura em method e measurement. A vantagem global das heurísticas nesta amostra não significa que elas sejam superiores em qualquer domínio. |
|
|
| Os pares sem marcadores mudam duas decisões por origem na regressão e três no BERT, embora os rótulos de referência permaneçam iguais. O comportamento é compatível com dependência de sinais de superfície; dois pares não isolam uma explicação causal. |
|
|
| A temperatura da regressão reduziu Brier/log loss, mantendo F1. A temperatura do BERT alterou pouco os scores. Nenhum cutoff de confiança cumpriu a meta de desenvolvimento; as políticas salvam abstenção desativada. Não selecionar um cutoff pelos erros deste teste. |
|
|
| Recortes podem não ter positivos em todos os rótulos: macro-F1 com zero_division=0 pode ser zero apesar de todas as decisões negativas estarem corretas. Usar suportes, Hamming e FP/FN na leitura desses recortes. |
| |
| As fontes de desenvolvimento e teste têm categorias e algumas construções paralelas; a autoria/revisão única e a pequena amostra limitam independência. Não são textos reais, validação humana, avaliação de spans ou benchmark de estruturas. O teste original continua preservado. |
| |
