enzoferracini's picture
feat: publish software v0.2.0 evaluation and documentation
76c0aec verified
|
Raw History Blame Contribute Delete
3.35 kB

Guia de anotação — 0.1.0

Cada exemplo recebe cinco booleanos independentes. A referência é o que o texto afirma, sem inferir experiência a partir de cargo, empresa ou tecnologia.

Rótulo Positivo Negativo / fronteira
action Contribuição identificável realizada: “Investiguei os timeouts.” “Atuei com tecnologia”, intenções futuras e ações negadas.
context Situação, domínio, equipe ou problema explícito: “Na equipe de pagamentos havia falhas.” Nome de ferramenta isolado; não inferir o domínio.
method Meio, técnica, processo ou ferramenta usado/indicado como abordagem: “Abordagem: revisão por pares.” Lista de competências sem relação com uma abordagem.
result Efeito ou entrega identificável: “O acesso foi restabelecido”, “Entreguei o painel.” Investigação sem conclusão, “bons resultados”, propósito futuro. Não exige números.
measurement Quantidade com referente: “Escopo: 12 serviços”, “redução de 20%”, “duas horas”. “OAuth 2.0”, “Python 3.11”, “2026”, “INC-42”. Número pode medir escopo, sem resultado.

“Entreguei três relatórios” tem action, result e measurement. “Investiguei a lentidão” tem action, sem entrega ou efeito afirmado. “O tempo de espera caiu” tem result, sem ação pessoal explícita. “Não implementei cache; corrigi o timeout” contém uma ação realizada na segunda oração; não aplicar negação à frase inteira. “Pretendo reduzir 20% usando SQL” tem método e medida explícitos, sem ação realizada nem resultado realizado. “Trabalho há dois anos com dados” contém medida e contexto, mas uma atividade vaga não estabelece contribuição específica. A anotação é descritiva; falsidade ou causalidade de uma alegação não podem ser verificadas por este dataset.

As cláusulas de contexto, abordagem, efeito e escopo podem ocorrer isoladamente nos exemplos composicionais. “Escopo: 8 jobs” é uma medida, sem presumir entrega ou situação de negócio. Uma abordagem nominal conta como método mesmo sem verbo de realização; essa convenção limita a interpretação dos dados.

Piloto e lotes

O piloto são os primeiros 50 registros do lote 1. O guia foi fixado antes dos experimentos; o piloto usa as mesmas definições dos demais registros. A geração é composicional, com 100 cenários originais e quatro variantes controladas por cenário. A variante completa e as remoções/negações são deliberadamente correlacionadas e permanecem no mesmo split. Não são 400 origens independentes.

Revisão feita pela mesma IA: inspecionar as cláusulas de cada cenário quanto a efeito concreto, contribuição, quantidades, negação e intenção; revisar os textos renderizados e auditar duplicatas, cobertura e grupos. Histórico por registro descreve o procedimento realizado, sem alegar um segundo anotador. Não houve revisão humana nem medida de concordância.

O teste tem arquivo de cenários separado, produzido antes dos experimentos. Congelar hashes de textos e rótulos; usar só treino/validação em decisões. O teste final poderá ser lido para relatar erros, nunca para orientar novos dados ou ajustes da v0.1. Mudanças posteriores exigem outra versão e outro teste.