Classificador BANKING77-PTBR · 77 intenções
Treinado no BANKING77-PTBR, corpus de pesquisa traduzido e revisado do inglês para português. Não são mensagens reais de clientes brasileiros.
Teste oficial independente
- Macro-F1: 0.8964
- Accuracy: 0.8964
- Weighted-F1: 0.8964
- Modelo selecionado: char_svc
- Treino / teste oficiais: 10003 / 3080 exemplos
- Classes: 77
- Interseção textual entre treino e teste: 166
- Teste sem textos coincidentes com treino: 2887 linhas; macro-F1 0.8910; accuracy 0.8916
Validação (somente dentro do treino oficial)
| Baseline | Macro-F1 | Accuracy |
|---|---|---|
| char_svc | 0.8800 | 0.8836 |
| word_sgd | 0.8726 | 0.8741 |
| word_svc | 0.8700 | 0.8726 |
O modelo foi selecionado exclusivamente pelo macro-F1 de validação (split 80/20 estratificado, seed 42), reajustado no treino integral e avaliado no teste oficial uma única vez. A análise sem sobreposição é uma auditoria pós-hoc dessas mesmas previsões, não uma segunda validação independente.
Reprodução
Código e testes: https://github.com/JoaoAlbernaz1/JoaoAlbernaz1/tree/main/ml-lab/banking77-ptbr
Artefatos: model.skops, metrics.json e este cartão. A modelagem e as métricas não garantem generalização a outros setores, linguagem de produção ou adversários.
Dataset e créditos
BANKING77-PTBR: https://huggingface.co/datasets/c2d-usp/banking77-pt-br (CC BY 4.0). Dimant et al. (2025), Centro de Ciência de Dados Poli/USP. Corpus original: Casanueva et al. (2020), Efficient Intent Detection with Dual Sentence Encoders.