Classificador BANKING77-PTBR · 77 intenções

Treinado no BANKING77-PTBR, corpus de pesquisa traduzido e revisado do inglês para português. Não são mensagens reais de clientes brasileiros.

Teste oficial independente

  • Macro-F1: 0.8964
  • Accuracy: 0.8964
  • Weighted-F1: 0.8964
  • Modelo selecionado: char_svc
  • Treino / teste oficiais: 10003 / 3080 exemplos
  • Classes: 77
  • Interseção textual entre treino e teste: 166
  • Teste sem textos coincidentes com treino: 2887 linhas; macro-F1 0.8910; accuracy 0.8916

Validação (somente dentro do treino oficial)

Baseline Macro-F1 Accuracy
char_svc 0.8800 0.8836
word_sgd 0.8726 0.8741
word_svc 0.8700 0.8726

O modelo foi selecionado exclusivamente pelo macro-F1 de validação (split 80/20 estratificado, seed 42), reajustado no treino integral e avaliado no teste oficial uma única vez. A análise sem sobreposição é uma auditoria pós-hoc dessas mesmas previsões, não uma segunda validação independente.

Reprodução

Código e testes: https://github.com/JoaoAlbernaz1/JoaoAlbernaz1/tree/main/ml-lab/banking77-ptbr

Artefatos: model.skops, metrics.json e este cartão. A modelagem e as métricas não garantem generalização a outros setores, linguagem de produção ou adversários.

Dataset e créditos

BANKING77-PTBR: https://huggingface.co/datasets/c2d-usp/banking77-pt-br (CC BY 4.0). Dimant et al. (2025), Centro de Ciência de Dados Poli/USP. Corpus original: Casanueva et al. (2020), Efficient Intent Detection with Dual Sentence Encoders.

Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Dataset used to train JOAOOALBERNAZ/banking77-ptbr-intent-v1

Space using JOAOOALBERNAZ/banking77-ptbr-intent-v1 1