How to use from the
Use from the
Transformers library
# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-classification", model="caio16dev/bertimbau-sentiment-ptbr")
# pip install -U transformers accelerate
# Load model directly
from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("caio16dev/bertimbau-sentiment-ptbr")
model = AutoModelForSequenceClassification.from_pretrained("caio16dev/bertimbau-sentiment-ptbr", device_map="auto")
Quick Links

BERTimbau Sentiment Analysis PT-BR 🇧🇷

Modelo de classificação de sentimentos em português brasileiro desenvolvido por meio de fine-tuning do BERTimbau Base (neuralmind/bert-base-portuguese-cased).

O objetivo deste projeto foi construir um pipeline completo de NLP, passando por análise e limpeza dos dados, preparação dos rótulos, prevenção de data leakage, tokenização, fine-tuning, validação, teste e publicação do modelo no Hugging Face.

Problema

O modelo classifica avaliações de produtos de e-commerce em duas categorias:

  • NEGATIVO
  • POSITIVO

Dataset

Foi utilizado o dataset B2W-Reviews01, contendo avaliações de consumidores brasileiros.

O dataset original possui:

  • 132.373 avaliações
  • notas de 1 a 5 estrelas

Para transformar o problema em classificação binária:

  • 1 ou 2 estrelas → NEGATIVO
  • 3 estrelas → removidas por representarem uma região ambígua
  • 4 ou 5 estrelas → POSITIVO

Durante a preparação dos dados também foram tratados:

  • reviews sem texto
  • textos vazios
  • reviews duplicadas
  • textos duplicados com labels conflitantes

Após a limpeza, o dataset final ficou com:

  • 110.881 reviews
  • 78.280 positivos (70,60%)
  • 32.601 negativos (29,40%)

Divisão dos dados

Foi utilizada divisão estratificada:

  • Treino: 88.704 reviews
  • Validação: 11.088 reviews
  • Teste: 11.089 reviews

O conjunto de teste permaneceu separado durante o desenvolvimento e foi utilizado apenas para a avaliação final.

Tokenização

Foi utilizado o tokenizer oficial do BERTimbau.

Distribuição observada do tamanho dos textos:

  • Mediana: 26 tokens
  • Percentil 90: 70 tokens
  • Percentil 95: 97 tokens
  • Percentil 99: 179 tokens
  • Máximo observado na amostra: 2.357 tokens

Foi utilizado:

max_length = 128

como compromisso entre preservação do conteúdo e eficiência computacional.

Modelo

Modelo base:

neuralmind/bert-base-portuguese-cased

Foi utilizada a arquitetura BertForSequenceClassification.

Configurações principais

  • Learning rate: 2e-5
  • Epochs: 2
  • Batch size de treino: 16
  • Batch size de validação: 32
  • Weight decay: 0.01
  • Seleção do melhor checkpoint por Macro F1
  • Padding dinâmico
  • max_length = 128

Resultados

Validação

Métrica Resultado
Accuracy 97,25%
Precision 98,22%
Recall 97,88%
F1 98,05%
Macro F1 96,69%

Teste

Métrica Resultado
Accuracy 96,92%
Precision 97,95%
Recall 97,68%
F1 97,81%
Macro F1 96,29%

Desempenho por classe

Classe Precision Recall F1
NEGATIVO 94,45% 95,09% 94,77%
POSITIVO 97,95% 97,68% 97,81%

Matriz de confusão

No conjunto de teste:

  • 3.100 negativas classificadas corretamente
  • 160 negativas classificadas como positivas
  • 182 positivas classificadas como negativas
  • 7.647 positivas classificadas corretamente

Como usar

from transformers import pipeline

classifier = pipeline("text-classification", model="caio16dev/bertimbau-sentiment-ptbr")

resultado = classifier("Produto excelente, chegou rápido e funciona perfeitamente.")

print(resultado)
Downloads last month
-
Safetensors
Model size
0.1B params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for caio16dev/bertimbau-sentiment-ptbr

Finetuned
(258)
this model

Dataset used to train caio16dev/bertimbau-sentiment-ptbr