caio16dev's picture
Upload README.md with huggingface_hub
bbd1e90 verified
|
Raw History Blame Contribute Delete
3.54 kB
---
language:
- pt
base_model: neuralmind/bert-base-portuguese-cased
library_name: transformers
pipeline_tag: text-classification
tags:
- bert
- bertimbau
- sentiment-analysis
- text-classification
- portuguese
- pt-br
- transformers
- fine-tuning
datasets:
- ruanchaves/b2w-reviews01
metrics:
- accuracy
- f1
---
# BERTimbau Sentiment Analysis PT-BR 🇧🇷
Modelo de classificação de sentimentos em português brasileiro desenvolvido por meio de fine-tuning do **BERTimbau Base (`neuralmind/bert-base-portuguese-cased`)**.
O objetivo deste projeto foi construir um pipeline completo de NLP, passando por análise e limpeza dos dados, preparação dos rótulos, prevenção de data leakage, tokenização, fine-tuning, validação, teste e publicação do modelo no Hugging Face.
## Problema
O modelo classifica avaliações de produtos de e-commerce em duas categorias:
- `NEGATIVO`
- `POSITIVO`
## Dataset
Foi utilizado o dataset **B2W-Reviews01**, contendo avaliações de consumidores brasileiros.
O dataset original possui:
- 132.373 avaliações
- notas de 1 a 5 estrelas
Para transformar o problema em classificação binária:
- 1 ou 2 estrelas → `NEGATIVO`
- 3 estrelas → removidas por representarem uma região ambígua
- 4 ou 5 estrelas → `POSITIVO`
Durante a preparação dos dados também foram tratados:
- reviews sem texto
- textos vazios
- reviews duplicadas
- textos duplicados com labels conflitantes
Após a limpeza, o dataset final ficou com:
- 110.881 reviews
- 78.280 positivos (70,60%)
- 32.601 negativos (29,40%)
## Divisão dos dados
Foi utilizada divisão estratificada:
- Treino: 88.704 reviews
- Validação: 11.088 reviews
- Teste: 11.089 reviews
O conjunto de teste permaneceu separado durante o desenvolvimento e foi utilizado apenas para a avaliação final.
## Tokenização
Foi utilizado o tokenizer oficial do BERTimbau.
Distribuição observada do tamanho dos textos:
- Mediana: 26 tokens
- Percentil 90: 70 tokens
- Percentil 95: 97 tokens
- Percentil 99: 179 tokens
- Máximo observado na amostra: 2.357 tokens
Foi utilizado:
`max_length = 128`
como compromisso entre preservação do conteúdo e eficiência computacional.
## Modelo
Modelo base:
`neuralmind/bert-base-portuguese-cased`
Foi utilizada a arquitetura `BertForSequenceClassification`.
### Configurações principais
- Learning rate: `2e-5`
- Epochs: `2`
- Batch size de treino: `16`
- Batch size de validação: `32`
- Weight decay: `0.01`
- Seleção do melhor checkpoint por Macro F1
- Padding dinâmico
- `max_length = 128`
## Resultados
### Validação
| Métrica | Resultado |
|---|---:|
| Accuracy | 97,25% |
| Precision | 98,22% |
| Recall | 97,88% |
| F1 | 98,05% |
| Macro F1 | 96,69% |
### Teste
| Métrica | Resultado |
|---|---:|
| Accuracy | 96,92% |
| Precision | 97,95% |
| Recall | 97,68% |
| F1 | 97,81% |
| Macro F1 | 96,29% |
### Desempenho por classe
| Classe | Precision | Recall | F1 |
|---|---:|---:|---:|
| NEGATIVO | 94,45% | 95,09% | 94,77% |
| POSITIVO | 97,95% | 97,68% | 97,81% |
## Matriz de confusão
No conjunto de teste:
- 3.100 negativas classificadas corretamente
- 160 negativas classificadas como positivas
- 182 positivas classificadas como negativas
- 7.647 positivas classificadas corretamente
## Como usar
```python
from transformers import pipeline
classifier = pipeline("text-classification", model="caio16dev/bertimbau-sentiment-ptbr")
resultado = classifier("Produto excelente, chegou rápido e funciona perfeitamente.")
print(resultado)