File size: 3,542 Bytes
341ec64
bbd1e90
 
 
341ec64
bbd1e90
 
 
 
 
 
 
 
 
 
 
 
 
 
 
341ec64
 
bbd1e90
341ec64
bbd1e90
341ec64
bbd1e90
341ec64
bbd1e90
341ec64
bbd1e90
341ec64
bbd1e90
 
341ec64
bbd1e90
341ec64
bbd1e90
341ec64
bbd1e90
341ec64
bbd1e90
 
341ec64
bbd1e90
341ec64
bbd1e90
 
 
341ec64
bbd1e90
341ec64
bbd1e90
 
 
 
341ec64
bbd1e90
341ec64
bbd1e90
 
 
341ec64
bbd1e90
341ec64
bbd1e90
341ec64
bbd1e90
 
 
341ec64
bbd1e90
341ec64
bbd1e90
341ec64
bbd1e90
341ec64
bbd1e90
341ec64
bbd1e90
 
 
 
 
341ec64
bbd1e90
341ec64
bbd1e90
341ec64
bbd1e90
341ec64
bbd1e90
341ec64
bbd1e90
341ec64
bbd1e90
341ec64
bbd1e90
341ec64
bbd1e90
341ec64
bbd1e90
 
 
 
 
 
 
 
341ec64
bbd1e90
341ec64
bbd1e90
341ec64
bbd1e90
 
 
 
 
 
 
341ec64
bbd1e90
341ec64
bbd1e90
 
 
 
 
 
 
341ec64
bbd1e90
341ec64
bbd1e90
 
 
 
341ec64
bbd1e90
341ec64
bbd1e90
341ec64
bbd1e90
 
 
 
341ec64
bbd1e90
341ec64
bbd1e90
 
341ec64
bbd1e90
341ec64
bbd1e90
341ec64
bbd1e90
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
---
language:
- pt
base_model: neuralmind/bert-base-portuguese-cased
library_name: transformers
pipeline_tag: text-classification
tags:
- bert
- bertimbau
- sentiment-analysis
- text-classification
- portuguese
- pt-br
- transformers
- fine-tuning
datasets:
- ruanchaves/b2w-reviews01
metrics:
- accuracy
- f1
---

# BERTimbau Sentiment Analysis PT-BR 🇧🇷

Modelo de classificação de sentimentos em português brasileiro desenvolvido por meio de fine-tuning do **BERTimbau Base (`neuralmind/bert-base-portuguese-cased`)**.

O objetivo deste projeto foi construir um pipeline completo de NLP, passando por análise e limpeza dos dados, preparação dos rótulos, prevenção de data leakage, tokenização, fine-tuning, validação, teste e publicação do modelo no Hugging Face.

## Problema

O modelo classifica avaliações de produtos de e-commerce em duas categorias:

- `NEGATIVO`
- `POSITIVO`

## Dataset

Foi utilizado o dataset **B2W-Reviews01**, contendo avaliações de consumidores brasileiros.

O dataset original possui:

- 132.373 avaliações
- notas de 1 a 5 estrelas

Para transformar o problema em classificação binária:

- 1 ou 2 estrelas → `NEGATIVO`
- 3 estrelas → removidas por representarem uma região ambígua
- 4 ou 5 estrelas → `POSITIVO`

Durante a preparação dos dados também foram tratados:

- reviews sem texto
- textos vazios
- reviews duplicadas
- textos duplicados com labels conflitantes

Após a limpeza, o dataset final ficou com:

- 110.881 reviews
- 78.280 positivos (70,60%)
- 32.601 negativos (29,40%)

## Divisão dos dados

Foi utilizada divisão estratificada:

- Treino: 88.704 reviews
- Validação: 11.088 reviews
- Teste: 11.089 reviews

O conjunto de teste permaneceu separado durante o desenvolvimento e foi utilizado apenas para a avaliação final.

## Tokenização

Foi utilizado o tokenizer oficial do BERTimbau.

Distribuição observada do tamanho dos textos:

- Mediana: 26 tokens
- Percentil 90: 70 tokens
- Percentil 95: 97 tokens
- Percentil 99: 179 tokens
- Máximo observado na amostra: 2.357 tokens

Foi utilizado:

`max_length = 128`

como compromisso entre preservação do conteúdo e eficiência computacional.

## Modelo

Modelo base:

`neuralmind/bert-base-portuguese-cased`

Foi utilizada a arquitetura `BertForSequenceClassification`.

### Configurações principais

- Learning rate: `2e-5`
- Epochs: `2`
- Batch size de treino: `16`
- Batch size de validação: `32`
- Weight decay: `0.01`
- Seleção do melhor checkpoint por Macro F1
- Padding dinâmico
- `max_length = 128`

## Resultados

### Validação

| Métrica | Resultado |
|---|---:|
| Accuracy | 97,25% |
| Precision | 98,22% |
| Recall | 97,88% |
| F1 | 98,05% |
| Macro F1 | 96,69% |

### Teste

| Métrica | Resultado |
|---|---:|
| Accuracy | 96,92% |
| Precision | 97,95% |
| Recall | 97,68% |
| F1 | 97,81% |
| Macro F1 | 96,29% |

### Desempenho por classe

| Classe | Precision | Recall | F1 |
|---|---:|---:|---:|
| NEGATIVO | 94,45% | 95,09% | 94,77% |
| POSITIVO | 97,95% | 97,68% | 97,81% |

## Matriz de confusão

No conjunto de teste:

- 3.100 negativas classificadas corretamente
- 160 negativas classificadas como positivas
- 182 positivas classificadas como negativas
- 7.647 positivas classificadas corretamente

## Como usar

```python
from transformers import pipeline

classifier = pipeline("text-classification", model="caio16dev/bertimbau-sentiment-ptbr")

resultado = classifier("Produto excelente, chegou rápido e funciona perfeitamente.")

print(resultado)