Text Classification
Transformers
Safetensors
Portuguese
bert
bertimbau
sentiment-analysis
portuguese
pt-br
fine-tuning
text-embeddings-inference
Instructions to use caio16dev/bertimbau-sentiment-ptbr with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use caio16dev/bertimbau-sentiment-ptbr with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-classification", model="caio16dev/bertimbau-sentiment-ptbr")# pip install -U transformers accelerate # Load model directly from transformers import AutoTokenizer, AutoModelForSequenceClassification tokenizer = AutoTokenizer.from_pretrained("caio16dev/bertimbau-sentiment-ptbr") model = AutoModelForSequenceClassification.from_pretrained("caio16dev/bertimbau-sentiment-ptbr", device_map="auto") - Notebooks
- Google Colab
- Kaggle
|
Download README.md from caio16dev/bertimbau-sentiment-ptbr: direct link, hf CLI and curl.
- Browser
- Download file 3.54 kB
-
https://huggingface.co/caio16dev/bertimbau-sentiment-ptbr/resolve/main/README.md
- Command line
-
hf download hf://caio16dev/bertimbau-sentiment-ptbr/README.md
-
curl -L -o README.md https://huggingface.co/caio16dev/bertimbau-sentiment-ptbr/resolve/main/README.md
3.54 kB
| language: | |
| - pt | |
| base_model: neuralmind/bert-base-portuguese-cased | |
| library_name: transformers | |
| pipeline_tag: text-classification | |
| tags: | |
| - bert | |
| - bertimbau | |
| - sentiment-analysis | |
| - text-classification | |
| - portuguese | |
| - pt-br | |
| - transformers | |
| - fine-tuning | |
| datasets: | |
| - ruanchaves/b2w-reviews01 | |
| metrics: | |
| - accuracy | |
| - f1 | |
| # BERTimbau Sentiment Analysis PT-BR 🇧🇷 | |
| Modelo de classificação de sentimentos em português brasileiro desenvolvido por meio de fine-tuning do **BERTimbau Base (`neuralmind/bert-base-portuguese-cased`)**. | |
| O objetivo deste projeto foi construir um pipeline completo de NLP, passando por análise e limpeza dos dados, preparação dos rótulos, prevenção de data leakage, tokenização, fine-tuning, validação, teste e publicação do modelo no Hugging Face. | |
| ## Problema | |
| O modelo classifica avaliações de produtos de e-commerce em duas categorias: | |
| - `NEGATIVO` | |
| - `POSITIVO` | |
| ## Dataset | |
| Foi utilizado o dataset **B2W-Reviews01**, contendo avaliações de consumidores brasileiros. | |
| O dataset original possui: | |
| - 132.373 avaliações | |
| - notas de 1 a 5 estrelas | |
| Para transformar o problema em classificação binária: | |
| - 1 ou 2 estrelas → `NEGATIVO` | |
| - 3 estrelas → removidas por representarem uma região ambígua | |
| - 4 ou 5 estrelas → `POSITIVO` | |
| Durante a preparação dos dados também foram tratados: | |
| - reviews sem texto | |
| - textos vazios | |
| - reviews duplicadas | |
| - textos duplicados com labels conflitantes | |
| Após a limpeza, o dataset final ficou com: | |
| - 110.881 reviews | |
| - 78.280 positivos (70,60%) | |
| - 32.601 negativos (29,40%) | |
| ## Divisão dos dados | |
| Foi utilizada divisão estratificada: | |
| - Treino: 88.704 reviews | |
| - Validação: 11.088 reviews | |
| - Teste: 11.089 reviews | |
| O conjunto de teste permaneceu separado durante o desenvolvimento e foi utilizado apenas para a avaliação final. | |
| ## Tokenização | |
| Foi utilizado o tokenizer oficial do BERTimbau. | |
| Distribuição observada do tamanho dos textos: | |
| - Mediana: 26 tokens | |
| - Percentil 90: 70 tokens | |
| - Percentil 95: 97 tokens | |
| - Percentil 99: 179 tokens | |
| - Máximo observado na amostra: 2.357 tokens | |
| Foi utilizado: | |
| `max_length = 128` | |
| como compromisso entre preservação do conteúdo e eficiência computacional. | |
| ## Modelo | |
| Modelo base: | |
| `neuralmind/bert-base-portuguese-cased` | |
| Foi utilizada a arquitetura `BertForSequenceClassification`. | |
| ### Configurações principais | |
| - Learning rate: `2e-5` | |
| - Epochs: `2` | |
| - Batch size de treino: `16` | |
| - Batch size de validação: `32` | |
| - Weight decay: `0.01` | |
| - Seleção do melhor checkpoint por Macro F1 | |
| - Padding dinâmico | |
| - `max_length = 128` | |
| ## Resultados | |
| ### Validação | |
| | Métrica | Resultado | | |
| |---|---:| | |
| | Accuracy | 97,25% | | |
| | Precision | 98,22% | | |
| | Recall | 97,88% | | |
| | F1 | 98,05% | | |
| | Macro F1 | 96,69% | | |
| ### Teste | |
| | Métrica | Resultado | | |
| |---|---:| | |
| | Accuracy | 96,92% | | |
| | Precision | 97,95% | | |
| | Recall | 97,68% | | |
| | F1 | 97,81% | | |
| | Macro F1 | 96,29% | | |
| ### Desempenho por classe | |
| | Classe | Precision | Recall | F1 | | |
| |---|---:|---:|---:| | |
| | NEGATIVO | 94,45% | 95,09% | 94,77% | | |
| | POSITIVO | 97,95% | 97,68% | 97,81% | | |
| ## Matriz de confusão | |
| No conjunto de teste: | |
| - 3.100 negativas classificadas corretamente | |
| - 160 negativas classificadas como positivas | |
| - 182 positivas classificadas como negativas | |
| - 7.647 positivas classificadas corretamente | |
| ## Como usar | |
| ```python | |
| from transformers import pipeline | |
| classifier = pipeline("text-classification", model="caio16dev/bertimbau-sentiment-ptbr") | |
| resultado = classifier("Produto excelente, chegou rápido e funciona perfeitamente.") | |
| print(resultado) | |