--- language: - pt base_model: neuralmind/bert-base-portuguese-cased library_name: transformers pipeline_tag: text-classification tags: - bert - bertimbau - sentiment-analysis - text-classification - portuguese - pt-br - transformers - fine-tuning datasets: - ruanchaves/b2w-reviews01 metrics: - accuracy - f1 --- # BERTimbau Sentiment Analysis PT-BR šŸ‡§šŸ‡· Modelo de classificação de sentimentos em portuguĆŖs brasileiro desenvolvido por meio de fine-tuning do **BERTimbau Base (`neuralmind/bert-base-portuguese-cased`)**. O objetivo deste projeto foi construir um pipeline completo de NLP, passando por anĆ”lise e limpeza dos dados, preparação dos rótulos, prevenção de data leakage, tokenização, fine-tuning, validação, teste e publicação do modelo no Hugging Face. ## Problema O modelo classifica avaliaƧƵes de produtos de e-commerce em duas categorias: - `NEGATIVO` - `POSITIVO` ## Dataset Foi utilizado o dataset **B2W-Reviews01**, contendo avaliaƧƵes de consumidores brasileiros. O dataset original possui: - 132.373 avaliaƧƵes - notas de 1 a 5 estrelas Para transformar o problema em classificação binĆ”ria: - 1 ou 2 estrelas → `NEGATIVO` - 3 estrelas → removidas por representarem uma regiĆ£o ambĆ­gua - 4 ou 5 estrelas → `POSITIVO` Durante a preparação dos dados tambĆ©m foram tratados: - reviews sem texto - textos vazios - reviews duplicadas - textos duplicados com labels conflitantes Após a limpeza, o dataset final ficou com: - 110.881 reviews - 78.280 positivos (70,60%) - 32.601 negativos (29,40%) ## DivisĆ£o dos dados Foi utilizada divisĆ£o estratificada: - Treino: 88.704 reviews - Validação: 11.088 reviews - Teste: 11.089 reviews O conjunto de teste permaneceu separado durante o desenvolvimento e foi utilizado apenas para a avaliação final. ## Tokenização Foi utilizado o tokenizer oficial do BERTimbau. Distribuição observada do tamanho dos textos: - Mediana: 26 tokens - Percentil 90: 70 tokens - Percentil 95: 97 tokens - Percentil 99: 179 tokens - MĆ”ximo observado na amostra: 2.357 tokens Foi utilizado: `max_length = 128` como compromisso entre preservação do conteĆŗdo e eficiĆŖncia computacional. ## Modelo Modelo base: `neuralmind/bert-base-portuguese-cased` Foi utilizada a arquitetura `BertForSequenceClassification`. ### ConfiguraƧƵes principais - Learning rate: `2e-5` - Epochs: `2` - Batch size de treino: `16` - Batch size de validação: `32` - Weight decay: `0.01` - Seleção do melhor checkpoint por Macro F1 - Padding dinĆ¢mico - `max_length = 128` ## Resultados ### Validação | MĆ©trica | Resultado | |---|---:| | Accuracy | 97,25% | | Precision | 98,22% | | Recall | 97,88% | | F1 | 98,05% | | Macro F1 | 96,69% | ### Teste | MĆ©trica | Resultado | |---|---:| | Accuracy | 96,92% | | Precision | 97,95% | | Recall | 97,68% | | F1 | 97,81% | | Macro F1 | 96,29% | ### Desempenho por classe | Classe | Precision | Recall | F1 | |---|---:|---:|---:| | NEGATIVO | 94,45% | 95,09% | 94,77% | | POSITIVO | 97,95% | 97,68% | 97,81% | ## Matriz de confusĆ£o No conjunto de teste: - 3.100 negativas classificadas corretamente - 160 negativas classificadas como positivas - 182 positivas classificadas como negativas - 7.647 positivas classificadas corretamente ## Como usar ```python from transformers import pipeline classifier = pipeline("text-classification", model="caio16dev/bertimbau-sentiment-ptbr") resultado = classifier("Produto excelente, chegou rĆ”pido e funciona perfeitamente.") print(resultado)