SignalReview ML

Portuguese Sentiment Classification using Machine Learning and NLP

O SignalReview ML é um modelo de Machine Learning supervisionado desenvolvido para classificar automaticamente o sentimento de avaliações de produtos em português.

O modelo utiliza vetorização TF-IDF e Regressão Logística para identificar avaliações positivas e negativas.

O projeto também inclui uma API REST desenvolvida com FastAPI, testes automatizados, Docker, análise de erros e auditoria automatizada.

Código-fonte: SignalReview ML no GitHub

1. Informações do modelo

Propriedade Descrição
Nome SignalReview ML
Idioma Português
Tarefa Classificação binária de sentimentos
Algoritmo Regressão Logística
Vetorização TF-IDF
Biblioteca scikit-learn
Serialização joblib
Classes positivo e negativo
Ano 2026

2. Arquitetura

O modelo utiliza um Pipeline do scikit-learn com duas etapas principais:

  1. TfidfVectorizer: transforma textos em representações numéricas.
  2. LogisticRegression: utiliza essas características para classificar os sentimentos.

Configurações do TF-IDF

  • lowercase=True
  • strip_accents="unicode"
  • ngram_range=(1, 2)
  • min_df=2
  • max_features=20000
  • sublinear_tf=True

Configurações da Regressão Logística

  • max_iter=1500
  • class_weight="balanced"

O classificador foi selecionado pelo maior F1-score macro obtido no conjunto de validação.

Após a seleção, o modelo foi treinado novamente utilizando os conjuntos de treino e validação, mantendo o conjunto de teste separado.

3. Dataset

O treinamento utilizou o conjunto de avaliações B2W-Reviews01.

Após o pré-processamento, foram utilizadas 110.882 avaliações.

Distribuição das classes

Sentimento Avaliações
Positivo 78.281
Negativo 32.601
Total 110.882

Estratégia de rotulagem

Os rótulos foram definidos a partir das estrelas atribuídas pelos consumidores:

  • 1 e 2 estrelas: negativo
  • 3 estrelas: excluído
  • 4 e 5 estrelas: positivo

Foram aplicados procedimentos de limpeza, remoção de registros inválidos e eliminação de avaliações duplicadas.

Observação: as estrelas são utilizadas como rótulos aproximados. Elas não representam necessariamente o sentimento expresso no texto.

4. Treinamento

Os dados foram divididos de forma estratificada:

Conjunto Quantidade
Treinamento 77.617
Validação 16.632
Teste 16.633

Foram comparados três classificadores:

  • Dummy Classifier (baseline)
  • Multinomial Naive Bayes
  • Logistic Regression

A seleção foi realizada por meio do F1-score macro na validação.

5. Resultados

Comparação dos classificadores

Modelo F1-score macro
Dummy Baseline 41,38%
Naive Bayes 92,51%
Regressão Logística 93,82%

A Regressão Logística apresentou o melhor desempenho na validação.

Avaliação final no teste

Métrica Resultado
Accuracy 94,81%
Precision macro 92,88%
Recall macro 95,22%
F1-score macro 93,92%

Matriz de confusão

Real / Previsto Negativo Positivo
Negativo 4.704 186
Positivo 677 11.066

Resumo:

  • Avaliações de teste: 16.633
  • Classificações corretas: 15.770
  • Divergências: 863

As métricas representam a concordância entre as previsões e os rótulos derivados das estrelas.

6. Auditoria automatizada

Foi implementado um processo complementar de auditoria utilizando dois classificadores:

  • Modelo principal: Logistic Regression
  • Modelo auxiliar: Multinomial Naive Bayes

O objetivo é identificar casos em que as classificações produzidas pelos modelos divergem dos rótulos associados às estrelas.

Resultados da auditoria

Categoria Quantidade
Possível inconsistência entre texto e estrelas 502
Modelos divergentes entre si 253
Possível inconsistência com pontuações elevadas 108
Total 863

Em 610 casos, os dois classificadores concordaram entre si, mas discordaram do rótulo derivado das estrelas.

Desses casos, 108 apresentaram pontuações iguais ou superiores a 90% nos dois classificadores.

Esses resultados representam indícios para investigação, não confirmação de erros nos rótulos.

A concordância entre modelos não substitui uma avaliação humana independente.

7. Como utilizar o modelo

O arquivo model.joblib contém o pipeline treinado, incluindo a vetorização TF-IDF e o classificador.

Instalação das dependências

Utilize Python 3.12 e instale:

pip install "scikit-learn>=1.6,<2" "joblib>=1.4,<2" huggingface_hub

Para maior reprodutibilidade, recomenda-se utilizar as mesmas versões empregadas na serialização do modelo.

Exemplo de inferência

import joblib
from huggingface_hub import hf_hub_download

model_path = hf_hub_download(
    repo_id="SabrinaVV/signalreview-ml",
    filename="model.joblib"
)

# Carregue apenas modelos de fontes confiaveis.
model = joblib.load(model_path)

avaliacoes = [
    "O produto chegou rapido e funciona perfeitamente!",
    "Pessima qualidade, chegou quebrado."
]

previsoes = model.predict(avaliacoes)
probabilidades = model.predict_proba(avaliacoes)

for texto, sentimento, scores in zip(
    avaliacoes,
    previsoes,
    probabilidades
):
    print("\nAvaliacao:", texto)
    print("Sentimento:", sentimento)

    for classe, score in zip(model.classes_, scores):
        print(f"{classe}: {score:.2%}")

O modelo recebe textos em português e retorna a classe prevista, além das probabilidades estimadas.

As probabilidades não foram submetidas a uma avaliação específica de calibração.

8. API REST

O SignalReview ML também disponibiliza inferência por uma API FastAPI.

Endpoints

  • GET /model-info
  • POST /predict

Exemplo de requisição

{
  "texto": "O produto chegou rapido e funciona perfeitamente!"
}

A API retorna:

  • Sentimento previsto
  • Pontuação da classe selecionada
  • Probabilidades estimadas para cada classe

A aplicação pode ser executada localmente ou por meio de Docker.

Documentação completa:

https://github.com/SabrinaVVascon/signalreview-ml

9. Docker

O projeto foi containerizado utilizando Docker e Python 3.12.

A construção da imagem e a execução da API foram testadas com sucesso em ambiente Windows com Docker Desktop e WSL 2.

O contêiner disponibiliza a API FastAPI e realiza inferência utilizando o modelo treinado.

Instruções de execução disponíveis no repositório GitHub.

10. Usos recomendados

O SignalReview ML foi desenvolvido para:

  • Classificação de avaliações de produtos em português.
  • Estudos de processamento de linguagem natural.
  • Análise exploratória de sentimentos.
  • Experimentação acadêmica e não comercial.
  • Demonstração de técnicas de Machine Learning supervisionado.

11. Limitações

O modelo apresenta as seguintes limitações:

  • Realiza apenas classificação binária.
  • Não identifica sentimentos neutros.
  • Avaliações com ironia ou sarcasmo podem ser classificadas incorretamente.
  • Sentimentos mistos podem dificultar a classificação.
  • Os rótulos são derivados de estrelas, não de anotação humana direta.
  • As probabilidades não passaram por calibração específica.
  • O desempenho em avaliações de outros domínios ainda não foi validado.
  • Dois classificadores podem cometer erros semelhantes.
  • A auditoria automática não comprova inconsistências no dataset.

O modelo não deve ser utilizado como única base para decisões de alto impacto.

12. Licença e atribuição

O projeto utiliza o dataset B2W-Reviews01.

Fonte original: https://github.com/americanas-tech/b2w-reviews01

O modelo é disponibilizado sob a licença:

Creative Commons Attribution-NonCommercial-ShareAlike 4.0 (CC BY-NC-SA 4.0).

Essa escolha é conservadora em relação às condições de atribuição e uso não comercial da fonte de treinamento.

A aplicabilidade da licença dos dados aos parâmetros treinados pode depender de análise jurídica específica.

13. Segurança

O arquivo do modelo utiliza serialização joblib, baseada em pickle.

O carregamento de arquivos desse formato pode executar código arbitrário.

Utilize apenas modelos provenientes de fontes confiáveis e em ambientes controlados.

14. Reprodutibilidade

O código-fonte completo está disponível em:

https://github.com/SabrinaVVascon/signalreview-ml

O repositório inclui:

  • Preparação do dataset
  • Pipeline de Machine Learning
  • Treinamento supervisionado
  • Comparação de classificadores
  • Avaliação de métricas
  • Análise de erros
  • Auditoria automatizada
  • API REST com FastAPI
  • Dockerfile
  • Testes automatizados

Os arquivos brutos das avaliações não são incluídos no repositório público.

15. Autoria

Projeto autoral desenvolvido em 2026 como parte de um portfólio profissional em Engenharia de Inteligência Artificial.

SignalReview ML — Portuguese Sentiment Analysis

Downloads last month
-
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support