Instructions to use SabrinaVV/signalreview-ml with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Scikit-learn
How to use SabrinaVV/signalreview-ml with Scikit-learn:
from huggingface_hub import hf_hub_download import joblib model = joblib.load( hf_hub_download("SabrinaVV/signalreview-ml", "sklearn_model.joblib") ) # only load pickle files from sources you trust # read more about it here https://skops.readthedocs.io/en/stable/persistence.html - Notebooks
- Google Colab
- Kaggle
SignalReview ML
Portuguese Sentiment Classification using Machine Learning and NLP
O SignalReview ML é um modelo de Machine Learning supervisionado desenvolvido para classificar automaticamente o sentimento de avaliações de produtos em português.
O modelo utiliza vetorização TF-IDF e Regressão Logística para identificar avaliações positivas e negativas.
O projeto também inclui uma API REST desenvolvida com FastAPI, testes automatizados, Docker, análise de erros e auditoria automatizada.
Código-fonte: SignalReview ML no GitHub
1. Informações do modelo
| Propriedade | Descrição |
|---|---|
| Nome | SignalReview ML |
| Idioma | Português |
| Tarefa | Classificação binária de sentimentos |
| Algoritmo | Regressão Logística |
| Vetorização | TF-IDF |
| Biblioteca | scikit-learn |
| Serialização | joblib |
| Classes | positivo e negativo |
| Ano | 2026 |
2. Arquitetura
O modelo utiliza um Pipeline do scikit-learn com duas etapas principais:
- TfidfVectorizer: transforma textos em representações numéricas.
- LogisticRegression: utiliza essas características para classificar os sentimentos.
Configurações do TF-IDF
- lowercase=True
- strip_accents="unicode"
- ngram_range=(1, 2)
- min_df=2
- max_features=20000
- sublinear_tf=True
Configurações da Regressão Logística
- max_iter=1500
- class_weight="balanced"
O classificador foi selecionado pelo maior F1-score macro obtido no conjunto de validação.
Após a seleção, o modelo foi treinado novamente utilizando os conjuntos de treino e validação, mantendo o conjunto de teste separado.
3. Dataset
O treinamento utilizou o conjunto de avaliações B2W-Reviews01.
Após o pré-processamento, foram utilizadas 110.882 avaliações.
Distribuição das classes
| Sentimento | Avaliações |
|---|---|
| Positivo | 78.281 |
| Negativo | 32.601 |
| Total | 110.882 |
Estratégia de rotulagem
Os rótulos foram definidos a partir das estrelas atribuídas pelos consumidores:
- 1 e 2 estrelas: negativo
- 3 estrelas: excluído
- 4 e 5 estrelas: positivo
Foram aplicados procedimentos de limpeza, remoção de registros inválidos e eliminação de avaliações duplicadas.
Observação: as estrelas são utilizadas como rótulos aproximados. Elas não representam necessariamente o sentimento expresso no texto.
4. Treinamento
Os dados foram divididos de forma estratificada:
| Conjunto | Quantidade |
|---|---|
| Treinamento | 77.617 |
| Validação | 16.632 |
| Teste | 16.633 |
Foram comparados três classificadores:
- Dummy Classifier (baseline)
- Multinomial Naive Bayes
- Logistic Regression
A seleção foi realizada por meio do F1-score macro na validação.
5. Resultados
Comparação dos classificadores
| Modelo | F1-score macro |
|---|---|
| Dummy Baseline | 41,38% |
| Naive Bayes | 92,51% |
| Regressão Logística | 93,82% |
A Regressão Logística apresentou o melhor desempenho na validação.
Avaliação final no teste
| Métrica | Resultado |
|---|---|
| Accuracy | 94,81% |
| Precision macro | 92,88% |
| Recall macro | 95,22% |
| F1-score macro | 93,92% |
Matriz de confusão
| Real / Previsto | Negativo | Positivo |
|---|---|---|
| Negativo | 4.704 | 186 |
| Positivo | 677 | 11.066 |
Resumo:
- Avaliações de teste: 16.633
- Classificações corretas: 15.770
- Divergências: 863
As métricas representam a concordância entre as previsões e os rótulos derivados das estrelas.
6. Auditoria automatizada
Foi implementado um processo complementar de auditoria utilizando dois classificadores:
- Modelo principal: Logistic Regression
- Modelo auxiliar: Multinomial Naive Bayes
O objetivo é identificar casos em que as classificações produzidas pelos modelos divergem dos rótulos associados às estrelas.
Resultados da auditoria
| Categoria | Quantidade |
|---|---|
| Possível inconsistência entre texto e estrelas | 502 |
| Modelos divergentes entre si | 253 |
| Possível inconsistência com pontuações elevadas | 108 |
| Total | 863 |
Em 610 casos, os dois classificadores concordaram entre si, mas discordaram do rótulo derivado das estrelas.
Desses casos, 108 apresentaram pontuações iguais ou superiores a 90% nos dois classificadores.
Esses resultados representam indícios para investigação, não confirmação de erros nos rótulos.
A concordância entre modelos não substitui uma avaliação humana independente.
7. Como utilizar o modelo
O arquivo model.joblib contém o pipeline treinado, incluindo a vetorização TF-IDF e o classificador.
Instalação das dependências
Utilize Python 3.12 e instale:
pip install "scikit-learn>=1.6,<2" "joblib>=1.4,<2" huggingface_hub
Para maior reprodutibilidade, recomenda-se utilizar as mesmas versões empregadas na serialização do modelo.
Exemplo de inferência
import joblib
from huggingface_hub import hf_hub_download
model_path = hf_hub_download(
repo_id="SabrinaVV/signalreview-ml",
filename="model.joblib"
)
# Carregue apenas modelos de fontes confiaveis.
model = joblib.load(model_path)
avaliacoes = [
"O produto chegou rapido e funciona perfeitamente!",
"Pessima qualidade, chegou quebrado."
]
previsoes = model.predict(avaliacoes)
probabilidades = model.predict_proba(avaliacoes)
for texto, sentimento, scores in zip(
avaliacoes,
previsoes,
probabilidades
):
print("\nAvaliacao:", texto)
print("Sentimento:", sentimento)
for classe, score in zip(model.classes_, scores):
print(f"{classe}: {score:.2%}")
O modelo recebe textos em português e retorna a classe prevista, além das probabilidades estimadas.
As probabilidades não foram submetidas a uma avaliação específica de calibração.
8. API REST
O SignalReview ML também disponibiliza inferência por uma API FastAPI.
Endpoints
- GET /model-info
- POST /predict
Exemplo de requisição
{
"texto": "O produto chegou rapido e funciona perfeitamente!"
}
A API retorna:
- Sentimento previsto
- Pontuação da classe selecionada
- Probabilidades estimadas para cada classe
A aplicação pode ser executada localmente ou por meio de Docker.
Documentação completa:
https://github.com/SabrinaVVascon/signalreview-ml
9. Docker
O projeto foi containerizado utilizando Docker e Python 3.12.
A construção da imagem e a execução da API foram testadas com sucesso em ambiente Windows com Docker Desktop e WSL 2.
O contêiner disponibiliza a API FastAPI e realiza inferência utilizando o modelo treinado.
Instruções de execução disponíveis no repositório GitHub.
10. Usos recomendados
O SignalReview ML foi desenvolvido para:
- Classificação de avaliações de produtos em português.
- Estudos de processamento de linguagem natural.
- Análise exploratória de sentimentos.
- Experimentação acadêmica e não comercial.
- Demonstração de técnicas de Machine Learning supervisionado.
11. Limitações
O modelo apresenta as seguintes limitações:
- Realiza apenas classificação binária.
- Não identifica sentimentos neutros.
- Avaliações com ironia ou sarcasmo podem ser classificadas incorretamente.
- Sentimentos mistos podem dificultar a classificação.
- Os rótulos são derivados de estrelas, não de anotação humana direta.
- As probabilidades não passaram por calibração específica.
- O desempenho em avaliações de outros domínios ainda não foi validado.
- Dois classificadores podem cometer erros semelhantes.
- A auditoria automática não comprova inconsistências no dataset.
O modelo não deve ser utilizado como única base para decisões de alto impacto.
12. Licença e atribuição
O projeto utiliza o dataset B2W-Reviews01.
Fonte original: https://github.com/americanas-tech/b2w-reviews01
O modelo é disponibilizado sob a licença:
Creative Commons Attribution-NonCommercial-ShareAlike 4.0 (CC BY-NC-SA 4.0).
Essa escolha é conservadora em relação às condições de atribuição e uso não comercial da fonte de treinamento.
A aplicabilidade da licença dos dados aos parâmetros treinados pode depender de análise jurídica específica.
13. Segurança
O arquivo do modelo utiliza serialização joblib, baseada em pickle.
O carregamento de arquivos desse formato pode executar código arbitrário.
Utilize apenas modelos provenientes de fontes confiáveis e em ambientes controlados.
14. Reprodutibilidade
O código-fonte completo está disponível em:
https://github.com/SabrinaVVascon/signalreview-ml
O repositório inclui:
- Preparação do dataset
- Pipeline de Machine Learning
- Treinamento supervisionado
- Comparação de classificadores
- Avaliação de métricas
- Análise de erros
- Auditoria automatizada
- API REST com FastAPI
- Dockerfile
- Testes automatizados
Os arquivos brutos das avaliações não são incluídos no repositório público.
15. Autoria
Projeto autoral desenvolvido em 2026 como parte de um portfólio profissional em Engenharia de Inteligência Artificial.
SignalReview ML — Portuguese Sentiment Analysis
- Downloads last month
- -