| --- |
| language: |
| - pt |
| base_model: |
| - neuralmind/bert-base-portuguese-cased |
| --- |
| # Treino de modelos preditivos com Transformers |
|
|
| Este repositório usa um modelo pré-treinado, chamado [BERTimbau](https://huggingface.co/neuralmind/bert-base-portuguese-cased), e disponível no site [Hugging Face](https://huggingface.co/). |
|
|
| O modelo foi disponibilizado por Fábio Souza, Rodrigo Nogueira e Roberto Lotufo no artigo "BERTimbau: pretrained BERT |
| models for Brazilian Portuguese", publicado na Brazilian Conference in Intelligent Systems (2020). Mais informações |
| estão disponíveis no [repositório](https://github.com/neuralmind-ai/portuguese-bert/) do trabalho. |
|
|
| Este modelo foi treinado no [BrWaC (Brazilian Web as Corpus)](https://www.researchgate.net/publication/326303825_The_brWaC_Corpus_A_New_Open_Resource_for_Brazilian_Portuguese) |
| para três tarefas: reconhecimento de entidades nomeadas, similaridade textual de frases, e reconhecimento de implicação |
| textual. Aqui, ele passa por um ajuste-fino (fine-tuning) para classificação de sentimentos em 3 classes: positivo (o |
| texto em questão tem um sentimento positivo), negativo e neutro. |
|
|
| Os dados utilizados para fine-tuning são provenientes de avaliações de Ensino-Aprendizagem da UFSM de anos anteriores, |
| e avaliações de comentários dos Restaurantes Universitários. Todos os dados foram anonimizados antes de sua utilização |
| pelo modelo. |
|
|
| ## Bibliotecas usadas |
|
|
| * CUDA 12.4 |
| * PyTorch 2.3 |
| * PyTorch-CUDA 11.8 |
| * Transformers 4.37.2 |
| * datasets 2.12.0 |
| * scikit-learn 1.4.2 |
| * NumPy 1.24.3 |
| * pandas 1.5.3 |
|
|
| ## Treinamento |
|
|
| Consulte o repositório do [GitHub](https://github.com/COPLIN-UFSM/nlp) |
|
|
| ## Predição |
|
|
|
|
| ```python |
| from transformers import pipeline, BertTokenizer, BertForSequenceClassification |
| |
| model = BertForSequenceClassification.from_pretrained('COPLIN-UFSM/student-sentiment-analysis-multilabel') |
| tokenizer = BertTokenizer.from_pretrained( |
| 'COPLIN-UFSM/student-sentiment-analysis-multilabel', model_max_length=model.config.max_position_embeddings |
| ) |
| pipe = pipeline('sentiment-analysis', model=model, tokenizer=tokenizer, device='cpu') |
| |
| pipe('eu adoro o professor henry!', top_k=None) |
| ``` |
|
|
| A saída será: |
|
|
| ```bash |
| [{'label': 'positive', 'score': 0.9967827796936035}, |
| {'label': 'negative', 'score': 0.001376272994093597}] |
| ``` |
