Esse trabalho consiste em desenvolver um modelo de linguagem grande (LLM) com 2.3 milhões de parâmetros usando a arquitetura LLaMA 1, implementado em um notebook do Google Collaboratory. Os alunos irão construir um LLM desde o pré-processamento dos dados até a avaliação do desempenho do modelo. O projeto envolverá as etapas principais de preparação de dados, configuração do modelo, treinamento e avaliação.
Etapas do Projeto:
1 Preparação do Ambiente:
◦ Configuração do Google Colaboratory.
◦ Instalação das bibliotecas necessárias: torch, transformers, datasets, entre outras.
2 Coleta e Pré-processamento dos Dados:
◦ Utilização do conjunto de dados TinyShakespeare.
◦ Tokenização e limpeza dos dados.
3 Configuração da Arquitetura do Modelo:
◦ Implementação dos componentes principais da arquitetura LLaMA 1 [4]:
▪ RMSNorm
▪ SwiGLU
▪ Rotary Embeddings
◦ Definição da rede neural com PyTorch.
4 Treinamento do Modelo:
◦ Ajuste dos hiperparâmetros: taxa …
Esse trabalho consiste em desenvolver um modelo de linguagem grande (LLM) com 2.3 milhões de parâmetros usando a arquitetura LLaMA 1, implementado em um notebook do Google Collaboratory. Os alunos irão construir um LLM desde o pré-processamento dos dados até a avaliação do desempenho do modelo. O projeto envolverá as etapas principais de preparação de dados, configuração do modelo, treinamento e avaliação.
Etapas do Projeto:
1 Preparação do Ambiente:
◦ Configuração do Google Colaboratory.
◦ Instalação das bibliotecas necessárias: torch, transformers, datasets, entre outras.
2 Coleta e Pré-processamento dos Dados:
◦ Utilização do conjunto de dados TinyShakespeare.
◦ Tokenização e limpeza dos dados.
3 Configuração da Arquitetura do Modelo:
◦ Implementação dos componentes principais da arquitetura LLaMA 1 [4]:
▪ RMSNorm
▪ SwiGLU
▪ Rotary Embeddings
◦ Definição da rede neural com PyTorch.
4 Treinamento do Modelo:
◦ Ajuste dos hiperparâmetros: taxa …
