# UL2

## Visão geral

O modelo T5 foi apresentado em [Unifying Language Learning Paradigms](https://huggingface.co/papers/2205.05131) por Yi Tay, Mostafa Dehghani, Vinh Q. Tran, Xavier Garcia, Dara Bahri, Tal Schuster, Huaixiu Steven Zheng, Neil Houlsby, Donald Metzler.

O resumo do artigo é o seguinte:

*Os modelos pré-treinados existentes são geralmente voltados para uma classe particular de problemas. Até o momento, não parece haver consenso sobre qual deve ser a arquitetura e a configuração de pré-treino adequadas. Este artigo apresenta um framework unificado para pré-treinar modelos que são universalmente eficazes entre conjuntos de dados e configurações. Começamos separando os arquétipos arquitetônicos dos objetivos de pré-treino — dois conceitos que são comumente confundidos. Em seguida, apresentamos uma perspectiva generalizada e unificada para a auto-supervisão em PLN e mostramos como diferentes objetivos de pré-treino podem ser expressos como uns aos outros e como a interpolação entre diferentes objetivos pode ser eficaz. Depois, propomos o Mixture-of-Denoisers (MoD), um objetivo de pré-treino que combina diversos paradigmas de pré-treino. Além disso, introduzimos um conceito de comutação de modo, no qual o ajuste fino para tarefas downstream está associado a esquemas específicos de pré-treino. Realizamos extensos experimentos ablativos para comparar múltiplos objetivos de pré-treino e descobrimos que nosso método avança a fronteira de Pareto, superando modelos T5 e/ou semelhantes ao GPT em diversas configurações. Por fim, ao escalar nosso modelo para 20B parâmetros, alcançamos desempenho SOTA em 50 tarefas supervisionadas de PLN bem estabelecidas, abrangendo geração de linguagem (com avaliação automatizada e humana), compreensão de linguagem, classificação de texto, resposta a perguntas, raciocínio de senso comum, raciocínio em textos longos, ancoragem de conhecimento estruturado e recuperação de informações. Nosso modelo também alcança resultados fortes em aprendizado no contexto, superando o GPT-3 de 175B no SuperGLUE zero-shot e triplicando o desempenho do T5-XXL na sumarização one-shot.*

Este modelo foi contribuído por [DanielHesslow](https://huggingface.co/Seledorn). O código original pode ser encontrado [aqui](https://github.com/google-research/google-research/tree/master/ul2).

## Dicas de uso

- UL2 é um modelo encoder-decoder pré-treinado em uma mistura de funções de remoção de ruído, além de ser ajustado em uma série de tarefas downstream.
- UL2 tem a mesma arquitetura que [T5v1.1](t5v1.1), mas usa a função de ativação Gated-SiLU em vez de Gated-GELU.
- Os autores disponibilizam checkpoints de uma arquitetura, que podem ser vistos [aqui](https://huggingface.co/google/ul2)

Como a UL2 tem a mesma arquitetura que a T5v1.1, consulte a [página de documentação da T5](t5) para referência de API, dicas, exemplos de código e notebooks.