Este modelo foi publicado no HF papers em 2022-05-10 e contribuído para o Hugging Face Transformers em 2023-06-20.

UL2

Visão geral

O modelo T5 foi apresentado em Unifying Language Learning Paradigms por Yi Tay, Mostafa Dehghani, Vinh Q. Tran, Xavier Garcia, Dara Bahri, Tal Schuster, Huaixiu Steven Zheng, Neil Houlsby, Donald Metzler.

O resumo do artigo é o seguinte:

Os modelos pré-treinados existentes são geralmente voltados para uma classe específica de problemas. Até o momento, não parece haver consenso sobre qual deve ser a arquitetura e a configuração de pré-treino ideais. Este artigo apresenta um framework unificado para pré-treinar modelos que são universalmente eficazes em diferentes conjuntos de dados e configurações. Começamos separando os arquétipos arquitetônicos dos objetivos de pré-treino — dois conceitos que são comumente confundidos. Em seguida, apresentamos uma perspectiva generalizada e unificada para a auto-supervisão em PLN e mostramos como diferentes objetivos de pré-treino podem ser expressos em termos uns dos outros e como a interpolação entre diferentes objetivos pode ser eficaz. Depois, propomos o Mixture-of-Denoisers (MoD), um objetivo de pré-treino que combina diversos paradigmas de pré-treino. Além disso, introduzimos o conceito de comutação de modo, no qual o fine-tuning para tarefas downstream está associado a esquemas específicos de pré-treino. Realizamos extensos experimentos ablativos para comparar múltiplos objetivos de pré-treino e constatamos que nosso método avança a fronteira de Pareto, superando modelos do tipo T5 e/ou GPT em diversas configurações. Por fim, ao escalar nosso modelo para 20B de parâmetros, alcançamos desempenho SOTA em 50 tarefas supervisionadas de PLN bem estabelecidas, abrangendo geração de linguagem (com avaliação automatizada e humana), compreensão de linguagem, classificação de texto, resposta a perguntas, raciocínio de senso comum, raciocínio em textos longos, ancoragem de conhecimento estruturado e recuperação de informações. Nosso modelo também obtém resultados robustos em aprendizado in-context, superando o GPT-3 de 175B no SuperGLUE zero-shot e triplicando o desempenho do T5-XXL na sumarização one-shot.

Este modelo foi contribuído por DanielHesslow. O código original pode ser encontrado aqui.

Dicas de uso

• UL2 é um modelo encoder-decoder pré-treinado em uma mistura de funções de remoção de ruído, além de ser ajustado em uma série de tarefas downstream.
• UL2 tem a mesma arquitetura que T5v1.1, mas usa a função de ativação Gated-SiLU em vez de Gated-GELU.
• Os autores disponibilizam checkpoints de uma arquitetura, que podem ser vistos aqui

Como a UL2 possui a mesma arquitetura que a T5v1.1, consulte a página de documentação da T5 para referência de API, dicas, exemplos de código e notebooks.