# T5v1.1

## Visão geral

O T5v1.1 foi lançado no repositório [google-research/text-to-text-transfer-transformer](https://github.com/google-research/text-to-text-transfer-transformer/blob/main/released_checkpoints.md#t511) por Colin Raffel et al. Trata-se de uma versão aprimorada do modelo T5 original. Este modelo foi contribuído por [patrickvonplaten](https://huggingface.co/patrickvonplaten). O código original pode ser encontrado [aqui](https://github.com/google-research/text-to-text-transfer-transformer/blob/main/released_checkpoints.md#t511).

## Dicas de uso

É possível inserir diretamente os pesos do T5v1.1 em um modelo T5, da seguinte forma:

```python
from transformers import T5ForConditionalGeneration

model = T5ForConditionalGeneration.from_pretrained("google/t5-v1_1-base", device_map="auto")
```

A versão 1.1 do T5 inclui as seguintes melhorias em comparação com o modelo T5 original:

- Ativação GEGLU na camada oculta de feed-forward, em vez de ReLU. Veja [este artigo](https://huggingface.co/papers/2002.05202).

- O Dropout foi desativado no pré-treinamento (melhoria na qualidade). O Dropout deve ser reativado durante o fine-tuning.

- Pré-treinado apenas em C4, sem misturar as tarefas de nível inferior.

- Sem compartilhamento de parâmetros entre a camada de incorporação e a camada de classificador.

- "xl" e "xxl" substituem "3B" e "11B". As formas dos modelos são um pouco diferentes - `d_model` maior e `num_heads` e `d_ff` menores.

Nota: A versão 1.1 do T5 foi pré-treinada apenas em [C4](https://huggingface.co/datasets/allenai/c4), excluindo qualquer treinamento supervisionado. Portanto, este modelo precisa ser ajustado (fine-tuned) antes de ser utilizável em uma tarefa de baixo nível (downstream), ao contrário do modelo T5 original. Como o t5v1.1 foi pré-treinado de forma não supervisionada, não há vantagem real em usar um prefixo de tarefa durante o ajuste (fine-tuning) de tarefa única. Se você estiver fazendo ajuste (fine-tuning) multitarefa, deve usar um prefixo.

A Google lançou as seguintes variantes:

- [google/t5-v1_1-small](https://huggingface.co/google/t5-v1_1-small)

- [google/t5-v1_1-base](https://huggingface.co/google/t5-v1_1-base)

- [google/t5-v1_1-large](https://huggingface.co/google/t5-v1_1-large)

- [google/t5-v1_1-xl](https://huggingface.co/google/t5-v1_1-xl)

- [google/t5-v1_1-xxl](https://huggingface.co/google/t5-v1_1-xxl).

Consulte a [página de documentação do T5](t5) para obter todas as referências de API, dicas, exemplos de código e notebooks.