# MADLAD-400

## Visão geral

Os modelos MADLAD-400 foram lançados no artigo [MADLAD-400: A Multilingual And Document-Level Large Audited Dataset](https://huggingface.co/papers/2309.04662).

O resumo do artigo é o seguinte:

*Apresentamos o MADLAD-400, um dataset monolíngue de 3T tokens de domínio geral, auditado manualmente e baseado no CommonCrawl, abrangendo 419 idiomas. Discutimos as limitações reveladas pela autoauditoria do MADLAD-400 e o papel da auditoria de dados no processo de criação do dataset. Em seguida, treinamos e liberamos um modelo de tradução automática multilíngue com 10,7 bilhões de parâmetros, treinado em 250 bilhões de tokens que cobrem mais de 450 idiomas, utilizando dados publicamente disponíveis, e constatamos que ele é competitivo em relação a modelos significativamente maiores, além de reportarmos os resultados em diferentes domínios. Adicionalmente, treinamos um modelo de linguagem com 8 bilhões de parâmetros e avaliamos os resultados em tradução few-shot. Tornamos os modelos de referência 1 disponíveis para a comunidade de pesquisa.*

Este modelo foi adicionado por [Juarez Bochi](https://huggingface.co/jbochi). Os checkpoints originais podem ser encontrados [aqui](https://github.com/google-research/google-research/tree/master/madlad_400).

Este é um modelo de tradução automática que suporta muitos idiomas de baixo recurso e que é competitivo em relação a modelos significativamente maiores.

É possível usar diretamente os pesos do MADLAD-400 sem fazer o ajuste fino do modelo:

```python
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

model = AutoModelForSeq2SeqLM.from_pretrained("google/madlad400-3b-mt", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("google/madlad400-3b-mt")

inputs = tokenizer("<2pt> I love pizza!", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
['Eu amo pizza!']
```

A Google lançou as seguintes variantes:

- [google/madlad400-3b-mt](https://huggingface.co/google/madlad400-3b-mt)

- [google/madlad400-7b-mt](https://huggingface.co/google/madlad400-7b-mt)

- [google/madlad400-7b-mt-bt](https://huggingface.co/google/madlad400-7b-mt-bt)

- [google/madlad400-10b-mt](https://huggingface.co/google/madlad400-10b-mt)

Os checkpoints originais podem ser encontrados [aqui](https://github.com/google-research/google-research/tree/master/madlad_400).

Consulte a [página de documentação do T5](t5) para todas as referências de API, exemplos de código e notebooks. Para mais detalhes sobre o treinamento e a avaliação do MADLAD-400, consulte o cartão do modelo.