Transformers documentation
MADLAD-400
Este modelo foi publicado no HF papers em 2023-09-09 e contribuído para o Hugging Face Transformers em 2023-11-28.
MADLAD-400
Visão geral
Os modelos MADLAD-400 foram lançados no artigo MADLAD-400: A Multilingual And Document-Level Large Audited Dataset.
O resumo do artigo é o seguinte:
Apresentamos o MADLAD-400, um dataset monolíngue de 3T tokens de domínio geral, auditado manualmente e baseado no CommonCrawl, abrangendo 419 idiomas. Discutimos as limitações reveladas pela autoauditoria do MADLAD-400 e o papel que a auditoria de dados desempenhou no processo de criação do dataset. Em seguida, treinamos e liberamos um modelo de tradução automática multilíngue com 10,7 bilhões de parâmetros, treinado em 250 bilhões de tokens cobrindo mais de 450 idiomas, utilizando dados publicamente disponíveis, e constatamos que ele é competitivo em relação a modelos significativamente maiores, além de reportarmos os resultados em diferentes domínios. Adicionalmente, treinamos um modelo de linguagem com 8 bilhões de parâmetros e avaliamos os resultados em tradução few-shot. Tornamos os modelos de baseline 1 disponíveis para a comunidade de pesquisa.
Este modelo foi adicionado por Juarez Bochi. Os checkpoints originais podem ser encontrados aqui.
Este é um modelo de tradução automática que suporta muitos idiomas de baixo recurso e que é competitivo em relação a modelos significativamente maiores.
É possível usar diretamente os pesos do MADLAD-400 sem fazer o ajuste fino do modelo:
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
model = AutoModelForSeq2SeqLM.from_pretrained("google/madlad400-3b-mt", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("google/madlad400-3b-mt")
inputs = tokenizer("<2pt> I love pizza!", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
['Eu amo pizza!']A Google lançou as seguintes variantes:
Os checkpoints originais podem ser encontrados aqui.
Update on GitHubConsulte a página de documentação do T5 para todas as referências de API, exemplos de código e notebooks. Para mais detalhes sobre o treinamento e a avaliação do MADLAD-400, consulte o cartão do modelo.