# MADLAD-400

## 概要

MADLAD-400モデルは、論文[MADLAD-400: A Multilingual And Document-Level Large Audited Dataset](https://huggingface.co/papers/2309.04662)で公開されました。

論文の抄録は以下の通りです。

*MADLAD-400 を紹介します。これは CommonCrawl に基づく、手動監査済みの汎用ドメインの 3T トークンの単言語データセットで、419 の言語をカバーしています。MADLAD-400 の自己監査によって明らかになった制約と、データ監査がデータセット作成プロセスにおいて果たした役割について議論します。その後、公開データを 2500 億トークンにわたり使用して、450 以上の言語をカバーする 107 億パラメータの多言語機械翻訳モデルを訓練・公開し、はるかに大規模なモデルと競争力があることを確認し、異なるドメインでの結果を報告します。さらに、80 億パラメータの言語モデルを訓練し、少ショット翻訳での結果を評価しました。ベースラインモデル 1 を研究コミュニティに公開します。*

このモデルは[Juarez Bochi](https://huggingface.co/jbochi)によって追加されました。元のチェックポイントは[こちら](https://github.com/google-research/google-research/tree/master/madlad_400)で確認できます。

これは多くの低リソース言語をサポートする機械翻訳モデルであり、はるかに大規模なモデルと競合できる性能を備えています。

モデルのファインチューニングを行わずに、MADLAD-400の重みを直接使用できます。

```python
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

model = AutoModelForSeq2SeqLM.from_pretrained("google/madlad400-3b-mt", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("google/madlad400-3b-mt")

inputs = tokenizer("<2pt> I love pizza!", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
['Eu amo pizza!']
```

Googleは、以下のバリアントをリリースしました:

- [google/madlad400-3b-mt](https://huggingface.co/google/madlad400-3b-mt)

- [google/madlad400-7b-mt](https://huggingface.co/google/madlad400-7b-mt)

- [google/madlad400-7b-mt-bt](https://huggingface.co/google/madlad400-7b-mt-bt)

- [google/madlad400-10b-mt](https://huggingface.co/google/madlad400-10b-mt)

元のチェックポイントは[こちら](https://github.com/google-research/google-research/tree/master/madlad_400)で確認できます。

すべてのAPIリファレンス、コード例、ノートブックについては、[T5のドキュメントページ](t5)を参照してください。MADLAD-400の学習と評価に関する詳細については、モデルカードを参照してください。