Transformers documentation
MADLAD-400
このモデルは2023年9月9日にHF papersで公開され、2023年11月28日にHugging Face Transformersに貢献されました。
MADLAD-400
概要
MADLAD-400モデルは、論文MADLAD-400: A Multilingual And Document-Level Large Audited Datasetで公開されました。
論文の抄録は以下の通りです。
MADLAD-400 を紹介します。これは CommonCrawl に基づく、手動監査済みの汎用ドメインの 3T トークンの単一言語データセットで、419 の言語をカバーしています。MADLAD-400 の自己監査によって明らかになった制約と、データ監査がデータセット作成プロセスにおいて果たした役割について議論します。次に、公開データを 2500 億トークンにわたり使用し、450 以上の言語をカバーする 107 億パラメータの多言語機械翻訳モデルを訓練して公開しました。その結果、はるかに大規模なモデルと競争力があることが示され、異なるドメインでの結果を報告します。さらに、80 億パラメータの言語モデルを訓練し、少ショット翻訳における結果を評価しました。ベースラインモデル 1 を研究コミュニティに公開します。
このモデルはJuarez Bochiによって追加されました。元のチェックポイントはこちらで確認できます。
これは多くの低リソース言語をサポートする機械翻訳モデルであり、はるかに大規模なモデルと競合できる性能を備えています。
モデルのファインチューニングを行わずに、MADLAD-400の重みを直接使用できます。
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
model = AutoModelForSeq2SeqLM.from_pretrained("google/madlad400-3b-mt", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("google/madlad400-3b-mt")
inputs = tokenizer("<2pt> I love pizza!", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
['Eu amo pizza!']Googleは、以下のバリアントをリリースしました:
元のチェックポイントはこちらで確認できます。
Update on GitHubすべての API リファレンス、コード例、ノートブックについては、T5 のドキュメントページを参照してください。MADLAD-400 の学習と評価に関する詳細については、モデルカードを参照してください。