このモデルは2023年1月25日にHF papersで公開され、2023年6月20日にHugging Face Transformersに貢献されました。

XLM-V

概要

XLM-Vは、Common Crawl（XLM-Rと同じ）の2.5TBのデータから学習された、100万トークンの語彙を持つ多言語言語モデルです。 Davis Liang、Hila Gonen、Yuning Mao、Rui Hou、Naman Goyal、Marjan Ghazvininejad、Luke Zettlemoyer、Madian Khabsa による論文 XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked Language Models で紹介されました。

XLM-V論文の抄録より:

大規模な多言語言語モデルは、通常、100以上の言語で共有される単一の語彙に依存しています。 これらのモデルのパラメータ数や深さが増加するにつれても、語彙サイズはほぼ変更されていません。 この語彙のボトルネックにより、XLM-Rのような多言語モデルの表現能力が制限されています。 本論文では、語彙の重複が少ない言語間のトークン共有を減らし、各言語に対して十分なカバレッジを確保するように語彙容量を割り当てることで、非常に大規模な多言語語彙へスケーリングするための新しいアプローチを紹介します。 私たちの語彙を用いたトークン化は、XLM-Rと比較して、通常、意味的により意味があり、より短くなります。 この改善された語彙を活用して、100万トークンの語彙を持つ多言語言語モデルXLM-Vを訓練しました。 XLM-Vは、自然言語推論（XNLI）、質問応答（MLQA、XQuAD、TyDiQA）、固有名詞認識（WikiAnn）から、低リソースタスク（Americas NLI、MasakhaNER）に至るまで、テストしたすべてのタスクでXLM-Rを上回る性能を示しました。

このモデルは、stefan-it によって貢献されました。XLM-V を下流タスクに適用した詳細な実験が含まれています。 実験のリポジトリはこちらで確認できます。

使用のコツ

• XLM-VはXLM-RoBERTaのモデルアーキテクチャと互換性があり、fairseqライブラリからのモデル重みの変換のみが必要でした。
• XLMTokenizerの実装は、語彙の読み込みとトークン化の実行に使用されます。

XLM-V（baseサイズ）モデルは、facebook/xlm-v-base という識別子で利用できます。

XLM-VのアーキテクチャはXLM-RoBERTaと同じです。APIの参照や例については、XLM-RoBERTaのドキュメントを参照してください。