# XLM-V

## 概要

XLM-Vは、Common Crawl（XLM-Rと同じ）の2.5TBのデータで訓練された、100万トークンの語彙を持つ多言語言語モデルです。Davis Liang、Hila Gonen、Yuning Mao、Rui Hou、Naman Goyal、Marjan Ghazvininejad、Luke Zettlemoyer、Madian Khabsaによる論文[XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked Language Models](https://huggingface.co/papers/2301.10472)で紹介されました。

XLM-V論文の抄録より:

*大規模な多言語言語モデルは、通常、100以上の言語で共有される単一の語彙に依存しています。これらのモデルのパラメータ数や深さが増加するにつれても、語彙サイズはほぼ変化していません。この語彙のボトルネックは、XLM-Rのような多言語モデルの表現能力を制限しています。本論文では、語彙の重複が少ない言語間のトークン共有を減らし、各言語に対して十分なカバレッジを達成するように語彙容量を割り当てることで、非常に大規模な多言語語彙へスケールするための新しいアプローチを紹介します。私たちの語彙を用いたトークン化は、XLM-Rと比較して、通常、より意味的に意味があり、短くなります。この改善された語彙を活用して、100万トークンの語彙を持つ多言語言語モデルXLM-Vを訓練しました。XLM-Vは、自然言語推論（XNLI）、質問応答（MLQA、XQuAD、TyDiQA）、固有表現認識（WikiAnn）から、低リソースタスク（Americas NLI、MasakhaNER）に至るまで、テストしたすべてのタスクでXLM-Rを上回る性能を示しました。*

このモデルは、[stefan-it](https://huggingface.co/stefan-it) によって貢献されました。XLM-V を下流タスクに適用した詳細な実験が含まれています。実験のリポジトリは[こちら](https://github.com/stefan-it/xlm-v-experiments)で確認できます。

## 使用のコツ

- XLM-VはXLM-RoBERTaのモデルアーキテクチャと互換性があり、[`fairseq`](https://github.com/facebookresearch/fairseq)ライブラリからのモデル重みの変換のみが必要でした。
- `XLMTokenizer`の実装は、語彙の読み込みとトークン化の実行に使用されます。

XLM-V（baseサイズ）モデルは、[`facebook/xlm-v-base`](https://huggingface.co/facebook/xlm-v-base) という識別子で利用できます。

XLM-VのアーキテクチャはXLM-RoBERTaと同じです。APIの参照や例については、[XLM-RoBERTaのドキュメント](xlm-roberta)を参照してください。