# XLS-R

## 概要

XLS-Rモデルは、Arun Babu、Changhan Wang、Andros Tjandra、Kushal Lakhotia、Qiantong Xu、Naman Goyal、Kritika Singh、Patrick von Platen、Yatharth Saraf、Juan Pino、Alexei Baevski、Alexis Conneau、Michael Auli によって提案された [XLS-R: Self-supervised Cross-lingual Speech Representation Learning at Scale](https://huggingface.co/papers/2111.09296) に記載されています。

論文の抄録は以下の通りです。

*本論文では、wav2vec 2.0 に基づく多言語音声表現学習のための大規模モデル XLS-R を提案します。128 言語で利用可能な公開音声オーディオの約 50 万時間という、既知の先行研究の最大規模よりも桁違いに多くの公開データを用いて、最大 20 億パラメータのモデルを訓練しました。評価は、高リソース言語から低リソース言語までを含む、幅広いタスク、ドメイン、データ量、言語にわたって行われました。CoVoST-2 音声翻訳ベンチマークでは、英語への 21 方向の翻訳において、従来の最良の結果を平均 7.4 BLEU 向上させました。音声認識については、XLS-R は BABEL、MLS、CommonVoice、VoxPopuli において既知の最良の先行研究を上回り、エラーレートを平均して相対的に 14〜34% 低減しました。XLS-R は、VoxLingua107 言語識別においても新たな最良の結果を樹立しました。さらに、十分なモデルサイズがあれば、英語音声から他の言語への翻訳において、単一言語の事前学習を有利にする設定にもかかわらず、多言語事前学習が英語単独の事前学習を上回ることが示されました。XLS-R が、世界中のより多くの言語における音声処理タスクの改善に貢献することを期待しています。*

関連するチェックポイントは、https://huggingface.co/models?other=xls_r で見つけることができます。

元のコードは[こちら](https://github.com/pytorch/fairseq/tree/master/fairseq/models/wav2vec)で確認できます。

## 使用のコツ

- XLS-Rは、音声信号の生波形に対応するfloat配列を受け取る音声モデルです。
- XLS-Rモデルはconnectionist temporal classification (CTC)を用いて学習されているため、モデルの出力は[Wav2Vec2CTCTokenizer](/docs/transformers/main/ja/model_doc/wav2vec2#transformers.Wav2Vec2CTCTokenizer)を使用してデコードする必要があります。

XLS-RのアーキテクチャはWav2Vec2モデルに基づいており、APIの参考として[Wav2Vec2のドキュメントページ](wav2vec2)を参照してください。