このモデルは2021年11月17日にHF papersで公開され、2023年6月20日にHugging Face Transformersに貢献されました。

XLS-R

概要

XLS-Rモデルは、Arun Babu、Changhan Wang、Andros Tjandra、Kushal Lakhotia、Qiantong Xu、Naman Goyal、Kritika Singh、Patrick von Platen、Yatharth Saraf、Juan Pino、Alexei Baevski、Alexis Conneau、Michael Auli による XLS-R: Self-supervised Cross-lingual Speech Representation Learning at Scale で提案されました。

論文の抄録は以下の通りです。

本論文では、wav2vec 2.0 に基づく大規模なクロスリンガル音声表現学習モデル XLS-R を提案します。 128言語の公開音声データ、合計約50万時間を用いて、最大20億パラメータのモデルを訓練しました。これは、既知の最大規模の先行研究よりも1桁多い公開データ量です。評価は、高リソース言語から低リソース言語までを含む、幅広いタスク、ドメイン、データ規模、言語をカバーしています。CoVoST-2 音声翻訳ベンチマークでは、英語への21方向の翻訳において、従来の最良の結果を平均7.4 BLEU向上させました。音声認識については、XLS-R は BABEL、MLS、CommonVoice、VoxPopuli において、既知の最良の先行研究を上回り、エラーレートを平均して14〜34%相対的に低減しました。XLS-R は、VoxLingua107 言語識別においても新たな最良の結果を達成しました。さらに、十分なモデルサイズがあれば、英語音声から他の言語への翻訳において、単一言語の事前学習に有利な設定にもかかわらず、クロスリンガル事前学習が英語単独の事前学習を上回ることが示されました。XLS-R が、世界中のより多くの言語における音声処理タスクの改善に貢献することを期待しています。

関連するチェックポイントは、https://huggingface.co/models?other=xls_r で確認できます。

元のコードはこちらで確認できます。

使用のコツ

• XLS-Rは、音声信号の生波形に対応するfloat配列を受け取る音声モデルです。
• XLS-Rモデルはconnectionist temporal classification (CTC)を用いて学習されているため、モデルの出力はWav2Vec2CTCTokenizerを使用してデコードする必要があります。

XLS-RのアーキテクチャはWav2Vec2モデルに基づいています。APIの参考として、Wav2Vec2のドキュメントページを参照してください。