このモデルは2020年6月24日にHF papersで公開され、2023年6月20日にHugging Face Transformersに貢献されました。

XLSR-Wav2Vec2

概要

XLSR-Wav2Vec2モデルは、Alexis Conneau、Alexei Baevski、Ronan Collobert、Abdelrahman Mohamed、Michael Auli による Unsupervised Cross-Lingual Representation Learning For Speech Recognition で提案されました。

論文の抄録は以下の通りです。

本論文では、複数言語の音声の生波形から単一のモデルを事前学習することで、言語横断的な音声表現を学習するXLSRを提案します。wav2vec 2.0を基盤とし、マスクされた潜在音声表現に対する対照的タスクを解くことで訓練し、言語間で共有される潜在変数の量子化を同時に学習します。得られたモデルはラベル付きデータでファインチューニングされ、実験により、言語横断的な事前学習は単一言語の事前学習を大幅に上回ることが示されています。CommonVoiceベンチマークにおいて、XLSRは既知の最良の結果と比較して、相対的な音素誤り率が72%減少しました。BABELでは、同程度のシステムと比較して、単語誤り率が相対的に16%改善しました。当社のアプローチにより、強力な個別モデルと競争力のある単一の多言語音声認識モデルが実現可能になります。分析の結果、潜在離散音声表現は言語間で共有されており、関連性の高い言語では共有度が増していることが示されました。53言語で事前学習された大規模モデルXLSR-53を公開することで、低リソース音声理解に関する研究を促進することを期待しています。

元のコードはこちらで確認できます。

注: Meta (FAIR) は Wav2Vec2-BERT 2.0 の新しいバージョンをリリースしました。450万時間の音声で事前学習されています。ファインチューニングタスク、例えば このガイド に従った場合などでの使用を特に推奨します。

使用のコツ

• XLSR-Wav2Vec2 は、音声信号の生波形に対応する float 配列を受け取る音声モデルです。
• XLSR-Wav2Vec2 モデルは connectionist temporal classification (CTC) を用いて学習されているため、モデルの出力は Wav2Vec2CTCTokenizer を使用してデコードする必要があります。

XLSR-Wav2Vec2のアーキテクチャはWav2Vec2モデルに基づいているため、Wav2Vec2のドキュメントページを参照できます。