# XLSR-Wav2Vec2

## 概要

XLSR-Wav2Vec2モデルは、Alexis Conneau、Alexei Baevski、Ronan Collobert、Abdelrahman Mohamed、Michael Auli による [Unsupervised Cross-Lingual Representation Learning For Speech Recognition](https://huggingface.co/papers/2006.13979) で提案されました。

論文の抄録は以下の通りです。

*本論文では、複数言語の音声の生波形から単一のモデルを事前学習することで、言語横断的な音声表現を学習するXLSRを提案します。本手法は、マスクされた潜在音声表現に対する対照的タスクを解くことで訓練されるwav2vec 2.0を基盤とし、言語間で共有される潜在変数の量子化を同時に学習します。得られたモデルはラベル付きデータでファインチューニングされ、実験により、言語横断的な事前学習は単一言語の事前学習を大幅に上回ることが示されました。CommonVoiceベンチマークにおいて、XLSRは既知の最良の結果と比較して、相対的な音素誤り率が72%減少しました。BABELにおいて、当社のアプローチは同様のシステムと比較して、相対的な単語誤り率を16%改善しました。当社のアプローチにより、強力な個別モデルと競争力のある単一の多言語音声認識モデルが実現可能になります。分析の結果、潜在離散音声表現は言語間で共有されており、関連性の高い言語間では共有度が増していることが示されました。53言語で事前学習された大規模モデルXLSR-53を公開することで、低リソース音声理解に関する研究を促進することを期待しています。*

元のコードは[こちら](https://github.com/pytorch/fairseq/tree/master/fairseq/models/wav2vec)で確認できます。

注: Meta (FAIR) は [Wav2Vec2-BERT 2.0](./wav2vec2-bert) の新しいバージョンをリリースしました。450万時間の音声で事前学習されています。特に、[このガイド](https://huggingface.co/blog/fine-tune-w2v2-bert) に従うようなファインチューニングタスクでの使用を強くお勧めします。

## 使用のコツ

- XLSR-Wav2Vec2 は、音声信号の生波形に対応する float 配列を受け取る音声モデルです。
- XLSR-Wav2Vec2モデルはconnectionist temporal classification (CTC)を用いて学習されているため、モデルの出力は[Wav2Vec2CTCTokenizer](/docs/transformers/main/ja/model_doc/wav2vec2#transformers.Wav2Vec2CTCTokenizer)を使用してデコードする必要があります。

XLSR-Wav2Vec2のアーキテクチャはWav2Vec2モデルに基づいているため、[Wav2Vec2のドキュメントページ](./wav2vec2)を参照できます。