Este modelo foi publicado no HF papers em 2021-11-17 e contribuído para o Hugging Face Transformers em 2023-06-20.

XLS-R

Visão geral

O modelo XLS-R foi proposto em XLS-R: Self-supervised Cross-lingual Speech Representation Learning at Scale por Arun Babu, Changhan Wang, Andros Tjandra, Kushal Lakhotia, Qiantong Xu, Naman Goyal, Kritika Singh, Patrick von Platen, Yatharth Saraf, Juan Pino, Alexei Baevski, Alexis Conneau, Michael Auli.

O resumo do artigo é o seguinte:

Este artigo apresenta o XLS-R, um modelo de grande escala para aprendizado de representação de fala cross-lingual baseado no wav2vec 2.0. Treinamos modelos com até 2B de parâmetros em quase meio milhão de horas de áudio de fala publicamente disponível em 128 idiomas, uma ordem de grandeza a mais de dados públicos do que o maior trabalho anterior conhecido. Nossa avaliação abrange uma ampla variedade de tarefas, domínios, regimes de dados e idiomas, tanto de alto quanto de baixo recurso. No benchmark de tradução de fala CoVoST-2, melhoramos o estado da arte anterior em uma média de 7,4 BLEU em 21 direções de tradução para o inglês. Para o reconhecimento de fala, o XLS-R supera o melhor trabalho anterior conhecido no BABEL, MLS, CommonVoice, bem como no VoxPopuli, reduzindo as taxas de erro em 14-34% em média, em termos relativos. O XLS-R também estabelece um novo estado da arte na identificação de idioma VoxLingua107. Além disso, mostramos que, com tamanho de modelo suficiente, o pré-treinamento cross-lingual pode superar o pré-treinamento apenas em inglês ao traduzir fala em inglês para outros idiomas, um cenário que favorece o pré-treinamento monolíngue. Esperamos que o XLS-R possa ajudar a melhorar as tarefas de processamento de fala para muitos mais idiomas do mundo.

Os checkpoints relevantes podem ser encontrados em https://huggingface.co/models?other=xls_r.

O código original pode ser encontrado aqui.

Dicas de uso

• XLS-R é um modelo de fala que aceita um array de float correspondente à forma de onda bruta do sinal de fala.
• O modelo XLS-R foi treinado usando classificação temporal conexionista (CTC), portanto a saída do modelo precisa ser decodificada usando Wav2Vec2CTCTokenizer.

A arquitetura do XLS-R é baseada no modelo Wav2Vec2; consulte a página de documentação do Wav2Vec2 para referência da API.