نُشر هذا النموذج في أوراق HF في 17-11-2021، وأُضيف إلى مكتبة Hugging Face Transformers في 20-06-2023.

XLS-R

نظرة عامة

قُدِّم نموذج XLS-R في XLS-R: Self-supervised Cross-lingual Speech Representation Learning at Scale بواسطة Arun Babu و Changhan Wang و Andros Tjandra و Kushal Lakhotia و Qiantong Xu و Naman Goyal و Kritika Singh و Patrick von Platen و Yatharth Saraf و Juan Pino و Alexei Baevski و Alexis Conneau و Michael Auli.

المستخلص من الورقة البحثية هو كالتالي:

تقدّم هذه الورقة نموذج XLS-R، وهو نموذج واسع النطاق لتعلّم تمثيلات الكلام عبر اللغات، مبني على wav2vec 2.0. تدرّب نماذج تصل إلى 2 مليار معامل على ما يقارب نصف مليون ساعة من تسجيلات الصوتية المتاحة علنًا في 128 لغة، أي بيانات عامة أكبر بمقدار مرتبة من أكبر عمل سابق معروف. يغطي تقييمنا مجموعة واسعة من المهام والمجالات وأنظمة البيانات واللغات، سواء كانت عالية الموارد أو منخفضة الموارد. على معيار CoVoST-2 لترجمة الكلام، نحسّن الأداء السابق الأفضل بمقدار 7.4 BLEU في المتوسط عبر 21 اتجاه ترجمة إلى الإنجليزية. وبالنسبة لتعرف الكلام، يحسّن XLS-R على أفضل عمل سابق معروف على BABEL وMLS وCommonVoice وكذلك VoxPopuli، مما يخفض معدلات الخطأ بنسبة 14-34% نسبيًا في المتوسط. كما يضع XLS-R حالة فنية جديدة في تحديد اللغة على VoxLingua107. علاوة على ذلك، نبيّن أنه مع حجم نموذج كافٍ، يمكن للتدريب المسبق عبر اللغات أن يتفوق على التدريب المسبق بالإنجليزية فقط عند ترجمة الكلام الإنجليزي إلى لغات أخرى، وهو إعداد يفضّل التدريب الأحادي اللغة. نأمل أن يساعد XLS-R في تحسين مهام معالجة الكلام للعديد من لغات العالم.

يمكن العثور على نقاط التفتيش ذات الصلة تحت https://huggingface.co/models?other=xls_r.

يمكن العثور على الكود الأصلي هنا.

نصائح للاستخدام

• XLS-R هو نموذج كلامي يقبل مصفوفة من الأرقام العشرية (float) تتوافق مع الموجة الخام لإشارة الكلام.
• تم تدريب نموذج XLS-R باستخدام التصنيف الزمني المتصل (CTC)، لذا يجب فك ترميز مخرجات النموذج باستخدام Wav2Vec2CTCTokenizer.

تعتمد بنية XLS-R على نموذج Wav2Vec2، يرجى الرجوع إلى صفحة توثيق Wav2Vec2 للاطلاع على مرجع واجهة برمجة التطبيقات.