نُشر هذا النموذج في أوراق HF في 24 يونيو 2020، وأُضيف إلى مكتبة Hugging Face Transformers في 20 يونيو 2023.

XLSR-Wav2Vec2

نظرة عامة

قُدِّم نموذج XLSR-Wav2Vec2 في Unsupervised Cross-Lingual Representation Learning For Speech Recognition بواسطة Alexis Conneau وAlexei Baevski وRonan Collobert وAbdelrahman Mohamed وMichael Auli.

المستخلص من الورقة البحثية هو كالتالي:

تقدّم هذه الورقة XLSR الذي يتعلّم تمثيلات كلامية عبر اللغات من خلال تدريب مسبق لنموذج واحد من الموجة الخام للكلام بعدة لغات. نبني على wav2vec 2.0 الذي يُدرَّب عن طريق حلّ مهمة تباينية على تمثيلات كلامية كامنة مقنّعة، ويتعلّم بالتوازي تكميمًا للقيم الكامنة مشتركًا عبر اللغات. يُضبط النموذج الناتج على بيانات موسومة، وتُظهر التجارب أن التدريب المسبق عبر اللغات يتفوق بشكل كبير على التدريب المسبق أحادي اللغة. على معيار CommonVoice، يُظهر XLSR انخفاضًا نسبيًا في معدل خطأ الفونيمات بنسبة 72% مقارنةً بأفضل النتائج المعروفة. على BABEL، تحسّن منهجيتنا معدل خطأ الكلمات بنسبة 16% نسبيًا مقارنةً بنظام مماثل. تُمكّن منهجيتنا من نموذج واحد للتعرف على الكلام متعدد اللغات يكون تنافسيًا مع نماذج فردية قوية. تُظهر التحليلات أن التمثيلات الكلامية المنفصلة الكامنة مشتركة عبر اللغات، مع زيادة في المشاركة بين اللغات ذات الصلة. نأمل أن نُسرّع البحث في فهم الكلام منخفض الموارد من خلال إصدار XLSR-53، وهو نموذج كبير مُدرَّب مسبقًا على 53 لغة.

يمكن العثور على الكود الأصلي هنا.

ملاحظة: أصدرت Meta (FAIR) إصدارًا جديدًا من Wav2Vec2-BERT 2.0 - تم تدريبه مسبقًا على 4.5 مليون ساعة من الصوت. ننصح بشكل خاص باستخدامه لمهام الضبط الدقيق، على سبيل المثال وفقًا لـ هذا الدليل.

نصائح للاستخدام

• XLSR-Wav2Vec2 هو نموذج كلامي يقبل مصفوفة من الأرقام العشرية (float) تتوافق مع الموجة الخام لإشارة الكلام.
• تم تدريب نموذج XLSR-Wav2Vec2 باستخدام التصنيف الزمني المتصل (CTC)، لذا يجب فك ترميز مخرجات النموذج باستخدام Wav2Vec2CTCTokenizer.

يعتمد بنية XLSR-Wav2Vec2 على نموذج Wav2Vec2، لذا يمكن الرجوع إلى صفحة توثيق Wav2Vec2.