# XLM-V

## نظرة عامة

XLM-V هو نموذج لغوي متعدد اللغات بمفردات تضم مليون رمز، وقد تم تدريبه على 2.5 تيرابايت من البيانات من Common Crawl (نفس مصدر بيانات XLM-R). تم تقديمه في ورقة [XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked Language Models](https://huggingface.co/papers/2301.10472) التي كتبها Davis Liang وHila Gonen وYuning Mao وRui Hou وNaman Goyal وMarjan Ghazvininejad وLuke Zettlemoyer وMadian Khabsa.

من الملخص الخاص بورقة XLM-V:

*تعتمد نماذج اللغة متعددة اللغات الكبيرة عادةً على مفردات واحدة مشتركة بين أكثر من 100 لغة. ومع تزايد عدد المعلمات وعمق هذه النماذج، ظلت حجم المفردات دون تغيير كبير في الغالب. يُقيّد هذا الاختناق في المفردات قدرات التمثيل لنماذج متعددة اللغات مثل XLM-R. في هذه الورقة، نُقدّم نهجًا جديدًا للتوسع إلى مفردات متعددة اللغات ضخمة جدًا من خلال تقليل أهمية مشاركة الرموز بين اللغات التي تملك تداخلًا معجميًا ضئيلًا، وتخصيص سعة المفردات لتحقيق تغطية كافية لكل لغة على حدة. عمليات الترميز باستخدام مفرداتنا تكون عادةً أكثر دلالة دلاليًا وأقصر مقارنةً بـ XLM-R. بالاستفادة من هذه المفردات المحسّنة، درّبنا XLM-V، وهو نموذج لغة متعدد اللغات بمفردات تضم مليون رمز. يتفوق XLM-V على XLM-R في كل مهمة اختبرناها، بدءًا من الاستدلال اللغوي الطبيعي (XNLI)، والإجابة عن الأسئلة (MLQA، XQuAD، TyDiQA)، والتعرف على الكيانات المسمّاة (WikiAnn)، وصولًا إلى المهام منخفضة الموارد (Americas NLI، MasakhaNER).*

تمت مساهمة هذا النموذج من قِبل [stefan-it](https://huggingface.co/stefan-it)، بما في ذلك تجارب مفصّلة مع XLM-V على المهام الفرعية. يمكن العثور على مستودع التجارب [هنا](https://github.com/stefan-it/xlm-v-experiments).

## نصائح للاستخدام

- يتوافق XLM-V مع بنية نموذج XLM-RoBERTa، حيث كان لا بد من تحويل أوزان النموذج فقط من مكتبة [`fairseq`](https://github.com/facebookresearch/fairseq).
- تُستخدم عملية `XLMTokenizer` لتحميل قاموس الرموز وتنفيذ عملية التقطيع.

يتوفر نموذج XLM-V (بحجم أساسي) تحت المعرّف [`facebook/xlm-v-base`](https://huggingface.co/facebook/xlm-v-base).

بنية XLM-V هي نفسها بنية XLM-RoBERTa، لذا يُرجى الرجوع إلى [توثيق XLM-RoBERTa](xlm-roberta) للاطلاع على مرجع واجهة برمجة التطبيقات (API) والأمثلة.