# MADLAD-400

## نظرة عامة

تم إصدار نماذج MADLAD-400 في الورقة البحثية [MADLAD-400: A Multilingual And Document-Level Large Audited Dataset](https://huggingface.co/papers/2309.04662).

المستخلص من الورقة البحثية هو كالتالي:

*نقدّم MADLAD-400، وهو مجموعة بيانات أحادية اللغة عامة المجال مبنية على CommonCrawl وتضم 3 تريليونات توكن، وقد خضعت لتدقيق يدوي، وتغطي 419 لغة. نناقش القيود التي كشف عنها التدقيق الذاتي لمجموعة MADLAD-400، والدور الذي لعبه تدقيق البيانات في عملية إنشاء المجموعة. ثم ندرّب وننشر نموذج ترجمة آلية متعدد اللغات يحتوي على 10.7 مليار معامل، تم تدريبه على 250 مليار توكن تغطي أكثر من 450 لغة باستخدام بيانات متاحة للعموم، ونجد أنه منافس للنماذج الأكبر حجمًا بشكل ملحوظ، ونُبلغ عن النتائج في مجالات مختلفة. بالإضافة إلى ذلك، ندرّب نموذج لغة يحتوي على 8 مليارات معامل، ونقيّم النتائج في الترجمة بعدد قليل من الأمثلة. نجعل النماذج الأساسية 1 متاحة لمجتمع البحث.*

تمت إضافة هذا النموذج بواسطة [Juarez Bochi](https://huggingface.co/jbochi). يمكن العثور على نقاط التفتيش الأصلية [هنا](https://github.com/google-research/google-research/tree/master/madlad_400).

هذا نموذج ترجمة آلية يدعم العديد من اللغات منخفضة الموارد، وهو منافس لنماذج أكبر بكثير في الحجم.

يمكن استخدام أوزان MADLAD-400 مباشرة دون الحاجة إلى ضبط النموذج:

```python
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

model = AutoModelForSeq2SeqLM.from_pretrained("google/madlad400-3b-mt", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("google/madlad400-3b-mt")

inputs = tokenizer("<2pt> I love pizza!", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
['Eu amo pizza!']
```

أصدرت Google المتغيرات التالية:

- [google/madlad400-3b-mt](https://huggingface.co/google/madlad400-3b-mt)

- [google/madlad400-7b-mt](https://huggingface.co/google/madlad400-7b-mt)

- [google/madlad400-7b-mt-bt](https://huggingface.co/google/madlad400-7b-mt-bt)

- [google/madlad400-10b-mt](https://huggingface.co/google/madlad400-10b-mt)

يمكن العثور على نقاط التفتيش الأصلية [هنا](https://github.com/google-research/google-research/tree/master/madlad_400).

راجع [صفحة توثيق T5](t5) لجميع مراجع واجهات برمجة التطبيقات، وأمثلة الأكواد، ودفاتر الملاحظات. لمزيد من التفاصيل حول تدريب وتقييم MADLAD-400، راجع بطاقة النموذج.