نُشر هذا النموذج في أوراق HF في 12-02-2020، وأُضيف إلى مكتبة Hugging Face Transformers في 20-06-2023.

T5v1.1

نظرة عامة

تم إصدار T5v1.1 في مستودع google-research/text-to-text-transfer-transformer بواسطة Colin Raffel وآخرون. وهو نسخة محسّنة من نموذج T5 الأصلي. تمت مساهمة هذا النموذج من قِبل patrickvonplaten. يمكن العثور على الكود الأصلي هنا.

نصائح للاستخدام

يمكن إدخال أوزان T5v1.1 مباشرةً في نموذج T5، على النحو التالي:

from transformers import T5ForConditionalGeneration


model = T5ForConditionalGeneration.from_pretrained("google/t5-v1_1-base", device_map="auto")

يتضمن إصدار T5 1.1 التحسينات التالية مقارنةً بنموذج T5 الأصلي:

• تفعيل GEGLU في الطبقة المخفية للتغذية الأمامية، بدلاً من ReLU. راجع هذا الورق.

• تم تعطيل Dropout أثناء التدريب المسبق (تحسين في الجودة). ينبغي إعادة تفعيل Dropout أثناء الضبط الدقيق.

• تم تدريبه مسبقًا على C4 فقط دون خلط مهام المهام النهائية.

• لا يوجد مشاركة للمعاملات بين طبقة التضمين وطبقة المصنّف.

• تستبدل “xl” و “xxl” كلًا من “3B” و “11B”. تختلف أشكال النموذج قليلاً - حيث يكون d_model أكبر وnum_heads وd_ff أصغر.

ملاحظة: تم تدريب C4 مسبقًا فقط على T5 Version 1.1 مع استبعاد أي تدريب مُراقَب. لذلك، يجب ضبط هذا النموذج قبل أن يصبح قابلاً للاستخدام في مهمة لاحقة، على عكس نموذج T5 الأصلي. نظرًا لأن t5v1.1 تم تدريبه مسبقًا بشكل غير مُراقَب، فلا يوجد أي فائدة حقيقية لاستخدام بادئة مهمة أثناء الضبط الدقيق لمهمة واحدة. إذا كنت تقوم بالضبط الدقيق متعدد المهام، فيجب عليك استخدام بادئة.

أصدرت Google المتغيرات التالية:

• google/t5-v1_1-small

• google/t5-v1_1-base

• google/t5-v1_1-large

• google/t5-v1_1-xl

• google/t5-v1_1-xxl.

راجع صفحة توثيق T5 للاطلاع على جميع مراجع واجهة برمجة التطبيقات والنصائح وأمثلة الأكواد ودفاتر الملاحظات.