خريطة الدمج (ميزة تجريبية)

توفر خريطة الدمج طريقة اختيارية لاستبدال الوحدات الفرعية للنموذج عند التحميل مع الحفاظ على تنسيق نقطة التفتيش الأصلية.

يُبنى على:

• التعديل المباشر (Monkey patching) لاستبدال فئات الوحدات قبل إنشاء النموذج.
• تحميل الأوزان الديناميكي لربط الأوزان بين تخطيطات وقت التشغيل الأصلية والمدمجة.

تُعدّ خرائط الدمج ميزة تحميل تجريبية. فهي تُغيّر بنية وحدة وقت التشغيل وقد تؤثر على سلوك النموذج. استخدمها فقط عندما ترغب صراحةً في تخطيط وقت تشغيل مدمج.

البدء السريع

يتم تفعيل الدمج من خلال from_pretrained() باستخدام fusion_config:

from transformers import AutoModelForImageTextToText


model = AutoModelForImageTextToText.from_pretrained(
    "Qwen/Qwen2-VL-2B-Instruct",
    fusion_config={"patch_embeddings": True},
)

بشكل افتراضي، لا يُطبَّق أي اندماج. إذا كان fusion_config مخزَّنًا في إعدادات النموذج، فسيُعيد from_pretrained() استخدامه تلقائيًا.

كيف يعمل

تحدث تسجيل الدمج قبل إنشاء النموذج:

1. يستخدم from_pretrained() الحجة الصريحة fusion_config أو يعتمد على config.fusion_config.
2. يتحقق سجل الدمج من أسماء الدمج المطلوبة.
3. يُهيّئ كل اندماج مفعّل فئة النموذج المستهدف مبدئيًا، ويصفّي الوحدات المرشحة اختياريًا حسب الاسم، ويستخدم is_fusable(...) لاكتشاف فئات الوحدات المتوافقة.
4. تُسجَّل فئات الاستبدال المدمجة من خلال register_patch_mapping().
5. تُولَّد قواعد ~WeightTransform المطابقة من ملف الإعدادات حتى يتمكن تحميل نقطة الحفظ من تعيين الأوزان إلى تخطيط وقت التشغيل المدمج.
6. بشكل افتراضي، يستخدم save_pretrained() مسار التحويل العكسي لاستعادة تخطيط نقطة التفتيش الأصلية. مرّر save_original_format=False للإبقاء على تخطيط وقت التشغيل المحوّل بدلاً من ذلك.

يتيح ذلك لدمج أن يستخدم بنية وحدة وقت تشغيل مختلفة، مع استمراره في التحميل من تنسيق نقطة الفحص الأصلية، وحفظ البيانات فيه مرة أخرى افتراضيًا.

ملاحظة: مع آلية التعديل الديناميكي (monkey-patching) الحالية، فإن تسجيل الدمج يتم على مستوى الفئة: تُطابق فئة وحدة واحدة متوافقة مع فئة بديلة مدمجة واحدة.

عائلات الاندماج الحالية

حاليًا، يدعم fusion_config عائلة اندماج واحدة:

• patch_embeddings تفعيله عبر:

  تم النسخ

  fusion_config = {"patch_embeddings": True}

  التأثير: يستبدل إسقاطات تضمين البقع المتوافقة nn.Conv3d بإسقاطات nn.Linear مسطحة مكافئة وقت التشغيل.

توسيع خرائط الدمج

لإضافة عائلة اندماج جديدة:

1. أضف حكم is_fusable. يحدد هذا الحكم ما إذا كان الوحدة المكتشفة متوافقة مع الدمج.
2. أضِف اختياريًا target_modules_patterns. يجعل هذا خطوة الاكتشاف أكثر وضوحًا من خلال تصفية أسماء الوحدات المرشحة مسبقًا قبل is_fusable(...).
3. أضِف مصنع make_fused_class. يعيد هذا الفئة البديلة وقت التشغيل لفئة وحدة متوافقة.
4. أضِف مصنع make_transforms إذا احتاج التخطيط المدمج إلى تحويل نقاط التفتيش. يعيد هذا القواعد ~WeightTransform التي تُخضع الأوزان للتحويل بين التخطيط الأصلي والتخطيط المدمج لإعداد معين.
5. سجّل ModuleFusionSpec الجديد في fusion_mapping.py.

بمجرد التسجيل، يصبح الاندماج الجديد متاحًا عبر fusion_config.

واجهة برمجة التطبيقات الداخلية