AQLM

تقوم تقنية AQLM (التكميم الإضافي لنماذج اللغة) بتكميم عدة أوزان معاً والاستفادة من التبعيات المتبادلة بينها. تمثّل AQLM مجموعات من 8 إلى 16 وزناً على شكل مجموع لرموز متجهات متعددة.

يدعم AQLM أيضًا الضبط الدقيق باستخدام LoRA مع مكتبة PEFT، وهو متوافق تمامًا مع torch.compile للحصول على استدلال وتدريب أسرع.

شغّل الأمر أدناه لتثبيت مكتبة AQLM مع دعم النواة للاستدلال والتدريب على كل من GPU و CPU.

pip install aqlm[gpu,cpu]

قم بتحميل نموذج مُكمَّم بتقنية AQLM باستخدام from_pretrained().

from transformers import AutoTokenizer, AutoModelForCausalLM

quantized_model = AutoModelForCausalLM.from_pretrained(
    "ISTA-DASLab/Mixtral-8x7b-AQLM-2Bit-1x16-hf",
    dtype="auto", 
    device_map="auto"
)

التكوينات

تختلف إعدادات تكميم AQLM بشكل رئيسي في عدد كتالوجات الرموز المستخدمة، وكذلك أحجامها بالبتات. تُعرض أدناه أكثر الإعدادات شيوعًا ونوى الاستدلال المدعومة.

النواة	عدد كتل الرموز	حجم كود الكتاب، البتات	الرموز	الدقة	التسريع	استدلال GPU سريع	استدلال سريع على المعالج
Triton	K	N	KxN	-	حتى ~0.7x	✅	❌
CUDA	1	16	1x16	أفضل	حتى ~1.3x	✅	❌
CUDA	2	8	2x8	حسنًا	حتى ~3.0x	✅	❌
Numba	K	8	Kx8	جيد	حتى ~4.0x	❌	✅

الموارد

شغّل دفتر ملاحظات AQLM التجريبي لمزيد من الأمثلة حول كيفية تكميم نموذج، ودفع نموذج مكمّم إلى Hub، والمزيد.

لمزيد من دفاتر الملاحظات التوضيحية، قم بزيارة مستودع AQLM repository.

Update on GitHub

Transformers

AQLM

التكوينات

الموارد