VPTQ

تكميم ما بعد التدريب المتجهي (VPTQ) هو أسلوب تكميم ما بعد التدريب (PTQ) يستفيد من التكميم المتجهي لتكميم نماذج اللغة الكبيرة (LLMs) بعرض بت منخفض للغاية (<2-bit). يمكن لـ VPTQ ضغط نموذج بحجم 70B، بل وحتى 405B، إلى 1-2 بت دون إعادة تدريب، مع الحفاظ على دقة عالية. وهو خوارزمية تكميم خفيفة الوزن تستغرق حوالي 17 ساعة لتكميم نموذج بحجم 405B. ويتميز VPTQ باستدلال تكميم مرن مع عبء فك ترميز منخفض ومعدل إنتاجية عالٍ وزمن وصول إلى الرمز الأول (TTFT).

شغّل الأمر أدناه لتثبيت VPTQ الذي يوفر نوى فعّالة للاستدلال على وحدات معالجة الرسوميات من NVIDIA وAMD.

pip install vptq

توفر VPTQ-community مجموعة من النماذج المُكمّاة بتقنية VPTQ. يحتوي اسم النموذج على معلومات حول عرض البت (باستثناء النفقات الإضافية الخاصة بالكتاب التعليمي والمعاملات والتعبئة). خذ نموذج [Meta-Llama-3.1-70B-Instruct-v8-k65536-256-woft] كمثال.

اسم النموذج هو Meta-Llama-3.1-70B-Instruct.
يُحدَّد عدد مراكز العناقيد بقيمة 65536 (2^16).
يُعطى عدد مراكز المتبقيات بواسطة 256 (2^8).

يُعطى حساب عرض البتات المكافئ فيما يلي.

index: log2(65536) = 16 / 8 = 2-bits
مؤشر الباقي: log2(256) = 8 / 8 = 1-بت
العرض الكلي للبتات: 2 + 1 = 3 بتات

من هنا، قدّر حجم النموذج عن طريق ضرب 70B * 3-bits / 8-bits/byte ليصبح المجموع 26.25GB.

حمّل نموذجًا مُكمَّمًا بتقنية VPTQ باستخدام from_pretrained().

from transformers import AutoTokenizer, AutoModelForCausalLM

quantized_model = AutoModelForCausalLM.from_pretrained(
    "VPTQ-community/Meta-Llama-3.1-70B-Instruct-v16-k65536-65536-woft",
    dtype="auto", 
    device_map="auto"
)

للتكميم نموذجك الخاص، راجع دليل خوارزمية التكميم VPTQ.

المعايير

يحقق VPTQ دقة أعلى ومعدل إنتاجية أكبر مع تقليل أعباء التكميم عبر نماذج مختلفة الأحجام. النتائج التجريبية التالية هي للاسترشاد فقط؛ إذ يمكن لـ VPTQ تحقيق نتائج أفضل تحت معلمات معقولة، لا سيما من حيث دقة النموذج وسرعة الاستدلال.

النموذج	عرض البت	W2↓	C4↓	AvgQA↑	رمز/ث↑	mem(GB)	التكلفة/س↓
LLaMA-2 7B	2.02	6.13	8.07	58.2	39.9	2.28	2
	2.26	5.95	7.87	59.4	35.7	2.48	3.1
LLaMA-2 13B	2.02	5.32	7.15	62.4	26.9	4.03	3.2
	2.18	5.28	7.04	63.1	18.5	4.31	3.6
LLaMA-2 70B	2.07	3.93	5.72	68.6	9.7	19.54	19
	2.11	3.92	5.71	68.7	9.7	20.01	19

الموارد

شاهد عرضًا توضيحيًا لـ VPTQ على مساحة Space الخاصة بالعرض التوضيحي عبر الإنترنت، أو جرّب تشغيل دفتر ملاحظات notebook للاستدلال الخاص بـ VPTQ.

لمزيد من المعلومات، اقرأ ورقة VPTQ.

Update on GitHub

Transformers

VPTQ

المعايير

الموارد