Transformers documentation
SpQR
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v5.22.1).
SpQR
يتضمن خوارزمية التكميم SpQR بنية تكميم ثلاثية البت على مستوى مجموعتين مقسّمة إلى بلاطات 16x16 مع قيم شاذة متناثرة.
للتكميم نموذج باستخدام SpQR، يُرجى الرجوع إلى مستودع Vahe1994/SpQR.
حمّل نموذجًا مُكمَّمًا بتقنية SpQR باستخدام from_pretrained().
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
quantized_model = AutoModelForCausalLM.from_pretrained(
"elvircrn/Llama-2-7b-SPQR-3Bit-16x16-red_pajama-hf",
dtype=torch.half,
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("elvircrn/Llama-2-7b-SPQR-3Bit-16x16-red_pajama-hf")