Transformers documentation
SpQR
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v5.22.2).
SpQR
O algoritmo de quantização SpQR envolve uma estrutura de quantização 3-bit em grupos de dois níveis, com blocos de 16x16 e outliers esparsos.
Para quantizar um modelo com SpQR, consulte o repositório Vahe1994/SpQR.
Carregue um modelo quantizado com SpQR usando from_pretrained().
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
quantized_model = AutoModelForCausalLM.from_pretrained(
"elvircrn/Llama-2-7b-SPQR-3Bit-16x16-red_pajama-hf",
dtype=torch.half,
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("elvircrn/Llama-2-7b-SPQR-3Bit-16x16-red_pajama-hf")