# AWQ [Activation-aware Weight Quantization (AWQ)](https://hf.co/papers/2306.00978)は、LLMの性能にとって重要な少数の重みを保持することで、性能の低下を最小限に抑えながらモデルを4ビットに圧縮します。 AWQアルゴリズムでモデルを量子化するためのライブラリはいくつかあり、[llm-awq](https://github.com/mit-han-lab/llm-awq)、[autoawq](https://github.com/casper-hansen/AutoAWQ)、[optimum-intel](https://huggingface.co/docs/optimum/main/en/intel/optimization_inc)などが挙げられます。Transformersは、llm-awqおよびautoawqライブラリで量子化されたモデルの読み込みをサポートしています。本ガイドでは、autoawqで量子化されたモデルの読み込み方法を示しますが、llm-awqで量子化されたモデルの場合も、プロセスはほぼ同様です。 以下のコマンドを実行して、autoawqをインストールします。 ```bash pip install autoawq ``` > [!WARNING] > AutoAWQ は Transformers をバージョン 4.47.1 にダウングレードします。AutoAWQ を使用して推論を実行する場合は、AutoAWQ のインストール後に Transformers のバージョンを再インストールする必要がある場合があります。 モデルの [config.json](https://huggingface.co/TheBloke/zephyr-7B-alpha-AWQ/blob/main/config.json) ファイル内の `quant_method` キーを確認して、AWQ 量子化モデルかどうかを特定します。 ```json { "_name_or_path": "/workspace/process/huggingfaceh4_zephyr-7b-alpha/source", "architectures": [ "MistralForCausalLM" ], ... ... ... "quantization_config": { "quant_method": "awq", "zero_point": true, "group_size": 128, "bits": 4, "version": "gemm" } } ``` AWQ量子化モデルを[from_pretrained()](/docs/transformers/main/ja/main_classes/model#transformers.PreTrainedModel.from_pretrained)で読み込みます。パフォーマンス上の理由から、デフォルトでは他の重みがfp16に設定されます。これらの他の重みを別の形式で読み込むには、`dtype`パラメータを使用します。 モデルがCPUにロードされている場合は、`device_map`パラメータを使用してアクセラレータに移動します。 ```py from transformers import AutoModelForCausalLM, AutoTokenizer from accelerate import Accelerator import torch device = Accelerator().device model = AutoModelForCausalLM.from_pretrained( "TheBloke/zephyr-7B-alpha-AWQ", dtype=torch.float32, device_map=device ) ``` `attn_implementation` を使用して [FlashAttention2](../kernel_doc/loading_kernels#attention-kernels) を有効にし、推論をさらに高速化します。 ```py from transformers import AutoModelForCausalLM, AutoTokenizer from accelerate import Accelerator model = AutoModelForCausalLM.from_pretrained( "TheBloke/zephyr-7B-alpha-AWQ", attn_implementation="flash_attention_2", device_map=Accelerator().device ) ``` ## 融合モジュール Fused modulesは、精度とパフォーマンスの向上をもたらします。[Llama](https://huggingface.co/meta-llama)および[Mistral](https://huggingface.co/mistralai/Mistral-7B-v0.1)アーキテクチャのAWQモジュールには、標準でサポートされていますが、サポートされていないアーキテクチャのAWQモジュールもフュージョンできます。 > [!WARNING] > Fused modulesは、FlashAttention2などの他の最適化技術と組み合わせることはできません。 [AwqConfig](/docs/transformers/main/ja/main_classes/quantization#transformers.AwqConfig) を作成し、`fuse_max_seq_len` と `do_fuse=True` を設定して、フュージョン済みモジュールを有効にします。`fuse_max_seq_len` パラメータはシーケンスの総長を指定するもので、コンテキスト長と推定される生成長を含める必要があります。安全策として、より大きな値を設定してください。 以下の例では、[TheBloke/Mistral-7B-OpenOrca-AWQ](https://huggingface.co/TheBloke/Mistral-7B-OpenOrca-AWQ) モデルの AWQ モジュールを融合します。 ```python import torch from transformers import AwqConfig, AutoModelForCausalLM quantization_config = AwqConfig( bits=4, fuse_max_seq_len=512, do_fuse=True, ) model = AutoModelForCausalLM.from_pretrained( "TheBloke/Mistral-7B-OpenOrca-AWQ", quantization_config=quantization_config ).to(0) ``` [TheBloke/Mistral-7B-OpenOrca-AWQ](https://huggingface.co/TheBloke/Mistral-7B-OpenOrca-AWQ) モデルは、`batch_size=1` で、fused modules を使用する場合と使用しない場合の両方でベンチマークされました。 非融合モジュール | バッチサイズ | プリフィル長 | デコード長 | プリフィル トークン/秒 | デコードトークン/秒 | メモリ（VRAM） | |-------------:|-----------------:|----------------:|-------------------:|------------------:|:----------------| | 1 | 32 | 32 | 60.0984 | 38.4537 | 4.50 GB (5.68%) | | 1 | 64 | 64 | 1333.67 | 31.6604 | 4.50 GB (5.68%) | | 1 | 128 | 128 | 2434.06 | 31.6272 | 4.50 GB (5.68%) | | 1 | 256 | 256 | 3072.26 | 38.1731 | 4.50 GB (5.68%) | | 1 | 512 | 512 | 3184.74 | 31.6819 | 4.59 GB (5.80%) | | 1 | 1024 | 1024 | 3148.18 | 36.8031 | 4.81 GB (6.07%) | | 1 | 2048 | 2048 | 2927.33 | 35.2676 | 5.73 GB (7.23%) | 融合モジュール | バッチサイズ | プリフィル長 | デコード長 | プリフィル トークン/秒 | デコードトークン/秒 | メモリ（VRAM） | |-------------:|-----------------:|----------------:|-------------------:|------------------:|:----------------| | 1 | 32 | 32 | 81.4899 | 80.2569 | 4.00 GB (5.05%) | | 1 | 64 | 64 | 1756.1 | 106.26 | 4.00 GB (5.05%) | | 1 | 128 | 128 | 2479.32 | 105.631 | 4.00 GB (5.06%) | | 1 | 256 | 256 | 1813.6 | 85.7485 | 4.01 GB (5.06%) | | 1 | 512 | 512 | 2848.9 | 97.701 | 4.11 GB (5.19%) | | 1 | 1024 | 1024 | 3044.35 | 87.7323 | 4.41 GB (5.57%) | | 1 | 2048 | 2048 | 2715.11 | 89.4709 | 5.57 GB (7.04%) | [optimum-benchmark](https://github.com/huggingface/optimum-benchmark) ライブラリを使用して、フュージョン済みモジュールとフュージョン未実施モジュールの速度およびスループットもテストされました。 フォワードのピークメモリ/バッチサイズ generateスループット/バッチサイズ fused モジュールをサポートしないアーキテクチャの場合、[AwqConfig](/docs/transformers/main/ja/main_classes/quantization#transformers.AwqConfig) を作成し、`modules_to_fuse` でカスタムの fusing マッピングを定義して、どのモジュールを fuse する必要があるかを決定します。 以下の例では、[TheBloke/Yi-34B-AWQ](https://huggingface.co/TheBloke/Yi-34B-AWQ) モデルの AWQ モジュールを融合します。 ```python import torch from transformers import AwqConfig, AutoModelForCausalLM quantization_config = AwqConfig( bits=4, fuse_max_seq_len=512, modules_to_fuse={ "attention": ["q_proj", "k_proj", "v_proj", "o_proj"], "layernorm": ["ln1", "ln2", "norm"], "mlp": ["gate_proj", "up_proj", "down_proj"], "use_alibi": False, "num_attention_heads": 56, "num_key_value_heads": 8, "hidden_size": 7168 } ) model = AutoModelForCausalLM.from_pretrained( "TheBloke/Yi-34B-AWQ", quantization_config=quantization_config ).to(0) ``` パラメータ `modules_to_fuse` には、以下のキーを含める必要があります。 - `"attention"`: 以下の順序で融合するアテンション層の名前: query、key、value、および出力投影層。これらの層を融合したくない場合は、空のリストを渡してください。 - `"layernorm"`: 置き換えたいカスタム融合 LayerNorm への対象となるすべての LayerNorm レイヤーの名前。これらのレイヤーを融合したくない場合は、空のリストを渡してください。 - `"mlp"`: 単一の MLP レイヤーに融合したい MLP レイヤーの名前を、(gate (dense, layer, post-attention) / up / down レイヤー) の順で指定します。 - `"use_alibi"`: モデルが ALiBi 位置埋め込みを使用する場合に指定します。 - `"num_attention_heads"`: アテンションヘッドの数。 - `"num_key_value_heads"`: Grouped Query Attention (GQA) の実装に使用する key value heads の数。 | パラメータの値 | アテンション | |---|---| | `num_key_value_heads=num_attention_heads` | マルチヘッドアテンション | | `num_key_value_heads=1` | Multi-Query Attention | | `num_key_value_heads=...` | グループクエリアテンション | - `"hidden_size"`: 隠れ表現の次元数。 ## ExLlamaV2 [ExLlamaV2](https://github.com/turboderp/exllamav2) カーネルにより、より高速なプリフィルとデコーディングがサポートされます。ExLlamaV2 対応の最新バージョンの autoawq をインストールするには、以下のコマンドを実行してください。 ```bash pip install git+https://github.com/casper-hansen/AutoAWQ.git ``` ExLlamaV2カーネルを有効にするには、[AwqConfig](/docs/transformers/main/ja/main_classes/quantization#transformers.AwqConfig)で`version="exllama"`を設定してください。 > [!TIP] > ExLlamaV2 は AMD GPU でサポートされています。 ```py import torch from transformers import AutoModelForCausalLM, AutoTokenizer, AwqConfig quantization_config = AwqConfig(version="exllama") model = AutoModelForCausalLM.from_pretrained( "TheBloke/Mistral-7B-Instruct-v0.1-AWQ", quantization_config=quantization_config, device_map="auto", ) ``` ## リソース モデルの量子化方法、量子化済みモデルを Hub にプッシュする方法など、さらに多くの例については、AWQ デモの [ノートブック](https://colab.research.google.com/drive/1HzZH89yAXJaZgwJDhQj9LqSBux932BvY#scrollTo=Wwsg6nCwoThm) を実行してください。