llama.cpp

llama.cppは、大規模言語モデルをローカルにデプロイするためのC/C++製推論エンジンです。軽量であり、Python、CUDA、その他の重いサーバー基盤は不要です。llama.cppはGGUFファイル形式を使用しています。GGUFは量子化されたモデルの重みとメモリマッピングをサポートしており、デバイスのメモリ帯域幅を削減できます。

GGUF形式で利用可能なモデルをHubで検索できます。

convert_hf_to_gguf.py スクリプトを使用して、任意の Transformers モデルを GGUF 形式に変換できます。

python3 convert_hf_to_gguf.py ./models/openai/gpt-oss-20b \
  --outfile gpt-oss-20b.gguf \

llama-cli を使用してコマンドラインからモデルをローカルにデプロイするか、llama-server を使用して Web UI を起動します。モデルが Hub からのものであることを示すために、-hf フラグを追加します。

llama-cli -hf ggml-org/gpt-oss-20b-GGUF

llama-server -hf ggml-org/gpt-oss-20b-GGUF

Transformers の統合

1. AutoConfig.from_pretrained() は、モデルの config.json ファイルを読み込み、メタデータを抽出します。
2. AutoTokenizer.from_pretrained() は、語彙とトークナイザーの設定を抽出します。
3. 設定内のarchitecturesフィールドに基づいて、スクリプトは内部レジストリからコンバータークラスを選択します。このレジストリは、Transformersのアーキテクチャ名（LlamaForCausalLMなど）を、対応するコンバータークラスにマッピングします。
4. コンバーターは、Transformers のテンソル名（例: model.layers.0.self_attn.q_proj.weight）を GGUF のテンソル名にマッピングし、テンソルの変換と語彙のパッケージングを行います。
5. 出力は、モデルの重み、トークナイザー、メタデータを含む単一のGGUFファイルです。

リソース

• llama.cppのドキュメント
• ggml 入門ブログ記事