Transformers documentation
MLX
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v5.22.1).
MLX
MLXは、Apple silicon向けの機械学習用アレイフレームワークであり、CUDAでも動作します。Apple siliconでは、CPUとGPU間のデータコピーを回避するために、アレイは共有メモリに保持されます。遅延計算により、グラフの操作と最適化が可能になります。safetensorsのネイティブサポートにより、Transformersの言語モデルをMLX上で直接実行できます。
mlx-lm ライブラリをインストールします。
pip install mlx-lm transformers
モデルアーキテクチャがサポートされている限り、Hubから任意のTransformers言語モデルを読み込むことができます。重みの変換は不要です。
from mlx_lm import load, generate
model, tokenizer = load("openai/gpt-oss-20b")
output = generate(
model,
tokenizer,
prompt="The capital of France is",
max_tokens=100,
)
print(output)Transformers の統合
- mlx_lm.load は safetensor 形式の重みを読み込み、モデルとトークナイザーを返します。
- MLX は、テンソル名をキーとする重み配列を読み込み、MLX の nn.Module パラメータツリーにマッピングします。これは Transformers のチェックポイントの構成方法と一致しています。
MLX Transformersの統合は双方向です。Transformersも、HubからMLXの重みをロードして実行できます。