ToPo-ToPo's picture
Add files using upload-large-folder tool
b009caa verified
|
Raw History Blame Contribute Delete
3.77 kB
metadata
library_name: mlx
license: mit
license_link: LICENSE
pipeline_tag: image-text-to-text
base_model: zai-org/GLM-5.3-Flash-BF16
tags:
  - mlx

GLM-5.3-Flash-mlx-3bit-e3o8

zai-org/GLM-5.3-Flash-BF16(合計 320B・1 トークン 18B の MoE)の MLX 版。 エキスパートだけを 3bit、ほかの線形層を 8bit にしたもの。手元の評価では、エキスパート 4bit 版と区別がつかなかった。

  • サイズ: 134 GiB(143.9GB)。モデルサーバーのメモリは約 135GB(phys_footprint)
  • 量子化(affine):
    • ルーティングされるエキスパート(switch_mlp.{gate,up,down}_proj、42 層 × 3): 3bit g64
    • 注意機構・共有エキスパート・先頭 3 層の dense MLP・埋め込み・出力層など、ほかの線形層: 8bit g64
    • MoE のルーター(mlp.gate)・画像部分: 量子化しない(bf16)
    • mHC・減衰の配列など: mlx-vlm の判定どおり fp32
    • MTP 層(層 45): mlx-vlm の変換と同じく含めない

作り方

bf16(643GB)と出力を同時に置けないため、シャードを層ごとに落とし、mlx-vlm 0.7.11 の convert と同じ手順 (sanitize → 型の変換 → quantize_model)を層ごとに当てて保存した。 先頭 5 層だけに縮めたモデルで mlx_vlm.convert の出力と比べ、すべてのテンソル・config・ほかのファイルが一致することを確かめてある。

評価

reasoning_effort: "low"(後述)、温度 0.6・top_p 0.95・top_k 20、各ケース 5 回。mlx-vlm 0.7.11 のモデルサーバーを直接使い、MTP なし。 probe は日本語・英語の短い問答 34 問、道具は呼び出しの場面 20 種を日本語と英語でそれぞれ。

e4o8(エキスパート 4bit・非公開) e3o8(このリポジトリ) e2o8(エキスパート 2bit g128・非公開)
重みの大きさ 181.9GB 143.9GB 96.3GB
モデルサーバーのメモリ 約 170GB 135GB 91GB
probe 正答 100% 100% 90.4%
日本語の道具 100% 100% 95%
英語の道具 100% 100% 99%
同じ句の繰り返しに陥る(probe) 0% 0% 2.9%
生成速度 29.6 tok/s 30.3 tok/s 31.8 tok/s

生成速度は M3 Ultra、温度 0・400 トークン × 3 問の平均。

  • エキスパートを 2bit にすると壊れる(読みの誤り、事実の誤り、同じ句の繰り返し)。3bit が実用の下限。
  • ビットを下げても生成はほとんど速くならない。MoE では 1 トークンで読むエキスパートが一部だけなので、読む量の差が小さいため。
  • 長い会話・画像入力は試していない。

思考の切り替え

チャットテンプレートに思考を切るスイッチは無く、reasoning_effort(low / high / max、既定は max)で深さを選ぶ。 low にすると、ほぼ思考せずに答える(思考欄に短いメモが出ることはある)。 mlx-vlm のサーバーでは、reasoning_effort をリクエストのトップレベルに置く(chat_template_kwargs の中に入れると効かない)。

curl http://127.0.0.1:8080/v1/chat/completions -H 'Content-Type: application/json' -d '{
  "model": "ToPo-ToPo/GLM-5.3-Flash-mlx-3bit-e3o8",
  "messages": [{"role": "user", "content": "こんにちは"}],
  "reasoning_effort": "low"
}'

使い方

pip install -U mlx-vlm
python -m mlx_vlm generate --model ToPo-ToPo/GLM-5.3-Flash-mlx-3bit-e3o8 \
    --prompt "日本の都道府県の数を教えてください" --max-tokens 512

元のモデルのライセンス(MIT)に従う。