ToPo-ToPo's picture
Add files using upload-large-folder tool
b009caa verified
|
Raw History Blame Contribute Delete
3.77 kB
---
library_name: mlx
license: mit
license_link: LICENSE
pipeline_tag: image-text-to-text
base_model: zai-org/GLM-5.3-Flash-BF16
tags:
- mlx
---
# GLM-5.3-Flash-mlx-3bit-e3o8
[zai-org/GLM-5.3-Flash-BF16](https://huggingface.co/zai-org/GLM-5.3-Flash-BF16)(合計 320B・1 トークン 18B の MoE)の MLX 版。
エキスパートだけを 3bit、ほかの線形層を 8bit にしたもの。手元の評価では、エキスパート 4bit 版と区別がつかなかった。
- サイズ: 134 GiB(143.9GB)。モデルサーバーのメモリは約 135GB(phys_footprint)
- 量子化(affine):
- ルーティングされるエキスパート(`switch_mlp.{gate,up,down}_proj`、42 層 × 3): **3bit g64**
- 注意機構・共有エキスパート・先頭 3 層の dense MLP・埋め込み・出力層など、ほかの線形層: **8bit g64**
- MoE のルーター(`mlp.gate`)・画像部分: 量子化しない(bf16)
- mHC・減衰の配列など: mlx-vlm の判定どおり fp32
- MTP 層(層 45): mlx-vlm の変換と同じく含めない
## 作り方
bf16(643GB)と出力を同時に置けないため、シャードを層ごとに落とし、mlx-vlm 0.7.11 の `convert` と同じ手順
(sanitize → 型の変換 → `quantize_model`)を層ごとに当てて保存した。
先頭 5 層だけに縮めたモデルで `mlx_vlm.convert` の出力と比べ、すべてのテンソル・config・ほかのファイルが一致することを確かめてある。
## 評価
`reasoning_effort: "low"`(後述)、温度 0.6・top_p 0.95・top_k 20、各ケース 5 回。mlx-vlm 0.7.11 のモデルサーバーを直接使い、MTP なし。
probe は日本語・英語の短い問答 34 問、道具は呼び出しの場面 20 種を日本語と英語でそれぞれ。
| | e4o8(エキスパート 4bit・非公開) | **e3o8(このリポジトリ)** | e2o8(エキスパート 2bit g128・非公開) |
|---|---|---|---|
| 重みの大きさ | 181.9GB | 143.9GB | 96.3GB |
| モデルサーバーのメモリ | 約 170GB | 135GB | 91GB |
| probe 正答 | 100% | 100% | 90.4% |
| 日本語の道具 | 100% | 100% | 95% |
| 英語の道具 | 100% | 100% | 99% |
| 同じ句の繰り返しに陥る(probe) | 0% | 0% | 2.9% |
| 生成速度 | 29.6 tok/s | 30.3 tok/s | 31.8 tok/s |
生成速度は M3 Ultra、温度 0・400 トークン × 3 問の平均。
- エキスパートを 2bit にすると壊れる(読みの誤り、事実の誤り、同じ句の繰り返し)。3bit が実用の下限。
- ビットを下げても生成はほとんど速くならない。MoE では 1 トークンで読むエキスパートが一部だけなので、読む量の差が小さいため。
- 長い会話・画像入力は試していない。
## 思考の切り替え
チャットテンプレートに思考を切るスイッチは無く、`reasoning_effort`(low / high / max、既定は max)で深さを選ぶ。
low にすると、ほぼ思考せずに答える(思考欄に短いメモが出ることはある)。
mlx-vlm のサーバーでは、`reasoning_effort` をリクエストのトップレベルに置く(`chat_template_kwargs` の中に入れると効かない)。
```
curl http://127.0.0.1:8080/v1/chat/completions -H 'Content-Type: application/json' -d '{
"model": "ToPo-ToPo/GLM-5.3-Flash-mlx-3bit-e3o8",
"messages": [{"role": "user", "content": "こんにちは"}],
"reasoning_effort": "low"
}'
```
## 使い方
```
pip install -U mlx-vlm
python -m mlx_vlm generate --model ToPo-ToPo/GLM-5.3-Flash-mlx-3bit-e3o8 \
--prompt "日本の都道府県の数を教えてください" --max-tokens 512
```
元のモデルのライセンス(MIT)に従う。