Metal numbers with the Gemma-4 graph (cortiq 0.8.16)

README.md

@@ -48,7 +48,7 @@ cortiq run humanizer-12b-q8_2f.cmf --max-tokens 2048 --prompt "$(cat draft.txt)"
 ```
 
 `humanizer-12b-q8_2f.cmf` (11.97 GB) is the default: 31.7 tokens/s on an RTX
-PRO 4000 and about 4.5 on an M4 Mac mini. `humanizer-12b-q4tp-ffn.cmf`
+PRO 4000 and 6.6 on an M4 Mac mini (Metal). `humanizer-12b-q4tp-ffn.cmf`
 (7.89 GB) fits GPUs with 12 GB and decodes 41.6 tokens/s on the RTX PRO 4000,
 at slightly lower quality ([Files](#files)).
 
@@ -85,8 +85,8 @@ on Apple silicon and on the CPU both files ran on a 24 GB Mac mini.
 |---|---|---|---:|---:|---:|---:|
 | RTX PRO 4000 Blackwell (24 GB) | Vulkan | `q4tp-ffn` | 41.6 | 36.3 | 137 | 6.9 s |
 | RTX PRO 4000 Blackwell (24 GB) | Vulkan | `q8_2f` | 31.7 | 28.3 | 90.2 | 10.8 s |
-| Mac mini M4 (24 GB) | Metal | `q8_2f` | 4.5 | 4.4 | 50.0 | 20.4 s |
-| Mac mini M4 (24 GB) | Metal | `q4tp-ffn` | 4.4 | 3.7 | 36.6 | 28.2 s |
+| Mac mini M4 (24 GB) | Metal | `q8_2f` | 6.6 | 6.0 | 68 | 14.7 s |
+| Mac mini M4 (24 GB) | Metal | `q4tp-ffn` | 8.5 | 8.3 | 72 | 14.0 s |
 | Mac mini M4 (24 GB) | CPU | `q8_2f` | 4.7 | | | |
 | Mac mini M4 (24 GB) | CPU | `q4tp-ffn` | 4.6 | | | |
 
@@ -97,8 +97,6 @@ rewrites through `cortiq serve`:
 |---|---|---:|---:|---:|---:|
 | RTX PRO 4000 Blackwell | `q4tp-ffn` | 7.5 s | 901 tokens in 37.1 s | 30.1 tok/s | 10.6 s |
 | RTX PRO 4000 Blackwell | `q8_2f` | 11.2 s | 932 tokens in 48.9 s | 24.7 tok/s | 14.8 s |
-| Mac mini M4, Metal | `q8_2f` | 26.1 s | | | 61.5 s (226 tokens out) |
-| Mac mini M4, Metal | `q4tp-ffn` | 27.8 s | | | 79.9 s (256 tokens out) |
 
 RTX rows use the authors' sampling (medians of three); Mac rows are greedy.
 `cortiq run` loads the weights onto the GPU at every start (about 13 s on the
@@ -316,7 +314,7 @@ cortiq run humanizer-12b-q8_2f.cmf --max-tokens 2048 --prompt "$(cat draft.txt)"
 ```
 
 `humanizer-12b-q8_2f.cmf` (11.97 ГБ) — файл по умолчанию: 31.7 ток/с на RTX
-PRO 4000 и около 4.5 на Mac mini M4. `humanizer-12b-q4tp-ffn.cmf` (7.89 ГБ)
+PRO 4000 и 6.6 на Mac mini M4 (Metal). `humanizer-12b-q4tp-ffn.cmf` (7.89 ГБ)
 помещается в GPU с 12 ГБ и выдаёт 41.6 ток/с на RTX PRO 4000 при чуть меньшем
 качестве ([Файлы](#файлы)).
 
@@ -353,8 +351,8 @@ silicon и на CPU оба файла работали на Mac mini с 24 ГБ.
 |---|---|---|---:|---:|---:|---:|
 | RTX PRO 4000 Blackwell (24 ГБ) | Vulkan | `q4tp-ffn` | 41.6 | 36.3 | 137 | 6.9 с |
 | RTX PRO 4000 Blackwell (24 ГБ) | Vulkan | `q8_2f` | 31.7 | 28.3 | 90.2 | 10.8 с |
-| Mac mini M4 (24 ГБ) | Metal | `q8_2f` | 4.5 | 4.4 | 50.0 | 20.4 с |
-| Mac mini M4 (24 ГБ) | Metal | `q4tp-ffn` | 4.4 | 3.7 | 36.6 | 28.2 с |
+| Mac mini M4 (24 ГБ) | Metal | `q8_2f` | 6.6 | 6.0 | 68 | 14.7 с |
+| Mac mini M4 (24 ГБ) | Metal | `q4tp-ffn` | 8.5 | 8.3 | 72 | 14.0 с |
 | Mac mini M4 (24 ГБ) | CPU | `q8_2f` | 4.7 | | | |
 | Mac mini M4 (24 ГБ) | CPU | `q4tp-ffn` | 4.6 | | | |
 
@@ -365,8 +363,6 @@ silicon и на CPU оба файла работали на Mac mini с 24 ГБ.
 |---|---|---:|---:|---:|---:|
 | RTX PRO 4000 Blackwell | `q4tp-ffn` | 7.5 с | 901 токен за 37.1 с | 30.1 ток/с | 10.6 с |
 | RTX PRO 4000 Blackwell | `q8_2f` | 11.2 с | 932 токена за 48.9 с | 24.7 ток/с | 14.8 с |
-| Mac mini M4, Metal | `q8_2f` | 26.1 с | | | 61.5 с (226 токенов на выходе) |
-| Mac mini M4, Metal | `q4tp-ffn` | 27.8 с | | | 79.9 с (256 токенов на выходе) |
 
 Строки RTX — с сэмплингом авторов (медианы трёх), строки Mac — жадные.
 `cortiq run` при каждом запуске загружает веса в GPU (около 13 с на RTX PRO
@@ -491,7 +487,7 @@ cortiq run humanizer-12b-q8_2f.cmf --max-tokens 2048 --prompt "$(cat draft.txt)"
 ```
 
 默认文件为 `humanizer-12b-q8_2f.cmf`（11.97 GB）：RTX PRO 4000 上 31.7 tok/s，M4 Mac mini
-上约 4.5 tok/s。`humanizer-12b-q4tp-ffn.cmf`（7.89 GB）可放入 12 GB 显存，在 RTX PRO 4000 上达到 41.6 tok/s，质量略低（见[文件](#文件)）。
+上 6.6 tok/s（Metal）。`humanizer-12b-q4tp-ffn.cmf`（7.89 GB）可放入 12 GB 显存，在 RTX PRO 4000 上达到 41.6 tok/s，质量略低（见[文件](#文件)）。
 
 需要 cortiq 0.8.16 或更新版本；Linux、macOS、Windows 预编译二进制见
 [发布页面](https://github.com/infosave2007/cmf/releases)。直接传入草稿即可：文件会自动套上作者的提示词，并使用作者的采样设置。请把 `--max-tokens` 设得足够大（默认 256）：改写长度与草稿相当（我们测试中 957 token 的草稿改写为 932 token）。
@@ -517,8 +513,8 @@ Mac mini 上运行。
 |---|---|---|---:|---:|---:|---:|
 | RTX PRO 4000 Blackwell（24 GB） | Vulkan | `q4tp-ffn` | 41.6 | 36.3 | 137 | 6.9 s |
 | RTX PRO 4000 Blackwell（24 GB） | Vulkan | `q8_2f` | 31.7 | 28.3 | 90.2 | 10.8 s |
-| Mac mini M4（24 GB） | Metal | `q8_2f` | 4.5 | 4.4 | 50.0 | 20.4 s |
-| Mac mini M4（24 GB） | Metal | `q4tp-ffn` | 4.4 | 3.7 | 36.6 | 28.2 s |
+| Mac mini M4（24 GB） | Metal | `q8_2f` | 6.6 | 6.0 | 68 | 14.7 s |
+| Mac mini M4（24 GB） | Metal | `q4tp-ffn` | 8.5 | 8.3 | 72 | 14.0 s |
 | Mac mini M4（24 GB） | CPU | `q8_2f` | 4.7 | | | |
 | Mac mini M4（24 GB） | CPU | `q4tp-ffn` | 4.6 | | | |
 
@@ -528,8 +524,6 @@ Mac mini 上运行。
 |---|---|---:|---:|---:|---:|
 | RTX PRO 4000 Blackwell | `q4tp-ffn` | 7.5 s | 901 token，37.1 s | 30.1 tok/s | 10.6 s |
 | RTX PRO 4000 Blackwell | `q8_2f` | 11.2 s | 932 token，48.9 s | 24.7 tok/s | 14.8 s |
-| Mac mini M4，Metal | `q8_2f` | 26.1 s | | | 61.5 s（输出 226 token） |
-| Mac mini M4，Metal | `q4tp-ffn` | 27.8 s | | | 79.9 s（输出 256 token） |
 
 RTX 各行使用作者的采样设置（三次中位数），Mac 各行为贪心解码。`cortiq run` 每次启动都要把权重载入 GPU（RTX PRO 4000 上约 13 s），处理多篇草稿时请保持 `cortiq serve` 运行。
 Apple silicon 上请用 `q8_2f`：4 位文件在那里并不更快，读取提示词还更慢。