ml-resources/ninfer-ada-ternary

Mirror of shensanshu/ninfer-ada-ternary from ModelScope. All credit to the original authors. Not an official release from them. License unchanged (apache-2.0).

三元 Bonsai-2-27B · ninfer「极速档（PQ2）」完整部署包

这是一个"离线自足"的部署包：下载解压后按里面的说明走，就能在你自己的机器上把这个 27B 三元模型跑起来 —— 不需要联网、不需要自己编译、不需要去别处找引擎或权重。

包是给"AI agent 或愿意照步骤做的人"用的：里面每一步都有「做什么 → 期望看到什么 → 不对就去哪一页」。

---

一、这个包能给你什么

项	内容
模型	Bonsai-2-27B 三元（PQ2 量化，约 6.7 GiB 权重） + DFlash2 投机件（约 9.8 GiB）
引擎	ninfer 预编译引擎：sm_89（40 系）与 sm_120（50 系）两支，不用你编译
实测速度	RTX 4080 SUPER：decode 226 t/s、prefill 2,230 t/s；换 DFlash2 K=7 后 decode 353.8 t/s；RTX 5090 D（志愿者实测）512.9 t/s
显存	权重 6.70 GiB、运行时 8.54 GiB ⇒ 16 GB 卡舒服；12 GB 卡有专门的 4-bit KV 启动件
完整源码树	src-tree\（可自己重编，用于按你的显卡重编 SM 常量、或打调度补丁拿更高的 prefill）
给 agent 的说明书	部署白皮书 / 排错手册 / 调优方案 / 工具包 / 从零复现书 / 声明与链接（00–11 页）

二、怎么用（三步）

1. 下载本仓库里的压缩包 ①极速档（PQ2三元）.zip（约 18.4 GiB）。

2. 解压到一个"纯 ASCII 路径" 下（这条很重要：路径里不能有中文，例如 D:\fast-pq2）。 解压出来是英文名文件夹 fast-pq2，包里有中文说明 先读我-文件夹名为什么是英文.txt 解释原因。

3. **打开 00-从这里开始.md**，照它走。想先自检就运行：

   powershell -NoProfile -ExecutionPolicy Bypass -File .\自检-搬家.ps1
   

   （它会验证包完整、路径能不能跑、清单是否对得上；它红了就别往下走。）

三、这台机器上实测的读数（口径一起看）

口径	decode	prefill
出厂默认（MTP K=3，ctx 262144 / fp8 KV）	226.0 t/s	2,230 t/s（4,070 token 冷缓存，TTFT 1.9 s）
DFlash2 K=7（16 GB 及以上推荐）	353.8 t/s（数数字内容）	同左
不投机（对照）	63.7 t/s	同左

• 同卡不同内容能差 3 倍（数数字 353.8 vs 散文 112）⇒ 报数必须带内容类型与接受率。
• 跨卡不可比：吞吐 = 步速 × (1 + K × 接受率)，步速是卡的属性、接受率是内容的属性。
• 硬件门槛：引擎运行时只接受 compute capability 8.9（40 系）与 12.0（50 系）；30 系目前走不了这条线。

四、文件校验

SHA256(①极速档（PQ2三元）.zip) = C0B1EDBAC013F615947549108C81B00496C5   ← 见下方"校验清单"文件

精确值以随包的 SHA256SUMS-DIST.txt 为准；包内另有 SHA256SUMS.txt 逐文件校验（自检-搬家.ps1 会自动核对）。

五、许可与署名

• 模型权重：按上游标注为 Apache-2.0；上游为 prism-ml/Ternary-Bonsai-2-27B-gguf（见魔搭同名仓库）。 若上游许可另有附加条款，以上游为准。
• 引擎：ninfer（dev fork）；三元内核与调度由我们移植/调优，改动清单见包内 docs\源码导读-我们的改动地图.md。
• 再分发：请保留署名与许可全文；包内 licenses\ 目录含各组件许可文本。

六、这个包不包含什么（先说清楚）

• 不含 30 系的构建（引擎有 compute capability 硬门，只接受 8.9 / 12.0）。
• 不含 数值门要用的 ninfer-perplexity.exe（它必须与引擎同批构建；想跑 PPL 数值门请按包内 08-从零复现方案书.md 自编）。
• 不含 20 题质量题集（我们的内部题库不随包分发）。
• 其余四档（均衡档 PTQ1 / 超低显存档 llama+KVMem / Swift 微调档）不在本仓库。