sam33339999/Qwen3.8-27B-Coder390-dflash2

Qwen3.8-27B Coder390 — DFlash2 EXL3 5.0 bpw

這不是一個可以單獨聊天的模型。它是 nerkyor/Qwen3.8-27B-Coder390-EfficientThink-Opus5.5-GPT6Astra-Grok4.7-DSV4Pro-K3-SFT-RLOO-MTP-DFlash2 附帶的 DFlash2 草稿，轉成 EXL3 之後的版本，用來配合同一次轉換的 EXL3-3.5bpw 目標模型。

原始 repo 把 FP8 草稿放在 BF16/DFlash2-FP8/。原始卡上的速度（大約 180 tok/s、接受長度大約 5）是在 SGLang 上量那個 FP8 草稿，不是這份 EXL3。

量化

2026-10-09，exllamav3 1.4.2。載入時先把 FP8 E4M3、128×128 block scale 還原，再壓成 EXL3。DFlash2 走的是不使用校正 Hessian 的量化路徑，36 個有量化標記的線性層都是 5.0 bpw。目錄大約 1.37 GiB。

和原來的 FP8 草稿不同：原來的 q/k/v 和 fc 留在 BF16，這份 EXL3 把它們也壓了。下面這些維持未量化：

• 各層 attention_conv / mlp_conv 的 base_kernel 和 kernel_projection
• candidate_selector 的 codebook 和 hidden_projection
• norm

架構是 DFlash2DraftModel，5 層 sliding attention，hidden 5120。dflash_config.block_size 是 8，這個引擎預設一次草稿 7 個 token（block size 減 1）。抽取目標模型第 5、19、33、47、61 層的輸出。

怎麼載入

草稿和目標一次只用一種加速。開了這個目錄就不要再加 MTP。

exllamav3：

python -u tools/serve_openai.py \
  -m /path/to/EXL3-3.5bpw \
  -dm /path/to/DFlash2-EXL3-5.0bpw \
  -cs 262144 \
  --host 127.0.0.1 \
  --port 5000

TabbyAPI：

model:
  model_dir: /path/to/parent
  model_name: EXL3-3.5bpw
  backend: exllamav3
  max_seq_len: 262144
  cache_size: 262144

draft_model:
  draft_mode: model
  draft_model_dir: /path/to/parent
  draft_model_name: DFlash2-EXL3-5.0bpw
  draft_num_tokens: 7

DFlash2 是這個 exllamav3 fork 的架構。TabbyAPI 若裝的是不含 DFlash2DraftModel 的上游套件，會載入失敗。

授權

Apache-2.0，沿用原始模型。