ljupco/DeepSeek-V4-Flash-0731-REAP25-GGUF
Text Generation • 220B • Updated • 66
Note 剪枝:25%。保留 192/256 个专家,仅对第3至42层剪枝,第0-2层保留全部256个专家。 量化:未重新量化。保留字节与 stock 2-bit 文件完全相同,质量等于源2-bit质量减去剪枝代价。 大小:68.6g
Note 剪枝:约30.5%。专家数从 256 降至 178。 量化:提供多个档位,均需 imatrix。包括 MXFP4_MOE (103.85 GiB,基线)、Q3_K_M (86.55 GiB)、IQ3_XXS (81.60 GiB)、Q2_K (75.82 GiB)、IQ1_M (56.36 GiB)。
Note 剪枝:约48.4%。专家数从 256 降至 132,取自 puwaer 的 REAP-150B 变体。 量化:选择性 per-tensor 量化,整体 3.49 BPW。路由专家使用 IQ3_XXS / IQ3_S,注意力保留 Q6_K,共享专家/输出用 Q8_0,边缘层专家保留 mxfp4,超参/归一化层为 F32。需要非 stock 的 turbo-tan/llama.cpp-tq3 fork 加载。