Qwen-MNN
Collection
Qwen MNN models. • 21 items • Updated • 3
由 Qwen/Qwen2.5-Math-7B-Instruct 转换的 MNN 文本推理包。
质量限制:短题回答正确;长数学题输出连贯但精确/默认分别给出 240/198,而正确答案为 223。数学答案与推导必须独立核验,不能保证计算正确。
| 项目 | 配置 |
|---|---|
| 架构 / 层数 | qwen2 / 28 |
| 语言主干 | HQQ 4-bit;group=128;alpha_bytes=2(FP16) |
| LM 输出头 | HQQ 4-bit;group=128;alpha_bytes=2(FP16) |
| 输入嵌入 | 独立文件 embeddings_bf16.bin(BF16) |
| 默认运行 | CPU;thread_num=4;precision=low;memory=low |
modelscope download --model MNN/Qwen2.5-Math-7B-Instruct-MNN --local_dir ./Qwen2.5-Math-7B-Instruct-MNN
HF_ENDPOINT=https://hf-mirror.com hf download taobao-mnn/Qwen2.5-Math-7B-Instruct-MNN --local-dir ./Qwen2.5-Math-7B-Instruct-MNN
整包配套更新,勿混用修订;只清理应用自管缓存,保留 config.json 与 llm_config.json 的采样、上下文及模板设置。
已验证 MNN 3.6.2,运行时提交 2c0b58a001bd13dbb9cfac98a533e2e7e96b1b44;编译启用 MNN_BUILD_LLM 与 MNN_LOW_MEMORY。
./MNN/build/llm_demo ./Qwen2.5-Math-7B-Instruct-MNN/config.json prompt.txt
2026-11-20 在 x64 CPU 复核 arithmetic、equation、word_problem、long_problem。精确检查(greedy/high/8 线程)和真实默认配置结构通过、自然 EOS。仅精确 long_problem 准确性失败获人工接受,自动精度结果仍为 false。默认正则准确性仅供参考,不宣称全模型准确率。ARM FP16、GPU、移动设备、最大上下文与性能未验证。
FP32 源模型/映射对齐属于历史证据,转换提交 b0239771b07b317a258fbc384683bbd540741406;本轮未重新转换。原导出参数见 export_args.json,文件哈希与独立验收依据见 refresh_metadata.json。
沿用 Apache License 2.0,原文及署名要求随包保留:LICENSE。本包为量化转换衍生物,转换不扩大模型授权,MNN 工具许可不替代模型许可。