Qwen2.5-Math-7B-Instruct-MNN

由 Qwen/Qwen2.5-Math-7B-Instruct 转换的 MNN 文本推理包。

质量限制:短题回答正确;长数学题输出连贯但精确/默认分别给出 240/198,而正确答案为 223。数学答案与推导必须独立核验,不能保证计算正确。

模型信息

项目 配置
架构 / 层数 qwen2 / 28
语言主干 HQQ 4-bit;group=128;alpha_bytes=2(FP16)
LM 输出头 HQQ 4-bit;group=128;alpha_bytes=2(FP16)
输入嵌入 独立文件 embeddings_bf16.bin(BF16)
默认运行 CPU;thread_num=4;precision=low;memory=low

下载

modelscope download --model MNN/Qwen2.5-Math-7B-Instruct-MNN --local_dir ./Qwen2.5-Math-7B-Instruct-MNN
HF_ENDPOINT=https://hf-mirror.com hf download taobao-mnn/Qwen2.5-Math-7B-Instruct-MNN --local-dir ./Qwen2.5-Math-7B-Instruct-MNN

整包配套更新,勿混用修订;只清理应用自管缓存,保留 config.json 与 llm_config.json 的采样、上下文及模板设置。

运行

已验证 MNN 3.6.2,运行时提交 2c0b58a001bd13dbb9cfac98a533e2e7e96b1b44;编译启用 MNN_BUILD_LLM 与 MNN_LOW_MEMORY。

./MNN/build/llm_demo ./Qwen2.5-Math-7B-Instruct-MNN/config.json prompt.txt

验证与导出

2026-11-20 在 x64 CPU 复核 arithmetic、equation、word_problem、long_problem。精确检查(greedy/high/8 线程)和真实默认配置结构通过、自然 EOS。仅精确 long_problem 准确性失败获人工接受,自动精度结果仍为 false。默认正则准确性仅供参考,不宣称全模型准确率。ARM FP16、GPU、移动设备、最大上下文与性能未验证。

FP32 源模型/映射对齐属于历史证据,转换提交 b0239771b07b317a258fbc384683bbd540741406;本轮未重新转换。原导出参数见 export_args.json,文件哈希与独立验收依据见 refresh_metadata.json。

许可证

沿用 Apache License 2.0,原文及署名要求随包保留:LICENSE。本包为量化转换衍生物,转换不扩大模型授权,MNN 工具许可不替代模型许可。

Downloads last month
49
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for taobao-mnn/Qwen2.5-Math-7B-Instruct-MNN

Base model

Qwen/Qwen2.5-7B
Quantized
(51)
this model

Collection including taobao-mnn/Qwen2.5-Math-7B-Instruct-MNN