LFM2-350M-Math-MNN

原始权重 · MNN

LFM2 的 350M 英文单轮数学推理模型。本次提供 FP16 版本,替代输出退化的旧 Q4 包。

精度限制: 三个短数学用例答对;长题正确答案为 223,确定性输出为 570、默认输出为 561,均答错。确定性四个用例与源 FP32 输出逐 token 一致,不能把源模型的长题错误归为转换 bug。本包按整体可用性人工接受这些限制,不代表数学准确率全部通过。

模型信息

项目 配置
输入 / 输出 文本 / 文本
语言层数 / 隐藏维度 16 / 1024
语言权重 FP16
输出头 FP16
量化尺度 无低比特量化尺度
词嵌入 与输出头共享 FP16 权重
默认运行配置 CPU,4 线程,precision=low,memory=low
默认采样 penalty,重复惩罚 1.1,生成上限 8192

模型图、权重、分词器和配置须整包下载;应用自有缓存需同步更新,勿混用新旧修订。

下载

pip install modelscope huggingface_hub
modelscope download --model MNN/LFM2-350M-Math-MNN --local_dir ./LFM2-350M-Math-MNN
HF_ENDPOINT=https://hf-mirror.com hf download taobao-mnn/LFM2-350M-Math-MNN --local-dir ./LFM2-350M-Math-MNN

运行

以下使用已验证的 MNN 3.6.2 提交。

git clone https://github.com/alibaba/MNN.git
git -C MNN checkout a197d757c7bb878ece416ea5bf37cec6773d6577
(cd MNN && ./schema/generate.sh)
cmake -S MNN -B MNN/build -DCMAKE_BUILD_TYPE=Release \
  -DMNN_BUILD_LLM=ON -DMNN_LOW_MEMORY=ON -DMNN_SUPPORT_TRANSFORMER_FUSE=ON
cmake --build MNN/build --target llm_demo -j4
printf '%s\n' 'What is 2 + 3?' > prompt.txt
./MNN/build/llm_demo ./LFM2-350M-Math-MNN/config.json prompt.txt

采样参数见 config.json,集成方法见 MNN-LLM 文档。

验证与导出

2026-11-20,x86_64 CPU:FP32 映射对齐;确定性输出与源模型四个数学用例逐 token 一致,长题错误仍保留。 确定性测试使用 greedy/high/8 线程;独立默认测试保留随包配置与模板,均自然结束、无异常复读。手机 ARM FP16、GPU、最大上下文与性能未验证。

复用 b0239771b07b317a258fbc384683bbd540741406 导出产物,并在上述当前运行时重验,未重新导出。原失败报告保留。导出参数见 export_args.json,测试、人工接受范围与文件哈希见 refresh_metadata.json。保留的 llm.mnn.json 是旧图记录,不是本包新图的描述。

许可证

采用上游 LFM Open License v1.0,完整文本随包保留。许可证含年收入 1,000 万美元门槛与商业用途限制;合格非营利组织的例外仅适用于非商业或研究用途。请按完整条款核实使用与再分发义务。 MNN 工具许可不替代模型许可,转换不扩大模型使用权限。

Downloads last month
45
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for taobao-mnn/LFM2-350M-Math-MNN

Quantized
(9)
this model

Collection including taobao-mnn/LFM2-350M-Math-MNN