LFM-MNN
Collection
LiquidAI LFM2, LFM2.5 and LFM3 models in MNN format. • 30 items • Updated • 2
LFM2 的 350M 英文单轮数学推理模型。本次提供 FP16 版本,替代输出退化的旧 Q4 包。
精度限制: 三个短数学用例答对;长题正确答案为 223,确定性输出为 570、默认输出为 561,均答错。确定性四个用例与源 FP32 输出逐 token 一致,不能把源模型的长题错误归为转换 bug。本包按整体可用性人工接受这些限制,不代表数学准确率全部通过。
| 项目 | 配置 |
|---|---|
| 输入 / 输出 | 文本 / 文本 |
| 语言层数 / 隐藏维度 | 16 / 1024 |
| 语言权重 | FP16 |
| 输出头 | FP16 |
| 量化尺度 | 无低比特量化尺度 |
| 词嵌入 | 与输出头共享 FP16 权重 |
| 默认运行配置 | CPU,4 线程,precision=low,memory=low |
| 默认采样 | penalty,重复惩罚 1.1,生成上限 8192 |
模型图、权重、分词器和配置须整包下载;应用自有缓存需同步更新,勿混用新旧修订。
pip install modelscope huggingface_hub
modelscope download --model MNN/LFM2-350M-Math-MNN --local_dir ./LFM2-350M-Math-MNN
HF_ENDPOINT=https://hf-mirror.com hf download taobao-mnn/LFM2-350M-Math-MNN --local-dir ./LFM2-350M-Math-MNN
以下使用已验证的 MNN 3.6.2 提交。
git clone https://github.com/alibaba/MNN.git
git -C MNN checkout a197d757c7bb878ece416ea5bf37cec6773d6577
(cd MNN && ./schema/generate.sh)
cmake -S MNN -B MNN/build -DCMAKE_BUILD_TYPE=Release \
-DMNN_BUILD_LLM=ON -DMNN_LOW_MEMORY=ON -DMNN_SUPPORT_TRANSFORMER_FUSE=ON
cmake --build MNN/build --target llm_demo -j4
printf '%s\n' 'What is 2 + 3?' > prompt.txt
./MNN/build/llm_demo ./LFM2-350M-Math-MNN/config.json prompt.txt
采样参数见 config.json,集成方法见 MNN-LLM 文档。
2026-11-20,x86_64 CPU:FP32 映射对齐;确定性输出与源模型四个数学用例逐 token 一致,长题错误仍保留。 确定性测试使用 greedy/high/8 线程;独立默认测试保留随包配置与模板,均自然结束、无异常复读。手机 ARM FP16、GPU、最大上下文与性能未验证。
复用 b0239771b07b317a258fbc384683bbd540741406 导出产物,并在上述当前运行时重验,未重新导出。原失败报告保留。导出参数见 export_args.json,测试、人工接受范围与文件哈希见 refresh_metadata.json。保留的 llm.mnn.json 是旧图记录,不是本包新图的描述。
采用上游 LFM Open License v1.0,完整文本随包保留。许可证含年收入 1,000 万美元门槛与商业用途限制;合格非营利组织的例外仅适用于非商业或研究用途。请按完整条款核实使用与再分发义务。 MNN 工具许可不替代模型许可,转换不扩大模型使用权限。