--- language: - zh - en license: apache-2.0 license_link: https://huggingface.co/chenyumo/moziAI-27B-MTP/blob/main/LICENSE.md base_model: Qwen/Qwen3.8-27B base_model_relation: finetune # 许可：Apache License 2.0（英文原文见 LICENSE.md，中文说明见 LICENSE.zh-CN.md）｜上游 Qwen3.8-27B 与 MoziAI 原创增量同为 Apache-2.0｜归属见 NOTICE tasks: - text-generation tags: - gguf - Dense - financial-llm - MoziSmartBit - qwen3.8 - MoziAI - tool-calling - vision - MTP library_name: llama-cpp pipeline_tag: text-generation --- # MoziAI-27B-3.8 — 可免费本地部署的小而强的多模态 AI 模型 [English](https://modelscope.cn/models/chenyumo/moziAI-27B-MTP/file/view/master/V3.8%2FREADME.en.md?status=1) | 简体中文（当前页） | [繁体中文](https://modelscope.cn/models/chenyumo/moziAI-27B-MTP/file/view/master/V3.8%2FREADME.zh-hant.md?status=1) | [日本語](https://modelscope.cn/models/chenyumo/moziAI-27B-MTP/file/view/master/V3.8%2FREADME.ja.md?status=1) | [한국어](https://modelscope.cn/models/chenyumo/moziAI-27B-MTP/file/view/master/V3.8%2FREADME.ko.md?status=1) | [हिन्दी](https://modelscope.cn/models/chenyumo/moziAI-27B-MTP/file/view/master/V3.8%2FREADME.hi.md?status=1) | [Deutsch](https://modelscope.cn/models/chenyumo/moziAI-27B-MTP/file/view/master/V3.8%2FREADME.de.md?status=1) | [Français](https://modelscope.cn/models/chenyumo/moziAI-27B-MTP/file/view/master/V3.8%2FREADME.fr.md?status=1) | [Nederlands](https://modelscope.cn/models/chenyumo/moziAI-27B-MTP/file/view/master/V3.8%2FREADME.nl.md?status=1) | [Italiano](https://modelscope.cn/models/chenyumo/moziAI-27B-MTP/file/view/master/V3.8%2FREADME.it.md?status=1) | [Русский](https://modelscope.cn/models/chenyumo/moziAI-27B-MTP/file/view/master/V3.8%2FREADME.ru.md?status=1) | [Español](https://modelscope.cn/models/chenyumo/moziAI-35B-A3B-MOE-MTP/file/view/master/V3.8%2FREADME.es.md?status=1) | [Português](https://modelscope.cn/models/chenyumo/moziAI-35B-A3B-MOE-MTP/file/view/master/V3.8%2FREADME.pt.md?status=1) | [العربية](https://modelscope.cn/models/chenyumo/moziAI-35B-A3B-MOE-MTP/file/view/master/V3.8%2FREADME.ar.md?status=1) | [Bahasa Indonesia](https://modelscope.cn/models/chenyumo/moziAI-35B-A3B-MOE-MTP/file/view/master/V3.8%2FREADME.id.md?status=1) | [Türkçe](https://modelscope.cn/models/chenyumo/moziAI-35B-A3B-MOE-MTP/file/view/master/V3.8%2FREADME.tr.md?status=1) | [Tiếng Việt](https://modelscope.cn/models/chenyumo/moziAI-35B-A3B-MOE-MTP/file/view/master/V3.8%2FREADME.vi.md?status=1) | [Polski](https://modelscope.cn/models/chenyumo/moziAI-35B-A3B-MOE-MTP/file/view/master/V3.8%2FREADME.pl.md?status=1) **发布日期：2026-08-30** · **版本：V3.8** --- ## 📑 目录 - [1. 模型概述](#1-模型概述) - [2. 模型特色](#2-模型特色) — 动态七维思考 / LOOP / MoziSmartBit / 金融聚焦 - [3. 版本升级说明](#3-版本升级说明) - [4. 核心能力](#4-核心能力) - [5. 技术规格](#5-技术规格) - [6. 快速开始](#6-快速开始-3-个文件-100-激活最佳推理能力) — **三件套下载** - [7. 模型下载](#7-模型下载) - [8. 启动命令](#8-启动命令) - [9. 推荐推理参数](#9-推荐推理参数) - [10. 量化格式对比](#10-量化格式对比) - [11. MTP 推测解码](#11-mtp-推测解码-重要加速特性) - [12. 显存配置](#12-显存配置推荐) - [13. 部署方式](#13-部署方式) - [14. 基准评测](#14-基准评测) - [15. 许可证](#15-许可证) - [16. 联系方式](#16-联系方式) --- ## 1. 模型概述 MoziAI-27B-3.8 是由中国财经大V陈雨墨团队开发的本地开源多模态AI大模型，基于开源底座 **Qwen3.8-27B**（Dense 27B 架构，Apache-2.0 许可），结合团队自主研发的金融数据 + 金融领域能力 + 动态七维思考体系 + 智能体LOOP反思迭代机制 + MoziSmartBit混合量化算法开发而成。本模型降低个人与企业的本地部署门槛，授权**免费商用**，在消费级显卡上即可本地部署，节约大量云端 token 成本，实现 7×24 小时 token 自由并确保本地数据隐私与安全。 --- ## 2. 模型特色 ### 🧠 动态七维思考体系 MoziAI 自研的核心推理框架。面对任何任务，模型先输出 **moziAI-Think** 标记，按任务复杂度动态展开结构化思考： | 级别 | 适用场景 | 典型任务 | 展开维度 | | --- | --- | --- | --- | | **Level 0** | 简单问答 | 术语解释、事实查询、翻译、摘要 | ①理解任务 ⑤资源需求（两维速答） | | **Level 1** | 分析诊断 | 市场调研、文案编写、数据分析、研报解读、策略评估 | ①②③⑤⑥ 五维评估 | | **Level 2** | 复杂开发/策略 | 代码开发、架构设计、量化策略开发、多步工作流、系统设计 | ①②③④⑤⑥⑦ 全七维深度推演 | > 七维：①理解任务 ②复杂度评估 ③依赖关系 ④风险评估 ⑤资源需求 ⑥验收标准 ⑦执行策略 ### 🔄 智能体 LOOP 迭代机制 复杂任务自动进入 **moziAI-Loop** 迭代模式：**第 1 轮执行+评估 → 第 2 轮调整+验证**，确保输出经过自我校验后才给出最终答案。模型像资深工程师一样「拆解问题 → 评估方案 → 执行 → 反思 → 优化」，显著提升复杂任务的准确性和可执行性。简单问答和任务则自动关闭 Loop。 ### 📦 MoziSmartBit 智能量化 自研分层智能量化，270 亿参数 Dense 模型压缩至约 **13.7 GB**，比常规 Q4_K_M（~17 GB）小约 3.3 GB（~20%），保持 FP16 **~99%** 精度。传统量化对所有层使用统一精度，MoziSmartBit 针对 Dense 模型结构特点采用智能差异化策略，精度优于 Q4_K_M。 ### 💰 金融垂直领域聚焦 针对金融问答、量化编程和工具调用的深度优化。金融领域对模型幻觉容忍度极低，MoziAI 在该领域的表现显著优于同等体积的通用模型。 ### 🌐 其他特性 - **多语言支持**：201 种语言和方言，中文能力特别优化 - **通用编程**：全栈开发、代码调试、架构设计，覆盖 Python/JS/TS/Go/Rust - **文章写作**：研报、分析文章、技术文档、创意内容等多体裁高质量写作 - **视觉理解**：多模态视觉，支持本地截图理解图片内容 - **多框架支持**：llama.cpp / Ollama / LM Studio / Jan - **多 Agent支持**：OpenClaw / Hermes / Cursor / Claude Code / Codex 等，原生工具调用与多轮任务编排 --- ## 3. 版本升级说明 本次版本升级主要强化了：moziAI 自研的动态七维思考 + LOOP 迭代的推理模式，使其更加智能识别任务复杂度，复杂任务的完成率更高，提高"先想后做"的能力。 moziAI 会保持活跃的版本升级迭代更新频率，确保紧随未来人工智能的发展，并且不断通过自研技术，让本地 AI 模型可轻量化部署，能力越来越强。 --- ## 4. 核心能力 | 能力领域 | 说明 | | --- | --- | | 市场分析 | 宏观/微观经济解读、A股/港股/美股/商品/加密货币行情与逻辑梳理 | | 财务与研报 | 财报关键指标解读、研报摘要提取、估值与盈利预测辅助 | | 风控与合规 | 产品风险评估、投资建议合规提示、金融监管政策解读 | | 量化与策略 | 量化策略思路设计、金字塔（Pyramid/PEL）量化、回测逻辑、因子构建与工具调用 | | 工具调用 | 可接入实时行情、数据库、研报检索等金融数据源 | --- ## 5. 技术规格 | 项目 | 参数 | | --- | --- | | 底座模型 | Qwen3.8-27B（Dense 架构，混合注意力 16 full + 48 linear，Apache-2.0 许可证） | | 参数规模 | 270 亿（27B）Dense 架构 | | 量化方式 | 自研 MoziSmartBit 智能量化 + GGUF 标准格式 | | 上下文长度 | 256K（262,144 tokens） | | 模型体积 | ~13.7 GB | | 最低显存 | **16GB+** 可部署（CPU 卸载）；**20GB+** 流畅长上下文；**32GB+** 完整 256K + 视觉 | | 推理框架 | llama.cpp / Ollama / LM Studio / Jan | | 推理速度 | MTP 推测解码下：R9700 达 70+ tok/s，MAX+395 核显达 50+ tok/s，GPU 达 35+ tok/s | | 开发团队 | 陈雨墨团队 | --- ## 6. 快速开始 3 个文件 100 激活最佳推理能力 > ⚠️ **核心提示**：MoziAI 的最佳推理能力需要**同时下载 3 个文件**——主模型、视觉投影、聊天模板。缺少任何一个都会损失对应能力。 ### 6.1 下载模型文件 在 HuggingFace / ModelScope 下载**这 3 个文件**到本地同一目录（主模型在**仓库根目录**，视觉投影在 `mmproj/27B/`，聊天模板在 `V3.8/`）： ``` V3.8/ ├── moziAI-27B-MTP-V3.8-Q4_K_M-Qwen3.8-27B.gguf ← 主模型（必选，13.7 GB） └── chat-template-moziai-27B-V3.8.jinja ← 聊天模板（必选，含七维思考+Loop指令） mmproj/27B/ └── moziAI-27B-mmproj-BF16-V1.0.gguf ← 视觉投影（必选，927 MB） ``` | 文件 | 大小 | 必要性 | 作用 | | --- | --- | --- | --- | | 主模型 `.gguf` | ~13.7 GB | **必选** | 模型权重，核心推理能力 | | 视觉投影 `mmproj` | ~927 MB | **必选** | 多模态视觉理解，不载入则丧失图像能力 | | 聊天模板 `.jinja` | 微量 | **必选** | 注入 MoziAI 身份 + 七维思考 + LOOP 机制指令 | ### 6.2 启动并使用 ```bash llama-server \ -m ./moziAI-27B-MTP-V3.8-Q4_K_M-Qwen3.8-27B.gguf \ --mmproj mmproj/27B/moziAI-27B-mmproj-BF16-V1.0.gguf \ --chat-template-file V3.8/chat-template-moziai-27B-V3.8.jinja \ -c 131072 -ngl 99 \ --host 0.0.0.0 --port 8080 ``` 浏览器打开 `http://localhost:8080` 即可开始对话。完整推荐参数见第 9 节。 --- ## 7. 模型下载 | 平台 | 地址 | | --- | --- | | HuggingFace | [chenyumo/moziAI-27B-MTP](https://huggingface.co/chenyumo/moziAI-27B-MTP/tree/main) | | ModelScope（魔搭） | [chenyumo/moziAI-27B-MTP](https://modelscope.cn/models/chenyumo/moziAI-27B-MTP/tree/master) | | GitHub | [chenyumo166/moziAI-27B-MTP](https://github.com/chenyumo166/moziAI-27B-MTP/tree/master) | > 💡 **LM Studio 用户**：在 [LM Studio](https://lmstudio.ai) 中搜索 `moziAI` 一键下载，无需手动下载文件。 --- ## 8. 启动命令 ### 最简启动（含三件套） ```bash llama-server \ -m ./moziAI-27B-MTP-V3.8-Q4_K_M-Qwen3.8-27B.gguf \ --mmproj mmproj/27B/moziAI-27B-mmproj-BF16-V1.0.gguf \ --chat-template-file V3.8/chat-template-moziai-27B-V3.8.jinja \ -c 131072 -ngl 99 \ --host 0.0.0.0 --port 8080 ``` ### 完整推荐启动 ```bash llama-server \ -m ./moziAI-27B-MTP-V3.8-Q4_K_M-Qwen3.8-27B.gguf \ --mmproj mmproj/27B/moziAI-27B-mmproj-BF16-V1.0.gguf \ --chat-template-file V3.8/chat-template-moziai-27B-V3.8.jinja \ -c 262144 -ngl 99 -t 28 \ --batch-size 1024 --ubatch-size 128 \ --flash-attn auto \ --cache-type-k q4_0 --cache-type-v q4_0 --kv-unified \ --poll 0 \ --reasoning auto --reasoning-budget 1024 --reasoning-format deepseek-legacy \ --spec-type draft-mtp --spec-draft-n-max 2 --spec-draft-p-min 0.75 \ --host 0.0.0.0 --port 8080 \ --temp 0.6 --top-p 0.95 --top-k 20 ``` > 💡 关闭 MTP：删除 `--spec-type draft-mtp` 及相关参数，速度降低约 30-50%，显存占用更小。 --- ## 9. 推荐推理参数 基于 llama.cpp 官方推荐参数与本地实测优化（AMD Radeon AI PRO R9700 32GB）： | 参数 | 通用聊天 | 编码/Agent | 说明 | | --- | --- | --- | --- | | temperature | 0.7 | 1.0 | 平衡创意与准确性 | | top\_p | 0.95 | 0.95 | 核采样阈值 | | top\_k | 20 | 20 | 截断采样 | | repeat\_penalty | 1.05 | 1.05 | 重复惩罚 | | context\_length | 131072 | 262144 | 聊天 128K / 编码 256K（llama.cpp 默认 128K） | | reasoning | auto | auto | 开启推理链（思维链） | | reasoning\_budget | 400 | 400 | 推理预算 token | | reasoning\_format | deepseek-legacy | deepseek-legacy | 推理输出到独立字段 | | **spec-type** | **draft-mtp** | **draft-mtp** | **MTP 推测解码（详见第 11 节）** | > 💡 **思考模式**：通过 `--reasoning auto` 开启，模型先进行内部推理再输出答案。`reasoning_budget` 控制最大思考 token 数（推荐 400，可调 100-1000）。 --- ## 10. 量化格式对比 | 格式 | 体积 | 精度 | 说明 | | --- | --- | --- | --- | | FP16 原始 | ~54 GB | 100% | 无损，需专业显卡 | | **MoziSmartBit（本模型）** | **~13.7 GB** | **~99%** | **自研智能量化，精度最优、体积最小** | | Q4_K_M | ~17 GB | ~98% | GGUF 标准 4bit | | Q5_K_M | ~20 GB | ~99% | 更高精度 | | Q6_K | ~23 GB | ~99.5% | 近无损 | | Q8_0 | ~31 GB | ~100% | 无损 | > MoziSmartBit 在保持约 99% 精度的同时，将 27B Dense 模型压缩至 13.7 GB（压缩比 3.9x），比 Q4_K_M 小约 20%，更适合消费级显卡本地部署。 --- ## 11. MTP 推测解码 重要加速特性 本模型内置 MTP（Multi-Token Prediction）推测解码层，开启后推理速度提升 **1.5-2 倍**。这是 Qwen3.8 架构的原生特性，MoziAI 保留了完整 MTP 权重。 **原理**：在模型架构中额外训练了轻量级预测头（Draft Model），用于在主模型验证前预先猜测后续 token，减少 forward 次数，降低推理延迟。猜测错误由主模型纠正，对输出质量无负面影响。 ### 开启参数 ```bash --spec-type draft-mtp \ --spec-draft-n-max 2 \ --spec-draft-p-min 0.75 ``` | 参数 | 推荐值 | 说明 | | --- | --- | --- | | --spec-type | draft-mtp | 启用 MTP 推测解码 | | --spec-draft-n-max | 2 | 每次最多猜测 2 个 token（推荐值，接受率约 80%） | | --spec-draft-p-min | 0.75 | 最低接受概率阈值（0.0-1.0，越大越保守） | ### 参数调整建议 | n-max | 接受率 | 适用场景 | | --- | --- | --- | | 1 | ~90% | 最保守，速度提升最小 | | **2** | **~80%** | **推荐：平衡速度与准确率** | | 3 | ~71% | 通用场景，速度提升明显 | | 4-5 | ~60-65% | 创意写作、代码生成 | | 6 | ~50-55% | 纯文本长输出（需配合 p-min 调整） | --- ## 12. 显存配置推荐 | 显存 | 推荐配置 | 说明 | | --- | --- | --- | | 16 GB | 上下文降至 64K，需 CPU 卸载 | 入门级，如 RTX 4060 Ti | | **20 GB** | **128K 满配，q4_0 KV 缓存** | **推荐配置**，如 RX 7900 XT / RTX 5070 Ti | | 24 GB | 128K 满配，显存余量充足 | RTX 4090 / RX 7900 XTX | | 32 GB+ | 256K 满配，最强配置 | Radeon AI PRO R9700 / RTX 5090 | | 128 GB 核显 | 256K 满配 | AMD Ryzen AI Max+ 395 / NVIDIA RTX Spark | > 💡 上下文越长，显存占用越多。OOM 时逐步降低 `-c` 参数。使用 `--fit on` 让 llama.cpp 自动调整层数适配显存。支持 NVIDIA / AMD / Intel 全品牌显卡。 --- ## 13. 部署方式 ### Ollama 部署 ```bash cat > Modelfile << 'EOF' FROM ./moziAI-27B-MTP-V3.8-Q4_K_M-Qwen3.8-27B.gguf PARAMETER temperature 0.6 PARAMETER top_p 0.95 PARAMETER top_k 20 PARAMETER num_ctx 131072 PARAMETER num_gpu 99 EOF ollama create moziAI-27B -f Modelfile ollama run moziAI-27B ``` ### LM Studio / Jan 在 LM Studio / Jan 中搜索 `moziAI`，选择 Q4\_K\_M 量化版本下载即可。 > 💡 Ollama 的 mmproj 和 chat\_template 支持有限，建议优先使用 llama.cpp 获得完整功能。 --- ## 14. 基准评测 MoziAI-27B-3.8 基于 Qwen3.8-27B 底座微调，金融垂直领域为核心优化方向。 ### 编码能力 | Benchmark | moziAI-27B | Qwen3.6-27B | Qwen3.7-Plus | Opus4.6 Max | | --- | --- | --- | --- | --- | | Terminal Bench 2.1 | 73.0 | 63.4 | 64.0 | 78.2 | | SWE-bench Pro | **61.7** | 53.5 | 57.6 | 53.4 | | DeepSWE 1.1 | **42.2** | 13.3 | 14.2 | -- | | QwenSWEBench | **79.0** | 49.3 | 59.2 | 63.8 | ### Agent 能力 | Benchmark | moziAI-27B | Qwen3.6-27B | Qwen3.7-Plus | Opus4.6 Max | | --- | --- | --- | --- | --- | | CoWorkBench | **70.7** | 61.0 | 65.1 | 68.2 | | JobBench | **33.4** | 21.8 | 27.6 | -- | | Agents' Last Exam | **42.9** | 27.3 | 33.6 | -- | | WebArena-Verified | **64.8** | 48.8 | 55.3 | -- | | AndroidWorld | **81.9** | 70.3 | 81.0 | 62.0 | ### 通用能力 | Benchmark | moziAI-27B | Qwen3.6-27B | Qwen3.7-Plus | Opus4.6 Max | | --- | --- | --- | --- | --- | | IFBench | **79.5** | 69.1 | 79.1 | 62.5 | | GPQA Diamond | 89.2 | 87.8 | 90.3 | **91.3** | ### 多模态能力 | Benchmark | moziAI-27B | Qwen3.6-27B | Qwen3.7-Plus | Opus4.6 Max | | --- | --- | --- | --- | --- | | MathVision | **94.6** | 85.1 | 90.3 | 65.5 | | BabyVision | **85.6** | 28.9 | 70.4 | 12.6 | | CharXiv RQ | **90.2** | 78.4 | 85.8 | 66.0 | | Vision2Web | **62.9** | 45.0 | 42.1 | -- | > 竞品数据为官方公开评测结果。MoziAI 金融垂直领域（财报解读、量化策略、风控合规、Agent 工具调用等）表现显著优于通用模型。 --- ## 15. 许可证 许可协议：**Apache License 2.0**（官方英文原文 [`LICENSE.md`](LICENSE.md)，中文说明 [`LICENSE.zh-CN.md`](LICENSE.zh-CN.md)）。 本模型整体依 Apache-2.0 分发（上游 Qwen3.8-27B 同为 Apache-2.0；MoziAI 原创增量同为 Apache-2.0）；归属见 [`NOTICE`](NOTICE)，修改声明见 [`MODIFICATIONS.md`](MODIFICATIONS.md)。 ## 16. 联系方式 - **HuggingFace**：[@chenyumo](https://huggingface.co/chenyumo) - **GitHub**：[@chenyumo166](https://github.com/chenyumo166) - **微博**：[@rimochen](https://weibo.com/rimochen) - **E-mail**：263515@qq.com Copyright (c) 2026 陈雨墨 / chenyumo166. All rights reserved. --- --- --- ## 许可 / License 许可协议：**Apache License 2.0**。官方英文原文见 [`LICENSE.md`](LICENSE.md)，中文说明见 [`LICENSE.zh-CN.md`](LICENSE.zh-CN.md)。 本模型整体依 Apache-2.0 分发；上游组件（Qwen3.8-27B）同为 Apache-2.0，MoziAI 原创增量同样依 Apache-2.0。上游归属见 [`NOTICE`](NOTICE)，修改声明见 [`MODIFICATIONS.md`](MODIFICATIONS.md)。