---
license: apache-2.0
base_model: openbmb/MiniCPM3-4B
pipeline_tag: text-generation
library_name: rkllm
tags:
- rkllm
- rockchip
- rk3576
- rk3588
- minicpm3
---

[English](README.md) | **简体中文**

## 🚀 使用 reComputer AI Lab 部署

通过 **reComputer AI Lab**，在 Rockchip **RK3576** 和 **RK3588** 设备上探索并部署 AI 模型。

[![reComputer AI Lab — 探索模型与部署指南](https://files.seeedstudio.com/Edge_box/reComputer_Lab.webp)](https://sensecraft.seeed.cc/ai-lab/zh/models?device=rk3588)

### ⚡ 一条命令即可运行

安装 Docker 后，在 reComputer AI Lab 中选择模型和开发板，复制部署命令，并在设备终端中运行即可。

**[探索模型与部署指南 →](https://sensecraft.seeed.cc/ai-lab/zh/models?device=rk3588)**

---


# MiniCPM3-4B · RKLLM

* 最大上下文长度： 4096

在 Rockchip RK3576 和 RK3588 上进行文本生成，转换自 [openbmb/MiniCPM3-4B](https://huggingface.co/openbmb/MiniCPM3-4B)。

- **转换工具包：** RKLLM Toolkit 1.3.0。
- **输入 / 输出：** 文本 → 文本。
- **许可证：** `apache-2.0`；条款及预期用途请参阅[上游模型卡](https://huggingface.co/openbmb/MiniCPM3-4B)。

## 选择模型文件

请选择与开发板 SoC 完全匹配的文件。`w4a16` 使用 4 位权重和 16 位激活；`w4a16_g128` 的权重分组大小为 128。`w8a8` 使用 8 位权重和 8 位激活。下表列出的是下载大小，并非运行时总内存占用。

| 开发板 | 量化方式 | 大小 | 语言模型 |
| --- | --- | --- | --- |
| RK3576 | `w4a16_g128` | 2.70 GiB | [MiniCPM3-4B_RK3576_w4a16_g128.rkllm](RK3576/MiniCPM3-4B_RK3576_w4a16_g128.rkllm) |
| RK3576 | `w8a8` | 4.22 GiB | [MiniCPM3-4B_RK3576_w8a8.rkllm](RK3576/MiniCPM3-4B_RK3576_w8a8.rkllm) |
| RK3588 | `w8a8` | 4.20 GiB | [MiniCPM3-4B_RK3588_w8a8.rkllm](RK3588/MiniCPM3-4B_RK3588_w8a8.rkllm) |

## 在开发板上运行

在匹配的 Rockchip 开发板上安装 Docker 后，以下示例将启动 **RK3576 w4a16_g128** 模型，并在端口 8001 提供 API：

```bash
sudo docker run --rm -d --name rkllm \
  --privileged -v /dev:/dev -p 8001:8001 \
  ghcr.io/hanzo-huang/rkllm-docker/llm/minicpm3-4b:rk3576-w4a16-g128
```

镜像已包含模型文件。API 请求、其他开发板版本和配置说明请参阅 [rkllm-docker](https://github.com/Hanzo-Huang/rkllm-docker#readme)。

如需单独下载文件：

```bash
hf download HanzoHuang/MiniCPM3-4B-RKLLM \
  RK3576/MiniCPM3-4B_RK3576_w4a16_g128.rkllm \
  --local-dir ./models
```

这些文件是原生 RKLLM/RKNN 模型产物。集成到其他应用时，请使用兼容的 RKLLM 运行时及该模型对应的对话模板。

## 发布说明

此处未发布各配置在开发板上的基准测试。量化后的输出可能与原始模型不同，请使用自己的实际任务检查回答效果。检查运行时兼容性时，请参考上方列出的工具包版本。

<details>
<summary>SHA-256 校验和</summary>

```text
ec05211d17c4bb05a685588ff335608233b59722f6ecc296976d61dbc88c4128  RK3576/MiniCPM3-4B_RK3576_w4a16_g128.rkllm
3795c6a22e5f12de0c4243fc187da55f516b530de3125734874d340856160aec  RK3576/MiniCPM3-4B_RK3576_w8a8.rkllm
3815a59593df7aebda90f86844caf2fd625d9d0e996e35aa31fd74790d10b130  RK3588/MiniCPM3-4B_RK3588_w8a8.rkllm
```

</details>

## 致谢

原始模型：[openbmb/MiniCPM3-4B](https://huggingface.co/openbmb/MiniCPM3-4B)。转换工具：[Rockchip RKLLM](https://github.com/airockchip/rknn-llm)。