Add Simplified Chinese README and language navigation

54df3d4 verified 10 days ago

3.49 kB

license: apache-2.0
base_model: openbmb/MiniCPM3-4B
pipeline_tag: text-generation
library_name: rkllm
tags:
  - rkllm
  - rockchip
  - rk3576
  - rk3588
  - minicpm3

English | 简体中文

🚀 使用 reComputer AI Lab 部署

通过 reComputer AI Lab，在 Rockchip RK3576 和 RK3588 设备上探索并部署 AI 模型。

⚡ 一条命令即可运行

安装 Docker 后，在 reComputer AI Lab 中选择模型和开发板，复制部署命令，并在设备终端中运行即可。

探索模型与部署指南 →

MiniCPM3-4B · RKLLM

最大上下文长度： 4096

在 Rockchip RK3576 和 RK3588 上进行文本生成，转换自 openbmb/MiniCPM3-4B。

转换工具包： RKLLM Toolkit 1.3.0。
输入 / 输出： 文本 → 文本。
许可证： apache-2.0；条款及预期用途请参阅上游模型卡。

选择模型文件

请选择与开发板 SoC 完全匹配的文件。w4a16 使用 4 位权重和 16 位激活；w4a16_g128 的权重分组大小为 128。w8a8 使用 8 位权重和 8 位激活。下表列出的是下载大小，并非运行时总内存占用。

开发板	量化方式	大小	语言模型
RK3576	`w4a16_g128`	2.70 GiB	MiniCPM3-4B_RK3576_w4a16_g128.rkllm
RK3576	`w8a8`	4.22 GiB	MiniCPM3-4B_RK3576_w8a8.rkllm
RK3588	`w8a8`	4.20 GiB	MiniCPM3-4B_RK3588_w8a8.rkllm

在开发板上运行

在匹配的 Rockchip 开发板上安装 Docker 后，以下示例将启动 RK3576 w4a16_g128 模型，并在端口 8001 提供 API：

sudo docker run --rm -d --name rkllm \
  --privileged -v /dev:/dev -p 8001:8001 \
  ghcr.io/hanzo-huang/rkllm-docker/llm/minicpm3-4b:rk3576-w4a16-g128

镜像已包含模型文件。API 请求、其他开发板版本和配置说明请参阅 rkllm-docker。

如需单独下载文件：

hf download HanzoHuang/MiniCPM3-4B-RKLLM \
  RK3576/MiniCPM3-4B_RK3576_w4a16_g128.rkllm \
  --local-dir ./models

这些文件是原生 RKLLM/RKNN 模型产物。集成到其他应用时，请使用兼容的 RKLLM 运行时及该模型对应的对话模板。

发布说明

此处未发布各配置在开发板上的基准测试。量化后的输出可能与原始模型不同，请使用自己的实际任务检查回答效果。检查运行时兼容性时，请参考上方列出的工具包版本。

SHA-256 校验和

ec05211d17c4bb05a685588ff335608233b59722f6ecc296976d61dbc88c4128  RK3576/MiniCPM3-4B_RK3576_w4a16_g128.rkllm
3795c6a22e5f12de0c4243fc187da55f516b530de3125734874d340856160aec  RK3576/MiniCPM3-4B_RK3576_w8a8.rkllm
3815a59593df7aebda90f86844caf2fd625d9d0e996e35aa31fd74790d10b130  RK3588/MiniCPM3-4B_RK3588_w8a8.rkllm

HanzoHuang
/

MiniCPM3-4B-RKLLM