Add Simplified Chinese README and language navigation

54df3d4 verified 11 days ago

3.49 kB

---
license: apache-2.0
base_model: openbmb/MiniCPM3-4B
pipeline_tag: text-generation
library_name: rkllm
tags:
- rkllm
- rockchip
- rk3576
- rk3588
- minicpm3
---
[English](README.md) | **简体中文**

## 🚀 使用 reComputer AI Lab 部署

通过 **reComputer AI Lab**，在 Rockchip **RK3576** 和 **RK3588** 设备上探索并部署 AI 模型。

[![reComputer AI Lab — 探索模型与部署指南](https://files.seeedstudio.com/Edge_box/reComputer_Lab.webp)](https://sensecraft.seeed.cc/ai-lab/zh/models?device=rk3588)

### ⚡ 一条命令即可运行

安装 Docker 后，在 reComputer AI Lab 中选择模型和开发板，复制部署命令，并在设备终端中运行即可。

**[探索模型与部署指南 →](https://sensecraft.seeed.cc/ai-lab/zh/models?device=rk3588)**

---


# MiniCPM3-4B · RKLLM

* 最大上下文长度： 4096

在 Rockchip RK3576 和 RK3588 上进行文本生成，转换自 [openbmb/MiniCPM3-4B](https://huggingface.co/openbmb/MiniCPM3-4B)。

- **转换工具包：** RKLLM Toolkit 1.3.0。
- **输入 / 输出：** 文本 → 文本。
- **许可证：** `apache-2.0`；条款及预期用途请参阅[上游模型卡](https://huggingface.co/openbmb/MiniCPM3-4B)。

## 选择模型文件

请选择与开发板 SoC 完全匹配的文件。`w4a16` 使用 4 位权重和 16 位激活；`w4a16_g128` 的权重分组大小为 128。`w8a8` 使用 8 位权重和 8 位激活。下表列出的是下载大小，并非运行时总内存占用。

| 开发板 | 量化方式 | 大小 | 语言模型 |
| --- | --- | --- | --- |
| RK3576 | `w4a16_g128` | 2.70 GiB | [MiniCPM3-4B_RK3576_w4a16_g128.rkllm](RK3576/MiniCPM3-4B_RK3576_w4a16_g128.rkllm) |
| RK3576 | `w8a8` | 4.22 GiB | [MiniCPM3-4B_RK3576_w8a8.rkllm](RK3576/MiniCPM3-4B_RK3576_w8a8.rkllm) |
| RK3588 | `w8a8` | 4.20 GiB | [MiniCPM3-4B_RK3588_w8a8.rkllm](RK3588/MiniCPM3-4B_RK3588_w8a8.rkllm) |

## 在开发板上运行

在匹配的 Rockchip 开发板上安装 Docker 后，以下示例将启动 **RK3576 w4a16_g128** 模型，并在端口 8001 提供 API：
```bash
sudo docker run --rm -d --name rkllm \
  --privileged -v /dev:/dev -p 8001:8001 \
  ghcr.io/hanzo-huang/rkllm-docker/llm/minicpm3-4b:rk3576-w4a16-g128
```
镜像已包含模型文件。API 请求、其他开发板版本和配置说明请参阅 [rkllm-docker](https://github.com/Hanzo-Huang/rkllm-docker#readme)。
如需单独下载文件：
```bash
hf download HanzoHuang/MiniCPM3-4B-RKLLM \
  RK3576/MiniCPM3-4B_RK3576_w4a16_g128.rkllm \
  --local-dir ./models
```
这些文件是原生 RKLLM/RKNN 模型产物。集成到其他应用时，请使用兼容的 RKLLM 运行时及该模型对应的对话模板。
## 发布说明
此处未发布各配置在开发板上的基准测试。量化后的输出可能与原始模型不同，请使用自己的实际任务检查回答效果。检查运行时兼容性时，请参考上方列出的工具包版本。
<details>
<summary>SHA-256 校验和</summary>
```text
ec05211d17c4bb05a685588ff335608233b59722f6ecc296976d61dbc88c4128  RK3576/MiniCPM3-4B_RK3576_w4a16_g128.rkllm
3795c6a22e5f12de0c4243fc187da55f516b530de3125734874d340856160aec  RK3576/MiniCPM3-4B_RK3576_w8a8.rkllm
3815a59593df7aebda90f86844caf2fd625d9d0e996e35aa31fd74790d10b130  RK3588/MiniCPM3-4B_RK3588_w8a8.rkllm
```
</details>
## 致谢
原始模型：[openbmb/MiniCPM3-4B](https://huggingface.co/openbmb/MiniCPM3-4B)。转换工具：[Rockchip RKLLM](https://github.com/airockchip/rknn-llm)。

	---
	license: apache-2.0
	base_model: openbmb/MiniCPM3-4B
	pipeline_tag: text-generation
	library_name: rkllm
	tags:
	- rkllm
	- rockchip
	- rk3576
	- rk3588
	- minicpm3
	---

	[English](README.md) \| 简体中文

	## 🚀 使用 reComputer AI Lab 部署

	通过 reComputer AI Lab，在 Rockchip RK3576 和 RK3588 设备上探索并部署 AI 模型。

	[![reComputer AI Lab — 探索模型与部署指南](https://files.seeedstudio.com/Edge_box/reComputer_Lab.webp)](https://sensecraft.seeed.cc/ai-lab/zh/models?device=rk3588)

	### ⚡ 一条命令即可运行

	安装 Docker 后，在 reComputer AI Lab 中选择模型和开发板，复制部署命令，并在设备终端中运行即可。

	[探索模型与部署指南 →](https://sensecraft.seeed.cc/ai-lab/zh/models?device=rk3588)

	---


	# MiniCPM3-4B · RKLLM

	* 最大上下文长度： 4096

	在 Rockchip RK3576 和 RK3588 上进行文本生成，转换自 [openbmb/MiniCPM3-4B](https://huggingface.co/openbmb/MiniCPM3-4B)。

	- 转换工具包： RKLLM Toolkit 1.3.0。
	- 输入 / 输出：文本 → 文本。
	- 许可证： `apache-2.0`；条款及预期用途请参阅[上游模型卡](https://huggingface.co/openbmb/MiniCPM3-4B)。

	## 选择模型文件

	请选择与开发板 SoC 完全匹配的文件。`w4a16` 使用 4 位权重和 16 位激活；`w4a16_g128` 的权重分组大小为 128。`w8a8` 使用 8 位权重和 8 位激活。下表列出的是下载大小，并非运行时总内存占用。

	\| 开发板 \| 量化方式 \| 大小 \| 语言模型 \|
	\| --- \| --- \| --- \| --- \|
	\| RK3576 \| `w4a16_g128` \| 2.70 GiB \| [MiniCPM3-4B_RK3576_w4a16_g128.rkllm](RK3576/MiniCPM3-4B_RK3576_w4a16_g128.rkllm) \|
	\| RK3576 \| `w8a8` \| 4.22 GiB \| [MiniCPM3-4B_RK3576_w8a8.rkllm](RK3576/MiniCPM3-4B_RK3576_w8a8.rkllm) \|
	\| RK3588 \| `w8a8` \| 4.20 GiB \| [MiniCPM3-4B_RK3588_w8a8.rkllm](RK3588/MiniCPM3-4B_RK3588_w8a8.rkllm) \|

	## 在开发板上运行

	在匹配的 Rockchip 开发板上安装 Docker 后，以下示例将启动 RK3576 w4a16_g128 模型，并在端口 8001 提供 API：

	```bash
	sudo docker run --rm -d --name rkllm \
	--privileged -v /dev:/dev -p 8001:8001 \
	ghcr.io/hanzo-huang/rkllm-docker/llm/minicpm3-4b:rk3576-w4a16-g128
	```

	镜像已包含模型文件。API 请求、其他开发板版本和配置说明请参阅 [rkllm-docker](https://github.com/Hanzo-Huang/rkllm-docker#readme)。

	如需单独下载文件：

	```bash
	hf download HanzoHuang/MiniCPM3-4B-RKLLM \
	RK3576/MiniCPM3-4B_RK3576_w4a16_g128.rkllm \
	--local-dir ./models
	```

	这些文件是原生 RKLLM/RKNN 模型产物。集成到其他应用时，请使用兼容的 RKLLM 运行时及该模型对应的对话模板。

	## 发布说明

	此处未发布各配置在开发板上的基准测试。量化后的输出可能与原始模型不同，请使用自己的实际任务检查回答效果。检查运行时兼容性时，请参考上方列出的工具包版本。

	<details>
	<summary>SHA-256 校验和</summary>

	```text
	ec05211d17c4bb05a685588ff335608233b59722f6ecc296976d61dbc88c4128 RK3576/MiniCPM3-4B_RK3576_w4a16_g128.rkllm
	3795c6a22e5f12de0c4243fc187da55f516b530de3125734874d340856160aec RK3576/MiniCPM3-4B_RK3576_w8a8.rkllm
	3815a59593df7aebda90f86844caf2fd625d9d0e996e35aa31fd74790d10b130 RK3588/MiniCPM3-4B_RK3588_w8a8.rkllm
	```

	</details>

	## 致谢

	原始模型：[openbmb/MiniCPM3-4B](https://huggingface.co/openbmb/MiniCPM3-4B)。转换工具：[Rockchip RKLLM](https://github.com/airockchip/rknn-llm)。