HanzoHuang commited on
Commit
54df3d4
·
verified ·
1 Parent(s): 02696dc

Add Simplified Chinese README and language navigation

Browse files
Files changed (2) hide show
  1. README.md +2 -0
  2. README_zh-CN.md +90 -0
README.md CHANGED
@@ -11,6 +11,8 @@ tags:
11
  - minicpm3
12
  ---
13
 
 
 
14
  ## 🚀 Deploy with reComputer AI Lab
15
 
16
  Explore and deploy AI models on Rockchip **RK3576** and **RK3588** devices with **reComputer AI Lab**.
 
11
  - minicpm3
12
  ---
13
 
14
+ **English** | [简体中文](README_zh-CN.md)
15
+
16
  ## 🚀 Deploy with reComputer AI Lab
17
 
18
  Explore and deploy AI models on Rockchip **RK3576** and **RK3588** devices with **reComputer AI Lab**.
README_zh-CN.md ADDED
@@ -0,0 +1,90 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ base_model: openbmb/MiniCPM3-4B
4
+ pipeline_tag: text-generation
5
+ library_name: rkllm
6
+ tags:
7
+ - rkllm
8
+ - rockchip
9
+ - rk3576
10
+ - rk3588
11
+ - minicpm3
12
+ ---
13
+
14
+ [English](README.md) | **简体中文**
15
+
16
+ ## 🚀 使用 reComputer AI Lab 部署
17
+
18
+ 通过 **reComputer AI Lab**,在 Rockchip **RK3576** 和 **RK3588** 设备上探索并部署 AI 模型。
19
+
20
+ [![reComputer AI Lab — 探索模型与部署指南](https://files.seeedstudio.com/Edge_box/reComputer_Lab.webp)](https://sensecraft.seeed.cc/ai-lab/zh/models?device=rk3588)
21
+
22
+ ### ⚡ 一条命令即可运行
23
+
24
+ 安装 Docker 后,在 reComputer AI Lab 中选择模型和开发板,复制部署命令,并在设备终端中运行即可。
25
+
26
+ **[探索模型与部署指南 →](https://sensecraft.seeed.cc/ai-lab/zh/models?device=rk3588)**
27
+
28
+ ---
29
+
30
+
31
+ # MiniCPM3-4B · RKLLM
32
+
33
+ * 最大上下文长度: 4096
34
+
35
+ 在 Rockchip RK3576 和 RK3588 上进行文本生成,转换自 [openbmb/MiniCPM3-4B](https://huggingface.co/openbmb/MiniCPM3-4B)。
36
+
37
+ - **转换工具包:** RKLLM Toolkit 1.3.0。
38
+ - **输入 / 输出:** 文本 → 文本。
39
+ - **许可证:** `apache-2.0`;条款及预期用途请参阅[上游模型卡](https://huggingface.co/openbmb/MiniCPM3-4B)。
40
+
41
+ ## 选择模型文件
42
+
43
+ 请选择与开发板 SoC 完全匹配的文件。`w4a16` 使用 4 位权重和 16 位激活;`w4a16_g128` 的权重分组大小为 128。`w8a8` 使用 8 位权重和 8 位激活。下表列出的是下载大小,并非运行时总内存占用。
44
+
45
+ | 开发板 | 量化方式 | 大小 | 语言模型 |
46
+ | --- | --- | --- | --- |
47
+ | RK3576 | `w4a16_g128` | 2.70 GiB | [MiniCPM3-4B_RK3576_w4a16_g128.rkllm](RK3576/MiniCPM3-4B_RK3576_w4a16_g128.rkllm) |
48
+ | RK3576 | `w8a8` | 4.22 GiB | [MiniCPM3-4B_RK3576_w8a8.rkllm](RK3576/MiniCPM3-4B_RK3576_w8a8.rkllm) |
49
+ | RK3588 | `w8a8` | 4.20 GiB | [MiniCPM3-4B_RK3588_w8a8.rkllm](RK3588/MiniCPM3-4B_RK3588_w8a8.rkllm) |
50
+
51
+ ## 在开发板上运行
52
+
53
+ 在匹配的 Rockchip 开发板上安装 Docker 后,以下示例将启动 **RK3576 w4a16_g128** 模型,并在端口 8001 提供 API:
54
+
55
+ ```bash
56
+ sudo docker run --rm -d --name rkllm \
57
+ --privileged -v /dev:/dev -p 8001:8001 \
58
+ ghcr.io/hanzo-huang/rkllm-docker/llm/minicpm3-4b:rk3576-w4a16-g128
59
+ ```
60
+
61
+ 镜像已包含模型文件。API 请求、其他开发板版本和配置说明请参阅 [rkllm-docker](https://github.com/Hanzo-Huang/rkllm-docker#readme)。
62
+
63
+ 如需单独下载文件:
64
+
65
+ ```bash
66
+ hf download HanzoHuang/MiniCPM3-4B-RKLLM \
67
+ RK3576/MiniCPM3-4B_RK3576_w4a16_g128.rkllm \
68
+ --local-dir ./models
69
+ ```
70
+
71
+ 这些文件是原生 RKLLM/RKNN 模型产物。集成到其他应用时,请使用兼容的 RKLLM 运行时及该模型对应的对话模板。
72
+
73
+ ## 发布说明
74
+
75
+ 此处未发布各配置在开发板上的基准测试。量化后的输出可能与原始模型不同,请使用自己的实际任务检查回答效果。检查运行时兼容性时,请参考上方列出的工具包版本。
76
+
77
+ <details>
78
+ <summary>SHA-256 校验和</summary>
79
+
80
+ ```text
81
+ ec05211d17c4bb05a685588ff335608233b59722f6ecc296976d61dbc88c4128 RK3576/MiniCPM3-4B_RK3576_w4a16_g128.rkllm
82
+ 3795c6a22e5f12de0c4243fc187da55f516b530de3125734874d340856160aec RK3576/MiniCPM3-4B_RK3576_w8a8.rkllm
83
+ 3815a59593df7aebda90f86844caf2fd625d9d0e996e35aa31fd74790d10b130 RK3588/MiniCPM3-4B_RK3588_w8a8.rkllm
84
+ ```
85
+
86
+ </details>
87
+
88
+ ## 致谢
89
+
90
+ 原始模型:[openbmb/MiniCPM3-4B](https://huggingface.co/openbmb/MiniCPM3-4B)。转换工具:[Rockchip RKLLM](https://github.com/airockchip/rknn-llm)。