MiniCPM-V-4.7-1B-RKNN3-RK1828 / convert /export_vision47.py
jj90's picture
Add model card, deploy guide, host + conversion scripts
fd11f30 verified
Raw History Blame Contribute Delete
5.45 kB
"""MiniCPM-V 4.7 1B 视觉塔 -> ONNX(固定分辨率、单图、16x 压缩)。
要点:
- 4.7 的建模类在 transformers>=5.18,本地 zoo venv 是 5.3.0,
因此把 5.18.0 单独装到 minicpm47/tf518,用 sys.path 前置覆盖,不污染原环境。
- vision_tower.forward 内部有 ViT 内压缩(insert_layer_id=6 的 vit_merger,
2x2 window merge),merger 再 2x2 -> 合计 4x4 patch = 1 个 LLM token(16x)。
- 固定 448x448:grid=32 -> vit_merger 后 16x16 -> merger 后 8x8 = 64 个 token,
每个 1024 维(= LLM hidden_size)。32 能被 4 整除,980/14=70 不行,别用 980 单图。
- RKNN 侧用 mean/std=0.5*255 + uint8 NHWC 输入,ONNX 只接受已归一化的 fp32 NCHW。
- 输出必须是 3D [1, N, hidden],不能是 2D [N, hidden]!依据官方
examples/MiniCPM_V_4/cpp/main.cc:
tensor.image.n_image = embeds_shape[0]; // 图片数
tensor.image.n_image_tokens = embeds_shape[1]; // 每图 token 数
rkllm3-server 用同一套 runtime 约定。2D 输出会被读成"64 张图、每张 1024 token",
导致 image token 数与 vision embedding 完全错位。官方 4.0 的
export_minicpm3o_vision likewise 返回 B*Q*D 三维。
- **runtime 契约适配(11-4 上板实测)**:multimodal embed callback 还会校验
`image_ph * image_pw == n_image_tokens`,其中
`image_ph = model_height / patch_size(16) / spatial_merge_size(2)`。
448 输入 -> 14x14 = **196**,而 4.7 视觉塔原生只有 8x8 = **64**,直接上板报
`image_ph * image_pw != n_image_tokens! image_ph = 14 ... n_image_tokens = 64`。
`image_height` 取自 vision RKNN 模型的输入尺寸:改 `--img-width/--img-height`
到 256、把请求图片换成 256x256,报错里都仍是 448(均已实测)。
故在导出图内把 8x8 网格最近邻重采样到 14x14 = 196 token 让契约对齐。
这是**适配层,不是 4.7 原生行为**;视觉信息有冗余,但空间排布保留。
"""
import argparse
import os
import sys
import torch
TF518 = os.environ.get("MINICPM_TF518", "")
if TF518:
sys.path.insert(0, TF518)
MODEL = os.environ.get("MINICPM_HF_DIR", "")
class VisionExport(torch.nn.Module):
def __init__(self, model, img_size):
super().__init__()
self.vt = model.model.vision_tower
self.merger = model.model.merger
patch = self.vt.config.patch_size
grid = img_size // patch
assert grid % 4 == 0, f"patch grid {grid} 必须能被 4 整除(16x 压缩),换分辨率"
self.register_buffer(
"target_sizes", torch.tensor([[grid, grid]], dtype=torch.int32), persistent=False
)
# merger 内部用 height/width 作 view() 的形状参数;传 Python int 才能被 ONNX trace。
# vision_tower 在 insert_layer 处把 target_sizes 减半,故这里也减半。
self.merger_sizes = [[grid // 2, grid // 2]]
# ---- runtime 契约适配(见文件头 docstring)----
# 视觉塔原生 (grid/4)^2 = 8x8 = 64 token,runtime 要求 14x14 = 196。
# 用纯 Gather/Reshape 做最近邻重采样,不引入 Resize op,RKNN 转换最稳。
self.src_grid = grid // 4
self.out_grid = 14
self.register_buffer(
"resample_idx",
(torch.arange(self.out_grid, dtype=torch.float32) * self.src_grid / self.out_grid).long(),
persistent=False,
)
def forward(self, pixel):
out = self.vt(pixel, target_sizes=self.target_sizes, use_vit_merger=True)
hs = out.last_hidden_state if hasattr(out, "last_hidden_state") else out[0]
feats = self.merger(hs, self.merger_sizes)
y = torch.cat(feats, dim=0) # [src^2, hidden],行优先 8x8 网格
g, idx = self.src_grid, self.resample_idx
y = y.view(g, g, -1)[idx[:, None], idx[None, :], :] # [14, 14, hidden]
# [N, hidden] -> [1, N, hidden]:server 按 dim0=图片数 / dim1=每图token数解析。
return y.reshape(1, self.out_grid * self.out_grid, -1)
def main():
ap = argparse.ArgumentParser()
ap.add_argument("--img_size", type=int, default=448)
ap.add_argument(
"--out",
default=os.environ.get("MINICPM_VISION_ONNX", "MiniCPM-V-4.7-1B-vision.onnx"),
)
ap.add_argument("--model", default=MODEL,
help="Local HF checkout of openbmb/MiniCPM-V-4.7-1B")
ap.add_argument("--smoke", action="store_true", help="只跑一次 eager forward,不导出")
args = ap.parse_args()
from transformers import AutoModelForImageTextToText
model = AutoModelForImageTextToText.from_pretrained(
args.model, dtype=torch.float32, trust_remote_code=True, low_cpu_mem_usage=True
)
model.eval()
wrapper = VisionExport(model, args.img_size).eval()
pixel = torch.randn(1, 3, args.img_size, args.img_size)
with torch.no_grad():
y = wrapper(pixel)
print("eager output shape:", tuple(y.shape), "dtype:", y.dtype, flush=True)
if args.smoke:
return
os.makedirs(os.path.dirname(args.out), exist_ok=True)
torch.onnx.export(
wrapper,
(pixel,),
args.out,
input_names=["pixel"],
output_names=["img_embeds"],
opset_version=17,
do_constant_folding=True,
)
print("exported:", args.out, os.path.getsize(args.out), "bytes", flush=True)
if __name__ == "__main__":
main()