"""MiniCPM-V 4.7 1B 视觉塔 -> ONNX(固定分辨率、单图、16x 压缩)。 要点: - 4.7 的建模类在 transformers>=5.18,本地 zoo venv 是 5.3.0, 因此把 5.18.0 单独装到 minicpm47/tf518,用 sys.path 前置覆盖,不污染原环境。 - vision_tower.forward 内部有 ViT 内压缩(insert_layer_id=6 的 vit_merger, 2x2 window merge),merger 再 2x2 -> 合计 4x4 patch = 1 个 LLM token(16x)。 - 固定 448x448:grid=32 -> vit_merger 后 16x16 -> merger 后 8x8 = 64 个 token, 每个 1024 维(= LLM hidden_size)。32 能被 4 整除,980/14=70 不行,别用 980 单图。 - RKNN 侧用 mean/std=0.5*255 + uint8 NHWC 输入,ONNX 只接受已归一化的 fp32 NCHW。 - 输出必须是 3D [1, N, hidden],不能是 2D [N, hidden]!依据官方 examples/MiniCPM_V_4/cpp/main.cc: tensor.image.n_image = embeds_shape[0]; // 图片数 tensor.image.n_image_tokens = embeds_shape[1]; // 每图 token 数 rkllm3-server 用同一套 runtime 约定。2D 输出会被读成"64 张图、每张 1024 token", 导致 image token 数与 vision embedding 完全错位。官方 4.0 的 export_minicpm3o_vision likewise 返回 B*Q*D 三维。 - **runtime 契约适配(11-4 上板实测)**:multimodal embed callback 还会校验 `image_ph * image_pw == n_image_tokens`,其中 `image_ph = model_height / patch_size(16) / spatial_merge_size(2)`。 448 输入 -> 14x14 = **196**,而 4.7 视觉塔原生只有 8x8 = **64**,直接上板报 `image_ph * image_pw != n_image_tokens! image_ph = 14 ... n_image_tokens = 64`。 `image_height` 取自 vision RKNN 模型的输入尺寸:改 `--img-width/--img-height` 到 256、把请求图片换成 256x256,报错里都仍是 448(均已实测)。 故在导出图内把 8x8 网格最近邻重采样到 14x14 = 196 token 让契约对齐。 这是**适配层,不是 4.7 原生行为**;视觉信息有冗余,但空间排布保留。 """ import argparse import os import sys import torch TF518 = os.environ.get("MINICPM_TF518", "") if TF518: sys.path.insert(0, TF518) MODEL = os.environ.get("MINICPM_HF_DIR", "") class VisionExport(torch.nn.Module): def __init__(self, model, img_size): super().__init__() self.vt = model.model.vision_tower self.merger = model.model.merger patch = self.vt.config.patch_size grid = img_size // patch assert grid % 4 == 0, f"patch grid {grid} 必须能被 4 整除(16x 压缩),换分辨率" self.register_buffer( "target_sizes", torch.tensor([[grid, grid]], dtype=torch.int32), persistent=False ) # merger 内部用 height/width 作 view() 的形状参数;传 Python int 才能被 ONNX trace。 # vision_tower 在 insert_layer 处把 target_sizes 减半,故这里也减半。 self.merger_sizes = [[grid // 2, grid // 2]] # ---- runtime 契约适配(见文件头 docstring)---- # 视觉塔原生 (grid/4)^2 = 8x8 = 64 token,runtime 要求 14x14 = 196。 # 用纯 Gather/Reshape 做最近邻重采样,不引入 Resize op,RKNN 转换最稳。 self.src_grid = grid // 4 self.out_grid = 14 self.register_buffer( "resample_idx", (torch.arange(self.out_grid, dtype=torch.float32) * self.src_grid / self.out_grid).long(), persistent=False, ) def forward(self, pixel): out = self.vt(pixel, target_sizes=self.target_sizes, use_vit_merger=True) hs = out.last_hidden_state if hasattr(out, "last_hidden_state") else out[0] feats = self.merger(hs, self.merger_sizes) y = torch.cat(feats, dim=0) # [src^2, hidden],行优先 8x8 网格 g, idx = self.src_grid, self.resample_idx y = y.view(g, g, -1)[idx[:, None], idx[None, :], :] # [14, 14, hidden] # [N, hidden] -> [1, N, hidden]:server 按 dim0=图片数 / dim1=每图token数解析。 return y.reshape(1, self.out_grid * self.out_grid, -1) def main(): ap = argparse.ArgumentParser() ap.add_argument("--img_size", type=int, default=448) ap.add_argument( "--out", default=os.environ.get("MINICPM_VISION_ONNX", "MiniCPM-V-4.7-1B-vision.onnx"), ) ap.add_argument("--model", default=MODEL, help="Local HF checkout of openbmb/MiniCPM-V-4.7-1B") ap.add_argument("--smoke", action="store_true", help="只跑一次 eager forward,不导出") args = ap.parse_args() from transformers import AutoModelForImageTextToText model = AutoModelForImageTextToText.from_pretrained( args.model, dtype=torch.float32, trust_remote_code=True, low_cpu_mem_usage=True ) model.eval() wrapper = VisionExport(model, args.img_size).eval() pixel = torch.randn(1, 3, args.img_size, args.img_size) with torch.no_grad(): y = wrapper(pixel) print("eager output shape:", tuple(y.shape), "dtype:", y.dtype, flush=True) if args.smoke: return os.makedirs(os.path.dirname(args.out), exist_ok=True) torch.onnx.export( wrapper, (pixel,), args.out, input_names=["pixel"], output_names=["img_embeds"], opset_version=17, do_constant_folding=True, ) print("exported:", args.out, os.path.getsize(args.out), "bytes", flush=True) if __name__ == "__main__": main()