File size: 5,446 Bytes
fd11f30
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
"""MiniCPM-V 4.7 1B 视觉塔 -> ONNX(固定分辨率、单图、16x 压缩)。

要点:
- 4.7 的建模类在 transformers>=5.18,本地 zoo venv 是 5.3.0,
  因此把 5.18.0 单独装到 minicpm47/tf518,用 sys.path 前置覆盖,不污染原环境。
- vision_tower.forward 内部有 ViT 内压缩(insert_layer_id=6 的 vit_merger,
  2x2 window merge),merger 再 2x2 -> 合计 4x4 patch = 1 个 LLM token(16x)。
- 固定 448x448:grid=32 -> vit_merger 后 16x16 -> merger 后 8x8 = 64 个 token,
  每个 1024 维(= LLM hidden_size)。32 能被 4 整除,980/14=70 不行,别用 980 单图。
- RKNN 侧用 mean/std=0.5*255 + uint8 NHWC 输入,ONNX 只接受已归一化的 fp32 NCHW。
- 输出必须是 3D [1, N, hidden],不能是 2D [N, hidden]!依据官方
  examples/MiniCPM_V_4/cpp/main.cc:
      tensor.image.n_image        = embeds_shape[0];   // 图片数
      tensor.image.n_image_tokens = embeds_shape[1];   // 每图 token 数
  rkllm3-server 用同一套 runtime 约定。2D 输出会被读成"64 张图、每张 1024 token",
  导致 image token 数与 vision embedding 完全错位。官方 4.0 的
  export_minicpm3o_vision  likewise 返回 B*Q*D 三维。
- **runtime 契约适配(11-4 上板实测)**:multimodal embed callback 还会校验
  `image_ph * image_pw == n_image_tokens`,其中
  `image_ph = model_height / patch_size(16) / spatial_merge_size(2)`。
  448 输入 -> 14x14 = **196**,而 4.7 视觉塔原生只有 8x8 = **64**,直接上板报
  `image_ph * image_pw != n_image_tokens! image_ph = 14 ... n_image_tokens = 64`。
  `image_height` 取自 vision RKNN 模型的输入尺寸:改 `--img-width/--img-height`
  到 256、把请求图片换成 256x256,报错里都仍是 448(均已实测)。
  故在导出图内把 8x8 网格最近邻重采样到 14x14 = 196 token 让契约对齐。
  这是**适配层,不是 4.7 原生行为**;视觉信息有冗余,但空间排布保留。
"""
import argparse
import os
import sys

import torch

TF518 = os.environ.get("MINICPM_TF518", "")
if TF518:
    sys.path.insert(0, TF518)

MODEL = os.environ.get("MINICPM_HF_DIR", "")


class VisionExport(torch.nn.Module):
    def __init__(self, model, img_size):
        super().__init__()
        self.vt = model.model.vision_tower
        self.merger = model.model.merger
        patch = self.vt.config.patch_size
        grid = img_size // patch
        assert grid % 4 == 0, f"patch grid {grid} 必须能被 4 整除(16x 压缩),换分辨率"
        self.register_buffer(
            "target_sizes", torch.tensor([[grid, grid]], dtype=torch.int32), persistent=False
        )
        # merger 内部用 height/width 作 view() 的形状参数;传 Python int 才能被 ONNX trace。
        # vision_tower 在 insert_layer 处把 target_sizes 减半,故这里也减半。
        self.merger_sizes = [[grid // 2, grid // 2]]
        # ---- runtime 契约适配(见文件头 docstring)----
        # 视觉塔原生 (grid/4)^2 = 8x8 = 64 token,runtime 要求 14x14 = 196。
        # 用纯 Gather/Reshape 做最近邻重采样,不引入 Resize op,RKNN 转换最稳。
        self.src_grid = grid // 4
        self.out_grid = 14
        self.register_buffer(
            "resample_idx",
            (torch.arange(self.out_grid, dtype=torch.float32) * self.src_grid / self.out_grid).long(),
            persistent=False,
        )

    def forward(self, pixel):
        out = self.vt(pixel, target_sizes=self.target_sizes, use_vit_merger=True)
        hs = out.last_hidden_state if hasattr(out, "last_hidden_state") else out[0]
        feats = self.merger(hs, self.merger_sizes)
        y = torch.cat(feats, dim=0)  # [src^2, hidden],行优先 8x8 网格
        g, idx = self.src_grid, self.resample_idx
        y = y.view(g, g, -1)[idx[:, None], idx[None, :], :]  # [14, 14, hidden]
        # [N, hidden] -> [1, N, hidden]:server 按 dim0=图片数 / dim1=每图token数解析。
        return y.reshape(1, self.out_grid * self.out_grid, -1)


def main():
    ap = argparse.ArgumentParser()
    ap.add_argument("--img_size", type=int, default=448)
    ap.add_argument(
        "--out",
        default=os.environ.get("MINICPM_VISION_ONNX", "MiniCPM-V-4.7-1B-vision.onnx"),
    )
    ap.add_argument("--model", default=MODEL,
                    help="Local HF checkout of openbmb/MiniCPM-V-4.7-1B")
    ap.add_argument("--smoke", action="store_true", help="只跑一次 eager forward,不导出")
    args = ap.parse_args()

    from transformers import AutoModelForImageTextToText

    model = AutoModelForImageTextToText.from_pretrained(
        args.model, dtype=torch.float32, trust_remote_code=True, low_cpu_mem_usage=True
    )
    model.eval()
    wrapper = VisionExport(model, args.img_size).eval()

    pixel = torch.randn(1, 3, args.img_size, args.img_size)
    with torch.no_grad():
        y = wrapper(pixel)
    print("eager output shape:", tuple(y.shape), "dtype:", y.dtype, flush=True)
    if args.smoke:
        return

    os.makedirs(os.path.dirname(args.out), exist_ok=True)
    torch.onnx.export(
        wrapper,
        (pixel,),
        args.out,
        input_names=["pixel"],
        output_names=["img_embeds"],
        opset_version=17,
        do_constant_folding=True,
    )
    print("exported:", args.out, os.path.getsize(args.out), "bytes", flush=True)


if __name__ == "__main__":
    main()