| # Penguin-VL (ncnn) | |
| 腾讯 [`tencent/Penguin-VL`](https://huggingface.co/tencent/Penguin-VL)（基于 Qwen3 的视觉语言模型，VLM）的 **ncnn 格式推理权重**，用于 C++ 端到端推理（图像 + 文字 → 文本），无需 Python 运行时。 | |
| ## 模型结构 | |
| - 视觉编码器：ViT（hidden=1024，28 层） | |
| - 语言模型：Qwen3（hidden=1024，28 层，16 注意力头 / 8 KV 头 GQA，vocab=151936，RoPE θ=1e6） | |
| - 视觉投影器：2 层 MLP（1024 → 2048 → 1024） | |
| ## 文件清单 | |
| | 文件 | 说明 | | |
| |---|---| | |
| | `decoder.ncnn.{param,bin}` | LLM 解码器（28 层，含最终 RMSNorm + out0） | | |
| | `embed.ncnn.{param,bin}` | token 嵌入 | | |
| | `lm_head.ncnn.{param,bin}` | 输出投影（与词嵌入共享） | | |
| | `vision_embed_patch.ncnn.*` | 图像 patch 嵌入 | | |
| | `vision_encoder.ncnn.*` | ViT 视觉编码器（28 层） | | |
| | `vision_projector.ncnn.*` | 视觉特征投影器 | | |
| | `vocab.txt` / `merges.txt` | BPE 分词器 | | |
| | `model.json` | 模型配置 | | |
| ## 使用方法 | |
| ```bash | |
| penguin_vl_run.exe --model . --image test.png --prompt "请描述这张图片。" --gen 128 | |
| ``` | |
| ## 说明 | |
| - 权重由 pnnx 从原始 PyTorch 模型导出为 ncnn，经数值校验与 PyTorch 一致（vision encoder 输出 cos≈0.9999，全视觉链路 cos≈0.99998）。 | |
| - 本仓库仅含推理权重；导出脚本与 C++ 运行时请参阅源项目。 | |