# Penguin-VL (ncnn)

腾讯 [`tencent/Penguin-VL`](https://huggingface.co/tencent/Penguin-VL)（基于 Qwen3 的视觉语言模型，VLM）的 **ncnn 格式推理权重**，用于 C++ 端到端推理（图像 + 文字 → 文本），无需 Python 运行时。

## 模型结构
- 视觉编码器：ViT（hidden=1024，28 层）
- 语言模型：Qwen3（hidden=1024，28 层，16 注意力头 / 8 KV 头 GQA，vocab=151936，RoPE θ=1e6）
- 视觉投影器：2 层 MLP（1024 → 2048 → 1024）

## 文件清单
| 文件 | 说明 |
|---|---|
| `decoder.ncnn.{param,bin}` | LLM 解码器（28 层，含最终 RMSNorm + out0） |
| `embed.ncnn.{param,bin}` | token 嵌入 |
| `lm_head.ncnn.{param,bin}` | 输出投影（与词嵌入共享） |
| `vision_embed_patch.ncnn.*` | 图像 patch 嵌入 |
| `vision_encoder.ncnn.*` | ViT 视觉编码器（28 层） |
| `vision_projector.ncnn.*` | 视觉特征投影器 |
| `vocab.txt` / `merges.txt` | BPE 分词器 |
| `model.json` | 模型配置 |

## 使用方法
```bash
penguin_vl_run.exe --model . --image test.png --prompt "请描述这张图片。" --gen 128
```

## 说明
- 权重由 pnnx 从原始 PyTorch 模型导出为 ncnn，经数值校验与 PyTorch 一致（vision encoder 输出 cos≈0.9999，全视觉链路 cos≈0.99998）。
- 本仓库仅含推理权重；导出脚本与 C++ 运行时请参阅源项目。