Opus-MT.AXERA / reports /performance.md
HY-2012's picture
Add OPUS-MT zh-en/en-zh AX650 U16 models + Python/C++ runtime
45958cf verified
|
Raw History Blame Contribute Delete
1.39 kB
# 性能报告(AX650N / NPU1 / U16)
## 延迟(batch=1,已预热,Tatoeba 200 句平均)
| 方向 | 路径 | encoder | decoder 单步 | 端到端 | 平均输出 token |
|------|------|---------|--------------|--------|----------------|
| zh→en | Python | 5.51 ms | 6.38 ms | 69.1 ms/句 | 9.4 |
| zh→en | **C++** | **4.90 ms** | **5.41 ms** | **58.5 ms/句** | 9.4 |
| en→zh | Python | 5.50 ms | 6.40 ms | 56.2 ms/句 | 7.4 |
| en→zh | **C++** | **4.89 ms** | **5.41 ms** | **47.3 ms/句** | 7.4 |
端到端 = encoder + N × decoder step(N = 输出 token 数,含 EOS)。首句包含 warmup,
SDK 初始化时自动预热 2 次。
## 模型信息
| 模型 | MACs | ONNX FP32 | AXMODEL U16 |
|------|------|-----------|-------------|
| encoder | 2.516 GMACs | 209.1 MB | 87.1 MB |
| decoder(单步,T=64) | 1.921 GMACs | 368.6 MB | 130.2 MB |
每方向 AXMODEL 合计约 217 MB(ONNX FP32 合计约 578 MB)。
## 内存
- 加载单个方向的 encoder + decoder,Python 进程峰值 RSS:约 262 MB
- C++ 只加载 AX Engine 运行时与 sentencepiece,内存更低(未单独统计)
- 运行时不依赖 onnxruntime / torch / transformers
## 编译配置
- Pulsar2 `7.0-patch1`
- `target_hardware=AX650`,`npu_mode=NPU1`
- `layer_configs: DEFAULT -> U16`,权重 S8
- `highest_mix_precision=false`
- 静态 shape:source 128,target 64