|
Download reports/performance.md from AXERA-TECH/Opus-MT.AXERA: direct link, hf CLI and curl.
- Browser
- Download file 1.39 kB
-
https://huggingface.co/AXERA-TECH/Opus-MT.AXERA/resolve/main/reports/performance.md
- Command line
-
hf download hf://AXERA-TECH/Opus-MT.AXERA/reports/performance.md
-
curl -L -o performance.md https://huggingface.co/AXERA-TECH/Opus-MT.AXERA/resolve/main/reports/performance.md
1.39 kB
性能报告(AX650N / NPU1 / U16)
延迟(batch=1,已预热,Tatoeba 200 句平均)
| 方向 | 路径 | encoder | decoder 单步 | 端到端 | 平均输出 token |
|---|---|---|---|---|---|
| zh→en | Python | 5.51 ms | 6.38 ms | 69.1 ms/句 | 9.4 |
| zh→en | C++ | 4.90 ms | 5.41 ms | 58.5 ms/句 | 9.4 |
| en→zh | Python | 5.50 ms | 6.40 ms | 56.2 ms/句 | 7.4 |
| en→zh | C++ | 4.89 ms | 5.41 ms | 47.3 ms/句 | 7.4 |
端到端 = encoder + N × decoder step(N = 输出 token 数,含 EOS)。首句包含 warmup, SDK 初始化时自动预热 2 次。
模型信息
| 模型 | MACs | ONNX FP32 | AXMODEL U16 |
|---|---|---|---|
| encoder | 2.516 GMACs | 209.1 MB | 87.1 MB |
| decoder(单步,T=64) | 1.921 GMACs | 368.6 MB | 130.2 MB |
每方向 AXMODEL 合计约 217 MB(ONNX FP32 合计约 578 MB)。
内存
- 加载单个方向的 encoder + decoder,Python 进程峰值 RSS:约 262 MB
- C++ 只加载 AX Engine 运行时与 sentencepiece,内存更低(未单独统计)
- 运行时不依赖 onnxruntime / torch / transformers
编译配置
- Pulsar2
7.0-patch1 target_hardware=AX650,npu_mode=NPU1layer_configs: DEFAULT -> U16,权重 S8highest_mix_precision=false- 静态 shape:source 128,target 64