# 性能报告(AX650N / NPU1 / U16) ## 延迟(batch=1,已预热,Tatoeba 200 句平均) | 方向 | 路径 | encoder | decoder 单步 | 端到端 | 平均输出 token | |------|------|---------|--------------|--------|----------------| | zh→en | Python | 5.51 ms | 6.38 ms | 69.1 ms/句 | 9.4 | | zh→en | **C++** | **4.90 ms** | **5.41 ms** | **58.5 ms/句** | 9.4 | | en→zh | Python | 5.50 ms | 6.40 ms | 56.2 ms/句 | 7.4 | | en→zh | **C++** | **4.89 ms** | **5.41 ms** | **47.3 ms/句** | 7.4 | 端到端 = encoder + N × decoder step(N = 输出 token 数,含 EOS)。首句包含 warmup, SDK 初始化时自动预热 2 次。 ## 模型信息 | 模型 | MACs | ONNX FP32 | AXMODEL U16 | |------|------|-----------|-------------| | encoder | 2.516 GMACs | 209.1 MB | 87.1 MB | | decoder(单步,T=64) | 1.921 GMACs | 368.6 MB | 130.2 MB | 每方向 AXMODEL 合计约 217 MB(ONNX FP32 合计约 578 MB)。 ## 内存 - 加载单个方向的 encoder + decoder,Python 进程峰值 RSS:约 262 MB - C++ 只加载 AX Engine 运行时与 sentencepiece,内存更低(未单独统计) - 运行时不依赖 onnxruntime / torch / transformers ## 编译配置 - Pulsar2 `7.0-patch1` - `target_hardware=AX650`,`npu_mode=NPU1` - `layer_configs: DEFAULT -> U16`,权重 S8 - `highest_mix_precision=false` - 静态 shape:source 128,target 64