docs: RTF 口径修正 —— 端到端 RTF ≈0.36（CPU 链路主导），NPU core RTF 0.0023
Browse files
README.md
CHANGED
|
@@ -20,14 +20,17 @@ AX650/NPU3 预编译模型 + Python SDK + C++ 可执行文件，即取即用，*
|
|
| 20 |
|
| 21 |
## 支持模型
|
| 22 |
|
| 23 |
-
| 模型 | 输入 | 输出 | axmodel |
|
| 24 |
|------|------|------|---------|:--:|:--:|
|
| 25 |
-
| H-GTCRN-core | 16kHz wav（1/2 声道） | 16kHz 增强 wav | 24.2 MB | 0.
|
| 26 |
|
| 27 |
> 完整链路（与官方 GTCRN_IVA 一致）：STFT → WPE 去混响 → auxIVA 声源分离 →
|
| 28 |
> 特征构造 → [NPU: GTCRN 核 `feat→mask`] → 掩码应用 → ISTFT。
|
| 29 |
> CPU 侧为 numpy / C++ 实现，NPU 只跑神经核。
|
| 30 |
-
> RTF =
|
|
|
|
|
|
|
|
|
|
| 31 |
|
| 32 |
## 目录结构
|
| 33 |
|
|
@@ -94,8 +97,9 @@ C++ 源码（编译方法 + 工具链下载说明）见 GitHub：
|
|
| 94 |
|
| 95 |
| 指标 | 值 |
|
| 96 |
|------|-----|
|
| 97 |
-
|
|
| 98 |
-
|
|
|
|
|
| 99 |
| 板端 vs PyTorch mask cosine | 0.99876 |
|
| 100 |
| 板端增强音频 vs 原版 cosine | 0.99947 |
|
| 101 |
|
|
|
|
| 20 |
|
| 21 |
## 支持模型
|
| 22 |
|
| 23 |
+
| 模型 | 输入 | 输出 | axmodel | 端到端 RTF | NPU core RTF |
|
| 24 |
|------|------|------|---------|:--:|:--:|
|
| 25 |
+
| H-GTCRN-core | 16kHz wav（1/2 声道） | 16kHz 增强 wav | 24.2 MB | ~0.36 | 0.0023 |
|
| 26 |
|
| 27 |
> 完整链路（与官方 GTCRN_IVA 一致）：STFT → WPE 去混响 → auxIVA 声源分离 →
|
| 28 |
> 特征构造 → [NPU: GTCRN 核 `feat→mask`] → 掩码应用 → ISTFT。
|
| 29 |
> CPU 侧为 numpy / C++ 实现，NPU 只跑神经核。
|
| 30 |
+
> **端到端 RTF =（CPU 链路 + NPU）总耗时 / 音频时长**（10s 音频约 3.6s，AX650 实测）；
|
| 31 |
+
> NPU core RTF = 仅神经核推理 / 音频时长。CPU 链路占绝对主导：WPE/IVA 是
|
| 32 |
+
> 整段统计算法（每频点 36×36 矩阵求逆 + 10 轮迭代），与上游一致为离线整段推理，
|
| 33 |
+
> 非流式；如需实时需改造为在线分块算法。
|
| 34 |
|
| 35 |
## 目录结构
|
| 36 |
|
|
|
|
| 97 |
|
| 98 |
| 指标 | 值 |
|
| 99 |
|------|-----|
|
| 100 |
+
| 端到端 RTF（CPU 链路 + NPU）/ 10s 音频 | ~0.36（C++ 3.6s；numpy 3.9s） |
|
| 101 |
+
| NPU core 20 次平均耗时 | 22.8 ms（RTF 0.0023） |
|
| 102 |
+
| C++ 输出 vs torch 链参考 cosine | 0.99999 |
|
| 103 |
| 板端 vs PyTorch mask cosine | 0.99876 |
|
| 104 |
| 板端增强音频 vs 原版 cosine | 0.99947 |
|
| 105 |
|