README: AudioSR 8k comparison
Browse files
README.md
CHANGED
|
@@ -73,6 +73,48 @@ cosine 0.99995 / SNR 39.6 dB。C++ SDK vs ONNX:46.0 / 47.6 dB。
|
|
| 73 |
|
| 74 |
原始 16 kHz 输入:`samples/demo_clean_16k.wav`、`samples/demo_noisy_16k.wav`。
|
| 75 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 76 |
## 速度(AX650N, NPU3)
|
| 77 |
|
| 78 |
| 链路 | 17.75 s 音频 | RTF |
|
|
|
|
| 73 |
|
| 74 |
原始 16 kHz 输入:`samples/demo_clean_16k.wav`、`samples/demo_noisy_16k.wav`。
|
| 75 |
|
| 76 |
+
### 与 AudioSR 的 8 kHz 横向对比
|
| 77 |
+
|
| 78 |
+
AudioSR 官方 demo 的 8 kHz / AudioSR / Ground-Truth 音频来自 [audioldm.github.io/audiosr](https://audioldm.github.io/audiosr/);LavaSR 使用同一 8 kHz 输入(BWE only,`denoise=False`)在 AX650 板端生成。官方 `_up` 文件是 8 kHz 内容升采样到 48 kHz,这里先还原为 8 kHz 再输入模型。LSD 为等 RMS 归一化后的 log-spectral distance(dB,越低越好)。
|
| 79 |
+
|
| 80 |
+
| 样本 | 8 kHz 输入 | AudioSR | LavaSR v2 | Ground-Truth |
|
| 81 |
+
|---|---|---|---|---|
|
| 82 |
+
| speech_2 | <audio controls src="samples/audiosr/speech_2_input_8k.wav"></audio> | <audio controls src="samples/audiosr/speech_2_audiosr.wav"></audio> | <audio controls src="samples/audiosr/speech_2_lavasr.wav"></audio> | <audio controls src="samples/audiosr/speech_2_gt.wav"></audio> |
|
| 83 |
+
| speech_3 | <audio controls src="samples/audiosr/speech_3_input_8k.wav"></audio> | <audio controls src="samples/audiosr/speech_3_audiosr.wav"></audio> | <audio controls src="samples/audiosr/speech_3_lavasr.wav"></audio> | <audio controls src="samples/audiosr/speech_3_gt.wav"></audio> |
|
| 84 |
+
| event_1 | <audio controls src="samples/audiosr/event_1_input_8k.wav"></audio> | <audio controls src="samples/audiosr/event_1_audiosr.wav"></audio> | <audio controls src="samples/audiosr/event_1_lavasr.wav"></audio> | <audio controls src="samples/audiosr/event_1_gt.wav"></audio> |
|
| 85 |
+
| event_2 | <audio controls src="samples/audiosr/event_2_input_8k.wav"></audio> | <audio controls src="samples/audiosr/event_2_audiosr.wav"></audio> | <audio controls src="samples/audiosr/event_2_lavasr.wav"></audio> | <audio controls src="samples/audiosr/event_2_gt.wav"></audio> |
|
| 86 |
+
| event_3 | <audio controls src="samples/audiosr/event_3_input_8k.wav"></audio> | <audio controls src="samples/audiosr/event_3_audiosr.wav"></audio> | <audio controls src="samples/audiosr/event_3_lavasr.wav"></audio> | <audio controls src="samples/audiosr/event_3_gt.wav"></audio> |
|
| 87 |
+
| music_1 | <audio controls src="samples/audiosr/music_1_input_8k.wav"></audio> | <audio controls src="samples/audiosr/music_1_audiosr.wav"></audio> | <audio controls src="samples/audiosr/music_1_lavasr.wav"></audio> | <audio controls src="samples/audiosr/music_1_gt.wav"></audio> |
|
| 88 |
+
| music_2 | <audio controls src="samples/audiosr/music_2_input_8k.wav"></audio> | <audio controls src="samples/audiosr/music_2_audiosr.wav"></audio> | <audio controls src="samples/audiosr/music_2_lavasr.wav"></audio> | <audio controls src="samples/audiosr/music_2_gt.wav"></audio> |
|
| 89 |
+
| music_3 | <audio controls src="samples/audiosr/music_3_input_8k.wav"></audio> | <audio controls src="samples/audiosr/music_3_audiosr.wav"></audio> | <audio controls src="samples/audiosr/music_3_lavasr.wav"></audio> | <audio controls src="samples/audiosr/music_3_gt.wav"></audio> |
|
| 90 |
+
|
| 91 |
+
> 说明:官方 `speech_audiosr_4.wav` 与对应 Ground-Truth 内容不匹配(互相关≈0),因此语音类只保留 2 个可用样本。
|
| 92 |
+
|
| 93 |
+
| 类别 | 样本数 | AudioSR LSD | LavaSR LSD |
|
| 94 |
+
|---|---:|---:|---:|
|
| 95 |
+
| speech | 2 | 19.2 dB | 31.5 dB |
|
| 96 |
+
| event | 3 | 20.3 dB | 26.7 dB |
|
| 97 |
+
| music | 3 | 12.7 dB | 19.0 dB |
|
| 98 |
+
| **合计** | **8** | **17.2 dB** | **25.0 dB** |
|
| 99 |
+
|
| 100 |
+
<details>
|
| 101 |
+
<summary>逐样本 LSD (dB)</summary>
|
| 102 |
+
|
| 103 |
+
| 样本 | AudioSR | LavaSR |
|
| 104 |
+
|---|---:|---:|
|
| 105 |
+
| speech_2 | 17.21 | 26.11 |
|
| 106 |
+
| speech_3 | 21.10 | 36.83 |
|
| 107 |
+
| event_1 | 22.30 | 29.84 |
|
| 108 |
+
| event_2 | 16.56 | 27.06 |
|
| 109 |
+
| event_3 | 21.97 | 23.20 |
|
| 110 |
+
| music_1 | 10.36 | 19.67 |
|
| 111 |
+
| music_2 | 17.19 | 19.47 |
|
| 112 |
+
| music_3 | 10.50 | 17.87 |
|
| 113 |
+
|
| 114 |
+
</details>
|
| 115 |
+
|
| 116 |
+
> **结论**:AudioSR 是通用 8 kHz 超分模型,在这批音乐/事件/8k 语音样本上更强;LavaSR v2 的训练域是 16 kHz 语音,16 kHz 样例见上方,在 16 kHz 语音上 LavaSR 更轻、更快(C++ RTF 0.061)。
|
| 117 |
+
|
| 118 |
## 速度(AX650N, NPU3)
|
| 119 |
|
| 120 |
| 链路 | 17.75 s 音频 | RTF |
|