HY-2012 commited on
Commit
df5cb57
·
verified ·
1 Parent(s): 2aa33f8

README: AudioSR 8k comparison

Browse files
Files changed (1) hide show
  1. README.md +42 -0
README.md CHANGED
@@ -73,6 +73,48 @@ cosine 0.99995 / SNR 39.6 dB。C++ SDK vs ONNX:46.0 / 47.6 dB。
73
 
74
  原始 16 kHz 输入:`samples/demo_clean_16k.wav`、`samples/demo_noisy_16k.wav`。
75
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
76
  ## 速度(AX650N, NPU3)
77
 
78
  | 链路 | 17.75 s 音频 | RTF |
 
73
 
74
  原始 16 kHz 输入:`samples/demo_clean_16k.wav`、`samples/demo_noisy_16k.wav`。
75
 
76
+ ### 与 AudioSR 的 8 kHz 横向对比
77
+
78
+ AudioSR 官方 demo 的 8 kHz / AudioSR / Ground-Truth 音频来自 [audioldm.github.io/audiosr](https://audioldm.github.io/audiosr/);LavaSR 使用同一 8 kHz 输入(BWE only,`denoise=False`)在 AX650 板端生成。官方 `_up` 文件是 8 kHz 内容升采样到 48 kHz,这里先还原为 8 kHz 再输入模型。LSD 为等 RMS 归一化后的 log-spectral distance(dB,越低越好)。
79
+
80
+ | 样本 | 8 kHz 输入 | AudioSR | LavaSR v2 | Ground-Truth |
81
+ |---|---|---|---|---|
82
+ | speech_2 | <audio controls src="samples/audiosr/speech_2_input_8k.wav"></audio> | <audio controls src="samples/audiosr/speech_2_audiosr.wav"></audio> | <audio controls src="samples/audiosr/speech_2_lavasr.wav"></audio> | <audio controls src="samples/audiosr/speech_2_gt.wav"></audio> |
83
+ | speech_3 | <audio controls src="samples/audiosr/speech_3_input_8k.wav"></audio> | <audio controls src="samples/audiosr/speech_3_audiosr.wav"></audio> | <audio controls src="samples/audiosr/speech_3_lavasr.wav"></audio> | <audio controls src="samples/audiosr/speech_3_gt.wav"></audio> |
84
+ | event_1 | <audio controls src="samples/audiosr/event_1_input_8k.wav"></audio> | <audio controls src="samples/audiosr/event_1_audiosr.wav"></audio> | <audio controls src="samples/audiosr/event_1_lavasr.wav"></audio> | <audio controls src="samples/audiosr/event_1_gt.wav"></audio> |
85
+ | event_2 | <audio controls src="samples/audiosr/event_2_input_8k.wav"></audio> | <audio controls src="samples/audiosr/event_2_audiosr.wav"></audio> | <audio controls src="samples/audiosr/event_2_lavasr.wav"></audio> | <audio controls src="samples/audiosr/event_2_gt.wav"></audio> |
86
+ | event_3 | <audio controls src="samples/audiosr/event_3_input_8k.wav"></audio> | <audio controls src="samples/audiosr/event_3_audiosr.wav"></audio> | <audio controls src="samples/audiosr/event_3_lavasr.wav"></audio> | <audio controls src="samples/audiosr/event_3_gt.wav"></audio> |
87
+ | music_1 | <audio controls src="samples/audiosr/music_1_input_8k.wav"></audio> | <audio controls src="samples/audiosr/music_1_audiosr.wav"></audio> | <audio controls src="samples/audiosr/music_1_lavasr.wav"></audio> | <audio controls src="samples/audiosr/music_1_gt.wav"></audio> |
88
+ | music_2 | <audio controls src="samples/audiosr/music_2_input_8k.wav"></audio> | <audio controls src="samples/audiosr/music_2_audiosr.wav"></audio> | <audio controls src="samples/audiosr/music_2_lavasr.wav"></audio> | <audio controls src="samples/audiosr/music_2_gt.wav"></audio> |
89
+ | music_3 | <audio controls src="samples/audiosr/music_3_input_8k.wav"></audio> | <audio controls src="samples/audiosr/music_3_audiosr.wav"></audio> | <audio controls src="samples/audiosr/music_3_lavasr.wav"></audio> | <audio controls src="samples/audiosr/music_3_gt.wav"></audio> |
90
+
91
+ > 说明:官方 `speech_audiosr_4.wav` 与对应 Ground-Truth 内容不匹配(互相关≈0),因此语音类只保留 2 个可用样本。
92
+
93
+ | 类别 | 样本数 | AudioSR LSD | LavaSR LSD |
94
+ |---|---:|---:|---:|
95
+ | speech | 2 | 19.2 dB | 31.5 dB |
96
+ | event | 3 | 20.3 dB | 26.7 dB |
97
+ | music | 3 | 12.7 dB | 19.0 dB |
98
+ | **合计** | **8** | **17.2 dB** | **25.0 dB** |
99
+
100
+ <details>
101
+ <summary>逐样本 LSD (dB)</summary>
102
+
103
+ | 样本 | AudioSR | LavaSR |
104
+ |---|---:|---:|
105
+ | speech_2 | 17.21 | 26.11 |
106
+ | speech_3 | 21.10 | 36.83 |
107
+ | event_1 | 22.30 | 29.84 |
108
+ | event_2 | 16.56 | 27.06 |
109
+ | event_3 | 21.97 | 23.20 |
110
+ | music_1 | 10.36 | 19.67 |
111
+ | music_2 | 17.19 | 19.47 |
112
+ | music_3 | 10.50 | 17.87 |
113
+
114
+ </details>
115
+
116
+ > **结论**:AudioSR 是通用 8 kHz 超分模型,在这批音乐/事件/8k 语音样本上更强;LavaSR v2 的训练域是 16 kHz 语音,16 kHz 样例见上方,在 16 kHz 语音上 LavaSR 更轻、更快(C++ RTF 0.061)。
117
+
118
  ## 速度(AX650N, NPU3)
119
 
120
  | 链路 | 17.75 s 音频 | RTF |