File size: 4,303 Bytes
88d8c79
6149fac
 
 
 
 
 
88d8c79
 
6149fac
 
 
 
 
 
 
88d8c79
 
1dd61a9
 
6149fac
1dd61a9
92fb721
1dd61a9
a554e43
6149fac
 
 
1dd61a9
 
 
 
 
88d8c79
1dd61a9
 
 
 
 
 
6149fac
1dd61a9
 
6149fac
 
88d8c79
6149fac
 
1dd61a9
 
6149fac
1dd61a9
 
 
 
a554e43
6149fac
 
1dd61a9
6149fac
 
 
1dd61a9
 
 
 
 
88d8c79
 
 
 
6149fac
88d8c79
 
 
 
 
6149fac
88d8c79
 
 
 
 
6149fac
88d8c79
1dd61a9
 
 
 
 
 
 
 
 
 
 
 
53c74a8
1dd61a9
6149fac
 
 
 
1dd61a9
 
 
 
 
6149fac
1dd61a9
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
---
library_name: axera
pipeline_tag: audio-to-audio
base_model: haoheliu/audiosr_speech
language:
- en
- zh
tags:
- axera
- ax650
- npu3
- audiosr
- speech-super-resolution
- audio-super-resolution
- python
- cpp
---

# AudioSR.AXERA

**低采样率语音 → 48 kHz · AX650 NPU3 · vocoder 板端相似度 0.9984 · 完整链路 vs PyTorch 0.9917**

![AX650](https://img.shields.io/badge/AX650-NPU3-blue) ![vocoder](https://img.shields.io/badge/vocoder%20corr-0.9984-brightgreen) ![full](https://img.shields.io/badge/full%20chain%20corr-0.9917-brightgreen) [![GitHub](https://img.shields.io/badge/GitHub-ZY--2012%2FAudioSR_AXERA-black)](https://github.com/ZY-2012/AudioSR.AXERA)

- GitHub: https://github.com/ZY-2012/AudioSR.AXERA
- 上游: https://github.com/haoheliu/versatile_audio_super_resolution
- 输入: 8 / 16 / 24 / 48 kHz WAV;输出: 48 kHz
- 5.12 s 输入,AudioSR DDIM-10

## 目录

- 快速开始
- 结果
- 工程结构
- 推理速度
- 数据来源
- License

## 快速开始(AX650 板端)

下载整个仓库后,在包根目录运行:

```bash
# C++(默认)
bash run_ax650.sh samples/listen/16k/speech_2_input_16k.wav output.wav

# Python SDK
bash run_ax650.sh samples/listen/16k/speech_2_input_16k.wav output.wav --python
```

输入 8 / 16 / 24 / 48 kHz,输出固定 48 kHz。C++ 二进制位于 `bin/audiosr_ax650`,模型位于 `models/`。

## 工程结构

```text
AudioSR.AXERA/
├── bin/                 # C++ 板端可执行文件
├── models/              # axmodel + DDIM 常量 + mel filter
├── python/              # Python 板端推理 SDK(axengine)
├── samples/             # 中英文示例输入 / 输出 / 频谱图
├── run_ax650.sh         # 一键 C++/Python 运行
├── configuration.json
└── requirements.txt
```

## 结果

### English 16 kHz

| 输入 | AudioSR 输出 |
|---|---|
| <audio controls style="width:220px" src="https://huggingface.co/HY-2012/AudioSR.AXERA/resolve/main/samples/listen/16k/speech_2_input_16k.wav"></audio><br><img src="samples/listen/spectrograms/speech_2_input_16k_spec.png" width="360"> | <audio controls style="width:220px" src="https://huggingface.co/HY-2012/AudioSR.AXERA/resolve/main/samples/listen/output/speech_2_output_48k.wav"></audio><br><img src="samples/listen/spectrograms/speech_2_output_48k_spec.png" width="360"> |

### English 8 kHz

| 输入 | AudioSR 输出 |
|---|---|
| <audio controls style="width:220px" src="https://huggingface.co/HY-2012/AudioSR.AXERA/resolve/main/samples/listen/8k/OSR_us_000_0010_input_8k.wav"></audio><br><img src="samples/listen/spectrograms/OSR_us_000_0010_input_8k_spec.png" width="360"> | <audio controls style="width:220px" src="https://huggingface.co/HY-2012/AudioSR.AXERA/resolve/main/samples/listen/output/OSR_us_000_0010_output_48k.wav"></audio><br><img src="samples/listen/spectrograms/OSR_us_000_0010_output_48k_spec.png" width="360"> |

### 中文 8 kHz

| 输入 | AudioSR 输出 |
|---|---|
| <audio controls style="width:220px" src="https://huggingface.co/HY-2012/AudioSR.AXERA/resolve/main/samples/listen/8k/OSR_cn_000_0072_input_8k.wav"></audio><br><img src="samples/listen/spectrograms/OSR_cn_000_0072_input_8k_spec.png" width="360"> | <audio controls style="width:220px" src="https://huggingface.co/HY-2012/AudioSR.AXERA/resolve/main/samples/listen/output/OSR_cn_000_0072_output_48k.wav"></audio><br><img src="samples/listen/spectrograms/OSR_cn_000_0072_output_48k_spec.png" width="360"> |

### 精度

| 模块 / 链路 | 板端 vs ONNX/PyTorch |
|---|---:|
| VAE encoder(NHWC) | 0.99975 |
| UNet | 0.99989 |
| VAE decoder | 0.99999 |
| vocoder 9-model chain | **0.99838** |
| full AudioSR chain | **0.99169** |

## 推理速度

5.12 s 输入、DDIM-10、AX650 NPU3:

| 运行时 | 时间 | RTF |
|---|---:|---:|
| Python SDK | ~20–22 s | ~4.0–4.3 |
| **C++** | **~7.3 s** | **~1.43** |

## 数据来源

- 上游 AudioSR:<https://github.com/haoheliu/versatile_audio_super_resolution>
- 示例英文 / 中文语音:Open Speech Repository、公开 16 kHz 人声样例
- 示例输出由本项目 AX650 SDK 生成

## License

AudioSR 上游代码与模型 checkpoint 遵循其原始许可证;本仓库的转换脚本和 SDK 以 Apache-2.0 提供。模型权重请遵循上游许可证。