UniverSR.AXERA

8 / 16 kHz speech → 48 kHz · AX650 NPU3 · C++ RTF 4.38 / Python RTF 4.3 · 6 个 axmodel 共 381 MB

UniverSR 是 vocoder-free flow matching 超分模型,本包包含 8k 和 16k 两档语音模型。

目录

  • 快速开始
  • 结果
  • 推理速度
  • 数据来源
  • License

快速开始(AX650 板端)

# C++(默认)
bash run_ax650.sh samples/listen/OSR_us_000_0010_input_8k_5s.wav output_8k.wav --sr 8
bash run_ax650.sh samples/listen/speech_2_input_16k.wav output_16k.wav --sr 16

# Python SDK
bash run_ax650.sh samples/listen/OSR_us_000_0010_input_8k_5s.wav output_8k.wav --sr 8 --python

输入采样率必须和 --sr 一致;输出固定 48 kHz。默认 STFT 128 帧分块、overlap 64 帧,Flow ODE 4 步,guidance 1.5。

结果

English 8 kHz

输入 UniverSR 输出


English 16 kHz

输入 UniverSR 输出


推理速度

运行时 5.12 s 输入 RTF
C++ 22–25 s 4.3–4.9
Python SDK 22 s 4.3

精度

输入 板端 vs PyTorch
8k → 48k 0.99193
16k → 48k 0.99350

工程结构

UniverSR.AXERA/
├── bin/                 # C++ 板端可执行文件
├── models/              # 6 个 axmodel + model_meta.json
├── python/              # Python SDK
├── samples/             # 中英文输入 / 输出 / 频谱图
├── run_ax650.sh
├── configuration.json
├── config.json          # {}
└── requirements.txt

说明

  • 8k/16k 使用不同 lr_bins(80/170),模型不能混用。
  • main_cond 使用真实 cond encoder 输出做校准,vc 才能达到 0.9999。
  • C++ 和 Python 都按 128 帧分块、overlap 64 帧。
  • 当前版本只提供 8k/16k,12k/24k 未包含。

数据来源

License

MIT;上游 UniverSR 权重遵循其原始许可证。

Downloads last month
45
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support