Spleeter 2-Stems ONNX FP16|人声与伴奏分离
本仓库提供一套用于将音乐分离为人声和伴奏的 Spleeter 双音轨 ONNX 模型。适合人声提取、伴奏制作、翻唱练习和音频编辑工具集成。
两个模型分别做什么?
| 文件 | 用途 | 文件大小 |
|---|---|---|
vocals.fp16.onnx |
估计音乐中的人声成分(Vocals) | 19,681,017 字节,约 19.68 MB |
accompaniment.fp16.onnx |
估计音乐中的伴奏成分(Accompaniment) | 19,681,024 字节,约 19.68 MB |
两个文件是一套配套模型,总计 39,362,041 字节(约 39.36 MB / 37.54 MiB)。参考分离流程结合两者的频谱估计构建互补掩码,重建人声与伴奏音轨。伴奏包含鼓、贝斯和其他乐器,不会进一步拆分成独立乐器轨道。
使用说明
- 模型格式为 ONNX,可集成到兼容的 ONNX Runtime 应用中。
- FP16 指存储的权重精度,配套实现使用 Float32 输入与输出,张量形状为
[2, 1, 512, 1024]。 - 参考处理流程使用 44,100 Hz 双声道音频;模型元数据中的
sample_rate=41000不应作为正确采样率使用。 - 需要先解码音频并执行 STFT,再进行模型推理、掩码计算和 iSTFT 重建。模型不能直接接收 MP3/WAV 文件字节。
- 参考算法使用 4096 点 Hann 窗、1024 点步长和最低 1024 个频率 bin;长音频需配套分块处理。
参考推理实现:sherpa-onnx separate_onnx.py。本仓库提供模型文件与说明,不包含完整播放器、音频解码器或推理应用。
来源与许可
本仓库用于托管现有模型文件,不声明为原创训练模型。
- ONNX 文件来源:csukuangfj/sherpa-onnx-spleeter-2stems-fp16
- 配套清单记录的来源版本:
93ba771920ade509f8cbd6825b1a90856c797e08 - 原始模型项目:Deezer Spleeter,
2stems。 - 随附
LICENSE.spleeter保留 Deezer 的 MIT 许可和版权声明。ONNX 转换仓库未在配套说明中声明独立许可;参考实现 sherpa-onnx 使用 Apache-2.0,不能将其直接视为所有权重的许可。
效果与限制
模型主要面向音乐中的人声/伴奏分离,不保证无损分离,也不等同于通用对白、环境声或噪声分离模型。复杂混音可能有残留、串音和分块伪影;此频谱配置的分离结果频带约到 11 kHz。实际速度与效果取决于推理后端、硬件、音频内容及前后处理实现。
文件校验(SHA-256)
vocals.fp16.onnx:24cef84aedcd1fe87c0b743ef3370ad34dc1fabf6c9014d6128a75a538c7b668accompaniment.fp16.onnx:d14cea55793cc531a5875f5f4da08207d1c5ab9292e8e0099a104eecb014fcc0