Spleeter 2-Stems ONNX FP16|人声与伴奏分离

本仓库提供一套用于将音乐分离为人声和伴奏的 Spleeter 双音轨 ONNX 模型。适合人声提取、伴奏制作、翻唱练习和音频编辑工具集成。

两个模型分别做什么?

文件 用途 文件大小
vocals.fp16.onnx 估计音乐中的人声成分(Vocals) 19,681,017 字节,约 19.68 MB
accompaniment.fp16.onnx 估计音乐中的伴奏成分(Accompaniment) 19,681,024 字节,约 19.68 MB

两个文件是一套配套模型,总计 39,362,041 字节(约 39.36 MB / 37.54 MiB)。参考分离流程结合两者的频谱估计构建互补掩码,重建人声与伴奏音轨。伴奏包含鼓、贝斯和其他乐器,不会进一步拆分成独立乐器轨道。

使用说明

  • 模型格式为 ONNX,可集成到兼容的 ONNX Runtime 应用中。
  • FP16 指存储的权重精度,配套实现使用 Float32 输入与输出,张量形状为 [2, 1, 512, 1024]。
  • 参考处理流程使用 44,100 Hz 双声道音频;模型元数据中的 sample_rate=41000 不应作为正确采样率使用。
  • 需要先解码音频并执行 STFT,再进行模型推理、掩码计算和 iSTFT 重建。模型不能直接接收 MP3/WAV 文件字节。
  • 参考算法使用 4096 点 Hann 窗、1024 点步长和最低 1024 个频率 bin;长音频需配套分块处理。

参考推理实现:sherpa-onnx separate_onnx.py。本仓库提供模型文件与说明,不包含完整播放器、音频解码器或推理应用。

来源与许可

本仓库用于托管现有模型文件,不声明为原创训练模型。

  • ONNX 文件来源:csukuangfj/sherpa-onnx-spleeter-2stems-fp16
  • 配套清单记录的来源版本:93ba771920ade509f8cbd6825b1a90856c797e08
  • 原始模型项目:Deezer Spleeter,2stems。
  • 随附 LICENSE.spleeter 保留 Deezer 的 MIT 许可和版权声明。ONNX 转换仓库未在配套说明中声明独立许可;参考实现 sherpa-onnx 使用 Apache-2.0,不能将其直接视为所有权重的许可。

效果与限制

模型主要面向音乐中的人声/伴奏分离,不保证无损分离,也不等同于通用对白、环境声或噪声分离模型。复杂混音可能有残留、串音和分块伪影;此频谱配置的分离结果频带约到 11 kHz。实际速度与效果取决于推理后端、硬件、音频内容及前后处理实现。

文件校验(SHA-256)

  • vocals.fp16.onnx:24cef84aedcd1fe87c0b743ef3370ad34dc1fabf6c9014d6128a75a538c7b668
  • accompaniment.fp16.onnx:d14cea55793cc531a5875f5f4da08207d1c5ab9292e8e0099a104eecb014fcc0
Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support