CONV_TASNET_README.md

# Conv-TasNet 声部分离工具

这个工具使用Conv-TasNet深度学习模型进行音频声部分离，特别适合人声分离。

## 功能特点

- 🎵 **深度学习分离**: 使用Conv-TasNet模型进行高质量的声部分离
- 🎼 **四声部分离**: 自动分离为Soprano、Alto、Tenor、Bass四个声部
- 📝 **MIDI转录**: 将分离后的音频转换为MIDI格式
- 📊 **可视化**: 生成分离结果的可视化图表
- 🎯 **高质量输出**: 输出到`output-net`文件夹

## 文件说明

- `conv_tasnet_separation.py` - 基础Conv-TasNet实现（使用频域分离作为替代）
- `advanced_conv_tasnet.py` - 高级Conv-TasNet实现（完整的神经网络模型）
- `test_conv_tasnet.py` - 测试脚本
- `install_conv_tasnet_deps.py` - 依赖安装脚本

## 安装依赖

```bash
# 安装必要的Python包
python3 install_conv_tasnet_deps.py

# 或者手动安装
pip install torch torchaudio librosa soundfile scipy matplotlib numpy
```

## 使用方法

### 方法1: 基础实现（推荐）

```bash
# 使用基础实现（频域分离）
python3 conv_tasnet_separation.py song.mp3 -o output-net

# 或者使用测试脚本
python3 test_conv_tasnet.py
```

### 方法2: 高级实现

```bash
# 使用完整的Conv-TasNet模型
python3 advanced_conv_tasnet.py song.mp3 -o output-net
```

## 输出文件

处理完成后，会在`output-net`目录中生成：

### 分离音频文件
- `soprano_separated.wav` - 女高音分离音频
- `alto_separated.wav` - 女低音分离音频
- `tenor_separated.wav` - 男高音分离音频
- `bass_separated.wav` - 男低音分离音频

### MIDI文件
- `soprano_separated.mid` - 女高音MIDI
- `alto_separated.mid` - 女低音MIDI
- `tenor_separated.mid` - 男高音MIDI
- `bass_separated.mid` - 男低音MIDI

### 可视化文件
- `conv_tasnet_separation.png` - 分离结果可视化图表

## 技术原理

### Conv-TasNet模型
- **编码器**: 将时域音频转换为频域表示
- **分离网络**: 使用时间卷积网络(TCN)学习声源掩码
- **解码器**: 将分离后的频域表示转换回时域音频

### 分离策略
1. **频域分离**: 基于不同声部的频率特征进行分离
2. **深度学习**: 使用神经网络学习复杂的声源分离模式
3. **后处理**: 使用basic-pitch进行MIDI转录

## 参数说明

- `audio_file`: 输入音频文件路径
- `-o, --output`: 输出目录（默认: output-net）

## 注意事项

1. **音频质量**: 输入音频质量会影响分离效果
2. **计算资源**: Conv-TasNet需要一定的计算资源
3. **模型权重**: 高级实现需要预训练模型权重
4. **GPU支持**: 如果有GPU，会自动使用GPU加速

## 与基础方法的对比

| 特性 | 基础方法 | Conv-TasNet |
|------|----------|-------------|
| 分离质量 | 中等 | 高 |
| 计算复杂度 | 低 | 高 |
| 训练需求 | 无 | 需要预训练模型 |
| 实时性 | 好 | 一般 |

## 故障排除

### 常见问题

1. **内存不足**: 减少音频长度或使用CPU模式
2. **模型加载失败**: 检查PyTorch安装
3. **分离效果差**: 尝试调整参数或使用更高质量的输入音频

### 调试模式

```bash
# 启用详细输出
python3 conv_tasnet_separation.py song.mp3 -o output-net --verbose
```

## 扩展功能

- 支持更多声部数量
- 实时分离
- 模型微调
- 自定义训练

## 参考文献

- Conv-TasNet: Surpassing Ideal Time-Frequency Magnitude Masking for Speech Separation
- 论文链接: https://arxiv.org/abs/1809.07454