code-HFD / doc /OMNI_DATA_PREPROCESS.md
Tinghong-Ye22's picture
Add files using upload-large-folder tool
5d9f970 verified
|
Raw History Blame Contribute Delete
7.15 kB
# Omni 训练数据预处理
本文记录历史semantics-v3离线数据构建,不代表当前流式训练配方。
2026-09-29工具已归档到`backup/`。通用 Omni 缓存入口是
`backup/prepare_omni_training_data.sh`;历史audio-command连续办公室背景专用入口是
`backup/prepare_full_duplex_continuous_audio.sh`,它内部继续复用同一套
`cache_omni_hidden_states.py` 在线等价编码逻辑。
## 正式全双工连续背景数据
```bash
bash backup/prepare_full_duplex_continuous_audio.sh
```
默认使用可见的四张 GPU、每卡四个独立 batch-1 Qwen 进程,结果写入:
```text
/cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/videogen/hfd_audio_command_continuous_office_v1
```
每条 TTS source 会固定绑定一条不循环、不拼接的连续办公室背景时间线:
- idle 读取语音开始前的相邻纯背景窗口;
- listen 先在波形层叠加同一段背景与人声,再单窗编码;
- motion 从语音结束后的下一个相邻纯背景窗口继续。
相邻 0.6 秒窗口以 0.4 秒滑动,边界共享的 0.2 秒 PCM 必须逐样本相同。
脚本会生成 41,694 条 mixed WAV、388,374 个 mixed hidden 窗口,以及
10 条背景 session 的 8,960 个可复用纯背景 hidden 窗口。全部波形、索引、
encoder contract 和独立在线 Qwen 复算通过后,才会写
`reports/production_complete.json`;正式训练和 semantics-v3 推理都要求该
标记及 assignment SHA-256 一致。
## 怎么用
1. 只修改脚本开头“只需要改这一段”:
- `OUTPUT_KIND=embeds`:保留 VLM,可训练/解冻 VLM。
- `OUTPUT_KIND=hidden`:冻结 VLM,生成可直接训练的 hidden-state 数据。
- 默认 `HIDDEN_LAYOUT=source` 只生成 HFD audio-command;旧多任务
大分片流程可显式改成 `HIDDEN_LAYOUT=oss`。
- 再设置 `OUTPUT_ROOT`、`AUDIO_WAV_ROOT`、`SELECTED_TASKS`、`SELECTED_SOURCES` 和 GPU。
2. 正式生成必须保持 `LIMIT=0`。
3. 运行:
```bash
bash backup/prepare_omni_training_data.sh
```
脚本不接收位置参数,所有常用选项都集中在文件顶部。
## 任务和数据源
| 任务 | 可用数据源 |
|---|---|
| `text` | `seed_text` |
| `audio_text` / `audio_only` | `psi0_dance_audio`、`2264_with_audio` |
| `audio_command_text` / `audio_command_only` | `qwen3_tts_seed_audio_command` |
| `video_clip_text` / `video_clip_only` | 三个 `*_clip50` 视频源;`distilled_video_0226_clip50` 暂只用于 embeds |
完整数据源名称已经列在脚本顶部注释中。
## 音频输入
- 统一接口现在只读 WAV,不再把 NPY 送进 processor/VLM。
- `audio_command` 直接读取 Qwen3-TTS 的原始 `seed_audio/*/*.wav`。
- dance 和 2264 原始数据只有 MP4 音轨,没有独立 WAV。为了与历史训练逐采样一致,脚本会把旧 NPY 中已经确定的 16 kHz 单声道 float32 采样无损封装成 WAV;dance manifest 中回退到 MP4 的 25 条经检查都没有音轨,和旧 exporter 一样明确跳过。结果保存到 `AUDIO_WAV_ROOT`,每个 WAV 写完都会解码回读并做逐元素校验。
- `AUDIO_WINDOW_SECONDS` 控制 `audio_text` 的窗口长度,`AUDIO_SAMPLE_STEP_FRAMES` 控制训练窗口按多少个 50 FPS 动作帧滑动。默认是 0.6 秒、逐帧滑动。
- `audio_command` 使用独立配置:默认只保留完整的 0.6 秒窗口,并按 20 个动作帧(0.4 秒)滑动;最后不足 0.6 秒的尾段不补零。当前 41,760 条 WAV 会生成 304,986 个窗口。把 `AUDIO_COMMAND_FULL_AUDIO` 设为 `1` 才会恢复旧版整段语音行为。
旧版 WAV/媒体转 NPY 的规则已经核对过:ffmpeg 输出 16 kHz、单声道、`f32le` 后由 `numpy.save` 保存。新 WAV 解码沿用完全相同的 ffmpeg 参数。
## 输出是什么
`embeds` 输出:
- `<OUTPUT_ROOT>/<视频源>/metadata.jsonl`
- `<OUTPUT_ROOT>/<视频源>/embeds/*.npz`
- `<OUTPUT_ROOT>/training_support/source_split_v1/`
默认 `hidden/source` 输出:
- `<OUTPUT_ROOT>/audio/qwen3_tts_seed_audio_command/audio_command_text/sources/seed_audio/*/*.safetensors`
- 同目录的少量 `index.ws*.rank*.sqlite` source 索引
- `<OUTPUT_ROOT>/_reports/encoder_contract.json`
- `<OUTPUT_ROOT>/_reports/online_hidden_verify.json`
- `<OUTPUT_ROOT>/_reports/prepare_complete.json`
每个有效 WAV 对应一个 safetensors,文件内部按时间顺序保存该 WAV
全部 0.6 秒 hidden 窗口、offset 和 frame id。41,760 条原始 WAV 中有
41,694 条至少包含一个完整窗口,共 304,986 个窗口。生成过程直接写最终
source 文件,不创建 92 GiB staging 副本,不做二次打乱/merge,也不写
30 万行逐窗口 JSONL/SQLite。每个窗口都单独以 batch 1 送入 Qwen2.5-Omni,
保存 thinker 最后一层 bf16 hidden;这样与真实流式推理的单窗口编码逐元素一致。
`HIDDEN_LAYOUT=oss` 保留旧行为:同一任务内确定性打乱,并合并成最多
4096 条或 4.5 GiB 的 shard,同时生成旧训练代码兼容索引。
## 旧版独立 speech-only HFD hidden
通用入口默认固定选择 `audio_command_text` 和 Qwen3-TTS 数据源,
使用 0.6 秒窗口、20 帧/0.4 秒步长,并写入与旧大分片数据隔离的目录:
```text
/cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/videogen/hfd_audio_command_source
```
默认使用 PyTorch 实际识别到的全部可见 GPU、每卡八个独立 batch-1 导出进程;
增加吞吐靠多个独立模型副本,不会把多个窗口放进一次前向而改变数值。
`OVERWRITE=0` 时会验证并复用完整 source 文件。`LIMIT` 在 source 模式表示
完整 WAV 数量,只用于测试;有限测试只写
`prepare_debug_limit_*.json`,不会伪装成正式完成数据。旧 semantics-v2
入口曾固定读取这个 source 目录;完成前还会抽取完整 WAV,通过真实在线 batch-1
Qwen 路径逐窗口
复算,只有 `mismatched_windows=0` 且 `max_abs_error=0` 才写完成标记。训练和推理
启动时都会校验模型指纹、固定提示词、dtype、attention 实现和在线复核报告;任何
旧缓存或混入的旧 source 文件都会直接报错。只有显式设置
`HFD_AUDIO_COMMAND_ROOT` 才能覆盖数据目录。
这份 speech-only 缓存只用于旧 semantics-v2 复现或重新迁移 source 清单;当前
semantics-v3 正式训练读取上一节的连续背景 production 数据,不再读取该目录。
## 安全规则
- 默认 `OVERWRITE=0`,已有有效结果会复用。
- source 模式没有大 staging;只有单个正在保存的原子临时文件。
- OSS 模式只有全部生成、索引和抽样校验成功后,才会删除中间 staging。
- 最终完成标记是 `_reports/prepare_complete.json`;它只会在在线逐元素复核成功后
写入,没有它就不要上传或训练。
- 旧入口已于2026-09-29退役;可从Git提交`1ba0b72`的`backup/legacy_data_preprocess/`恢复,项目外备份见`../../hfd_experiments/repo_cleanup_2609291403/`。说明文档保留在`doc/legacy/psi0-preprocess-README.md`。