|
Download doc/OMNI_DATA_PREPROCESS.md from Tinghong-Ye22/code-HFD: direct link, hf CLI and curl.
- Browser
- Download file 7.15 kB
-
https://huggingface.co/Tinghong-Ye22/code-HFD/resolve/main/doc/OMNI_DATA_PREPROCESS.md
- Command line
-
hf download hf://Tinghong-Ye22/code-HFD/doc/OMNI_DATA_PREPROCESS.md
-
curl -L -o OMNI_DATA_PREPROCESS.md https://huggingface.co/Tinghong-Ye22/code-HFD/resolve/main/doc/OMNI_DATA_PREPROCESS.md
7.15 kB
| # Omni 训练数据预处理 | |
| 本文记录历史semantics-v3离线数据构建,不代表当前流式训练配方。 | |
| 2026-09-29工具已归档到`backup/`。通用 Omni 缓存入口是 | |
| `backup/prepare_omni_training_data.sh`;历史audio-command连续办公室背景专用入口是 | |
| `backup/prepare_full_duplex_continuous_audio.sh`,它内部继续复用同一套 | |
| `cache_omni_hidden_states.py` 在线等价编码逻辑。 | |
| ## 正式全双工连续背景数据 | |
| ```bash | |
| bash backup/prepare_full_duplex_continuous_audio.sh | |
| ``` | |
| 默认使用可见的四张 GPU、每卡四个独立 batch-1 Qwen 进程,结果写入: | |
| ```text | |
| /cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/videogen/hfd_audio_command_continuous_office_v1 | |
| ``` | |
| 每条 TTS source 会固定绑定一条不循环、不拼接的连续办公室背景时间线: | |
| - idle 读取语音开始前的相邻纯背景窗口; | |
| - listen 先在波形层叠加同一段背景与人声,再单窗编码; | |
| - motion 从语音结束后的下一个相邻纯背景窗口继续。 | |
| 相邻 0.6 秒窗口以 0.4 秒滑动,边界共享的 0.2 秒 PCM 必须逐样本相同。 | |
| 脚本会生成 41,694 条 mixed WAV、388,374 个 mixed hidden 窗口,以及 | |
| 10 条背景 session 的 8,960 个可复用纯背景 hidden 窗口。全部波形、索引、 | |
| encoder contract 和独立在线 Qwen 复算通过后,才会写 | |
| `reports/production_complete.json`;正式训练和 semantics-v3 推理都要求该 | |
| 标记及 assignment SHA-256 一致。 | |
| ## 怎么用 | |
| 1. 只修改脚本开头“只需要改这一段”: | |
| - `OUTPUT_KIND=embeds`:保留 VLM,可训练/解冻 VLM。 | |
| - `OUTPUT_KIND=hidden`:冻结 VLM,生成可直接训练的 hidden-state 数据。 | |
| - 默认 `HIDDEN_LAYOUT=source` 只生成 HFD audio-command;旧多任务 | |
| 大分片流程可显式改成 `HIDDEN_LAYOUT=oss`。 | |
| - 再设置 `OUTPUT_ROOT`、`AUDIO_WAV_ROOT`、`SELECTED_TASKS`、`SELECTED_SOURCES` 和 GPU。 | |
| 2. 正式生成必须保持 `LIMIT=0`。 | |
| 3. 运行: | |
| ```bash | |
| bash backup/prepare_omni_training_data.sh | |
| ``` | |
| 脚本不接收位置参数,所有常用选项都集中在文件顶部。 | |
| ## 任务和数据源 | |
| | 任务 | 可用数据源 | | |
| |---|---| | |
| | `text` | `seed_text` | | |
| | `audio_text` / `audio_only` | `psi0_dance_audio`、`2264_with_audio` | | |
| | `audio_command_text` / `audio_command_only` | `qwen3_tts_seed_audio_command` | | |
| | `video_clip_text` / `video_clip_only` | 三个 `*_clip50` 视频源;`distilled_video_0226_clip50` 暂只用于 embeds | | |
| 完整数据源名称已经列在脚本顶部注释中。 | |
| ## 音频输入 | |
| - 统一接口现在只读 WAV,不再把 NPY 送进 processor/VLM。 | |
| - `audio_command` 直接读取 Qwen3-TTS 的原始 `seed_audio/*/*.wav`。 | |
| - dance 和 2264 原始数据只有 MP4 音轨,没有独立 WAV。为了与历史训练逐采样一致,脚本会把旧 NPY 中已经确定的 16 kHz 单声道 float32 采样无损封装成 WAV;dance manifest 中回退到 MP4 的 25 条经检查都没有音轨,和旧 exporter 一样明确跳过。结果保存到 `AUDIO_WAV_ROOT`,每个 WAV 写完都会解码回读并做逐元素校验。 | |
| - `AUDIO_WINDOW_SECONDS` 控制 `audio_text` 的窗口长度,`AUDIO_SAMPLE_STEP_FRAMES` 控制训练窗口按多少个 50 FPS 动作帧滑动。默认是 0.6 秒、逐帧滑动。 | |
| - `audio_command` 使用独立配置:默认只保留完整的 0.6 秒窗口,并按 20 个动作帧(0.4 秒)滑动;最后不足 0.6 秒的尾段不补零。当前 41,760 条 WAV 会生成 304,986 个窗口。把 `AUDIO_COMMAND_FULL_AUDIO` 设为 `1` 才会恢复旧版整段语音行为。 | |
| 旧版 WAV/媒体转 NPY 的规则已经核对过:ffmpeg 输出 16 kHz、单声道、`f32le` 后由 `numpy.save` 保存。新 WAV 解码沿用完全相同的 ffmpeg 参数。 | |
| ## 输出是什么 | |
| `embeds` 输出: | |
| - `<OUTPUT_ROOT>/<视频源>/metadata.jsonl` | |
| - `<OUTPUT_ROOT>/<视频源>/embeds/*.npz` | |
| - `<OUTPUT_ROOT>/training_support/source_split_v1/` | |
| 默认 `hidden/source` 输出: | |
| - `<OUTPUT_ROOT>/audio/qwen3_tts_seed_audio_command/audio_command_text/sources/seed_audio/*/*.safetensors` | |
| - 同目录的少量 `index.ws*.rank*.sqlite` source 索引 | |
| - `<OUTPUT_ROOT>/_reports/encoder_contract.json` | |
| - `<OUTPUT_ROOT>/_reports/online_hidden_verify.json` | |
| - `<OUTPUT_ROOT>/_reports/prepare_complete.json` | |
| 每个有效 WAV 对应一个 safetensors,文件内部按时间顺序保存该 WAV | |
| 全部 0.6 秒 hidden 窗口、offset 和 frame id。41,760 条原始 WAV 中有 | |
| 41,694 条至少包含一个完整窗口,共 304,986 个窗口。生成过程直接写最终 | |
| source 文件,不创建 92 GiB staging 副本,不做二次打乱/merge,也不写 | |
| 30 万行逐窗口 JSONL/SQLite。每个窗口都单独以 batch 1 送入 Qwen2.5-Omni, | |
| 保存 thinker 最后一层 bf16 hidden;这样与真实流式推理的单窗口编码逐元素一致。 | |
| `HIDDEN_LAYOUT=oss` 保留旧行为:同一任务内确定性打乱,并合并成最多 | |
| 4096 条或 4.5 GiB 的 shard,同时生成旧训练代码兼容索引。 | |
| ## 旧版独立 speech-only HFD hidden | |
| 通用入口默认固定选择 `audio_command_text` 和 Qwen3-TTS 数据源, | |
| 使用 0.6 秒窗口、20 帧/0.4 秒步长,并写入与旧大分片数据隔离的目录: | |
| ```text | |
| /cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/videogen/hfd_audio_command_source | |
| ``` | |
| 默认使用 PyTorch 实际识别到的全部可见 GPU、每卡八个独立 batch-1 导出进程; | |
| 增加吞吐靠多个独立模型副本,不会把多个窗口放进一次前向而改变数值。 | |
| `OVERWRITE=0` 时会验证并复用完整 source 文件。`LIMIT` 在 source 模式表示 | |
| 完整 WAV 数量,只用于测试;有限测试只写 | |
| `prepare_debug_limit_*.json`,不会伪装成正式完成数据。旧 semantics-v2 | |
| 入口曾固定读取这个 source 目录;完成前还会抽取完整 WAV,通过真实在线 batch-1 | |
| Qwen 路径逐窗口 | |
| 复算,只有 `mismatched_windows=0` 且 `max_abs_error=0` 才写完成标记。训练和推理 | |
| 启动时都会校验模型指纹、固定提示词、dtype、attention 实现和在线复核报告;任何 | |
| 旧缓存或混入的旧 source 文件都会直接报错。只有显式设置 | |
| `HFD_AUDIO_COMMAND_ROOT` 才能覆盖数据目录。 | |
| 这份 speech-only 缓存只用于旧 semantics-v2 复现或重新迁移 source 清单;当前 | |
| semantics-v3 正式训练读取上一节的连续背景 production 数据,不再读取该目录。 | |
| ## 安全规则 | |
| - 默认 `OVERWRITE=0`,已有有效结果会复用。 | |
| - source 模式没有大 staging;只有单个正在保存的原子临时文件。 | |
| - OSS 模式只有全部生成、索引和抽样校验成功后,才会删除中间 staging。 | |
| - 最终完成标记是 `_reports/prepare_complete.json`;它只会在在线逐元素复核成功后 | |
| 写入,没有它就不要上传或训练。 | |
| - 旧入口已于2026-09-29退役;可从Git提交`1ba0b72`的`backup/legacy_data_preprocess/`恢复,项目外备份见`../../hfd_experiments/repo_cleanup_2609291403/`。说明文档保留在`doc/legacy/psi0-preprocess-README.md`。 | |