code-HFD / doc /OMNI_DATA_PREPROCESS.md
Tinghong-Ye22's picture
Add files using upload-large-folder tool
5d9f970 verified
|
Raw History Blame Contribute Delete
7.15 kB

Omni 训练数据预处理

本文记录历史semantics-v3离线数据构建,不代表当前流式训练配方。 2026-09-29工具已归档到backup/。通用 Omni 缓存入口是 backup/prepare_omni_training_data.sh;历史audio-command连续办公室背景专用入口是 backup/prepare_full_duplex_continuous_audio.sh,它内部继续复用同一套 cache_omni_hidden_states.py 在线等价编码逻辑。

正式全双工连续背景数据

bash backup/prepare_full_duplex_continuous_audio.sh

默认使用可见的四张 GPU、每卡四个独立 batch-1 Qwen 进程,结果写入:

/cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/videogen/hfd_audio_command_continuous_office_v1

每条 TTS source 会固定绑定一条不循环、不拼接的连续办公室背景时间线:

  • idle 读取语音开始前的相邻纯背景窗口;
  • listen 先在波形层叠加同一段背景与人声,再单窗编码;
  • motion 从语音结束后的下一个相邻纯背景窗口继续。

相邻 0.6 秒窗口以 0.4 秒滑动,边界共享的 0.2 秒 PCM 必须逐样本相同。 脚本会生成 41,694 条 mixed WAV、388,374 个 mixed hidden 窗口,以及 10 条背景 session 的 8,960 个可复用纯背景 hidden 窗口。全部波形、索引、 encoder contract 和独立在线 Qwen 复算通过后,才会写 reports/production_complete.json;正式训练和 semantics-v3 推理都要求该 标记及 assignment SHA-256 一致。

怎么用

  1. 只修改脚本开头“只需要改这一段”:
    • OUTPUT_KIND=embeds:保留 VLM,可训练/解冻 VLM。
    • OUTPUT_KIND=hidden:冻结 VLM,生成可直接训练的 hidden-state 数据。
    • 默认 HIDDEN_LAYOUT=source 只生成 HFD audio-command;旧多任务 大分片流程可显式改成 HIDDEN_LAYOUT=oss。
    • 再设置 OUTPUT_ROOT、AUDIO_WAV_ROOT、SELECTED_TASKS、SELECTED_SOURCES 和 GPU。
  2. 正式生成必须保持 LIMIT=0。
  3. 运行:
bash backup/prepare_omni_training_data.sh

脚本不接收位置参数,所有常用选项都集中在文件顶部。

任务和数据源

任务 可用数据源
text seed_text
audio_text / audio_only psi0_dance_audio、2264_with_audio
audio_command_text / audio_command_only qwen3_tts_seed_audio_command
video_clip_text / video_clip_only 三个 *_clip50 视频源;distilled_video_0226_clip50 暂只用于 embeds

完整数据源名称已经列在脚本顶部注释中。

音频输入

  • 统一接口现在只读 WAV,不再把 NPY 送进 processor/VLM。
  • audio_command 直接读取 Qwen3-TTS 的原始 seed_audio/*/*.wav。
  • dance 和 2264 原始数据只有 MP4 音轨,没有独立 WAV。为了与历史训练逐采样一致,脚本会把旧 NPY 中已经确定的 16 kHz 单声道 float32 采样无损封装成 WAV;dance manifest 中回退到 MP4 的 25 条经检查都没有音轨,和旧 exporter 一样明确跳过。结果保存到 AUDIO_WAV_ROOT,每个 WAV 写完都会解码回读并做逐元素校验。
  • AUDIO_WINDOW_SECONDS 控制 audio_text 的窗口长度,AUDIO_SAMPLE_STEP_FRAMES 控制训练窗口按多少个 50 FPS 动作帧滑动。默认是 0.6 秒、逐帧滑动。
  • audio_command 使用独立配置:默认只保留完整的 0.6 秒窗口,并按 20 个动作帧(0.4 秒)滑动;最后不足 0.6 秒的尾段不补零。当前 41,760 条 WAV 会生成 304,986 个窗口。把 AUDIO_COMMAND_FULL_AUDIO 设为 1 才会恢复旧版整段语音行为。

旧版 WAV/媒体转 NPY 的规则已经核对过:ffmpeg 输出 16 kHz、单声道、f32le 后由 numpy.save 保存。新 WAV 解码沿用完全相同的 ffmpeg 参数。

输出是什么

embeds 输出:

  • <OUTPUT_ROOT>/<视频源>/metadata.jsonl
  • <OUTPUT_ROOT>/<视频源>/embeds/*.npz
  • <OUTPUT_ROOT>/training_support/source_split_v1/

默认 hidden/source 输出:

  • <OUTPUT_ROOT>/audio/qwen3_tts_seed_audio_command/audio_command_text/sources/seed_audio/*/*.safetensors
  • 同目录的少量 index.ws*.rank*.sqlite source 索引
  • <OUTPUT_ROOT>/_reports/encoder_contract.json
  • <OUTPUT_ROOT>/_reports/online_hidden_verify.json
  • <OUTPUT_ROOT>/_reports/prepare_complete.json

每个有效 WAV 对应一个 safetensors,文件内部按时间顺序保存该 WAV 全部 0.6 秒 hidden 窗口、offset 和 frame id。41,760 条原始 WAV 中有 41,694 条至少包含一个完整窗口,共 304,986 个窗口。生成过程直接写最终 source 文件,不创建 92 GiB staging 副本,不做二次打乱/merge,也不写 30 万行逐窗口 JSONL/SQLite。每个窗口都单独以 batch 1 送入 Qwen2.5-Omni, 保存 thinker 最后一层 bf16 hidden;这样与真实流式推理的单窗口编码逐元素一致。

HIDDEN_LAYOUT=oss 保留旧行为:同一任务内确定性打乱,并合并成最多 4096 条或 4.5 GiB 的 shard,同时生成旧训练代码兼容索引。

旧版独立 speech-only HFD hidden

通用入口默认固定选择 audio_command_text 和 Qwen3-TTS 数据源, 使用 0.6 秒窗口、20 帧/0.4 秒步长,并写入与旧大分片数据隔离的目录:

/cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/videogen/hfd_audio_command_source

默认使用 PyTorch 实际识别到的全部可见 GPU、每卡八个独立 batch-1 导出进程; 增加吞吐靠多个独立模型副本,不会把多个窗口放进一次前向而改变数值。 OVERWRITE=0 时会验证并复用完整 source 文件。LIMIT 在 source 模式表示 完整 WAV 数量,只用于测试;有限测试只写 prepare_debug_limit_*.json,不会伪装成正式完成数据。旧 semantics-v2 入口曾固定读取这个 source 目录;完成前还会抽取完整 WAV,通过真实在线 batch-1 Qwen 路径逐窗口 复算,只有 mismatched_windows=0 且 max_abs_error=0 才写完成标记。训练和推理 启动时都会校验模型指纹、固定提示词、dtype、attention 实现和在线复核报告;任何 旧缓存或混入的旧 source 文件都会直接报错。只有显式设置 HFD_AUDIO_COMMAND_ROOT 才能覆盖数据目录。

这份 speech-only 缓存只用于旧 semantics-v2 复现或重新迁移 source 清单;当前 semantics-v3 正式训练读取上一节的连续背景 production 数据,不再读取该目录。

安全规则

  • 默认 OVERWRITE=0,已有有效结果会复用。
  • source 模式没有大 staging;只有单个正在保存的原子临时文件。
  • OSS 模式只有全部生成、索引和抽样校验成功后,才会删除中间 staging。
  • 最终完成标记是 _reports/prepare_complete.json;它只会在在线逐元素复核成功后 写入,没有它就不要上传或训练。
  • 旧入口已于2026-09-29退役;可从Git提交1ba0b72的backup/legacy_data_preprocess/恢复,项目外备份见../../hfd_experiments/repo_cleanup_2609291403/。说明文档保留在doc/legacy/psi0-preprocess-README.md。