Download doc/OMNI_DATA_PREPROCESS.md from Tinghong-Ye22/code-HFD: direct link, hf CLI and curl.
- Browser
- Download file 7.15 kB
-
https://huggingface.co/Tinghong-Ye22/code-HFD/resolve/main/doc/OMNI_DATA_PREPROCESS.md
- Command line
-
hf download hf://Tinghong-Ye22/code-HFD/doc/OMNI_DATA_PREPROCESS.md
-
curl -L -o OMNI_DATA_PREPROCESS.md https://huggingface.co/Tinghong-Ye22/code-HFD/resolve/main/doc/OMNI_DATA_PREPROCESS.md
Omni 训练数据预处理
本文记录历史semantics-v3离线数据构建,不代表当前流式训练配方。
2026-09-29工具已归档到backup/。通用 Omni 缓存入口是
backup/prepare_omni_training_data.sh;历史audio-command连续办公室背景专用入口是
backup/prepare_full_duplex_continuous_audio.sh,它内部继续复用同一套
cache_omni_hidden_states.py 在线等价编码逻辑。
正式全双工连续背景数据
bash backup/prepare_full_duplex_continuous_audio.sh
默认使用可见的四张 GPU、每卡四个独立 batch-1 Qwen 进程,结果写入:
/cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/videogen/hfd_audio_command_continuous_office_v1
每条 TTS source 会固定绑定一条不循环、不拼接的连续办公室背景时间线:
- idle 读取语音开始前的相邻纯背景窗口;
- listen 先在波形层叠加同一段背景与人声,再单窗编码;
- motion 从语音结束后的下一个相邻纯背景窗口继续。
相邻 0.6 秒窗口以 0.4 秒滑动,边界共享的 0.2 秒 PCM 必须逐样本相同。
脚本会生成 41,694 条 mixed WAV、388,374 个 mixed hidden 窗口,以及
10 条背景 session 的 8,960 个可复用纯背景 hidden 窗口。全部波形、索引、
encoder contract 和独立在线 Qwen 复算通过后,才会写
reports/production_complete.json;正式训练和 semantics-v3 推理都要求该
标记及 assignment SHA-256 一致。
怎么用
- 只修改脚本开头“只需要改这一段”:
OUTPUT_KIND=embeds:保留 VLM,可训练/解冻 VLM。OUTPUT_KIND=hidden:冻结 VLM,生成可直接训练的 hidden-state 数据。- 默认
HIDDEN_LAYOUT=source只生成 HFD audio-command;旧多任务 大分片流程可显式改成HIDDEN_LAYOUT=oss。 - 再设置
OUTPUT_ROOT、AUDIO_WAV_ROOT、SELECTED_TASKS、SELECTED_SOURCES和 GPU。
- 正式生成必须保持
LIMIT=0。 - 运行:
bash backup/prepare_omni_training_data.sh
脚本不接收位置参数,所有常用选项都集中在文件顶部。
任务和数据源
| 任务 | 可用数据源 |
|---|---|
text |
seed_text |
audio_text / audio_only |
psi0_dance_audio、2264_with_audio |
audio_command_text / audio_command_only |
qwen3_tts_seed_audio_command |
video_clip_text / video_clip_only |
三个 *_clip50 视频源;distilled_video_0226_clip50 暂只用于 embeds |
完整数据源名称已经列在脚本顶部注释中。
音频输入
- 统一接口现在只读 WAV,不再把 NPY 送进 processor/VLM。
audio_command直接读取 Qwen3-TTS 的原始seed_audio/*/*.wav。- dance 和 2264 原始数据只有 MP4 音轨,没有独立 WAV。为了与历史训练逐采样一致,脚本会把旧 NPY 中已经确定的 16 kHz 单声道 float32 采样无损封装成 WAV;dance manifest 中回退到 MP4 的 25 条经检查都没有音轨,和旧 exporter 一样明确跳过。结果保存到
AUDIO_WAV_ROOT,每个 WAV 写完都会解码回读并做逐元素校验。 AUDIO_WINDOW_SECONDS控制audio_text的窗口长度,AUDIO_SAMPLE_STEP_FRAMES控制训练窗口按多少个 50 FPS 动作帧滑动。默认是 0.6 秒、逐帧滑动。audio_command使用独立配置:默认只保留完整的 0.6 秒窗口,并按 20 个动作帧(0.4 秒)滑动;最后不足 0.6 秒的尾段不补零。当前 41,760 条 WAV 会生成 304,986 个窗口。把AUDIO_COMMAND_FULL_AUDIO设为1才会恢复旧版整段语音行为。
旧版 WAV/媒体转 NPY 的规则已经核对过:ffmpeg 输出 16 kHz、单声道、f32le 后由 numpy.save 保存。新 WAV 解码沿用完全相同的 ffmpeg 参数。
输出是什么
embeds 输出:
<OUTPUT_ROOT>/<视频源>/metadata.jsonl<OUTPUT_ROOT>/<视频源>/embeds/*.npz<OUTPUT_ROOT>/training_support/source_split_v1/
默认 hidden/source 输出:
<OUTPUT_ROOT>/audio/qwen3_tts_seed_audio_command/audio_command_text/sources/seed_audio/*/*.safetensors- 同目录的少量
index.ws*.rank*.sqlitesource 索引 <OUTPUT_ROOT>/_reports/encoder_contract.json<OUTPUT_ROOT>/_reports/online_hidden_verify.json<OUTPUT_ROOT>/_reports/prepare_complete.json
每个有效 WAV 对应一个 safetensors,文件内部按时间顺序保存该 WAV 全部 0.6 秒 hidden 窗口、offset 和 frame id。41,760 条原始 WAV 中有 41,694 条至少包含一个完整窗口,共 304,986 个窗口。生成过程直接写最终 source 文件,不创建 92 GiB staging 副本,不做二次打乱/merge,也不写 30 万行逐窗口 JSONL/SQLite。每个窗口都单独以 batch 1 送入 Qwen2.5-Omni, 保存 thinker 最后一层 bf16 hidden;这样与真实流式推理的单窗口编码逐元素一致。
HIDDEN_LAYOUT=oss 保留旧行为:同一任务内确定性打乱,并合并成最多
4096 条或 4.5 GiB 的 shard,同时生成旧训练代码兼容索引。
旧版独立 speech-only HFD hidden
通用入口默认固定选择 audio_command_text 和 Qwen3-TTS 数据源,
使用 0.6 秒窗口、20 帧/0.4 秒步长,并写入与旧大分片数据隔离的目录:
/cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/videogen/hfd_audio_command_source
默认使用 PyTorch 实际识别到的全部可见 GPU、每卡八个独立 batch-1 导出进程;
增加吞吐靠多个独立模型副本,不会把多个窗口放进一次前向而改变数值。
OVERWRITE=0 时会验证并复用完整 source 文件。LIMIT 在 source 模式表示
完整 WAV 数量,只用于测试;有限测试只写
prepare_debug_limit_*.json,不会伪装成正式完成数据。旧 semantics-v2
入口曾固定读取这个 source 目录;完成前还会抽取完整 WAV,通过真实在线 batch-1
Qwen 路径逐窗口
复算,只有 mismatched_windows=0 且 max_abs_error=0 才写完成标记。训练和推理
启动时都会校验模型指纹、固定提示词、dtype、attention 实现和在线复核报告;任何
旧缓存或混入的旧 source 文件都会直接报错。只有显式设置
HFD_AUDIO_COMMAND_ROOT 才能覆盖数据目录。
这份 speech-only 缓存只用于旧 semantics-v2 复现或重新迁移 source 清单;当前 semantics-v3 正式训练读取上一节的连续背景 production 数据,不再读取该目录。
安全规则
- 默认
OVERWRITE=0,已有有效结果会复用。 - source 模式没有大 staging;只有单个正在保存的原子临时文件。
- OSS 模式只有全部生成、索引和抽样校验成功后,才会删除中间 staging。
- 最终完成标记是
_reports/prepare_complete.json;它只会在在线逐元素复核成功后 写入,没有它就不要上传或训练。 - 旧入口已于2026-09-29退役;可从Git提交
1ba0b72的backup/legacy_data_preprocess/恢复,项目外备份见../../hfd_experiments/repo_cleanup_2609291403/。说明文档保留在doc/legacy/psi0-preprocess-README.md。