# Omni 训练数据预处理 本文记录历史semantics-v3离线数据构建,不代表当前流式训练配方。 2026-09-29工具已归档到`backup/`。通用 Omni 缓存入口是 `backup/prepare_omni_training_data.sh`;历史audio-command连续办公室背景专用入口是 `backup/prepare_full_duplex_continuous_audio.sh`,它内部继续复用同一套 `cache_omni_hidden_states.py` 在线等价编码逻辑。 ## 正式全双工连续背景数据 ```bash bash backup/prepare_full_duplex_continuous_audio.sh ``` 默认使用可见的四张 GPU、每卡四个独立 batch-1 Qwen 进程,结果写入: ```text /cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/videogen/hfd_audio_command_continuous_office_v1 ``` 每条 TTS source 会固定绑定一条不循环、不拼接的连续办公室背景时间线: - idle 读取语音开始前的相邻纯背景窗口; - listen 先在波形层叠加同一段背景与人声,再单窗编码; - motion 从语音结束后的下一个相邻纯背景窗口继续。 相邻 0.6 秒窗口以 0.4 秒滑动,边界共享的 0.2 秒 PCM 必须逐样本相同。 脚本会生成 41,694 条 mixed WAV、388,374 个 mixed hidden 窗口,以及 10 条背景 session 的 8,960 个可复用纯背景 hidden 窗口。全部波形、索引、 encoder contract 和独立在线 Qwen 复算通过后,才会写 `reports/production_complete.json`;正式训练和 semantics-v3 推理都要求该 标记及 assignment SHA-256 一致。 ## 怎么用 1. 只修改脚本开头“只需要改这一段”: - `OUTPUT_KIND=embeds`:保留 VLM,可训练/解冻 VLM。 - `OUTPUT_KIND=hidden`:冻结 VLM,生成可直接训练的 hidden-state 数据。 - 默认 `HIDDEN_LAYOUT=source` 只生成 HFD audio-command;旧多任务 大分片流程可显式改成 `HIDDEN_LAYOUT=oss`。 - 再设置 `OUTPUT_ROOT`、`AUDIO_WAV_ROOT`、`SELECTED_TASKS`、`SELECTED_SOURCES` 和 GPU。 2. 正式生成必须保持 `LIMIT=0`。 3. 运行: ```bash bash backup/prepare_omni_training_data.sh ``` 脚本不接收位置参数,所有常用选项都集中在文件顶部。 ## 任务和数据源 | 任务 | 可用数据源 | |---|---| | `text` | `seed_text` | | `audio_text` / `audio_only` | `psi0_dance_audio`、`2264_with_audio` | | `audio_command_text` / `audio_command_only` | `qwen3_tts_seed_audio_command` | | `video_clip_text` / `video_clip_only` | 三个 `*_clip50` 视频源;`distilled_video_0226_clip50` 暂只用于 embeds | 完整数据源名称已经列在脚本顶部注释中。 ## 音频输入 - 统一接口现在只读 WAV,不再把 NPY 送进 processor/VLM。 - `audio_command` 直接读取 Qwen3-TTS 的原始 `seed_audio/*/*.wav`。 - dance 和 2264 原始数据只有 MP4 音轨,没有独立 WAV。为了与历史训练逐采样一致,脚本会把旧 NPY 中已经确定的 16 kHz 单声道 float32 采样无损封装成 WAV;dance manifest 中回退到 MP4 的 25 条经检查都没有音轨,和旧 exporter 一样明确跳过。结果保存到 `AUDIO_WAV_ROOT`,每个 WAV 写完都会解码回读并做逐元素校验。 - `AUDIO_WINDOW_SECONDS` 控制 `audio_text` 的窗口长度,`AUDIO_SAMPLE_STEP_FRAMES` 控制训练窗口按多少个 50 FPS 动作帧滑动。默认是 0.6 秒、逐帧滑动。 - `audio_command` 使用独立配置:默认只保留完整的 0.6 秒窗口,并按 20 个动作帧(0.4 秒)滑动;最后不足 0.6 秒的尾段不补零。当前 41,760 条 WAV 会生成 304,986 个窗口。把 `AUDIO_COMMAND_FULL_AUDIO` 设为 `1` 才会恢复旧版整段语音行为。 旧版 WAV/媒体转 NPY 的规则已经核对过:ffmpeg 输出 16 kHz、单声道、`f32le` 后由 `numpy.save` 保存。新 WAV 解码沿用完全相同的 ffmpeg 参数。 ## 输出是什么 `embeds` 输出: - `/<视频源>/metadata.jsonl` - `/<视频源>/embeds/*.npz` - `/training_support/source_split_v1/` 默认 `hidden/source` 输出: - `/audio/qwen3_tts_seed_audio_command/audio_command_text/sources/seed_audio/*/*.safetensors` - 同目录的少量 `index.ws*.rank*.sqlite` source 索引 - `/_reports/encoder_contract.json` - `/_reports/online_hidden_verify.json` - `/_reports/prepare_complete.json` 每个有效 WAV 对应一个 safetensors,文件内部按时间顺序保存该 WAV 全部 0.6 秒 hidden 窗口、offset 和 frame id。41,760 条原始 WAV 中有 41,694 条至少包含一个完整窗口,共 304,986 个窗口。生成过程直接写最终 source 文件,不创建 92 GiB staging 副本,不做二次打乱/merge,也不写 30 万行逐窗口 JSONL/SQLite。每个窗口都单独以 batch 1 送入 Qwen2.5-Omni, 保存 thinker 最后一层 bf16 hidden;这样与真实流式推理的单窗口编码逐元素一致。 `HIDDEN_LAYOUT=oss` 保留旧行为:同一任务内确定性打乱,并合并成最多 4096 条或 4.5 GiB 的 shard,同时生成旧训练代码兼容索引。 ## 旧版独立 speech-only HFD hidden 通用入口默认固定选择 `audio_command_text` 和 Qwen3-TTS 数据源, 使用 0.6 秒窗口、20 帧/0.4 秒步长,并写入与旧大分片数据隔离的目录: ```text /cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/videogen/hfd_audio_command_source ``` 默认使用 PyTorch 实际识别到的全部可见 GPU、每卡八个独立 batch-1 导出进程; 增加吞吐靠多个独立模型副本,不会把多个窗口放进一次前向而改变数值。 `OVERWRITE=0` 时会验证并复用完整 source 文件。`LIMIT` 在 source 模式表示 完整 WAV 数量,只用于测试;有限测试只写 `prepare_debug_limit_*.json`,不会伪装成正式完成数据。旧 semantics-v2 入口曾固定读取这个 source 目录;完成前还会抽取完整 WAV,通过真实在线 batch-1 Qwen 路径逐窗口 复算,只有 `mismatched_windows=0` 且 `max_abs_error=0` 才写完成标记。训练和推理 启动时都会校验模型指纹、固定提示词、dtype、attention 实现和在线复核报告;任何 旧缓存或混入的旧 source 文件都会直接报错。只有显式设置 `HFD_AUDIO_COMMAND_ROOT` 才能覆盖数据目录。 这份 speech-only 缓存只用于旧 semantics-v2 复现或重新迁移 source 清单;当前 semantics-v3 正式训练读取上一节的连续背景 production 数据,不再读取该目录。 ## 安全规则 - 默认 `OVERWRITE=0`,已有有效结果会复用。 - source 模式没有大 staging;只有单个正在保存的原子临时文件。 - OSS 模式只有全部生成、索引和抽样校验成功后,才会删除中间 staging。 - 最终完成标记是 `_reports/prepare_complete.json`;它只会在在线逐元素复核成功后 写入,没有它就不要上传或训练。 - 旧入口已于2026-09-29退役;可从Git提交`1ba0b72`的`backup/legacy_data_preprocess/`恢复,项目外备份见`../../hfd_experiments/repo_cleanup_2609291403/`。说明文档保留在`doc/legacy/psi0-preprocess-README.md`。