|
Download doc/260922-tmp/future_experiments.md from Tinghong-Ye22/code-HFD: direct link, hf CLI and curl.
- Browser
- Download file 14.7 kB
-
https://huggingface.co/Tinghong-Ye22/code-HFD/resolve/main/doc/260922-tmp/future_experiments.md
- Command line
-
hf download hf://Tinghong-Ye22/code-HFD/doc/260922-tmp/future_experiments.md
-
curl -L -o future_experiments.md https://huggingface.co/Tinghong-Ye22/code-HFD/resolve/main/doc/260922-tmp/future_experiments.md
14.7 kB
| # HFD 后续实验设计(初稿) | |
| **文档快照:2026-09-22** | |
| **目标:** 在不破坏已有 audio full-duplex 能力的前提下,把视觉输入/语言回答能力作为条件 overlay 逐步融入五类交互任务,并建立能定位问题的闭环评测。本文是实验计划,不代表已经落地到正式 trainer。 | |
| ## 0. 当前基线和不可混淆的事实 | |
| 当前正式代码的基线是: | |
| - 五类任务:`turn-taking`、`interruption`(包含 stop 子类)、`backchannel`、`hesitation`、`pause`;日志可以单独统计 `emergency-stop`,但它不是第六个论文任务; | |
| - 当前 run `hfd.gpus4.2609202242` 训练配置为每卡 B=72、global B=288、125 万 step,train dataset log rows=99,457,trainer dataset size=338,938; | |
| - 当前 SWA source plan 为 73,655 行(train 71,088 / val 1,695 / test 872),`repeat=1`; | |
| - 当前旧 checkpoint 实现仍将 SWA 作为额外 `swa_visual_qa` modality,audio/SWA 不在一个 Qwen cache batch 中混写;这是兼容基线,不是最新任务定义; | |
| - 用户期望的“不要独立列 SWA,而是把视觉+问题+回答 overlay 到所有五类任务”**尚未接入正式 trainer**。任何 overlay 实验都必须保留当前基线作为可复现对照,不能直接覆盖正式 source plan 或训练脚本默认值。 | |
| 每个实验应记录:代码 commit、`run_config.json`、source plan SHA256、背景 assignment SHA256、数据构造版本、随机种子、可见 GPU、batch/step、W&B run id。没有这些信息,loss 或视频不能作为可靠比较。 | |
| ## 1. 总体实验原则 | |
| 1. **先 CPU 小样本,再 GPU 短训,再长训。** 数据/时间轴问题优先在 8–64 条 source 上完成;只有 source、音频、视觉、回答和 split contract 全通过,才占四/八卡。 | |
| 2. **一次只改一个主要变量。** overlay 比例、QA 分支、音视频时间偏移、任务权重不要在同一个 A/B 同时改变。 | |
| 3. **闭环优先于 teacher-forcing。** 每个阶段至少用模型自己生成的 10-step flow action、上一窗口的 10 帧 RTC 和自己的 control;teacher-forced loss 只能用作训练诊断。 | |
| 4. **同一 source 配对。** 对同一 motion、背景、音色和时间轴做 no-question / visual-only / question / backchannel 等条件,报告差分,避免不同动作难度造成假提升。 | |
| 5. **先看事件级错误,再看平均 loss。** Stop 复活、interruption 延迟、backchannel 误切换和 SWA 动作退化都是稀疏事件;逐窗口平均容易掩盖它们。 | |
| 6. **任何异常先停扩容。** 发现 source split 泄漏、回答音频回流输入、cache seam 错位、首帧 RTC 错误或 render 时间轴错误时,停止长训并保留失败样本,不能用后处理视频掩盖。 | |
| ## 2. 实验 A:五类任务的 SWA overlay 数据构造(最高优先级) | |
| ### 假设 | |
| 视觉输入和语言回答如果只作为独立 SWA source,身体分支可能学不到“在每种全双工事件中同时看、听和回答”。把它作为与原 audio source 解耦的可选 overlay,并在 `getitem` 运行时按关系表绑定,理论上可统一论文叙事、减少预先拼接的音频/视频副本,同时不改变原任务的 motion/RTC 标签。 | |
| ### 数据组织 | |
| 保留两套不可变数据: | |
| ```text | |
| audio source body/action pool # 原五类任务,含连续背景与 RTC | |
| swa catalog + frontend packet pool # body_id、task、split、question、answer、时间偏移 | |
| ``` | |
| 新增轻量关系表,每行至少包含: | |
| ```text | |
| pair_id, audio_source_id, swa_row_id, task, split, | |
| question_start_frame, question_end_frame, | |
| answer_target, visual_offset, voice_id, seed, policy | |
| ``` | |
| `getitem` 只根据 `(audio_source_id, task, split, seed)` 确定性查表,读取对应 frozen AV packet;不复制 motion body、不生成 audio×SWA 笛卡尔积。若 packet/body/question 缺失,直接拒绝该行,不静默退回纯 audio。 | |
| ### 第一轮规模(CPU/小训) | |
| - 先从当前 plan 的 73,655 行中抽取每个 cohort、每个任务各 32 train + 16 val;总量控制在几百行,验证读取、时间戳、问题音频和回答音频。 | |
| - 人工抽检每个任务至少 10 条:问题必须落在连续 motion run 内,不能跨 listen/idle;视觉帧和问题音频的相对时间正确;回答 target 只在输出/target,不进入模型麦克风输入。 | |
| - 运行 4 卡 500–2,000 steps,只比较:无 overlay 基线、overlay 10%、overlay 75%(按 source/session 计,不按窗口计)。 | |
| ### 正式比例候选 | |
| 用户提出的初始策略可写成同一任务内部的条件 mixture: | |
| | 条件 | 含义 | 初始比例 | | |
| |---|---|---:| | |
| | QA overlay | 视觉 + 问题音频 + answer target | 75% | | |
| | visual-only | 视觉输入,无问题/无需回答 | 10% | | |
| | audio-only | 保持原 audio→motion | 15% | | |
| 这些是**计划值,不是当前正式配置**。第一轮短训若发现 QA loss 或动作退化集中在某一任务,先按任务设置独立上限(例如每任务 50% QA),再扩大到 75%,不要直接把 75% 乘到全部窗口。 | |
| ### 主要指标 | |
| - audio 任务:动作成功率、control accuracy、事件延迟、RTC 接缝误差; | |
| - Stop:`stop-enter latency`、`stop-stay`、无新指令时 `false_motion_reactivation_rate`; | |
| - interruption:motion→listen 延迟、直接切换率、新动作成功率; | |
| - backchannel:原 motion 保持率、误切 listen/idle 率; | |
| - SWA:answer token accuracy、自由回答 exact/semantic accuracy、`motion_degradation = error_QA - error_no_question`、联合成功率(回答正确且动作保持达标)。 | |
| ### 通过条件 | |
| 相对同 seed/audio body 的 no-overlay 对照:SWA 条件的回答可用,同时普通 audio 任务成功率下降不超过预设容差(建议绝对 ≤2 个百分点),动作退化不应只由 renderer/音频 mux 造成;若动作退化明显,先做分支隔离实验 B,不扩大数据。 | |
| ## 3. 实验 B:身体语义和 QA 语义的梯度隔离 | |
| ### 假设 | |
| 当前 `independent_online_lora` 已让 QA private Qwen/KV 与 body Qwen 分离;overlay 接入后仍需验证 body 的 control/action hidden 没被 readiness/answer loss 改写。否则语言回答变好可能以动作不稳定为代价。 | |
| ### A/B | |
| 使用完全相同的 overlay source 和关系表,训练三种设置: | |
| 1. `independent_online_lora`(当前预期基线); | |
| 2. shared QA/body(仅作诊断,不作为正式默认); | |
| 3. independent QA,但让 reply head 反传 body summary(单独定位 readiness 梯度)。 | |
| 保持 action/control/duration optimizer、batch、step、seed 不变;QA 只改变 branch/梯度边界。 | |
| ### 观测 | |
| - body Qwen 最后 8 层梯度范数和 action/control loss; | |
| - no-question 与 question 条件的动作 degradation; | |
| - answer free decoding、reply readiness precision/recall; | |
| - 同一 checkpoint 的普通音频闭环视频。 | |
| 预期:独立 branch 允许回答学习而不牺牲身体;若 shared 设置 QA token 更低但 motion degradation 变大,论文中应报告这种 trade-off,而不是只展示回答曲线。 | |
| ## 4. 实验 C:视觉素材扩量与质量控制 | |
| ### 候选数据集和准入策略 | |
| 当前 source plan 已含 VQAv2 static、HoloAssist/Holo observations、Charades、EPIC 等 73,655 行。GQA、NExT-QA、Ego4D 等可作为后续候选,但在下载/许可/音频 frontend/视频时间轴完成前不进入正式训练。 | |
| 对每个候选数据集先生成 manifest:原始 id、split、媒体路径、帧率/时长、问题/答案、许可、哈希。准入必须通过: | |
| 1. train/val/test 视频级去重; | |
| 2. 图像/视频可解码、帧时间单调且不越界; | |
| 3. 问题音频与视觉时刻一致; | |
| 4. 答案不出现在输入 audio/字幕 prompt 中; | |
| 5. 人工盲审通过率和异常率记录在 report; | |
| 6. 与现有 body/source 关系一对一可追溯。 | |
| ### 扩量阶梯 | |
| ```text | |
| 阶段 0:每 cohort 32–64 行 CPU 审核 | |
| 阶段 1:每 cohort 1k–5k 行,四卡 2k steps | |
| 阶段 2:累计 10k–30k 行,八卡 20k–50k steps | |
| 阶段 3:达到 50k+ 行,才做 100w 级长训 | |
| ``` | |
| 每个阶段都保留上一阶段的固定 val subset;不能每次扩数据都换验证集后再声称提升。 | |
| ## 5. 实验 D:SWA 模态时间轴与输出音频闭环 | |
| ### 要验证的问题 | |
| - 问题开始/结束是否落在 action frame 和 Qwen 20-frame semantic boundary 的合理位置; | |
| - 静态图片是否被错误当作随时间变化的视频; | |
| - answer audio 是否只进入 render mux,而没有回写下一个 Qwen input; | |
| - 回答时身体是否继续使用上一窗口的 RTC,而不是重新从零生成。 | |
| ### 方法 | |
| 对同一个 body/source 做 4 条视频:`audio-only`、`visual-only`、`visual+question`、`visual+question+rendered answer`。保存原始 waveform、模型输入 waveform、Qwen update timestamp、control tokens、action chunks、RTC prefix 和最终 mux 音轨;用脚本逐样本对齐。 | |
| 只有在输入/输出时间轴逐样本一致后,才解释模型质量。若问题音频延迟或回答音频前移,即使动作正确也不算通过。 | |
| ## 6. 实验 E:Stop/Interruption 的事件级损失与困难负样本 | |
| 当前正式代码已经有 `stop_enter/stay/release` 控制 loss 和事件指标,但不应直接加大权重。先在同一 checkpoint 做离线事件统计: | |
| - Stop 后无新语音却复活 motion 的比例; | |
| - Stop 生效前后各 3 个 semantic windows 的 control logits/entropy; | |
| - backchannel、背景噪声和短 hesitation 被误判为 Stop/Interruption 的比例。 | |
| 若错误主要是 Stop→motion 复活:构造同一背景/同一动作的困难负样本,唯一改变是短 backchannel、纯背景或未完成指令;加权应按事件平均,不按静默窗口数累加。候选公式: | |
| ```text | |
| L_control_event = L ordinary_control | |
| + λ_enter L stop_enter | |
| + λ_stay L stop_stay | |
| + λ_release L stop_release | |
| ``` | |
| 先 λ=(0.5,1,1) 的当前配方做基线;只有错误率和普通 turn-taking 的回归都稳定后,才试 λ_enter=1 或困难负样本比例 5–10%。 | |
| ## 7. 实验 F:duration distribution 与 future progress | |
| ### 问题 | |
| 多个 source 可指向同一动作但真实时长不同;单标量回归会把多峰分布平均掉。当前 48-bin log-duration distribution 已实现,但闭环收益未被严格证明。训练知道 GT motion turn 的总长,推理只能从 listen→motion 预测一份计划时长;这仍可能在多轮/截断边界产生 train/infer 差异。 | |
| ### 低成本 A/B | |
| 固定同一批 Qwen boundary hidden、动作 target 和 seed,只训练小头: | |
| 1. scalar regression; | |
| 2. 48-bin distribution,分别使用 median / MAP 解码; | |
| 3. 可选 quantile head(P25/P50/P75),仅作为诊断。 | |
| 评测:时长绝对误差、偏长/偏短率、future-progress 相位误差、motion→idle 接缝误差和闭环动作成功率。不能只比较 duration loss;若分布头时长 MAE 更低但动作相位不改善,就不扩大模型改动。 | |
| ## 8. 实验 G:动态 source 调度和吞吐 | |
| 动态 refill 已实现:短 source 在下一个 20-frame semantic boundary 重绑空闲 cache row,尾部 inactive action rows 压缩;它不是为了改变数据分布。后续只做性能消融: | |
| | 设置 | 变量 | | |
| |---|---| | |
| | fixed-longest | 旧的长尾 padding 对照,仅短 smoke | | |
| | dynamic refill | 当前默认 | | |
| | dynamic + precise lookahead | 当前默认长度 lookahead | | |
| 记录 step/s、windows/s、data_wait、`optimizer_batch_fill_ratio`、`source_refills_per_second`、`qwen_cache_garbage_ratio`、峰值显存和 loss/事件指标。若 dynamic refill 速度上升而事件/动作指标在置信区间内一致,才作为正式默认;严禁为了吞吐跨 semantic boundary 随意重排 source,避免 KV 语义泄漏。 | |
| ## 9. 论文级评测矩阵 | |
| ### 基础闭环 | |
| | 任务 | 必报结果 | | |
| |---|---| | |
| | turn-taking | 指令结束→listen/motion latency、动作成功、提前启动率 | | |
| | interruption | 新语音→listen latency、旧动作残留率、新动作成功、过渡误差 | | |
| | Stop | stop-enter latency、stop-stay、false motion reactivation | | |
| | backchannel | motion preservation、false interruption | | |
| | hesitation/pause | premature-action、最终指令成功 | | |
| | SWA | answer accuracy、motion degradation、joint success | | |
| ### 必做消融 | |
| 1. 无历史 KV; | |
| 2. 无 RTC(或错误/清空 RTC); | |
| 3. 无 future progress; | |
| 4. 无 duration head; | |
| 5. SWA shared vs independent QA branch; | |
| 6. audio-only vs overlay; | |
| 7. teacher-forced vs closed-loop history; | |
| 8. fixed-longest vs dynamic source refill。 | |
| 所有消融使用相同的 held-out source、相同动作/音色/背景配对。报告均值、事件级成功率和至少 3 个随机 seed 或 bootstrap 置信区间。 | |
| ## 10. 存储、并行和停止条件 | |
| - 关系表、manifest、QA report 和 metrics 体积应保持在 MB/GB 级;不要预生成每个 overlay 的整套 hidden/body 副本。 | |
| - frozen frontend packet 可以 mmap/lru cache;训练 worker 只读 immutable source。GPU 长训前先让 CPU 异步构建 index/cache,避免每次启动重复扫描大目录。 | |
| - 模型 inference、render/mux 使用有界异步队列;渲染失败可重试,但不能覆盖 immutable `ckpt_<step>` 目录。 | |
| - 若出现 OOM、NCCL 不一致、train/val overlap、answer 回流、SWA motion degradation 超过容差或 stop false reactivation 明显上升,立即停止该实验并保留最小复现 case。 | |
| - 每次长训最多保留当前最佳/最近必要 checkpoint;视频只保留固定 GT、闭环 fail case 和评审样例,避免存储再次耗尽。 | |
| ## 11. 推荐执行顺序 | |
| ```text | |
| 1. 固定当前 audio+独立 SWA baseline,并导出 20 条配对闭环样例 | |
| 2. 实验 A:几百条 overlay catalog + CPU/4卡短训,先验收时间轴 | |
| 3. 实验 B:QA/body 梯度隔离 A/B,确认动作不被回答分支带偏 | |
| 4. 实验 D:输入/输出音频逐样本核对,修复渲染/answer 回流问题 | |
| 5. 实验 C:按 cohort 分阶段扩到 1k、10k、30k;每阶段固定 val | |
| 6. 实验 E/F:只针对已定位的事件或 duration 问题做低成本头部实验 | |
| 7. 实验 G:确认动态 refill 速度收益不改变数值/事件指标 | |
| 8. 通过所有 gate 后,才进行八卡 100w 级长训 | |
| ``` | |
| **成功标准不是某一条 loss 最低。** 最终应同时证明:模型能在连续 KV 中正确判断事件、动作/RTC 过渡稳定、Stop 不会无指令复活、backchannel 不会误切换、SWA 回答正确且不破坏身体动作,并且 train/val/推理的时间轴和模态契约逐样本一致。 | |