code-HFD / doc /260922-tmp /future_experiments.md
Tinghong-Ye22's picture
Add files using upload-large-folder tool
fb0074a verified
|
Raw History Blame Contribute Delete
14.7 kB
# HFD 后续实验设计(初稿)
**文档快照:2026-09-22**
**目标:** 在不破坏已有 audio full-duplex 能力的前提下,把视觉输入/语言回答能力作为条件 overlay 逐步融入五类交互任务,并建立能定位问题的闭环评测。本文是实验计划,不代表已经落地到正式 trainer。
## 0. 当前基线和不可混淆的事实
当前正式代码的基线是:
- 五类任务:`turn-taking`、`interruption`(包含 stop 子类)、`backchannel`、`hesitation`、`pause`;日志可以单独统计 `emergency-stop`,但它不是第六个论文任务;
- 当前 run `hfd.gpus4.2609202242` 训练配置为每卡 B=72、global B=288、125 万 step,train dataset log rows=99,457,trainer dataset size=338,938;
- 当前 SWA source plan 为 73,655 行(train 71,088 / val 1,695 / test 872),`repeat=1`;
- 当前旧 checkpoint 实现仍将 SWA 作为额外 `swa_visual_qa` modality,audio/SWA 不在一个 Qwen cache batch 中混写;这是兼容基线,不是最新任务定义;
- 用户期望的“不要独立列 SWA,而是把视觉+问题+回答 overlay 到所有五类任务”**尚未接入正式 trainer**。任何 overlay 实验都必须保留当前基线作为可复现对照,不能直接覆盖正式 source plan 或训练脚本默认值。
每个实验应记录:代码 commit、`run_config.json`、source plan SHA256、背景 assignment SHA256、数据构造版本、随机种子、可见 GPU、batch/step、W&B run id。没有这些信息,loss 或视频不能作为可靠比较。
## 1. 总体实验原则
1. **先 CPU 小样本,再 GPU 短训,再长训。** 数据/时间轴问题优先在 8–64 条 source 上完成;只有 source、音频、视觉、回答和 split contract 全通过,才占四/八卡。
2. **一次只改一个主要变量。** overlay 比例、QA 分支、音视频时间偏移、任务权重不要在同一个 A/B 同时改变。
3. **闭环优先于 teacher-forcing。** 每个阶段至少用模型自己生成的 10-step flow action、上一窗口的 10 帧 RTC 和自己的 control;teacher-forced loss 只能用作训练诊断。
4. **同一 source 配对。** 对同一 motion、背景、音色和时间轴做 no-question / visual-only / question / backchannel 等条件,报告差分,避免不同动作难度造成假提升。
5. **先看事件级错误,再看平均 loss。** Stop 复活、interruption 延迟、backchannel 误切换和 SWA 动作退化都是稀疏事件;逐窗口平均容易掩盖它们。
6. **任何异常先停扩容。** 发现 source split 泄漏、回答音频回流输入、cache seam 错位、首帧 RTC 错误或 render 时间轴错误时,停止长训并保留失败样本,不能用后处理视频掩盖。
## 2. 实验 A:五类任务的 SWA overlay 数据构造(最高优先级)
### 假设
视觉输入和语言回答如果只作为独立 SWA source,身体分支可能学不到“在每种全双工事件中同时看、听和回答”。把它作为与原 audio source 解耦的可选 overlay,并在 `getitem` 运行时按关系表绑定,理论上可统一论文叙事、减少预先拼接的音频/视频副本,同时不改变原任务的 motion/RTC 标签。
### 数据组织
保留两套不可变数据:
```text
audio source body/action pool # 原五类任务,含连续背景与 RTC
swa catalog + frontend packet pool # body_id、task、split、question、answer、时间偏移
```
新增轻量关系表,每行至少包含:
```text
pair_id, audio_source_id, swa_row_id, task, split,
question_start_frame, question_end_frame,
answer_target, visual_offset, voice_id, seed, policy
```
`getitem` 只根据 `(audio_source_id, task, split, seed)` 确定性查表,读取对应 frozen AV packet;不复制 motion body、不生成 audio×SWA 笛卡尔积。若 packet/body/question 缺失,直接拒绝该行,不静默退回纯 audio。
### 第一轮规模(CPU/小训)
- 先从当前 plan 的 73,655 行中抽取每个 cohort、每个任务各 32 train + 16 val;总量控制在几百行,验证读取、时间戳、问题音频和回答音频。
- 人工抽检每个任务至少 10 条:问题必须落在连续 motion run 内,不能跨 listen/idle;视觉帧和问题音频的相对时间正确;回答 target 只在输出/target,不进入模型麦克风输入。
- 运行 4 卡 500–2,000 steps,只比较:无 overlay 基线、overlay 10%、overlay 75%(按 source/session 计,不按窗口计)。
### 正式比例候选
用户提出的初始策略可写成同一任务内部的条件 mixture:
| 条件 | 含义 | 初始比例 |
|---|---|---:|
| QA overlay | 视觉 + 问题音频 + answer target | 75% |
| visual-only | 视觉输入,无问题/无需回答 | 10% |
| audio-only | 保持原 audio→motion | 15% |
这些是**计划值,不是当前正式配置**。第一轮短训若发现 QA loss 或动作退化集中在某一任务,先按任务设置独立上限(例如每任务 50% QA),再扩大到 75%,不要直接把 75% 乘到全部窗口。
### 主要指标
- audio 任务:动作成功率、control accuracy、事件延迟、RTC 接缝误差;
- Stop:`stop-enter latency`、`stop-stay`、无新指令时 `false_motion_reactivation_rate`;
- interruption:motion→listen 延迟、直接切换率、新动作成功率;
- backchannel:原 motion 保持率、误切 listen/idle 率;
- SWA:answer token accuracy、自由回答 exact/semantic accuracy、`motion_degradation = error_QA - error_no_question`、联合成功率(回答正确且动作保持达标)。
### 通过条件
相对同 seed/audio body 的 no-overlay 对照:SWA 条件的回答可用,同时普通 audio 任务成功率下降不超过预设容差(建议绝对 ≤2 个百分点),动作退化不应只由 renderer/音频 mux 造成;若动作退化明显,先做分支隔离实验 B,不扩大数据。
## 3. 实验 B:身体语义和 QA 语义的梯度隔离
### 假设
当前 `independent_online_lora` 已让 QA private Qwen/KV 与 body Qwen 分离;overlay 接入后仍需验证 body 的 control/action hidden 没被 readiness/answer loss 改写。否则语言回答变好可能以动作不稳定为代价。
### A/B
使用完全相同的 overlay source 和关系表,训练三种设置:
1. `independent_online_lora`(当前预期基线);
2. shared QA/body(仅作诊断,不作为正式默认);
3. independent QA,但让 reply head 反传 body summary(单独定位 readiness 梯度)。
保持 action/control/duration optimizer、batch、step、seed 不变;QA 只改变 branch/梯度边界。
### 观测
- body Qwen 最后 8 层梯度范数和 action/control loss;
- no-question 与 question 条件的动作 degradation;
- answer free decoding、reply readiness precision/recall;
- 同一 checkpoint 的普通音频闭环视频。
预期:独立 branch 允许回答学习而不牺牲身体;若 shared 设置 QA token 更低但 motion degradation 变大,论文中应报告这种 trade-off,而不是只展示回答曲线。
## 4. 实验 C:视觉素材扩量与质量控制
### 候选数据集和准入策略
当前 source plan 已含 VQAv2 static、HoloAssist/Holo observations、Charades、EPIC 等 73,655 行。GQA、NExT-QA、Ego4D 等可作为后续候选,但在下载/许可/音频 frontend/视频时间轴完成前不进入正式训练。
对每个候选数据集先生成 manifest:原始 id、split、媒体路径、帧率/时长、问题/答案、许可、哈希。准入必须通过:
1. train/val/test 视频级去重;
2. 图像/视频可解码、帧时间单调且不越界;
3. 问题音频与视觉时刻一致;
4. 答案不出现在输入 audio/字幕 prompt 中;
5. 人工盲审通过率和异常率记录在 report;
6. 与现有 body/source 关系一对一可追溯。
### 扩量阶梯
```text
阶段 0:每 cohort 32–64 行 CPU 审核
阶段 1:每 cohort 1k–5k 行,四卡 2k steps
阶段 2:累计 10k–30k 行,八卡 20k–50k steps
阶段 3:达到 50k+ 行,才做 100w 级长训
```
每个阶段都保留上一阶段的固定 val subset;不能每次扩数据都换验证集后再声称提升。
## 5. 实验 D:SWA 模态时间轴与输出音频闭环
### 要验证的问题
- 问题开始/结束是否落在 action frame 和 Qwen 20-frame semantic boundary 的合理位置;
- 静态图片是否被错误当作随时间变化的视频;
- answer audio 是否只进入 render mux,而没有回写下一个 Qwen input;
- 回答时身体是否继续使用上一窗口的 RTC,而不是重新从零生成。
### 方法
对同一个 body/source 做 4 条视频:`audio-only`、`visual-only`、`visual+question`、`visual+question+rendered answer`。保存原始 waveform、模型输入 waveform、Qwen update timestamp、control tokens、action chunks、RTC prefix 和最终 mux 音轨;用脚本逐样本对齐。
只有在输入/输出时间轴逐样本一致后,才解释模型质量。若问题音频延迟或回答音频前移,即使动作正确也不算通过。
## 6. 实验 E:Stop/Interruption 的事件级损失与困难负样本
当前正式代码已经有 `stop_enter/stay/release` 控制 loss 和事件指标,但不应直接加大权重。先在同一 checkpoint 做离线事件统计:
- Stop 后无新语音却复活 motion 的比例;
- Stop 生效前后各 3 个 semantic windows 的 control logits/entropy;
- backchannel、背景噪声和短 hesitation 被误判为 Stop/Interruption 的比例。
若错误主要是 Stop→motion 复活:构造同一背景/同一动作的困难负样本,唯一改变是短 backchannel、纯背景或未完成指令;加权应按事件平均,不按静默窗口数累加。候选公式:
```text
L_control_event = L ordinary_control
+ λ_enter L stop_enter
+ λ_stay L stop_stay
+ λ_release L stop_release
```
先 λ=(0.5,1,1) 的当前配方做基线;只有错误率和普通 turn-taking 的回归都稳定后,才试 λ_enter=1 或困难负样本比例 5–10%。
## 7. 实验 F:duration distribution 与 future progress
### 问题
多个 source 可指向同一动作但真实时长不同;单标量回归会把多峰分布平均掉。当前 48-bin log-duration distribution 已实现,但闭环收益未被严格证明。训练知道 GT motion turn 的总长,推理只能从 listen→motion 预测一份计划时长;这仍可能在多轮/截断边界产生 train/infer 差异。
### 低成本 A/B
固定同一批 Qwen boundary hidden、动作 target 和 seed,只训练小头:
1. scalar regression;
2. 48-bin distribution,分别使用 median / MAP 解码;
3. 可选 quantile head(P25/P50/P75),仅作为诊断。
评测:时长绝对误差、偏长/偏短率、future-progress 相位误差、motion→idle 接缝误差和闭环动作成功率。不能只比较 duration loss;若分布头时长 MAE 更低但动作相位不改善,就不扩大模型改动。
## 8. 实验 G:动态 source 调度和吞吐
动态 refill 已实现:短 source 在下一个 20-frame semantic boundary 重绑空闲 cache row,尾部 inactive action rows 压缩;它不是为了改变数据分布。后续只做性能消融:
| 设置 | 变量 |
|---|---|
| fixed-longest | 旧的长尾 padding 对照,仅短 smoke |
| dynamic refill | 当前默认 |
| dynamic + precise lookahead | 当前默认长度 lookahead |
记录 step/s、windows/s、data_wait、`optimizer_batch_fill_ratio`、`source_refills_per_second`、`qwen_cache_garbage_ratio`、峰值显存和 loss/事件指标。若 dynamic refill 速度上升而事件/动作指标在置信区间内一致,才作为正式默认;严禁为了吞吐跨 semantic boundary 随意重排 source,避免 KV 语义泄漏。
## 9. 论文级评测矩阵
### 基础闭环
| 任务 | 必报结果 |
|---|---|
| turn-taking | 指令结束→listen/motion latency、动作成功、提前启动率 |
| interruption | 新语音→listen latency、旧动作残留率、新动作成功、过渡误差 |
| Stop | stop-enter latency、stop-stay、false motion reactivation |
| backchannel | motion preservation、false interruption |
| hesitation/pause | premature-action、最终指令成功 |
| SWA | answer accuracy、motion degradation、joint success |
### 必做消融
1. 无历史 KV;
2. 无 RTC(或错误/清空 RTC);
3. 无 future progress;
4. 无 duration head;
5. SWA shared vs independent QA branch;
6. audio-only vs overlay;
7. teacher-forced vs closed-loop history;
8. fixed-longest vs dynamic source refill。
所有消融使用相同的 held-out source、相同动作/音色/背景配对。报告均值、事件级成功率和至少 3 个随机 seed 或 bootstrap 置信区间。
## 10. 存储、并行和停止条件
- 关系表、manifest、QA report 和 metrics 体积应保持在 MB/GB 级;不要预生成每个 overlay 的整套 hidden/body 副本。
- frozen frontend packet 可以 mmap/lru cache;训练 worker 只读 immutable source。GPU 长训前先让 CPU 异步构建 index/cache,避免每次启动重复扫描大目录。
- 模型 inference、render/mux 使用有界异步队列;渲染失败可重试,但不能覆盖 immutable `ckpt_<step>` 目录。
- 若出现 OOM、NCCL 不一致、train/val overlap、answer 回流、SWA motion degradation 超过容差或 stop false reactivation 明显上升,立即停止该实验并保留最小复现 case。
- 每次长训最多保留当前最佳/最近必要 checkpoint;视频只保留固定 GT、闭环 fail case 和评审样例,避免存储再次耗尽。
## 11. 推荐执行顺序
```text
1. 固定当前 audio+独立 SWA baseline,并导出 20 条配对闭环样例
2. 实验 A:几百条 overlay catalog + CPU/4卡短训,先验收时间轴
3. 实验 B:QA/body 梯度隔离 A/B,确认动作不被回答分支带偏
4. 实验 D:输入/输出音频逐样本核对,修复渲染/answer 回流问题
5. 实验 C:按 cohort 分阶段扩到 1k、10k、30k;每阶段固定 val
6. 实验 E/F:只针对已定位的事件或 duration 问题做低成本头部实验
7. 实验 G:确认动态 refill 速度收益不改变数值/事件指标
8. 通过所有 gate 后,才进行八卡 100w 级长训
```
**成功标准不是某一条 loss 最低。** 最终应同时证明:模型能在连续 KV 中正确判断事件、动作/RTC 过渡稳定、Stop 不会无指令复活、backchannel 不会误切换、SWA 回答正确且不破坏身体动作,并且 train/val/推理的时间轴和模态契约逐样本一致。