File size: 14,705 Bytes
fb0074a | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 | # HFD 后续实验设计(初稿)
**文档快照:2026-09-22**
**目标:** 在不破坏已有 audio full-duplex 能力的前提下,把视觉输入/语言回答能力作为条件 overlay 逐步融入五类交互任务,并建立能定位问题的闭环评测。本文是实验计划,不代表已经落地到正式 trainer。
## 0. 当前基线和不可混淆的事实
当前正式代码的基线是:
- 五类任务:`turn-taking`、`interruption`(包含 stop 子类)、`backchannel`、`hesitation`、`pause`;日志可以单独统计 `emergency-stop`,但它不是第六个论文任务;
- 当前 run `hfd.gpus4.2609202242` 训练配置为每卡 B=72、global B=288、125 万 step,train dataset log rows=99,457,trainer dataset size=338,938;
- 当前 SWA source plan 为 73,655 行(train 71,088 / val 1,695 / test 872),`repeat=1`;
- 当前旧 checkpoint 实现仍将 SWA 作为额外 `swa_visual_qa` modality,audio/SWA 不在一个 Qwen cache batch 中混写;这是兼容基线,不是最新任务定义;
- 用户期望的“不要独立列 SWA,而是把视觉+问题+回答 overlay 到所有五类任务”**尚未接入正式 trainer**。任何 overlay 实验都必须保留当前基线作为可复现对照,不能直接覆盖正式 source plan 或训练脚本默认值。
每个实验应记录:代码 commit、`run_config.json`、source plan SHA256、背景 assignment SHA256、数据构造版本、随机种子、可见 GPU、batch/step、W&B run id。没有这些信息,loss 或视频不能作为可靠比较。
## 1. 总体实验原则
1. **先 CPU 小样本,再 GPU 短训,再长训。** 数据/时间轴问题优先在 8–64 条 source 上完成;只有 source、音频、视觉、回答和 split contract 全通过,才占四/八卡。
2. **一次只改一个主要变量。** overlay 比例、QA 分支、音视频时间偏移、任务权重不要在同一个 A/B 同时改变。
3. **闭环优先于 teacher-forcing。** 每个阶段至少用模型自己生成的 10-step flow action、上一窗口的 10 帧 RTC 和自己的 control;teacher-forced loss 只能用作训练诊断。
4. **同一 source 配对。** 对同一 motion、背景、音色和时间轴做 no-question / visual-only / question / backchannel 等条件,报告差分,避免不同动作难度造成假提升。
5. **先看事件级错误,再看平均 loss。** Stop 复活、interruption 延迟、backchannel 误切换和 SWA 动作退化都是稀疏事件;逐窗口平均容易掩盖它们。
6. **任何异常先停扩容。** 发现 source split 泄漏、回答音频回流输入、cache seam 错位、首帧 RTC 错误或 render 时间轴错误时,停止长训并保留失败样本,不能用后处理视频掩盖。
## 2. 实验 A:五类任务的 SWA overlay 数据构造(最高优先级)
### 假设
视觉输入和语言回答如果只作为独立 SWA source,身体分支可能学不到“在每种全双工事件中同时看、听和回答”。把它作为与原 audio source 解耦的可选 overlay,并在 `getitem` 运行时按关系表绑定,理论上可统一论文叙事、减少预先拼接的音频/视频副本,同时不改变原任务的 motion/RTC 标签。
### 数据组织
保留两套不可变数据:
```text
audio source body/action pool # 原五类任务,含连续背景与 RTC
swa catalog + frontend packet pool # body_id、task、split、question、answer、时间偏移
```
新增轻量关系表,每行至少包含:
```text
pair_id, audio_source_id, swa_row_id, task, split,
question_start_frame, question_end_frame,
answer_target, visual_offset, voice_id, seed, policy
```
`getitem` 只根据 `(audio_source_id, task, split, seed)` 确定性查表,读取对应 frozen AV packet;不复制 motion body、不生成 audio×SWA 笛卡尔积。若 packet/body/question 缺失,直接拒绝该行,不静默退回纯 audio。
### 第一轮规模(CPU/小训)
- 先从当前 plan 的 73,655 行中抽取每个 cohort、每个任务各 32 train + 16 val;总量控制在几百行,验证读取、时间戳、问题音频和回答音频。
- 人工抽检每个任务至少 10 条:问题必须落在连续 motion run 内,不能跨 listen/idle;视觉帧和问题音频的相对时间正确;回答 target 只在输出/target,不进入模型麦克风输入。
- 运行 4 卡 500–2,000 steps,只比较:无 overlay 基线、overlay 10%、overlay 75%(按 source/session 计,不按窗口计)。
### 正式比例候选
用户提出的初始策略可写成同一任务内部的条件 mixture:
| 条件 | 含义 | 初始比例 |
|---|---|---:|
| QA overlay | 视觉 + 问题音频 + answer target | 75% |
| visual-only | 视觉输入,无问题/无需回答 | 10% |
| audio-only | 保持原 audio→motion | 15% |
这些是**计划值,不是当前正式配置**。第一轮短训若发现 QA loss 或动作退化集中在某一任务,先按任务设置独立上限(例如每任务 50% QA),再扩大到 75%,不要直接把 75% 乘到全部窗口。
### 主要指标
- audio 任务:动作成功率、control accuracy、事件延迟、RTC 接缝误差;
- Stop:`stop-enter latency`、`stop-stay`、无新指令时 `false_motion_reactivation_rate`;
- interruption:motion→listen 延迟、直接切换率、新动作成功率;
- backchannel:原 motion 保持率、误切 listen/idle 率;
- SWA:answer token accuracy、自由回答 exact/semantic accuracy、`motion_degradation = error_QA - error_no_question`、联合成功率(回答正确且动作保持达标)。
### 通过条件
相对同 seed/audio body 的 no-overlay 对照:SWA 条件的回答可用,同时普通 audio 任务成功率下降不超过预设容差(建议绝对 ≤2 个百分点),动作退化不应只由 renderer/音频 mux 造成;若动作退化明显,先做分支隔离实验 B,不扩大数据。
## 3. 实验 B:身体语义和 QA 语义的梯度隔离
### 假设
当前 `independent_online_lora` 已让 QA private Qwen/KV 与 body Qwen 分离;overlay 接入后仍需验证 body 的 control/action hidden 没被 readiness/answer loss 改写。否则语言回答变好可能以动作不稳定为代价。
### A/B
使用完全相同的 overlay source 和关系表,训练三种设置:
1. `independent_online_lora`(当前预期基线);
2. shared QA/body(仅作诊断,不作为正式默认);
3. independent QA,但让 reply head 反传 body summary(单独定位 readiness 梯度)。
保持 action/control/duration optimizer、batch、step、seed 不变;QA 只改变 branch/梯度边界。
### 观测
- body Qwen 最后 8 层梯度范数和 action/control loss;
- no-question 与 question 条件的动作 degradation;
- answer free decoding、reply readiness precision/recall;
- 同一 checkpoint 的普通音频闭环视频。
预期:独立 branch 允许回答学习而不牺牲身体;若 shared 设置 QA token 更低但 motion degradation 变大,论文中应报告这种 trade-off,而不是只展示回答曲线。
## 4. 实验 C:视觉素材扩量与质量控制
### 候选数据集和准入策略
当前 source plan 已含 VQAv2 static、HoloAssist/Holo observations、Charades、EPIC 等 73,655 行。GQA、NExT-QA、Ego4D 等可作为后续候选,但在下载/许可/音频 frontend/视频时间轴完成前不进入正式训练。
对每个候选数据集先生成 manifest:原始 id、split、媒体路径、帧率/时长、问题/答案、许可、哈希。准入必须通过:
1. train/val/test 视频级去重;
2. 图像/视频可解码、帧时间单调且不越界;
3. 问题音频与视觉时刻一致;
4. 答案不出现在输入 audio/字幕 prompt 中;
5. 人工盲审通过率和异常率记录在 report;
6. 与现有 body/source 关系一对一可追溯。
### 扩量阶梯
```text
阶段 0:每 cohort 32–64 行 CPU 审核
阶段 1:每 cohort 1k–5k 行,四卡 2k steps
阶段 2:累计 10k–30k 行,八卡 20k–50k steps
阶段 3:达到 50k+ 行,才做 100w 级长训
```
每个阶段都保留上一阶段的固定 val subset;不能每次扩数据都换验证集后再声称提升。
## 5. 实验 D:SWA 模态时间轴与输出音频闭环
### 要验证的问题
- 问题开始/结束是否落在 action frame 和 Qwen 20-frame semantic boundary 的合理位置;
- 静态图片是否被错误当作随时间变化的视频;
- answer audio 是否只进入 render mux,而没有回写下一个 Qwen input;
- 回答时身体是否继续使用上一窗口的 RTC,而不是重新从零生成。
### 方法
对同一个 body/source 做 4 条视频:`audio-only`、`visual-only`、`visual+question`、`visual+question+rendered answer`。保存原始 waveform、模型输入 waveform、Qwen update timestamp、control tokens、action chunks、RTC prefix 和最终 mux 音轨;用脚本逐样本对齐。
只有在输入/输出时间轴逐样本一致后,才解释模型质量。若问题音频延迟或回答音频前移,即使动作正确也不算通过。
## 6. 实验 E:Stop/Interruption 的事件级损失与困难负样本
当前正式代码已经有 `stop_enter/stay/release` 控制 loss 和事件指标,但不应直接加大权重。先在同一 checkpoint 做离线事件统计:
- Stop 后无新语音却复活 motion 的比例;
- Stop 生效前后各 3 个 semantic windows 的 control logits/entropy;
- backchannel、背景噪声和短 hesitation 被误判为 Stop/Interruption 的比例。
若错误主要是 Stop→motion 复活:构造同一背景/同一动作的困难负样本,唯一改变是短 backchannel、纯背景或未完成指令;加权应按事件平均,不按静默窗口数累加。候选公式:
```text
L_control_event = L ordinary_control
+ λ_enter L stop_enter
+ λ_stay L stop_stay
+ λ_release L stop_release
```
先 λ=(0.5,1,1) 的当前配方做基线;只有错误率和普通 turn-taking 的回归都稳定后,才试 λ_enter=1 或困难负样本比例 5–10%。
## 7. 实验 F:duration distribution 与 future progress
### 问题
多个 source 可指向同一动作但真实时长不同;单标量回归会把多峰分布平均掉。当前 48-bin log-duration distribution 已实现,但闭环收益未被严格证明。训练知道 GT motion turn 的总长,推理只能从 listen→motion 预测一份计划时长;这仍可能在多轮/截断边界产生 train/infer 差异。
### 低成本 A/B
固定同一批 Qwen boundary hidden、动作 target 和 seed,只训练小头:
1. scalar regression;
2. 48-bin distribution,分别使用 median / MAP 解码;
3. 可选 quantile head(P25/P50/P75),仅作为诊断。
评测:时长绝对误差、偏长/偏短率、future-progress 相位误差、motion→idle 接缝误差和闭环动作成功率。不能只比较 duration loss;若分布头时长 MAE 更低但动作相位不改善,就不扩大模型改动。
## 8. 实验 G:动态 source 调度和吞吐
动态 refill 已实现:短 source 在下一个 20-frame semantic boundary 重绑空闲 cache row,尾部 inactive action rows 压缩;它不是为了改变数据分布。后续只做性能消融:
| 设置 | 变量 |
|---|---|
| fixed-longest | 旧的长尾 padding 对照,仅短 smoke |
| dynamic refill | 当前默认 |
| dynamic + precise lookahead | 当前默认长度 lookahead |
记录 step/s、windows/s、data_wait、`optimizer_batch_fill_ratio`、`source_refills_per_second`、`qwen_cache_garbage_ratio`、峰值显存和 loss/事件指标。若 dynamic refill 速度上升而事件/动作指标在置信区间内一致,才作为正式默认;严禁为了吞吐跨 semantic boundary 随意重排 source,避免 KV 语义泄漏。
## 9. 论文级评测矩阵
### 基础闭环
| 任务 | 必报结果 |
|---|---|
| turn-taking | 指令结束→listen/motion latency、动作成功、提前启动率 |
| interruption | 新语音→listen latency、旧动作残留率、新动作成功、过渡误差 |
| Stop | stop-enter latency、stop-stay、false motion reactivation |
| backchannel | motion preservation、false interruption |
| hesitation/pause | premature-action、最终指令成功 |
| SWA | answer accuracy、motion degradation、joint success |
### 必做消融
1. 无历史 KV;
2. 无 RTC(或错误/清空 RTC);
3. 无 future progress;
4. 无 duration head;
5. SWA shared vs independent QA branch;
6. audio-only vs overlay;
7. teacher-forced vs closed-loop history;
8. fixed-longest vs dynamic source refill。
所有消融使用相同的 held-out source、相同动作/音色/背景配对。报告均值、事件级成功率和至少 3 个随机 seed 或 bootstrap 置信区间。
## 10. 存储、并行和停止条件
- 关系表、manifest、QA report 和 metrics 体积应保持在 MB/GB 级;不要预生成每个 overlay 的整套 hidden/body 副本。
- frozen frontend packet 可以 mmap/lru cache;训练 worker 只读 immutable source。GPU 长训前先让 CPU 异步构建 index/cache,避免每次启动重复扫描大目录。
- 模型 inference、render/mux 使用有界异步队列;渲染失败可重试,但不能覆盖 immutable `ckpt_<step>` 目录。
- 若出现 OOM、NCCL 不一致、train/val overlap、answer 回流、SWA motion degradation 超过容差或 stop false reactivation 明显上升,立即停止该实验并保留最小复现 case。
- 每次长训最多保留当前最佳/最近必要 checkpoint;视频只保留固定 GT、闭环 fail case 和评审样例,避免存储再次耗尽。
## 11. 推荐执行顺序
```text
1. 固定当前 audio+独立 SWA baseline,并导出 20 条配对闭环样例
2. 实验 A:几百条 overlay catalog + CPU/4卡短训,先验收时间轴
3. 实验 B:QA/body 梯度隔离 A/B,确认动作不被回答分支带偏
4. 实验 D:输入/输出音频逐样本核对,修复渲染/answer 回流问题
5. 实验 C:按 cohort 分阶段扩到 1k、10k、30k;每阶段固定 val
6. 实验 E/F:只针对已定位的事件或 duration 问题做低成本头部实验
7. 实验 G:确认动态 refill 速度收益不改变数值/事件指标
8. 通过所有 gate 后,才进行八卡 100w 级长训
```
**成功标准不是某一条 loss 最低。** 最终应同时证明:模型能在连续 KV 中正确判断事件、动作/RTC 过渡稳定、Stop 不会无指令复活、backchannel 不会误切换、SWA 回答正确且不破坏身体动作,并且 train/val/推理的时间轴和模态契约逐样本一致。
|