code-HFD / doc /EXPERIMENT.md
Tinghong-Ye22's picture
Add files using upload-large-folder tool
5d9f970 verified
|
Raw History Blame Contribute Delete
75.6 kB
## 2610042115 — 共享 Thinker 架构:事实核查与隔离可行性实验
### 261005 — 七条主路线短训收尾(最终表优先于下方历史进度)
**范围**:七条路线均已完成32,000次优化和每条12个完整session闭环;A1一个seed,其余两个seed。6 train/6 val、静态图片、英文单音色、B=2;每次长跑62,752有效行窗口、474 QA目标token、219次QA更新。是真实素材上的合成问答叠加测试,不是完整生产数据实验。正式模型/训练脚本未替换。
#### 闭环结果:没有“全面胜出”的架构
关节误差按真实麦克风时间的重叠区间计算,各source先计算再平均;两seed均值±样本标准差,越小越好。不同seed只有两次,不能据此声称统计显著或等效。
| 路线 | 实际设计 | val关节RMSE(rad) | 训练峰值显存(GiB) |
|---|---|---:|---:|
| A0 dual | 两个独立完整Thinker | 0.27287±0.00605 | 34.290 |
| A1 shared_prefix | 前28冻结层共享一次计算,后8层与KV独立 | 0.28053(seed1912单次) | 29.690 |
| A2 shared_av | 一个AV Thinker;回答读共享KV,回答梯度不改身体基座 | 0.27112±0.00470 | 28.546 |
| A3 shared_av_joint | 与A2相同前向,回答梯度共同更新共享尾层 | 0.26989±0.00151 | 28.546 |
| B1 readout cross | 两Thinker在输出侧双向读取对方语义 | 0.26843±0.00265 | 34.351 |
| B1 tail cross | 第34层内额外cross softmax | 0.26856±0.00153 | 约34.34 |
| B2 joint | 第34层内self+跨路token一次联合softmax | 0.27324±0.01127 | 34.290 |
- **A2明确减少峰值显存16.75%**(34.290→28.546GiB),独立权重存储少6.328GiB。动作误差同量级但并非所有指标更好,不可称完全无损。
- **A3不是全面改善**:相对A2,两seed的root-XYZ误差下降10.15%/15.76%,yaw误差却都增加;控制/关节指标有好有坏,QA正确数未提高。不能只挑位置误差宣布联合梯度成功。
- **cross/joint连接的实际贡献未证明**:同一已训模型推理时关闭连接后,变化很小、方向不一致;tail相对readout的位置优势大部分仍在。说明不能把优势归功于当前跨路信息,亦不能排除训练历史效应或否定其他cross设计。
- **问答没有架构性提升证据**:已完成的双seed路线训练集6/6;val在GT问题边界诊断为3/6,模型自行决定回答时为2/6。必须区分“给正确时机能回答”和“自己正确时机回答”。小数据训练饱和不代表泛化改善。
- 渲染与GT对照仍可见动作明显偏离,不能用训练loss低或方案之间相近,宣传动作已好/不受干扰。小集32k也不能代表现有百万步正式模型水平。
#### 保守工程候选与后续选择
A1在真实已训ckpt_1250000的两条完整闭环上动作/control/reply/QA逐位相等,参数别名节省4.599GiB;本轮长训实际复用1,607对AV前缀、跳过44,996次重复层计算,无记录的AV配对fallback。218/219次body/QA bypass是非配对文本调用,不是前缀复用失败。长训后数值仍需按完整结果比较,不能从固定权重等价推导长训轨迹必然逐位相等;DDP/FSDP未验收。
建议:若优先小改动,进一步验证A1的多卡兼容性;若优先一个共享语义模型,A2是更值得扩大验证的候选。A3保留为优化取舍实验;目前不为论文形式强行增加cross/joint,更不直接切换正式长训。
A1最终单seed比较:相对dual1912,关节RMSE 0.277155→0.280526rad(+1.22%),XYZ 1.175234→1.185151m(+0.84%),yaw 15.7647→16.5528°,控制准确率78.3883%→77.2894%;两种QA正确数分别保持3/6和2/6。峰值显存下降13.41%。step1相同、step50已微小分叉,早于首次QA更新;不能把固定权重前缀等价写成长训效果严格不变。
#### 可信度、未完成项与复现
最终顺序测速(seed1904,GPU0,三组各2000训练步/B2):进程祖先链与GPU占用检查全程观测通过,三组工作量签名一致,各3956有效窗口、12次QA更新、27目标token。预热后step1000→2000:dual **15.822 step/s**,A1 **16.580 step/s(+4.79%)**,A2 **17.210 step/s(+8.77%)**;完整2000步有效窗口速度分别31.435/32.922/34.059窗口/s。仅一次重复、小batch、GPU独占而CPU/存储共享,不推广为正式大batch/多卡吞吐收益;A3/cross/joint没有同条件独占速度结论。回执为隔离区`benchmark_isolated_status.json`,`all_three_workload_and_observed_isolation_match=true`。
- 原始训练配对指标和麦克风时钟指标均保留;两者有0.38秒固定数据/窗口配对差,不做拟合时间平移、不补帧评分,不称实测计算延迟。
- seed1912为同harness主配对;seed1911旧dual的harness正文未归档,不能冒称两seed都字节相同。tail是受约束派生harness,只作补充比较,非单独attention位置的因果实验。
- A2/A3首次QA更新为step361,但step50已有微小数值分叉;没有完整逐draw RNG指纹,不能把后续差异完全归因于QA梯度。A3的QA梯度与body合并裁剪,不是独立裁剪的QA语义作用。
- 尚未做:独立训练的单向/打乱消息/等容量对照、完整双Qwen跨路反传、原生Talker语音、动态视频、全库/八音色/多卡DDP。不能称最初所有潜在消融均完成。
- 独立同家族Type-A审阅结论WARN,没有新增FAIL级硬伤;不是跨家族认证。专项CPU回归 **269 passed、4 subtests passed**,不冒充正式全项目测试。
- 性能看上述单卡顺序复测;先前并跑墙钟不用于加速结论。seed1902/1903隔离检查未通过,回执原样留存,未追改为通过;seed1904另行完成并留有进程树/GPU隔离快照。
- 原始代码、训练/评估/姿态/审核/渲染都在 `hfd_experiments/architecture_2610042115`;统一比较为 `completed_comparison.json`,审核原文在 `.aris/traces/experiment-audit/2026-10-04_run01/`。正式库只更新原有记录。
- 对照视频:`reviews/seed_1911/dual/val/02_turn-taking/gt_comparison.mp4` 与各路线同位置 `model_comparison.mp4`;左图是视觉QA输入,不是动作示范;只有原输入声音,未生成/验证机器人回答声音。软件EGL走CPU,非物理稳定性仿真。
- 00:49收尾:16视频ffprobe通过,19组sidecar共228条时钟记录,原指标/动作hash无变化;所有实验/渲染退出。临时watcher最初继承空CUDA环境,占卡并未真正启动,已修为显式Python/CUDA范围并核实存活worker(15测试通过),前三卡实际54%/55%/55%,第四卡未动。
### 补全原计划:共享前缀、联合梯度与真正层内cross(23:52执行更新)
本节是当前状态;下面22:18/23:11等段落保留当时的历史进度,不表示新臂仍未启动。
| 路线 | 已核验的实际执行 | 结论边界 |
|---|---|---|
| A0独立双Qwen | 两seed均完成32k及各12条闭环 | 可行性基线,不代表正式全库模型质量 |
| A1仅共享冻结前28层 | CPU 20 tests/4 subtests;实卡1000步、50次前缀复用、1400层重复计算跳过;seed1912的32k已启动 | 峰值29.551GiB;只验证单进程prepare后alias,不宣称DDP/FSDP支持或长训已完成 |
| A2完整共享AV、回答梯度隔离 | 两seed均完成32k和各12条闭环 | 动作误差接近A0,问答正确数相同;没有统计显著优胜结论 |
| A3完整共享AV、回答梯度联合 | 原Trainer更新段/19步detach与clip测试;实卡1000步通过,两seed32k正在跑 | QA梯度合入body后统一clip,不能称独立裁剪QA对body的那部分梯度 |
| B1-readout双向cross | 两seed均完成32k、各12条闭环及12条gate-off | 是读出层协作,不冒充Qwen层内cross |
| B1-tail真正层内cross | 第34层self-attention后、原MLP前独立cross-softmax;实卡1000步通过,两seed32k正在跑 | 对方当前因果AV token detach;与readout同为4,194,306新增参数,但AV/KV和文本作用范围也改变,不是仅位置单因素 |
| B2真正层内joint | 第34层一次联合softmax;seed1911完整完成,seed1912在跑 | 同模型gate-off是前向诊断,不替代独立训练的等容量对照 |
- 新A3预检:1000步/1989有效行窗口/6次QA更新,峰值28.326GiB;tail-cross相同监督量、50对AV更新/100次cross softmax,峰值34.205GiB。预检没有闭环评估,不把complete误解成质量验收。
- 已完成A0/A2两seed的held-out、真实麦克风时钟对齐关节RMSE均值/样本标准差分别为 **0.27287±0.00605 / 0.27112±0.00470 rad**;每seed都为GT边界自由回答3/6、模型自主正确回答2/6。A2峰值约34.29→28.55GiB,约少17%;XY误差一seed较好、另一seed较差,不能挑单指标宣称更优。这些闭环本身仍有明显轨迹误差,不把接近baseline叫动作已高质量。
- 首seed的readout/joint开关连接后,控制及问答离散得分未变、动作误差只有很小且混合的变化;尚未证明连接带来实际收益。单向通信、打乱对方消息、等容量只读自己、双Qwen跨路反传仍未完成,不称原论文级消融全做完。
- 完整性复核:新增比较器/内部cross/受限AST入口/前缀Trainer/守护测试合计 **91 passed**。tail入口只做受限可逆AST派生并独立核验,不修改正在运行的主harness;其结果永远标为派生harness补充,不冒称与A0字节一致。
- 独立上下文审阅为gpt-5.6-sol xhigh、同家族Type-A,整体WARN;没有发现致命实现错误或答案/未来泄漏,但不是跨家族认证。真实动作和GQA组件拼成“插入问答而保持原动作”的合成代理目标,可比较动作保真/不干扰,不能据此宣称视觉指导动作或真实人类问答动作GT。
- 同数据/hash/监督计数只是协议对齐,非逐位确定性:A0/A2训练前期已有微小数值差异、最终292/294个body指纹不同;没有保存每次随机draw指纹,因此不把小幅差值强归因于结构。质量结果同时保留原训练配对指标与无补帧/无拟合平移的时钟指标。
- GPU0/1/2最多各两组,GPU3不动。补接只读终态守护,所有试验退出并再次核实无他人进程后才恢复原前三卡占卡;不杀长跑。计划补独占GPU顺序测速,尚无可靠架构提速倍数。所有临时代码、审计原文和视频仍在隔离区,正式模型/训练/推理不改。
### 23:11 原计划覆盖核对(用户要求继续,不以四组代替全部计划)
| 路线 | 当前实际完成范围 | 尚缺什么 |
|---|---|---|
| A0 独立双Thinker | seed1911完成32000步及12条闭环;seed1912在训 | 配对质量汇总 |
| A1 共享冻结前28层 | CPU输出/KV/梯度测试;已训ckpt两条完整session输出逐位一致 | 尚无完整长训吞吐基准,不冒称全量质量验收 |
| A2 共享完整AV、回答梯度隔离 | 两seed同条件32000步在跑;1000步GPU预检通过 | 同条件闭环质量和自主回答比较 |
| A3 共享完整AV、回答联合更新 | 原型/微型梯度测试已有;补审正式Trainer单次backward、跨窗detach和参数组clip | 补GPU预检后排32000步,优先seed1912;尚未启动,不能称已测 |
| B1-readout 双向cross | 两seed在跑;只桥接动作条件和QA文本读出,不改control/duration | 不是最初规划的Qwen尾层内部cross |
| B2 双Qwen层内joint | 第34层真正联合softmax,单窗最多32个跨路token;16项微型测试和GPU预检通过;seed1911在跑、1912排队 | 配对闭环质量、连接关闭诊断 |
| 判别性消融 | B1/B2训练完自动做同一模型gate-off,重新建立空KV | 单向连接、打乱对方消息、等参数只读自己、双Qwen跨路反传、尾层内部cross仍未完成,不能说原计划全做完 |
- 三张授权卡各最多两个真实训练进程(计入CPU加载预占),实测约86%~90%利用率;第四卡不动。新增A3先过真实GPU短训,再并行跑;不为赶截止杀正在运行的有效试验。01:00是首轮结论目标,不是全部论文消融验收承诺。
- 当前四臂GPU smoke同为seed1901、1000步、1989有效行窗口、6次QA更新;shared_av峰值34.150→28.326GiB,独立权重存储减少6.328GiB。不同臂共跑负载不同,不能用墙钟直接宣传架构提速;更不能仅凭省显存选优。
- 结果完整性:seed1911的dual启动后harness添加过joint专用分支,旧harness全文未另存,因此该seed不能冒称字节一致。seed1912将作为相同harness的主配对,数据/正式snapshot/来源顺序/有效窗口/QA更新和flow RNG计数另行核验。flow专用发生器固定1911,全局每case另设8192+i,两者不是同一随机流;没有逐draw随机状态指纹。
- 评估口径核查:真实30条源、1351个语义窗口证实,原轨迹指标对应训练配对GT[20k+1:];按音频包available时间重放则有0.38秒固定时钟差。保留原指标,另对真实重叠区间计算clock指标,不补帧、不拟合平移,不把逻辑时间差叫实测延迟。本轮不改训练/推理几何。
- 仅临时reviews输出对照视频,左原视觉、右机器人,分别标注自主回答文本与GT边界诊断文本;没有测试/合成原生回答声音。当前容器只有软件EGL,渲染实际走CPU,不虚称GPU渲染。动态视频、中文/八音色、完整Talker和全库泛化均未验收。
- 监控修正仅影响外部试验队列:共享盘短暂ESTALE/EIO重试,不将读回执失败误当训练失败;旧监控进程独立交接,训练子进程未停。数据GPU核验3910回执已结束,最终准入仍未完成,不称数据已训练可用。
### 已确认的事实
- 当前正式实现确实在同一 AV embedding 后执行两套完整 36 层 Thinker。身体分支冻结前 28 层、训练后 8 层和 final norm;回答分支冻结原始 Qwen,只训练后 8 层 rank=16 LoRA。共享的是音画前端,不是高层语义计算;回答不回写动作。
- 旧 SWA KEEP 实验的 QA 初始化还加载过当时已训身体的 Qwen 尾层;当前 QA 从原始 Qwen 初始化。不能把旧报告当成当前实现的同权重对照。
- 两模块不等于“不是端到端”,但本项目目前不宜声称“所有音画编码、回答和动作参数完全联合训练”。真正需要回答的是:重复理解是否必要、共享后是否伤动作,以及真实并发成本。
### 论文依据与可辩护的研究问题
[Qwen2.5-Omni 技术报告](https://arxiv.org/html/2503.20215v1) 是 Thinker 高层表示和文本 embedding 传给 Talker,不是输入端两个独立理解器。[π0(RSS 2025)](https://www.roboticsproceedings.org/rss21/p010.html) 是不同专家权重在 Transformer attention 内交互;[π0.5(CoRL 2025)](https://proceedings.mlr.press/v305/black25a.html) 也保留任务专家。[Knowledge Insulating VLA(NeurIPS 2025)](https://papers.nips.cc/paper_files/paper/2025/hash/94e936034d12bcd04834ec2773f02aff-Abstract-Conference.html) 则说明隔离动作梯度有研究依据,但不能把简单 detach 冒称完整复现其方法。
拟验证的命题是“共享流式视听记忆 + 专用输出,能否改善动作—回答—成本的权衡”。不以新加 cross-attention/mask/LoRA 本身冒称创新,也不预设共享一定更好。
### 已实现的四组(全部仅在临时实验区)
| 组别 | 真正改变的内容 | 验证目的 |
|---|---|---|
| A0 dual | 当前双 Thinker | 实质基线,不弱化 |
| A1 shared_prefix | 相同冻结前 28 层参数共享、AV 前向只算一次;后 8 层/KV 独立 | 尽量无损去掉重复计算,先做严格等价 |
| A2 shared_av | 36 层 AV 只算一次;动作读公共语义;回答文本读取同一 AV KV,只有文本续写启用 LoRA;回答对公共权重/KV stop-gradient | 更深共享能否保住动作和问答 |
| A3 shared_av_joint | 与 A2 同前向,允许回答 loss 经当前 AV 和文本基座回传身体后 8 层及 norm | 与 A2 对照回答梯度的收益/冲突 |
A0→A2 同时改变 QA 基座更新轨迹、LoRA 作用范围,属于系统方案比较,不是纯“共享计算”因果消融。A2→A3 才主要比较梯度路径。A1 在历史/位置/mask/参数不相同情况下回退双算;严禁把不同权重的 KV 直接当等价缓存。所有文本解码都用私有快照,GT 答案不写入动作 AV 历史。
### 数据、预算与验收
- 复用旧训练实料 `hfd_experiments/overlay_260923/{train,val}_sources.pt`;24 训练候选中按任务各选最短完整 QA source,共 6 train;6 val。任务为 turn-taking/interruption/stop/backchannel/hesitation/pause。source ID、motion row ID 和视觉媒体均跨 split 分开。
- 同 seed=1911、B=2、32000 optimizer steps、相同正式 Trainer/loss/stride1/Qwen stride20/动态补 source;从相同原始 Qwen、随机动作头和零 LoRA 起步,不混用旧 Adam。CPU 实际 slot planner 核实每轮2629次优化、5154有效行窗口;原拟6000步只有约39次QA更新,未完成40次QA预热,故扩到至少200次QA更新后才比较可行性。
- A1 单独加载当前 `hfd.gpus3.2610010320/ckpt_1250000`,两条完整真实闭环对比;不拿随机模型等价代替真实 checkpoint 检查。所有dual/A1结束后,再做A2冷迁移:动作/control应保持,QA改变只记录而不要求相等;此项不冒充A2训后结果。
- 动作均用正式 10-step solver、生成 RTC 历史;记录关节/XYZ/旋转/速度/加速度误差、控制混淆、回答 loss/自由文本。分别记录 GT 提问边界解码和模型自行触发解码,不能混为端到端 QA。原生语音合成尚未测。
- 对照 source 顺序 hash、有效窗口、QA token/实际更新数和LR、flow RNG draw、body参数摘要;记录独立参数/权重字节/跨所有source池累计峰值显存/墙钟时间/实际 AV 调用数,不把理论层数减少称实测训练提速。
- 小集只有静态 GQA 和 female_01_en,一 seed,仅做架构可行性筛选;不证明动态视频、中文、八音色或全库泛化。未盲测前不选“最优架构”,有希望再扩种子/未见条件和闭环视频。
### 当前证据(22:18更新;长跑尚未完成)
- 26 个真实微型 Qwen CPU 测试通过,另 4 个 subtests:前缀输出/KV/梯度严格相等;独立 source reset、历史裁剪、私有解码、防 GT/未来污染、梯度隔离/联合、优化器归属通过。
- 真实ckpt_1250000两条完整session(34/36个音画窗口)检查通过:A1共享前缀后动作、control、reply、QA轨迹逐位一致,动作最大差0;前28层确实只算一次,参数存储减少4,938,641,408 bytes。双模型/共享前缀整条耗时分别6.55/5.44秒、5.76/5.66秒;样本少且含冷启动,不能当稳定训练提速率。
- A2已训权重冷迁移:两条动作/control/reply仍一致,自由回答仍为toilet/cheese,但QA逐token loss从0.00229/0.000442变为0.525/0.00351。说明动作可保留,不代表回答完全无损,更不是A2训练后结论。
- A0真实1000-step预检完成:71.04秒、1989有效行窗口、6次QA更新、12答案token,累计峰值34.15GiB;无NaN/OOM。A0同条件32000步已在GPU1启动。这里只是6条session的可行性测试,不拿小batch的step/s代替正式全库吞吐。
- 按用户三小时优先级,改用逐卡交接:当时数据审核余量约3/28/31分钟,未超过一小时,因此不打断;GPU1先释放先跑,其余卡完成后各跑shared_av/coupled_cross,分别smoke成功即长跑,不设置全组等待屏障。目标北京时间10月5日01:00前第一轮结论,不承诺找到全局最优。
- 临时工作目录:`hfd_experiments/architecture_2610042115`。新入口`supervise_priority.py`、进度`priority_status.json`;代码/输入hash和原始指标保留在该目录。不创建WandB曲线,不写正式训练代码/数据/权重,GPU3不动。合并CPU检查为39 passed、4 subtests passed。
- 并行数据审核 21:10 因连续原始格式错误熔断;核对是证据列表超长为主,不是 OOM。保留 2956 条原回执、原冻结参数续跑其余 954 条,CPU 规范化 watcher 同步恢复;未放宽语义审核或准入。
### 2610042155补充 — 双Thinker的因果高层协作
用户明确要求把cross-attention/joint-attention作为独立路线;上一轮只覆盖共享骨干,确实遗漏。架构设计、机制解释和有启发性的学术表述是研究本身,不应概括为“花哨包装”。两条路线并列验证,不预设单骨干更好。
**问题与假设**:独立专家能保留各自能力,但缺少高层交流;受控的因果交流可能比完全隔离或完全共享更兼顾动作与回答。支持假设需要动作/回答的闭环质量与时延证据,而不是仅有连接示意图。
| 对照 | 具体机制 | 当前状态 |
|---|---|---|
| B0 | 当前独立双Qwen,复用A0 | 已有基线入口,GPU未开始 |
| B1:双向门控cross-attention | 在尾部少数层,双方用自己的hidden作query,从对方“已接收音画”的hidden读取key/value;各自self-attention/FFN/KV保留 | 待实现,优先 |
| B1消融 | 只保留QA语义→动作语义、只保留动作语义→QA语义;先隔离对方梯度,再单独比较允许跨分支梯度 | 待实现,判定哪条交流有效 |
| B2:稀疏joint-attention | 尾部少数层让每一路query同时关注两路已可见的key/value;保留专家自己的参数/FFN,使用分块时间与source mask | 待实现;B1预检后再投入 |
| A2/A3 | 同一AV Thinker、文本LoRA,隔离/联合回答梯度 | 已有临时原型,非双Qwen joint-attention |
**实现边界**:
- B1候选交流点为36层模型的尾部第32/35层之后,在后续层之前融合;两路先得到同一交流点的未融合表示,再同时交换,避免“先算哪一路”制造额外信息优势。不能仅在最后挂一个不影响QA logits的读出层却声称实现双向交流。
- 第一版只交换音画观测得到的语义,不交换GT答案、QA教师强制文本或尚未生成的动作;QA文本续写只能使用自己的私有缓存。
- 对齐真实可用时间,不靠两个cache的数组下标碰巧相同;仅可读取同source、提问/决策时刻已可见的内容。source动态补位必须独立重置两路cache及桥接记忆;stride1动作窗口不能读到下次stride20音画更新。
- 跨分支前向传信息,与loss跨分支反传是两件事。先让接收侧学习读取、对发送侧特征stop-gradient,再把梯度耦合作为独立变量。
- B1残差门从0初始化,先保持原功能,再学习使用对方信息;需验证门关闭时严格回到原模型、门能收到非零梯度。此稳定化思路可参考[Flamingo(NeurIPS2022)](https://proceedings.neurips.cc/paper_files/paper/2022/file/960a172bc7fbf0177ccccbb411a7d800-Paper-Conference.pdf),但它是视觉特征到语言的连接,并非直接证明双Qwen更好。
- Joint attention会改变自路与跨路之间的注意力分配;不能把“把跨路value乘0”误当成恢复基线,因为softmax分母仍可能改变。需独立验证自路mask基线,不预设它比cross-attention先进或有效。
**验证顺序与判据**:先微型真实Qwen测因果/复位/梯度/门关闭等价,再已训checkpoint零门迁移,再同一旧数据小训(至少200次实际QA更新)和10步闭环。第一轮1seed只筛可行性,有希望再扩seed和动态视频。保持数据、初始化、真实监督量和评估相同;增加同参数“只读本路”的控制项,并在已训桥接上做关闭/打乱对方消息的干预测试,排除单纯加参数。分别报告动作轨迹/控制事件、回答内容/触发时机、并发延迟/显存;不把单项loss改善当总体成功。
**表述方向**:“因果协作的动作—语言双专家”:专业化保留各自能力,受控语义通信提供协调。若数据中的动作不依赖视觉,不能据此宣称已具备视觉引导操作;这些仍是待验证的假设,尚无B1/B2实现或效果结论。
**22:18实现进展(区分原设计与实际原型)**:三小时首轮先实现B1-readout,而不是冒称上述层内B1:两个独立Qwen各自完成当前AV窗口,动作条件用cross-attention读取QA的AV表示;QA文本最后hidden在lm_head前读取body AV表示,因此两边的loss确实经过各自桥接。对方表示detach,GT/自由回答文本不进入AV;control/duration不桥接。新增cross_action归body优化器,cross_text归独立QA更新钟,两个门从0开始。真实微型Qwen/正式编码器、QA、优化器11项测试通过,验证零门前向等价、门/注意力梯度、动态回填、缓存隔离、未来文本不泄漏。零门不意味着训练轨迹相等:新增门梯度可能影响body全局裁剪比例。长跑后保存门值,并单独执行已训模型gate-off闭环诊断,不把它混成原始A0。真正第34层稀疏joint仍在独立原型验证中;readout结果不能用于宣称层内融合、共享权重/KV、跨路联合反传或算力节省。
## 2608101515 — Qwen 流式语义与原生 KV 能力验证
### 要回答的问题
当前闭环动作效果不理想,可能有两种不同根因:
1. Qwen 在 0.6 秒小窗口中根本没有正确理解语音,导致后面的动作模型无语义可用。
2. Qwen/KV 中已经保留了正确语义,但动作模型没有稳定学会把这份语义映射成对应动作。
本实验只做旁路诊断,不修改训练、推理或 checkpoint,不把解码文本写回正式 KV,也不运行 flow 动作生成。
### 实验对象与生产对齐
- Run:`runs/posttrain_full_duplex/hfd.gpus4.2608101424`
- Checkpoint:`ckpt_19881`,包含当前 action/control、Qwen 最后两层与 final norm 的训练权重。
- 输入严格复用正式链路:16 kHz PCM16、0.6 秒窗口、0.4 秒步长、生产 `streaming_source_prefix_text()`、Qwen 原生 `DynamicCache`,只在完整 source 边界清空。
- 语音使用生产 TTS 原文件和生产 assignment 中的增益,叠加到正式数据池中的连续安静 HVAC 或真实办公室背景;同一 source 从头到尾只使用一条连续背景。
- 六类指令专门覆盖容易混淆的方向与复合语义:向前走并抓取、身前双手挥动、向前走、向右走、向左走、向后走。
- 每类使用全部八个音色(四个英文、四个中文),共 48 条单轮样本。每条先输入两个纯背景窗口,再输入完整混合语音,随后再输入一个连续纯背景窗口。
- 多轮部分使用八条三轮 session,共 24 个 turn;每个 session 的指令顺序轮换,轮间保留 20/30 个背景窗口,整个 session 不刷新 KV。这样可以排除“类别固定等于第几个 turn”的位置泄漏。
### 评价与负对照
- 对 Qwen 最后一个 history-conditioned audio-EOS 表示做跨音色留一的余弦最近类中心分类;测试音色从未参与其类中心计算。
- 另做英训中测、中训英测和“最近的其他音色是否属于同一指令”检索。
- 负对照包括:语音前纯背景、只给最后 0.6 秒且清空历史 KV、以及 200 次按音色独立打乱标签。
- 旁路文本解码只在完整流式 KV 后追加一次只读问题,检查 Qwen 能否直接复述最新动作指令。它证明语义是否存在,但不等价于 action head 已经会使用该语义。
### 结果
| 条件 | 跨音色类中心 | 英→中 / 中→英 | 其他音色最近邻 | 随机机会 |
| --- | ---: | ---: | ---: | ---: |
| 完整 KV,语音最后一窗 | 37.5% | 20.8% / 29.2% | 45.8% | 16.7% |
| 完整 KV,再过一个背景窗 | 41.7% | 20.8% / 12.5% | 56.3% | 16.7% |
| 只看最后一窗、无历史 KV | 20.8% | 25.0% / 16.7% | 20.8% | 16.7% |
| 语音前纯背景 | 16.7% | 16.7% / 16.7% | 16.7% | 16.7% |
- 完整 KV 两项跨音色准确率都超过对应打乱标签分布的 95 分位(25.0% 和 27.1%);背景负对照精确落在随机水平。
- 单轮旁路文本解码 6/6 正确:分别得到“抓取某物”“挥动双手”“Walk forward”“向右走路”“向左走”“向后走路”。这直接说明当前 Qwen 能听懂抓取、挥手和四个方向,而不是完全没有语义能力。
- 去掉历史 KV 后,跨音色分类从 37.5% 降到 20.8%,接近随机;说明 0.6 秒窗口确实不能独立承担完整指令,持续 KV 是必要的,而且当前实现确实在利用历史。
- 多轮原始表示的简单跨音色类中心准确率只有 25.0%(三类随机为 33.3%),不能认为它已经形成稳定、音色无关的“最新指令向量”。多轮最后一句直接复述为 6/8 正确;两次失败都复述成同一 session 较早出现的“抓取”,说明长 KV 中语义仍在,但“当前最新指令”与旧指令的绑定有时会混淆。
### 结论
1. **单轮效果差不能主要归因于 Qwen 完全听不懂。** 当前 checkpoint 的 Qwen/KV 能正确复述六类测试指令,方向和抓取语义都存在。单轮更可疑的瓶颈是“Qwen hidden → action”的监督与映射,而不是 ASR 级理解彻底失败。
2. **KV 不能关,也不能只看当前小窗口。** 无 KV 的最后一窗已接近随机;当前 0.4 秒持续追加原生 KV 的方向是对的。
3. **多轮仍有真实语义风险。** Qwen 没有整体失忆,但会在少数音色下把旧指令当成最新指令。后续若增加语义辅助监督,重点应约束“当前 turn 的最新意图”,而不是只证明历史里存在某条指令。
4. **旁路文本监督有价值,但不应把生成文本接回正式推理链。** 更安全的方案是在训练时仅于语义更新/每轮语音结束处增加一个轻量的最新指令文本或语义对齐 loss,标签可直接来自现有 metadata;推理仍走原来的 Qwen hidden/KV → action,不增加文本生成延迟,也不改变全双工缓存合同。
### 音色策略审计
- 用户提出的策略是合理的:一次 source 内固定音色,下一次遇到同一 motion 时再换音色,可以同时保证时序稳定和扩大同一动作的音色覆盖。
- 当前 `fixed_voice_per_record` 只保证**同一个 primitive turn 内**固定;同一条 motion record 每次重访仍永远使用同一个音色,并不会随 epoch 轮换。
- 对正式训练划分只读审计:99,457 条 primitive record 组成 33,172 条多轮 session,其中只有 1,511 条从头到尾保持同一音色,31,661 条会在 turn 间换人,整段同音色比例仅 4.56%。如果部署语义是同一个用户连续说多轮,这也是一处值得修正的训推分布差异。
- 推荐后续改为:每个完整 session 先确定一个音色/语言身份,所有 turn 固定使用它;同一 motion 在下一 epoch 或下一次采样时按可复现规则轮换。该规则必须同时提供给长度分桶 sampler,并随 checkpoint 恢复 epoch/采样状态,否则会破坏长度估计、八卡负载均衡和完美续训。
### 局限与清理
- 本次只覆盖六类指令、八个音色、两类正式背景和一个 checkpoint;结论足以排除“Qwen 完全听不懂”,但不能替代全指令集评估。
- 余弦类中心只是最低成本探针;Qwen 原始 hidden 不是专门训练的语义 embedding,因此低线性可分性不等于绝对没有信息,文本解码结果需结合判断。
- 多轮探针刻意让一个 session 保持同一说话人,符合目标部署,但与当前大多数训练 session 会换音色的现状不同;该差异已作为独立发现记录。
- 临时脚本、JSON、Python cache 和中间表示在记录数值后全部删除;没有保留 WAV、hidden、模型副本、渲染结果或额外 WandB run。正式代码没有合入任何实验开关。
## 2608101718 — 真实推理 action condition 并行语义解码
### 为什么重做
`2608101515` 的跨音色类中心数值只能回答“原始 hidden 是否含有高于随机的语义信号”,不能当成 Qwen 的听懂准确率。Qwen 的 audio hidden 从未被训练成按动作类别聚类的 embedding,因此 `37.5%/41.7%` 看起来低并不等于只听懂四成;上一实验的多轮复述也没有证明被检查的状态就是动作模型实际消费的状态。本实验直接插入正式多轮推理调用链,在不改正式代码和 KV 的前提下,从动作生成当场使用的 condition 分叉做只读文本解码。
### 与正式推理严格对齐的实现
- Run/权重:`runs/posttrain_full_duplex/hfd.gpus4.2608101424/checkpoints/ckpt_19881`。
- 直接调用正式 `scripts/infer/full_duplex_audio_to_motion.py`,使用正式三轮场景:“向前走并抓取某物”→“双手在身前挥动”→“向左走路”,连续办公室背景、5 个初始 idle 窗口、25/30 个轮间背景窗口、每轮 450 帧动作、10-step flow solver 均不改。
- 在每轮语音结束处截获 `encode_stream_input` 返回的同一个 `FullDuplexStreamCondition`。该 condition 的 `[1,18,2048]` 当前 Qwen hidden 随后确实被 `forward_action_conditioned` 的全部 10 次 flow 求解调用使用。
- 文本旁路先深复制当时的 Qwen `DynamicCache`,再追加一个文本问题:“只复述实时音频中最近听到的最后一条机器人动作指令”。使用 checkpoint 自带的 Qwen LM head 贪心生成;同时 teacher-force 三个候选答案并计算平均 token log-prob,避免只凭一个贪心字符串下结论。
- 每次旁路前后校验正式 KV 的长度、attention、首层 K/V 形状和数值签名完全不变;解码文本不写回动作 condition、正式 KV 或后续推理。
- 负对照使用完全相同的正式音频窗口和 prompt,但在每轮开始前清空一份影子 KV,只保留当前轮语音。它用于区分“当前语音本身听不懂”和“长历史把新旧指令混淆”。
### 结果
| 轮次 | 目标 | 完整生产 KV 解码 / 候选最优 | 仅当前轮 KV 解码 / 候选最优 |
| --- | --- | --- | --- |
| 1 | 向前走并抓取 | 向前走并抓取 / 抓取 | 向前走并抓取 / 抓取 |
| 2 | 双手挥动 | **向前走并抓取 / 抓取** | 双手挥动 / 挥动 |
| 3 | 向左走 | **向前走并抓取 / 抓取** | 向左走 / 向左 |
- 第二轮完整 KV 的平均 token log-prob:抓取 `-0.246`、挥动 `-0.409`、向左 `-4.966`;清空旧轮历史后变为抓取 `-4.969`、挥动 `-0.186`、向左 `-6.877`。
- 第三轮完整 KV:抓取 `-0.245`、挥动 `-0.664`、向左 `-1.677`;仅当前轮时变为抓取 `-3.985`、挥动 `-4.228`、向左 `-0.737`。
- 完整 rollout 共更新 Qwen/KV 101 次、生成 2020 帧;三次被检查的正式 condition 均由 10 次 action flow 调用消费,旁路检查均确认生产 KV 未改变。
### 结论与边界
1. `37.5%/41.7%` 不是分类准确率意义上的“听懂率”,只能作为高于负对照的弱证据;以后不再单独用它判断 Qwen 能力。
2. 当前三条语音单独都能被同一个 Qwen 正确复述,说明第二、三条输入本身有效;但完整连续 KV 在后两轮强烈偏向第一条“抓取”,证明存在真实的“旧指令抢占最新指令”问题。
3. 该问题发生在动作模型实际使用的同一 condition 上,不是另造输入得到的旁路假象;但文本 LM head 与 action head 的读出方式不同,因此它定位的是 Qwen/KV 的最新意图绑定风险,不能单独等价为动作一定输出第一条指令。
4. 本轮只做诊断,不把文本生成并入正式推理。后续若做训练优化,应在每轮语音边界加入“最新指令”辅助监督或显式 turn/recency 表示,而不是把慢速文本解码串进实时动作链。
### 数据侧同步发现与验证
- 正式语义版本 17 将同一 session 的全部 2~4 轮固定为同一个说话人和语言,消除旧数据中约 `95.45%` session 中途换人的伪分布。
- 训练集建立两个静态 voice/session variant:每条 primitive motion 在一个 epoch 内恰好出现两次,使用两个不同音色,并分别进入独立随机邻居组合;验证集仍只出现一次。这样数据量是 `2×`,而不是激进扩成八音色的 `8×`。
- 全量真实清单审计:train 为 `99,457` 条 primitive、`198,914` 次使用、`66,241` 条 session;所有 primitive 都恰好两次且两个音色不同,混音色 session 为 `0`。val 为 `11,389` 条 primitive、`3,790` 条 session,每条恰好一次,混音色 session 同样为 `0`;没有长度/context/background 过滤导致漏样本。
- variant 在 dataset 初始化时静态确定并写入 checkpoint 训练/推理合同,不依赖 persistent DataLoader worker 收不到的动态 epoch 状态,因此长度分桶、DDP 对齐和完美续训可复现。旧语义版本 16 的数据和合同保持不变。
### 清理
实验脚本、JSON、日志、动作 CSV/NPY、临时音频和 Python cache 在记录上述结果后删除;未创建额外 WandB run,未修改旧 run/checkpoint,正式代码中没有保留文本解码 hook。
## 2608101857 — 最新指令文本监督标签与训练旁路验证
### 目的与约束
上一项真实生产-KV 探针表明,多轮历史中的旧指令可能压过最新指令。本实验验证能否在不改变实时推理、不引入 VAD、也不污染生产 KV 的前提下,于每轮语音结束后的因果 `listen → motion` 边界增加一次“最新指令精确文本”辅助监督。
### 标签来源审计
- TTS manifest:`/cpfs01/users/buwendong/code/qwen3-tts/metadata.jsonl`,共 142,220 行、5,220 个唯一音频目录。
- TTS 生成脚本明确使用 `content_short_description` 生成 `*_en.wav`,使用 `content_short_description_zh` 生成 `*_zh.wav`;因此目标文本按当前 session 实际选中的音色后缀选择,而不是把中文语音错误监督成英文。
- 142,220 个 filename 均能在 Seed motion metadata 中找到;英文原文仅有 214 条尾部空格差异,执行 `.strip()` 后为 `142,220 / 142,220` 精确一致。同一音频目录不存在冲突的中英文文本对。
- 5,220 个目录的八种音色 WAV 共 `41,760 / 41,760` 全部存在。示例:`000000` 为 `checking whole body / 检查全身`,`000001` 为 `standing with arms crossed / 双臂交叉站立`,`000002` 为 `from drinking while standing to standing / 从站立饮酒到站立`。
- 这里证明的是“WAV 的生成输入文本、训练标签和 motion 配对标签”全量一致;它不能替代逐个 WAV 的人工听检或 100% 无误的声学 ASR。此前生产音频旁路已抽样确认中英文真实音频可被 Qwen 解码,但不把抽样结果冒充全部 41,760 个文件的听写质检。
### 实现与训推边界
- 每轮只在当前音频已进入真实 Qwen KV、并发生 `listen → motion` 控制切换的同一个 Qwen 更新点监督一次;idle、listen 中间帧和 dense action 复用步不产生文本 loss。
- 将当场的 Qwen `DynamicCache` 逐层按有效 batch 行复制到一次性旁路,追加固定查询和精确答案做 teacher forcing。旁路结束即释放,下一窗口继续读取原生产 KV;查询和答案不会进入后续动作历史。
- 冻结 Qwen LM head,只训练项目原本已经开放的 Qwen 尾部两层/final norm。loss 按八卡全局有效文本 token 数取标准均值,避免不同语言 token 长度或各 rank 边界数不同造成权重偏差。
- 用正式 Qwen tokenizer/processor 全量审计:固定查询为 18 token,最长双语目标为 33 token,EOS 为 1 token;首个 0.6 秒窗口占 82 token,后续每窗 17 token,模型上下文为 32,768。版本 18 将 source 上限从 1,923 收紧到 1,919 窗,最坏情况下仍为旁路保留 80 token,覆盖 52-token 查询/答案且不裁剪生产 KV。
- 正式推理没有文本输入、标签或 decoder 调用;合同明确记录 `vad=false`、`inference_text_decoder=false`。本版本只实现这一项辅助 loss,没有同时加入 VAD、显式 turn marker 或双记忆结构。
### 验证结果
- 单测覆盖:中英文标签选择、每轮唯一因果目标、TextOp 变换透传、teacher-forcing mask、旁路 KV 不增长、Qwen 尾层有梯度而冻结 LM head 无梯度、v18 合同与 Shell 默认值。专项结果为 `100 passed, 1 skipped`,完整 `tests/` 为 `118 passed, 1 skipped`;仓库根目录的额外 OpenPI/JAX 测试因该虚拟环境未安装可选 `jax` 而无法收集,与本次 HFD 路径无关。
- 真实 dataset 抽样:8 条记录可构造 2 轮 session,目标数恰为 2,文本边界与 Qwen 更新/时长边界完全重合;四卡首批 source 的目标分别出现在约第 120、160、240、140 个 dense step,证明短测确实越过了监督点。
- 四卡真实训练:batch 1/卡、16 条 source、motion 限 1 step、最多 260 optimizer step;四个 rank 均越过首个文本边界,完整前向、辅助反向、DDP 同步和 checkpoint 保存成功。稳定后约 13.5 step/s,峰值显存约 21.1 GiB/卡,无 OOM、NaN 或死锁。
- 短测目录约 13 GiB,验证 checkpoint 合同后已安全删除;没有创建 WandB 垃圾曲线,GPU 占卡守护已恢复。
### 结论
数据标签和训练旁路满足预期,可以进入正式 v18 对照训练。它直接增强“当前完整 KV → 最新指令文本”的可读性,但是否能改善 grab、方向和多轮动作仍必须由相同步数的闭环推理比较判断;本短测只证明实现正确和可训练,不预先宣称最终动作质量提升。
## 2608121705 — interruption-v1 四卡真实训推 smoke
### 目的
验证语义版本 20 不仅能通过合成单测,还能在真实 Qwen2.5-Omni、真实连续音频、真实动作模型和四卡 DDP 下完成训练、保存、加载及四种闭环推理。该实验只判断工程链路和训推合同,不用 3 step 随机权重评价动作质量。
### 训练配置与结果
- 本机 4×H200,固定 50 条过拟合 source,每卡 2 条并行 source,最多 3 个 optimizer step;保留真实 0.6 秒 waveform、Qwen 原生 KV、39D 动作、30/20/10 RTC 和全部正式 loss,仅把 motion 调试上限设为 20 个语义步并关闭 WandB,避免生成无意义曲线。
- 启动时确认 train/eval 各 50 条且 primitive overlap 为 0;真实 Qwen2.5-Omni-3B、约 5 亿参数 Action Transformer、control/duration/text 辅助路径均成功初始化。
- 三步 loss 约为 `140 → 124 → 117`,稳定约 `4.0 s/step`、`96.5 active windows/s`,峰值显存约 `20.8 GiB/GPU`;四个 rank 完成反向、梯度平均并在合法 source 边界保存 `ckpt_3`,marker 含完整 v20 interruption 合同。
### 四路并行推理
- 用四张 GPU 同时运行 turn-taking/train、turn-taking/val、interruption/train、interruption/val;每张空闲卡从同一队列领取一个 case。
- 为缩短纯链路 smoke,临时设置 2-step flow、10 fps 渲染,并忽略随机 3-step 模型的 control 预测;生产默认仍是 hard control、10-step flow、50 fps。
- 四个 case 均完成 rollout、动作文件、视频渲染、完整连续音轨合成和 `.complete` marker。耗时约为 interruption/train `27.3 s`、interruption/val `40.1 s`、turn-taking/train `40.5 s`、turn-taking/val `53.7 s`。
### smoke 发现并修复的问题
1. v20 合同最初错误继承了 `interruption=false`;已改为真实值并加入合同回归。
2. 两种行为的 action 指标最初读取外层遗留的整条 source `steps`,而不是当前窗口的 `parallel_steps`,可能导致 shape 错误或模式归类错误;已改成当前 batch 元数据并加入生产路径回归。
3. 历史 Bash 样本名因 `echo | tr` 带有尾随下划线,Python 队列最初找不到实际 `.complete`;调度器现在严格复现已有命名,并用测试锁定兼容行为。
### 清理与结论
两次 smoke 的临时 run、checkpoint、视频、音频和 cache 均按明确临时根目录清理,没有写入正式 `runs`,也没有创建 WandB run;GPU 占卡程序已恢复。实验确认 v20 的真实训练、checkpoint 合同和四路动态推理链路可以运行,但收敛质量仍必须由正式八卡长训及固定闭环视频判断。
## 2608140306 — v22 时长概率分布与五窗口累积四卡 smoke
### 目的与配置
- 验证语义版本 22 的纯 Qwen 语义控制、48 桶对数时长概率分布、五个相邻 stride-1 窗口平均更新以及 `75/18/7` 任务混合能在真实四卡 DDP 中训练、保存并严格加载。
- 使用 4×H200、每卡 batch 1、512 条受限 primitive、motion 调试上限 10 个语义步、60 次 optimizer update、关闭 WandB;所有 Qwen waveform/KV、39D 动作、30/20/10 RTC 和正式 loss 路径均保留。
### 结果
- train/validation 构造分别得到 913/226 条受限 session,比例接近 `75/18/7` 且 source 隔离通过。60 次更新正常结束,稳定 source compute 约 `0.32~0.33 s/update`、约 `60~63 dense windows/s`,峰值显存约 `21.1 GiB/GPU`;验证、best checkpoint 和完整恢复状态均保存成功。
- checkpoint 合同确认:语义版本 22、纯语义 control、48 桶 `0.5~180` 秒时长分布、五窗口累积、task variants `4/1/1/0`。正式三轮闭环完成连续 KV、2,020 帧动作、视频渲染和音轨合成。
- 随机短训模型没有自然进入 motion,因此另用只改变控制执行策略的链路探针强制走动作分支;模型从概率分布中解码并冻结中位数为 `420` 原始帧(`8.4` 秒),随后完成 200 帧生成、5 fps 快速渲染和音轨合成。该探针只验证工程数据流,不评价 60-step 权重的动作质量。
- 专项回归最终为 `125 passed, 1 skipped`;Python 编译、Shell/JSON 语法和 `git diff --check` 均通过。没有建立 WandB 曲线。
### 结论与清理
v22 训练、DDP、checkpoint、时长分布解码和完整推理链路均可运行;短 smoke 不提供收敛结论。所有本次临时 run、checkpoint、渲染和失败探针目录在记录结果后统一清理,占卡程序恢复。
## 2608170028 — 单指令单动作数据消融准备与 v22 终点评估
### 目的
- 检查同一句指令对应大量不同 mocap 轨迹是否让动作目标互相平均,尤其影响“`双手在身前挥动`”等长期学不好的动作。
- 只准备可独立启动的 A/B 数据消融,不替换正式训练数据;同时复核 `hfd.gpus8.2608141550` 的 80 万步终点是否正常。
### 筛选方法与数据量
- 在正式多轮安全过滤一致的 `110,846` 条候选上,按精确英文和中文 TTS 文本分组,共得到 `4,246` 组;当前数据中英文文本本身恰好也是 `4,246` 个唯一值。
- 每组优先非镜像原始动作,先取最接近组内中位时长的 8 个候选,再读取真实 50 Hz G1 轨迹,以关节 jerk、根节点加速度、朝向角加速度、结束速度和运动强度代表性联合排序。该方法避免只选最短、最慢或文件名最靠前的动作。
- 原始候选 `110,846 → 4,246`,删除 `106,600`、保留率 `3.8305%`。以正式 v22 配置真实重建后,train 为 `3,828` primitive、`6,823` session;val 为 `418` primitive、`179` session。对照原正式数据分别为 train `99,457/176,563`、val `11,389/5,042`。
- 中文侧另有 `123` 个完全相同的句子对应多个不同英文命令,典型是快/慢/开始被翻成同一句。消融版对这些记录只保留无歧义英文音色,避免中文仍然一对多;没有删除 WAV 或 motion。
- “`wave two hands in front / 双手在身前挥动`”共有 4 条(2 条原始、2 条镜像)。选择结果为 `wave_two_hands_R_001__A533`;其关节 jerk p99 为 `0.0950`、关节加速度 RMS 约 `0.00812`,均优于 002 的约 `0.1399/0.01169`。
### 80 万步正式 run 终点
- Run:`runs/posttrain_full_duplex/hfd.gpus8.2608141550`,WandB run `t91ohnza`,正常完成 `800,000` step,无 NaN、OOM 或中途退出。
- 终点 train/eval loss 分别约 `0.963/1.612`,eval action loss `0.654`,eval control accuracy `87.90%`,其中 turn-taking `87.60%`、interruption `90.81%`;最新指令 token accuracy `81.72%`,时长 MAE 约 `3.38 s`。
- 固定闭环中,train turn-taking 的三轮状态顺序正确;val turn-taking 在背景段出现一次短暂 motion 误触发。interruption 能进入 listen 并切换新动作,但 val 仍有一次 `idle → motion → listen` 绕路。
- Stop train 样例能停止并响应后续新指令;Stop val 样例在约 `8.0 s` 进入 idle 后,于约 `12.8 s` 在没有新语音时错误恢复 motion,持续到约 `18.0 s`。因此逐窗口 control accuracy 较高仍不能证明 Stop 已稳定保持。
### 结论与实验边界
1. 单指令单动作确实彻底去除了同一英文指令的 motion 目标冲突,也为双手挥动留下了更平滑轨迹;但它同时砍掉约 `96%` primitive,多样性损失很大,必须和完整数据在相同训练预算下 A/B,不能直接宣布更好。
2. 提高 Stop 比例可以增加急停边界和停止后背景监督,预计会降低错误频率;但 80 万步已经反复看到大量 Stop 样本,终点仍会被旧 motion 语义重新触发,因此只加比例不等于获得了“当前有效意图已经清空”的持久记忆。
3. 硬编码一个 Stop 专用锁只是最低成本诊断;更可扩展的根本方向是持久交互意图状态:普通命令建立/替换 active intent,Stop 清空它,新有效命令再建立它。该抽象可同时覆盖 cancel/wait/resume/interruption,而不是每增加一个任务再写一条规则。本轮不改模型,先新增 `eval/stop_false_motion_reactivation_rate` 量化问题。
4. 消融清单位于共享数据区 `manifests/canonical_motion_per_instruction_v1.json`,约 3.1 MiB;只含选择结果和质量统计。未创建 checkpoint、WandB run、渲染或大型临时文件。
## 2608180305 — Backchannel 文献设计、数据审计与四卡链路验证
### 文献结论与任务边界
- [InteractSpeech(Findings of EMNLP 2025)](https://aclanthology.org/2025.findings-emnlp.424/)把 backchannel 定义为对方仍持有话轮时的短促关注/认同反馈,并使用文本场景生成、统一 TTS、精确时间戳和专家过滤构造全双工交互数据。对 HFD 的直接启发是:短反馈应作为动作中的重叠输入,不能另起一个 `listen→motion` 回合。
- [Yeah, Un, Oh(NAACL 2025)](https://aclanthology.org/2025.naacl-long.367/)把 backchannel 分为 continuer 与 assessment,并在连续、非平衡真实对话上逐帧判断时机和类型;其数据中 continuer 明显多于 assessment。HFD 因此覆盖“嗯哼/是的”等继续信号与“哦/明白/哇”等轻量评价,而不是只做一个关键词表。
- [Easy Turn](https://arxiv.org/abs/2509.23938)把 complete、incomplete、backchannel、wait 作为不同流式状态,并从短于 2 秒的候选出发做扩写、重标注、TTS 和 ASR 质检。HFD 同样把 WAV 限制在 2 秒内并做 train/validation 短语隔离,但本任务的目标不是让机器人输出 backchannel,而是让机器人正确忽略用户的非抢话反馈。
- [DuplexSLA](https://arxiv.org/abs/2605.20755)及 [Full-Duplex-Bench v1.5](https://arxiv.org/abs/2507.23159)都将 interruption 与 listener backchannel 分开评价:新意图应改变当前行为,而 backchannel 应保持正在进行的输出。这正是本次 supervision 的正反边界。
### 短语与音频
- 共 18 组双语含义。train 独占 12 组:8 组 continuer(`嗯嗯/Mm-hmm`、`嗯/Yeah`、`啊哈/Uh-huh`、`对/Right`、`是啊/Yep`、`好/Okay`、`嗯哼/Mhm`、`是的/Yes`)和 4 组 assessment(`明白/I see`、`好的/Got it`、`没错/Exactly`、`哦/Oh`)。validation 独占另外 6 组:`嗯,是的/Yeah, right`、`对的/That's right`、`确实/Indeed`、`嗯,没错/Mm, exactly`、`原来如此/That makes sense`、`哇/Wow`。
- `Yeah/Right/对/好` 在孤立情况下有歧义,保留它们是刻意的 hard negative:模型必须结合“当前动作仍在进行、没有新动作谓词”的完整 KV 判断,而不能把任何人声都当成 interruption。第一版不加入带明确命令、疑问或新命题的长句,避免标签本身含糊。
- 使用 Qwen3-TTS VoiceDesign 和项目既有 8 个 voice prompt 生成 `144` 个 WAV。审计结果:train/val=`96/48`,continuer/assessment=`96/48`,时长 `0.24~1.60 s`,全部为 PCM16、16 kHz、单声道,SHA256 和帧数检查无错误。数据位于 `/cpfs01/videogen/yetinghong/datasets/hfd_backchannel_commands_v1`,不纳入 Git。
### 真实数据构造与规模
- 一条 backchannel session 仍由 2~4 个真实 motion primitive 组成,只在其中一个正在执行的 motion 内叠加一次短反馈。插入时刻为该 motion 开始后的 `1.2~6.0 s`,对齐 20 帧/0.4 秒 Qwen 更新格;完整语音被听完后仍留至少 `1.2 s` 真实 motion。
- 普通指令与短反馈使用同一 session voice;两者叠加到同一段连续办公室背景,不拼接背景、不清 KV、不重置 RTC、future progress、motion duration 或最新真实指令标签。短反馈覆盖的逐帧 control GT 仍为 `</motion>`。
- 最长 0.1% 清理后的正式规模:train `220,703` 条 session,其中 turn-taking/interruption/stop/backchannel=`132,423/33,105/22,070/33,105`;validation `6,302` 条,对应 `3,782/945/630/945`。比例约为 `60/15/10/15`,且原三个任务的绝对数据量都没有减少。
### GT 与工程验证
- 真实 `getitem` 的 4 条带音频审核视频位于 `runs/backchannel_gt_review_260818`,分别覆盖 train/val 与 continuer/assessment。每个 `backchannel_review_clip` 约 10~11 秒,短反馈固定在裁剪后第 4 秒;视觉抽帧及 source metadata 均确认动作时间轴没有被短反馈切换成 listen/idle。
- 专项测试结果为 `133 passed, 1 skipped`。4×H200 真实训练 smoke 使用完整 Qwen2.5-Omni、约 5 亿参数动作模型和四卡 DDP,完成 2 次反向、8 条 validation、`ckpt_2` 与 best checkpoint;eval loss `108.534348`、峰值约 `20.8 GiB/GPU`,checkpoint 明确保存 `control_target=motion_unchanged`、`qwen_kv=append_normally_without_reset` 和 `rtc_and_future_progress=unchanged` 合同。
- 本实验只证明数据、训练、验证和 checkpoint 链路正确;backchannel 闭环能力是否收敛,仍需正式八卡训练后看 `eval/backchannel_motion_preservation_rate`、`eval/backchannel_false_interruption_rate` 及固定 train/val 视频,不能由 2 step smoke 预先下结论。
## 2608200117 — 纯语义控制输入四类可分性验证
### 问题和人话版实验
当模型在 Stop 和 backchannel 之间摆动时,先要分清两种根因:Qwen 交给控制头的信息已经把几种话听混了,还是信息里其实分得开,只是正式控制头没有在更广的时间轴上稳定用好。本实验就像把模型当时“脑子里看到的信息”拿出来,只训一个很小的分类器,看它能否分清:新动作指令、Stop、短 backchannel、没人说话的背景。
### 与正式链路的对齐
- 使用正在训练的 `runs/posttrain_full_duplex/hfd.gpus8.2608180017` 与不可变 `ckpt_617428`;只读 checkpoint,不修改 run、WandB 或任何正式输出。
- 当前语义版本 22 的 `state_aware_serial_control=false`,所以 `condition.memory_token[:, 0]` 就是 `control_head` 真正收到的 2048 维 Qwen audio-EOS 向量,没有混入 state、RTC、future progress 或上一个 token。
- 64 个样本由四类×8 个正式音色×2 种说法/条件构成。每个样本都先在同一条连续安静 HVAC 背景中听到同一条前置动作指令,然后才输入新动作指令、`Stop/Stop now`、`Mm-hmm/Indeed` 或等长背景;16 kHz waveform、0.6 秒窗口、0.4 秒步长、TTS 增益、PCM16 回量化、Qwen 原生 KV 和只在 source 边界清空均与正式链路一致。
- 为了不把“语音还没听完/模型仍处于 listen”误当语义判断,四类都在完整语音窗口后再输入 4 个背景更新(1.6 秒)才读取向量和控制输出。
- 主指标是“留一个完整音色”:小分类器用其他 7 个音色学习,再测从没给它看过的第 8 个音色。另外整组留出其中一种说法,并做 20 次随机标签负对照。
### 结果
| 指标 | 结果 |
| --- | ---: |
| 四类随机机会 | 25.0% |
| 留一完整音色线性可分率 | 87.5% |
| 留一整组说法线性可分率 | 71.875% |
| 随机标签均值 / 95 分位 | 23.125% / 39.141% |
- 跨音色混淆矩阵按 `action/stop/backchannel/background` 排列:`action=15/16`、`stop=10/16`、`backchannel=15/16`、`background=16/16`。Stop 特征的跨音色线性分界相对最弱,但仍明显高于随机对照。
- 不另训小分类器,直接查当前正式控制头:新动作指令均预测 motion `16/16`(平均概率 93.33%),Stop 预测 idle `15/16`(89.35%),backchannel 预测 motion `16/16`(93.62%),纯背景预测 motion `16/16`(99.85%)。
### 结论和边界
1. **不支持“Qwen 已经把四类语义全听混”这一根因。** 控制头收到的真实向量可以跨过未见音色分出四类,并且正式控制头在这批实例上只错一个 Stop。
2. **不能由此宣布整个控制问题已解决。** 本次只有每类两种说法,而且只读一个语音后的固定时刻;它不代表数十秒闭环中每个窗口都不会摆动。现有训练中的周期性摆动更应优先检查更广短语/背景覆盖、关键事件相对权重和长时间持续性,而不是先改 Qwen 架构。
3. 本诊断不生成动作、视频、新 checkpoint 或 WandB run。工具只在内存中保留特征,输出 JSON 不包含 2048 维特征本身;本次 `/tmp` 结果在数值入库后清理。
## 2608250439 — 动态 source 补位学习率与数据预取四卡 A/B
### 实验问题与设计
- 问题一:动态补位按设计提高有效槽位后,为什么早期效果反而比固定槽差;重点排查是否是每个 optimizer step 变得更“实”后,旧 `1e-4` 学习率过强,而不是 source 换槽污染了 Qwen KV。
- 问题二:source 工作池切换时 GPU 长时间等 `getitem`,能否只调整 CPU 预取而不改变训练样本、顺序和数学。
- 使用同一份初始权重、正式 train/validation、seed=42、每卡 `B=192`、两卡一组。固定槽 `1e-4` 与动态槽 `1e-4` 同机并发;再以完全相同动态调度补跑 `8e-5` 控制组。动态两组都在第一个完整工作池边界 `step=7067` 评估,构成严格的单变量学习率对照。固定槽首个安全边界为 `step=5696`,只处理两批 lookahead 中较短的一批,因此只作参考,不冒充同曝光量的严格对照。
### 首次完整 validation
| 调度 / 峰值 LR | eval step | 总 loss | action loss | control loss | control acc | 最新指令 token acc | 时长 MAE |
| --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: |
| 固定槽 / `1e-4` | 5,696 | 2.4503 | 0.9024 | 0.7440 | 76.06% | 81.78% | 3.468 s |
| 动态槽 / `1e-4` | 7,067 | 3.8414 | 0.9466 | 1.5810 | 60.77% | 81.84% | 4.009 s |
| 动态槽 / `8e-5` | 7,067 | 3.4900 | 0.8795 | 1.3033 | 62.90% | 81.90% | 3.965 s |
- 严格动态对照中,`8e-5` 令总/action/control loss 分别改善约 `9.1%/7.1%/17.6%`,control accuracy 提升 `2.13` 个百分点;两组最新指令 token accuracy 几乎相同。动态槽动作 loss 已略优于固定槽,说明换槽后的独立 mask、逻辑 RoPE 和 source-local KV 没有破坏动作/语义链路。
- 动态调度平均槽位填充率约 `94.79%`,固定槽约 `82.93%`。动态组到首次安全评估累计约 `257.3` 万个有效 source-window 行,固定组约 `181.4` 万;所以固定槽与动态槽的首个安全评估并非相同数据曝光,且固定槽先看到排序后的短 source。动态槽剩余的 control 差距不能全部归因于学习率,也不能仅凭该早期 checkpoint 宣布最终动作质量优劣。
- 动态 `1e-4/8e-5` 的 action grad norm 均值约为 `5.11/4.95`,95 分位约 `7.67/7.53`;降学习率主要改善参数实际更新幅度,而不是消除数据本身的困难窗口。新正式训练默认使用 `8e-5`,但不增加控制头专用规则或额外 loss。
### 数据等待优化与边界
- 原先精确 lookahead 需要两批 source,却只让 worker 队列提前准备一批;GPU 排空当前工作池后,另一批只能同步等待。现在预取容量恰好覆盖下一组两批:正式 `B=192/workers=16` 的 factor 为 `24`。这只改变数据何时准备好,不改变 DataLoader sampler 的产出顺序或 `getitem` 的确定性 RNG。
- 三组新实验在冷启动后的普通 source 边界等待约 `17~26 s`;旧正式八卡 factor=12 的可见边界通常约 `100~200 s`。该对比受 GPU 数、共享盘竞争和缓存影响,只证明现场等待明显收窄,不将比例外推为稳定集群基准。冷首批仍约 `308~357 s`。
- 音色查找建表的 70 万次独立微基准约 `13.46 s → 0.238 s`,只代表该热点,不代表整个首批能加速 56 倍。未采用 `in_order=False`、先完成先训练、增加任务乱序或更多 worker,因此训练质量不因 I/O 优化改变。
- 修复 W&B 等待指标:同一次取 source 的等待仅记在该工作池第一个 optimizer event,后续 dense step 记零;旧曲线中一条等待被重复数千次的问题不再误导诊断。
### 工程验证
- 专项回归:`150 passed, 1 skipped`;Python 编译、训练 shell 语法及 `git diff --check` 通过。
- 三个 A/B run 只用于诊断;结果入库后清理 `/tmp` checkpoint,不并入正式 runs。占卡脚本另做“2/3 忙、0/1 空闲,再释放 2/3”的受控测试,能从 `0,1` 自动稳定扩展到 `0,1,2,3`,且训练卡仅瞬时低利用率时不会被误抢。
## 2608260041 — Hesitation/Pause 数据生产与真实 getitem GT 审核
### 任务定义与文献依据
- [Full-Duplex-Bench](https://arxiv.org/html/2503.04721) 将说话人仍持有话轮的句中 pause 与 turn ending 分开,受控停顿主要落在约 `0.4~1.0 s`;[DuplexSLA](https://arxiv.org/html/2605.20755) 同样要求模型在用户停顿思考时继续等待,而不是把静音直接判成话轮结束。HFD 因此把 `pause` 定义为“一条尚未说完的指令内部出现纯背景停顿”,不是动作完成后的 terminal idle。
- [Full-Duplex-Bench v3](https://arxiv.org/html/2604.04847) 将 filler、hesitation、false start 和 self-correction 分开评估;[Teaching BERT to Wait](https://aclanthology.org/2022.naacl-main.60/)及[Disfluency Generation](https://aclanthology.org/2023.findings-acl.728/)说明,不完整上下文应显式训练“等待更多证据”,且合成不流畅语料可用于补足真实稀缺事件。HFD 将 hesitation 分成 `60%` 同意图 filled-pause 和 `40%` 改变意图 self-repair。
- 全部新样本只增加数据,不增加特殊 token 或推理硬规则。pause/hesitation 从不完整前缀开始进入 `</listen>`,停顿、填充词、改口词和最终指令期间持续 listen;只有完整最终意图经过既有因果延迟后才进入 `</motion>`。Qwen KV 在整个 2~4 轮 session 中持续写入,办公室背景、说话人、RTC 和动作状态都不因不流畅事件重置。
### 音频构造与生产审计
- 没有直接裁剪原 WAV。工具先在英文词边界和中文 jieba 词边界拆分 metadata 指令,再用 Qwen3-TTS 对前缀、后缀重新合成;self-repair 使用“另一条动作指令的不完整前缀+改口词+完整最终指令”,最终动作及最新指令文本监督只对应修正后的指令。同一 session 固定一个语言和一个正式音色,所有片段继续叠加同一条连续办公室背景。
- 静默停顿基础采样为 `0.4~2.8 s`、对齐 `0.4 s` Qwen 网格,短/中/长三组概率为 `60/30/10`。若填充词或改口词本身更长,则透明地将有效 gap 扩展到能够完整容纳该词并保留背景边缘,绝不裁断人声。train/validation 使用不同 phrase ID;一个 session 最多插入一个 pause 或 hesitation 事件,避免一次加入过多变量。
- 冻结生产计划覆盖 `5,104` 条可安全拆分的双语指令,拒绝 `116` 条不适合自然分词的指令。最终生成 `81,664` 个指令片段和 `80` 个 filler/repair marker,共 `81,744` 个 WAV;manifest SHA256 为 `e1011f31d09e8240af77536f5756d9e049f056de5fba8cb9c3f0e290311f64fd`。
- 全量并行审计确认 `81,744/81,744` 均为 PCM16、16 kHz、单声道,帧数、SHA256、有限值和峰值合法。生产过程中自动重试 13 个超过 20 秒的 TTS 跑偏音频,并额外重生成 74 个超过 8 秒的指令片段和 2 个超过 2.64 秒的 marker。最终指令片段时长 `p50=1.52 s, p95=3.28 s, p99=3.92 s, max=7.92 s`;filled marker 最大 `1.92 s`,repair cue 最大 `2.461 s`,质量上限违规为 0。
- 完成标记 `reports/production_complete.json` 绑定 manifest 格式、SHA、行数和 8 音色。训练启动只验证完成标记和 manifest,选中某条 WAV 时再做逐文件核验,避免 8 个 DDP rank 在启动阶段重复打开超过 65 万个共享盘小文件;这只减少元数据 I/O,不改变样本或训练数学。
### 正式数据规模
| split | sources | stride-1 windows | source 时长 |
| --- | ---: | ---: | ---: |
| train | 267,792 | 576,896,608 | 3,204.98 h |
| validation | 7,680 | 16,553,100 | 91.96 h |
- train source 数:turn-taking `132,423`、interruption `33,105`、Stop `22,070`、backchannel `33,105`、hesitation `27,756`、pause `19,333`。对应实际窗口占比为 `47.915/7.443/10.441/13.443/12.454/8.304%`。
- validation source 数:`3,782/945/630/945/819/559`,窗口占比为 `48.016/7.414/10.532/13.333/12.438/8.267%`。train/validation primitive split 在合成前已隔离,不存在跨 split source 重用。
- hesitation train 中 filled/self-repair 为 `16,632/11,124`,约 `60/40`;pause 为 `19,333`。新任务先按中英指令去重和时长分层,再限制每条完整指令 train 最多 32、validation 最多 8 条 motion;旧语义版本 22 的四个任务选择结果和绝对 source 数逐条保持不变。
- 八卡、每卡 `B=192` 时全局有 1,536 个并发 source 槽;以全部 dense windows 粗略折算,一个理想满槽 epoch 约 `576,896,608 / 1,536 = 375,584` 个 optimizer step。动态补位、source 边界和 DDP 对齐会使日志中的实际 epoch 边界略有差异,因此该数字只用于预算,不冒充精确 wall-clock 预测。
### 指标、GT 和工程验证
- 新增四个直接闭环时机指标:`pause_premature_motion_rate` / `hesitation_premature_motion_rate` 统计最终意图完整前是否误动;`pause_motion_timing_mae_seconds` 统计实际进入 motion 与 GT 边界的秒级误差;`hesitation_final_over_provisional_accuracy` 检查改口期间没有执行 provisional 意图且最终边界正确进入 motion。另保留两类任务的 action/control loss 和 control accuracy。最后一项是控制时机门控指标,不等价于动作语义本身完全正确,仍需结合最新指令文本准确率和闭环视频。
- 从正式语义版本 23 的真实 `getitem` 还原 36D GT、逐帧控制标签以及重叠 0.6 秒 Qwen 窗口的完整连续音频,并以 50 fps 渲染六条带音频审核视频。覆盖 silent-pause、filled-pause、self-repair 各自 train/validation;停顿为 `1.6~2.8 s`,最终指令完整后 `1.04~1.36 s` 才进入 motion。视频、音频和 metadata 位于共享数据根 `hfd_hesitation_pause_v1/gt_review/2608260018`,不纳入 Git。
- 六条视频的 H.264/AAC 容器、16 kHz 音轨和动作时长一致;抽帧复核未见脚穿地、世界朝向突跳或拼接断裂。专项回归为 `156 passed, 1 skipped`,覆盖旧 v22 选择逐条不变、新任务合同、连续 KV、数据构造、trainer/eval 指标、推理套件和故障注入;Python、Shell、JSON 和差异检查通过。
- 本阶段只完成数据与工程可用性验证。正式四卡训练和自动闭环推理必须等用户听看六条 GT 并确认时间轴质量后启动;GT 审核不能替代长期收敛实验。
## 2608260247 — 静止段与犹豫改口质量修复审计
### 异常手部动作根因
- 第一条 v23 GT 中第二轮语音前的抬手不是音画错位。旧 `_sample_stationary_sequence("idle")` 会把当前机器人 pose 平滑插值到随机 idle 素材的绝对 pose,再插值回来;素材和当前状态虽然分别静止,但腕部角度不同,因此构造器凭空生成一次与任何指令无关的动作。
- 旧构造的审核 idle 段手腕最大逐帧速度约 `0.068~0.070 rad/frame`,原始安静素材自身约 `0.0013~0.0018`。v24 将素材转换为相对首帧残差并叠加到当前 anchor,根朝向保持当前值;新六条 GT 的对应值多为 `0.0017~0.0047`,最差 terminal idle 为 `0.0104`,没有旧版数量级的伪手势。
- 六个任务的 session 都通过同一 idle 采样函数,所以 turn-taking、interruption、emergency-stop、backchannel、hesitation、pause 均受旧问题影响,也均由同一处修复。idle 专用审计进一步从 68 条素材中保留 65 条和 `3,876` 个安全 anchor,排除 `neutral_idle_loop_002__A120`、`003__A120`、`004__A120`;listen 的表达性手势池不使用该严格阈值。
### 犹豫音与改口覆盖
- v2 覆盖层复用 v1 的 `81,664` 个已审计指令片段,只生成 80 个新 marker。28 个 `嗯/呃/唔/Um/Uh/Er/Hmm` 音色化样本时长为 `0.800~2.160 s`,中位数 `1.000 s`、均值 `1.092 s`;短语式 filler 共 12 个,实际 `0.800~1.440 s`、中位数 `0.960 s`。第三条审核视频中的 `呃……` 实际持续 `(42,711-12,845)/16,000 = 1.867 s`,已不是旧版的短促语气词。
- self-repair 按约 `65/35` 混合显式 cue 与隐式 restart。后者是“错误意图的不完整前缀+0.4~2.8 s 连续背景+直接完整重说最终指令”,没有“改成/I mean”提示词。完整 train 计数为显式 `7,257`、隐式 `3,806`,validation 为 `217/126`。
- v2 manifest SHA256 为 `f96071d4dbb59e8035544beea3f192b583b569cff019e8a54681b7ca012ca17d`;`81,744/81,744` 行通过格式、时长、哈希和音频数值审计,0 个无效文件。
### 数据、GT 与四卡工程验证
- 正式构造为 train `267,850` session / `577,086,270` stride-1 窗口,validation `7,698` session / `16,519,542` 窗口。train 六类 session 数依次为 turn-taking `132,423`、interruption `33,105`、Stop `22,070`、backchannel `33,105`、hesitation `27,873`、pause `19,274`。
- 六条真实 `getitem` 带音频 GT 位于 `hfd_hesitation_pause_v2/gt_review/2608260247`。第一条第二轮前 `7.8~9.0 s` 的逐帧抽样确认机器人在 idle 内保持自然站立,进入第二轮 listen 后才开始听取手势;第三条为拖长 filler;第五条保留显式改口,第六条为没有提示词的隐式 restart。
- 专项测试为 `160 passed, 1 skipped`。四卡完整正式数据 smoke:每卡 `B=1`、60 step;首个 Qwen/DeepSpeed/共享盘冷启动 step 约 140 s,之后稳态约 `12 step/s`、`53 active windows/s`,`data_wait=0`、峰值 `21.1 GiB/GPU`,模型、optimizer、scheduler、sampler 与 source-boundary marker 全部保存。
- `ckpt_60` 随后完成两轮隐式改口短推理:43 次连续 cache update、860 帧有限输出;渲染得到 5 fps H.264 视频与 AAC 音轨,总时长 17.4 s。期间发现外部 SONIC renderer 的默认 XML 仍指向迁移前路径,HFD 已改为显式传入新 GMR XML,并修复 render/mux 失败仍误标 `.complete` 的错误。
### 结论边界
- 本轮证明 v24 数据构造、完整四卡训练、checkpoint 和推理/渲染工程链路可运行,并通过真实 GT 排除了已知伪手势;60 step 随机初始化 checkpoint 只用于接口 smoke,不能用其动作质量推断正式收敛效果。正式八卡训练仍需用户听看 v24 六条 GT 后确认。
## 2609020131 — 控制结构、历史检索与分阶段训练四卡 A/B 决策
### 目的与公平性
- 回答三项架构建议是否应进入正式 HFD:用三行 special-token 输出替代 Control MLP、让 action 梯度通过离散 control、以及先训控制再训动作。
- Control A/B 固定同一生产 checkpoint、seed 42、4 GPU、每卡 `B=192`、1,536 条训练原始记录、同一 64 条验证记录及 2,000 个 stride-1 动作窗口,其中恰有 100 个 Qwen/control 更新点;四个 variant 只改变 control predictor 和 hard/straight-through 路径。
- 分阶段 A/B 固定相同初始化、数据与总监督量:两边都有 100 次语义更新和 2,000 次动作更新。历史检索探针使用生产 Qwen/KV、连续背景、三轮真实 TTS、6 种排列和 8 个音色,全程不清 KV。
### 结果与正式取舍
| 设计 | 验证结果 | 决策 |
| --- | ---: | --- |
| Control MLP + hard | control accuracy `75.91%` | 保留 |
| Control MLP + straight-through | `75.94%` | 无实质收益,不采用 |
| 三行 token + hard / straight-through | `60.32% / 60.29%` | 明显退化,不采用 |
| 联合训练 | control `75.94%`,action loss `0.62852` | 保留 |
| 先控制后动作 | control `76.28%`,action loss `0.62795`,计算 `1.279×` | 收益过小,不采用永久两阶段 |
- 直接三行输出在数学上只是同一 2,048 维语义向量上的线性三分类;它删掉了现有 Control MLP 的 LayerNorm 和非线性隐层,因此没有因为“叫 special token”就自动更强。纯 control、完全跳过动作网络的复验仍为 MLP `76.28%`、三行输出 `60.33%`,排除了动作开销造成的假差异。
- 原生产 KV 上,自由解码 latest/previous/first 的 exact accuracy 为 `20.83/4.17/41.67%`,而 teacher-forced token accuracy 为 `84.39/80.18/84.95%`。这证明现有 latest loss 没有擦除历史;真实问题是第一条历史常压过最近轮次,而且逐 token teacher forcing 会高估自由检索能力。
- 冻结 Qwen 和生产 KV,仅训练三行零初始化 marker,并继续保留完整查询;在未见指令排列上,latest/previous/first 从 `31.25/12.50/81.25%` 变为 `100/75/81.25%`。未见音色子集的 first 有回退,因此这仍是单 seed、小身份 pilot,不能预先宣称正式动作质量提升。
### 正式实现边界
- 正式版本只采用有正向证据且风险可控的部分:保留 MLP/hard/联合训练,在每个非首轮因果 `listen → motion` 边界增加一条历史文本目标,并用 `latest/previous/first` marker 明确要读取的相对轮次。
- 两条文本 readout 都从生产 KV 深拷贝一次性 side cache;不会把 query、答案或 decoder 输出写回语音历史。推理不执行文本解码,因此实时速度和动作数据流不变。
- 数据按 2~4 轮结构安排一条稀疏历史目标:turn 2 读 previous、turn 3 读 first、turn 4 读 previous。正式权重为 latest `0.10`、history `0.05`;DLC 长训需要继续观察历史 token accuracy、最新指令 accuracy、各任务 control 与闭环动作,pilot 不能替代最终结论。