Download paper_context_v4/04_training_objective.md from Tinghong-Ye22/code-HFD: direct link, hf CLI and curl.
- Browser
- Download file 11.6 kB
-
https://huggingface.co/Tinghong-Ye22/code-HFD/resolve/main/paper_context_v4/04_training_objective.md
- Command line
-
hf download hf://Tinghong-Ye22/code-HFD/paper_context_v4/04_training_objective.md
-
curl -L -o 04_training_objective.md https://huggingface.co/Tinghong-Ye22/code-HFD/resolve/main/paper_context_v4/04_training_objective.md
Training objectives and optimization
以下公式描述当前 semantics v24、stage 0、dense accumulation=1。旧版本分支不可混入。主要证据:posttrain_full_duplex.py _forward_stream_batch L3739、iter_optimizer_steps L4541、目标汇总 L5290;权重来自 recipe。
1. 记号和 RTC 条件 flow matching
令 a∈R^(30×40) 是归一化 GT 动作,ε∼N(0,I),σ∈[0.05,1)。DistributedFlowRandomSampler 在全局 batch 上分层抽样 σ,rank 使用独立噪声,RTC delay 在整数 0…10 中平衡抽样。
对前缀长度 d,帧 i 的时间为 σᵢ=0(i<d),否则 σᵢ=σ:
[ x_{\sigma,i}=(1-\sigma_i)a_i+\sigma_i\epsilon_i,\qquad v_i^*=\epsilon_i-a_i,\qquad \hat a_i=x_{\sigma,i}-\sigma_i v_\theta(x_\sigma,1000\sigma_i;c,s,p)_i. ]
初始 source 没有历史,d=0;当前 v19+ 状态转换窗口保留完整重叠前缀 d=10;其他训练窗口随机 d。前缀输入是真实 a,flow loss 不监督固定前缀;平滑损失使用恢复的 clean estimate,并把前缀替换回 GT。
令 mᵢⱼ 为有效 action element 且不属于已知前缀。当前实现的每维 loss 为:
[ \ell_j=30\frac{\sum_i m_{ij}(v_{\theta,ij}-v^*_{ij})^2} {\max(\sum_i m_{ij},1)},\qquad L_{act}=\sum_{j=1}^{40}\frac{g'_j}{40}\ell_j. ]
这里 ×30 是实际实现,不能省略后再把源码权重当同一量纲。Root40组基础倍率依次为joints 1、anchor XY 3、root rot6 10、height 15、contact .1;g'_j再统一乘40/39,旋转6维额外乘5/6,保持旧39D总组权重。当前self.loss_w=1/40;7D 机械臂的 xyz/rpy/gripper 权重不是本项目当前目标。
v24 对 30 帧内所有有效未来状态都监督,即使跨 idle/listen/motion 边界;旧 v12–18 的 phase-consistent 掩码不是当前做法。
跨motion结束的窗口另有progress修正:当当前scalar control是motion时,未来GT非motion帧的progress改为completed-motion常量p=1;直到下一窗口本身是idle/listen才使用stationary p=0。这样避免训练提前把RTC尾部进度清零;并未清除RTC或重新生成首帧姿态。
证据:_masked_action_loss_per_sample_by_dim L3385、_forward_stream_batch;posttrain_v1.py:145、261;distributed_flow_sampling.py。
2. 平滑项:匹配 GT 差分,不是把动作压成不动
将同一相对表示/归一化坐标中的过去两步真实动作接在预测前面,形成扩展序列 (\tilde a)、GT (\tilde a^*)。
[ \Delta a_i=a_i-a_{i-1},\qquad \Delta^2 a_i=a_i-2a_{i-1}+a_{i-2}. ]
_temporal_difference_loss_per_sample_by_dim 对有效 stencil 算上述差分的预测-GT平方误差,masked mean 后 ×30:
[ L_{vel}=\operatorname{mean}{j<29}!\left[30\operatorname{MaskedMean}i(\Delta\tilde a{ij}-\Delta\tilde a^*{ij})^2\right], ]
[ L_{acc}=\operatorname{mean}{j<29}!\left[30\operatorname{MaskedMean}i(\Delta^2\tilde a{ij}-\Delta^2\tilde a^*{ij})^2\right]. ]
L_root 对第 29:38 维做一阶差分误差(局部 XY、旋转表示和高度)。stencil 横跨观测历史→预测首帧以及 RTC 前缀→新帧,不仅是 chunk 内部。然而历史是 GT,不是自回归 rollout;不能等同于真实闭环接缝监督。
训练差分是在归一化离散帧单位中,不乘 50 或 50²;物理单位速度/加速度属于另外的闭环评估。无三阶 jerk loss。
L_height 在 GT frame label 非 motion 的有效新帧,对 clean estimate 的 root-height(第37维)与 GT 做 masked MSE×30。它不是 foot-plane 硬投影,也不是足端 FK loss。
证据:trainer:3445、4065;transform SeedPosttrainRepackTransform。
3. 控制及 stop 事件目标
普通控制:(L_c=-\log p(y\mid h)),仅在 Qwen 语义更新窗口有监督梯度;标签是当前决策状态,不是逐 future-frame 30-way CE。
Stop 的附加目标按事件构造:
- enter:反应时刻之后首个 GT idle 决策的普通 CE。
- stay:该事件之后到下一真实指令前的 idle 区间,平均 (-\log(1-p(\mathrm{motion})))。当前平衡版允许 idle/listen,不再额外强迫每步一定 idle;普通 CE 仍监督 GT idle。
- release:若 stop 后有新指令,第一个非 idle 决策的普通 CE;terminal stop 无 release 目标。
对 stop 事件 e 的 idle 决策集合 Iₑ:
[ L_{stay,e}=\frac{1}{|I_e|}\sum_{j\in I_e}-\log\big(p_j(\mathrm{idle})+p_j(\mathrm{listen})\big). ]
源码通过 logsumexp 差稳定计算。事件在 source pool 内汇总,按事件数归一化并乘 source_pool_size/source_slot_capacity;不是简单加一个“错误复活动作次数”的可微 loss。复活率本身是评估指标。
证据:_control_no_motion_loss L209、_stop_control_supervision_weights L224、_stop_control_release_weights L293、iter_optimizer_steps L5169、5330(trainer)。
4. 时长分布目标
令真实秒数 T,z=clip(log(1+T),z_min,z_max),48 个均匀中心 bₖ。找到相邻 bₖ≤z≤bₖ₊₁,令 α=(z−bₖ)/(bₖ₊₁−bₖ):
[ L_{dur}=-(1-\alpha)\log p_k-\alpha\log p_{k+1}. ]
这是邻档 soft label 的 categorical CE,边界用截断端点。目标只在进入每个原 motion 的有效边界产生,原 motion 时长不包含 idle/listen,也不使用 stop 后的截短时长。推理用分布中位档位而非 argmax 或期望。
时长 loss 不监督动作结束 token;计划时长影响 progress,控制头仍负责状态切换。相比标量回归是否更好 Not confirmed from code。
5. 身体语义辅助文本与 QA
Latest instruction / relative history:临时复制身体 KV,在其后追加查询与真实 TTS 指令文本。shifted next-token CE 只算 labels≠−100 的目标 token,query/padding 不计入;全局按有效 token 数平均。LM head 冻结,尾部 trainable decoder 接收梯度。相对回忆查询编号经 RelativeLagEmbedding 编码,目标必须位于保留历史范围;并非把 GT 命令直接作为身体感知输入。
QA:独立 QA KV 的临时分支在视觉问题结束附近接受相同 answer+EOS 的 teacher forcing;全局目标 token mean。更新 QA LoRA 和接收侧 cross bridge;donor stop-gradient 不把 QA 梯度送进身体分支。口语答案波形/codec 不是当前训练 objective;最终声音由冻结原生模型产生。
Reply readiness:二分类 CE,positive weight=8,只有语义更新时训练,输入 body summary.detach()。目标在 question-end 对齐的第一个可用 packet 及之后共3个窗口为 positive;推理需连续2次概率≥0.5才触发。
证据:_latest_instruction_teacher_forcing(模型:2639);qa_loss(SWA模型:187);relative memory;attach_live_packets(overlay:317)。
6. 总目标与正确分母
当前C额外加入C的状态词语义锚定:0.2 × mean(1 − cosine(E_i,E_i_initial))。普通控制CE仍为三状态交叉熵,只是分类权重现在就是Qwen的新增词表行。Action condition用同一行数值的detach,不沿这条路径更新E。下面原有分组目标保留,不把锚项误算成新的数据任务。
便于论文记号化,可写为:
[ \mathcal L=\mathcal A[L_{act}+L_c+0.1L_{vel}+0.05L_{acc}+0.1L_{root}+L_{height}+0.25L_{reply}] +0.5\mathcal E[L_{enter}]+\mathcal E[L_{stay}]+\mathcal E_r[L_{release}] +0.2\mathcal D[L_{dur}]+0.1\mathcal T[L_{latest}]+0.05\mathcal T_h[L_{history}]+\mathcal Q[L_{QA}]. ]
这些算子不能省略为一个统一 batch mean:
- A:以原全局 slot 容量 C=B×world_size 为分母,只加 active rows。尾部只剩一条 source 时不放大为满 batch 权重。
- E/Er:按 pool 的事件总数归一化,再乘 pool/slot 比。
- D:当前有时长目标的有效样本数。
- T/Th/Q:各分支当前有效目标 token 数。
- 不存在对应监督时该项不参与;不是人为填 0 准确率。
每 rank 的 objective 含 world_size 因子抵消 DDP 平均;不能再对已全局归一的指标重复除卡数。上式是与代码一致的分组抽象,不表示每一个密集步都有所有项。
7. 优化循环和默认超参数
| 配置 | 默认值 / 来源 |
|---|---|
| 模型初始化 | 原始 pretrained Qwen;新 action/duration/reply;语义初始化的状态词行与新 cross bridge;新 QA LoRA;不加载旧实验权重 |
| batch | 每卡16 slot;全局16×G;不是每步16×G条完整新 session |
| optimizer | AdamW;身体/动作 β=(0.9,0.999), wd=0, eps=1e−8 |
| learning rates | action/普通head 8e−5;body Qwen tail 2e−6;control 相关组按0.25倍率(8e−5基准对应2e−5;词表共享参数的实际归组以run参数组为准) |
| QA group | 5e−5,β=(0.9,0.95), wd=.01;只在有 QA 目标时更新,按自己的40个有效 update warmup |
| scheduler | cosine_with_min_lr,floor=.05;新训练 warmup=总步数/100(默认12,500) |
| 总训练步 | 1,250,000 optimizer updates |
| precision | action输入小MLP及位置相加FP32,其余bf16 autocast;Qwen trainable master fp32;clip body norm1,QA 单独 clip1 |
| Qwen graph horizon | 1 个音频更新窗口;每次 backward 后 detach KV,数值保留 |
| dense accumulation | 1;gradient accumulation1;source accumulation1 |
| DDP | forward/backward 对齐;非 optimizer 边界才 no_sync;默认每密集窗口正常同步 |
| eval | nominal每20,000步;valB8、总source budget64 |
| checkpoint | nominal每5,000步、keep2;仅 cache-safe 边界发布,因此实际 step 可偏移 |
从 iter_optimizer_steps yield 的每个 event 才是一次 optimizer update。不是整条 source 只做一次 backward。历史 average_full_duplex_gradients 帮助函数仍存在,但不能拿旧 source-local manual-average 描述当前默认 dense loop。
PosttrainFullDuplexTrainer 的边界 checkpoint 包含训练状态、契约与紧凑 trainable 权重;frozen backbone仍是外部依赖。恢复 Adam/scheduler/RNG 不等于逐样本 bitwise 无中断复现:当前 stage0 marker 明确写 DataLoader worker RNG/cursor 未序列化,恢复从新 source group 开始。stage2 的 single-pass 恢复说明属于另一条路径。
来源:optimizer:493;trainer:5048、5390、6240、6260、6291;scripts/train.py:417。
8. Epoch、效率与配置不变量
每条 source 的 dense 长度不同且动态补槽,不能用 len(dataset)/(B×G) 得到 optimizer steps/epoch;那只近似原始批次数。epoch 实际 update 数由调度器、每条有效帧数、补槽等待和 pool 边界决定。总接触帧数、独立 source 数、Qwen更新数应另报,不能拿 stride1 的大量重叠窗口当等量独立数据。
已有提速设计:离线启动索引复用、长度 lookahead、动态 source refill、无效动作行压缩、冻结前端 no-grad、视觉缓存、Qwen条件复用、QA稀疏目标更新。没有在本次文档更新运行性能实验;吞吐提升百分比 Not confirmed from code。