|
Download paper_context_v4/04_training_objective.md from Tinghong-Ye22/code-HFD: direct link, hf CLI and curl.
- Browser
- Download file 11.6 kB
-
https://huggingface.co/Tinghong-Ye22/code-HFD/resolve/main/paper_context_v4/04_training_objective.md
- Command line
-
hf download hf://Tinghong-Ye22/code-HFD/paper_context_v4/04_training_objective.md
-
curl -L -o 04_training_objective.md https://huggingface.co/Tinghong-Ye22/code-HFD/resolve/main/paper_context_v4/04_training_objective.md
11.6 kB
| # Training objectives and optimization | |
| 以下公式描述当前 semantics v24、stage 0、dense accumulation=1。旧版本分支不可混入。主要证据:[posttrain_full_duplex.py](../src/psi/trainers/posttrain_full_duplex.py) `_forward_stream_batch` L3739、`iter_optimizer_steps` L4541、目标汇总 L5290;权重来自 [recipe](../src/psi/config/hfd_current_recipe.py)。 | |
| ## 1. 记号和 RTC 条件 flow matching | |
| 令 a∈R^(30×40) 是归一化 GT 动作,ε∼N(0,I),σ∈[0.05,1)。`DistributedFlowRandomSampler` 在全局 batch 上分层抽样 σ,rank 使用独立噪声,RTC delay 在整数 0…10 中平衡抽样。 | |
| 对前缀长度 d,帧 i 的时间为 σᵢ=0(i<d),否则 σᵢ=σ: | |
| \[ | |
| x_{\sigma,i}=(1-\sigma_i)a_i+\sigma_i\epsilon_i,\qquad | |
| v_i^*=\epsilon_i-a_i,\qquad | |
| \hat a_i=x_{\sigma,i}-\sigma_i v_\theta(x_\sigma,1000\sigma_i;c,s,p)_i. | |
| \] | |
| 初始 source 没有历史,d=0;当前 v19+ 状态转换窗口保留完整重叠前缀 d=10;其他训练窗口随机 d。前缀输入是真实 a,flow loss 不监督固定前缀;平滑损失使用恢复的 clean estimate,并把前缀替换回 GT。 | |
| 令 mᵢⱼ 为有效 action element 且不属于已知前缀。当前实现的每维 loss 为: | |
| \[ | |
| \ell_j=30\frac{\sum_i m_{ij}(v_{\theta,ij}-v^*_{ij})^2} | |
| {\max(\sum_i m_{ij},1)},\qquad | |
| L_{act}=\sum_{j=1}^{40}\frac{g'_j}{40}\ell_j. | |
| \] | |
| 这里 **×30 是实际实现**,不能省略后再把源码权重当同一量纲。Root40组基础倍率依次为joints 1、anchor XY 3、root rot6 10、height 15、contact .1;g'_j再统一乘40/39,旋转6维额外乘5/6,保持旧39D总组权重。当前self.loss_w=1/40;7D 机械臂的 xyz/rpy/gripper 权重不是本项目当前目标。 | |
| v24 对 30 帧内所有有效未来状态都监督,即使跨 idle/listen/motion 边界;旧 v12–18 的 phase-consistent 掩码不是当前做法。 | |
| 跨motion结束的窗口另有progress修正:当当前scalar control是motion时,未来GT非motion帧的progress改为completed-motion常量p=1;直到下一窗口本身是idle/listen才使用stationary p=0。这样避免训练提前把RTC尾部进度清零;并未清除RTC或重新生成首帧姿态。 | |
| 证据:`_masked_action_loss_per_sample_by_dim` L3385、`_forward_stream_batch`;[posttrain_v1.py](../src/psi/trainers/posttrain_v1.py):145、261;[distributed_flow_sampling.py](../src/psi/trainers/distributed_flow_sampling.py)。 | |
| ## 2. 平滑项:匹配 GT 差分,不是把动作压成不动 | |
| 将同一相对表示/归一化坐标中的过去两步真实动作接在预测前面,形成扩展序列 \(\tilde a\)、GT \(\tilde a^*\)。 | |
| \[ | |
| \Delta a_i=a_i-a_{i-1},\qquad | |
| \Delta^2 a_i=a_i-2a_{i-1}+a_{i-2}. | |
| \] | |
| `_temporal_difference_loss_per_sample_by_dim` 对有效 stencil 算上述差分的预测-GT平方误差,masked mean 后 ×30: | |
| \[ | |
| L_{vel}=\operatorname{mean}_{j<29}\!\left[30\operatorname{MaskedMean}_i(\Delta\tilde a_{ij}-\Delta\tilde a^*_{ij})^2\right], | |
| \] | |
| \[ | |
| L_{acc}=\operatorname{mean}_{j<29}\!\left[30\operatorname{MaskedMean}_i(\Delta^2\tilde a_{ij}-\Delta^2\tilde a^*_{ij})^2\right]. | |
| \] | |
| `L_root` 对第 29:38 维做一阶差分误差(局部 XY、旋转表示和高度)。stencil 横跨观测历史→预测首帧以及 RTC 前缀→新帧,不仅是 chunk 内部。然而历史是 GT,不是自回归 rollout;不能等同于真实闭环接缝监督。 | |
| 训练差分是在**归一化离散帧单位**中,不乘 50 或 50²;物理单位速度/加速度属于另外的闭环评估。无三阶 jerk loss。 | |
| `L_height` 在 GT frame label 非 motion 的有效新帧,对 clean estimate 的 root-height(第37维)与 GT 做 masked MSE×30。它不是 foot-plane 硬投影,也不是足端 FK loss。 | |
| 证据:[trainer](../src/psi/trainers/posttrain_full_duplex.py):3445、4065;[transform](../src/psi/config/transform.py) `SeedPosttrainRepackTransform`。 | |
| ## 3. 控制及 stop 事件目标 | |
| 普通控制:\(L_c=-\log p(y\mid h)\),仅在 Qwen 语义更新窗口有监督梯度;标签是当前决策状态,不是逐 future-frame 30-way CE。 | |
| Stop 的附加目标按事件构造: | |
| - **enter**:反应时刻之后首个 GT idle 决策的普通 CE。 | |
| - **stay**:该事件之后到下一真实指令前的 idle 区间,平均 \(-\log(1-p(\mathrm{motion}))\)。当前平衡版允许 idle/listen,不再额外强迫每步一定 idle;普通 CE 仍监督 GT idle。 | |
| - **release**:若 stop 后有新指令,第一个非 idle 决策的普通 CE;terminal stop 无 release 目标。 | |
| 对 stop 事件 e 的 idle 决策集合 Iₑ: | |
| \[ | |
| L_{stay,e}=\frac{1}{|I_e|}\sum_{j\in I_e}-\log\big(p_j(\mathrm{idle})+p_j(\mathrm{listen})\big). | |
| \] | |
| 源码通过 logsumexp 差稳定计算。事件在 source pool 内汇总,按事件数归一化并乘 `source_pool_size/source_slot_capacity`;不是简单加一个“错误复活动作次数”的可微 loss。复活率本身是评估指标。 | |
| 证据:`_control_no_motion_loss` L209、`_stop_control_supervision_weights` L224、`_stop_control_release_weights` L293、`iter_optimizer_steps` L5169、5330([trainer](../src/psi/trainers/posttrain_full_duplex.py))。 | |
| ## 4. 时长分布目标 | |
| 令真实秒数 T,z=clip(log(1+T),z_min,z_max),48 个均匀中心 bₖ。找到相邻 bₖ≤z≤bₖ₊₁,令 α=(z−bₖ)/(bₖ₊₁−bₖ): | |
| \[ | |
| L_{dur}=-(1-\alpha)\log p_k-\alpha\log p_{k+1}. | |
| \] | |
| 这是邻档 soft label 的 categorical CE,边界用截断端点。目标只在进入每个原 motion 的有效边界产生,原 motion 时长不包含 idle/listen,也不使用 stop 后的截短时长。推理用分布中位档位而非 argmax 或期望。 | |
| 时长 loss 不监督动作结束 token;计划时长影响 progress,控制头仍负责状态切换。相比标量回归是否更好 **Not confirmed from code**。 | |
| ## 5. 身体语义辅助文本与 QA | |
| **Latest instruction / relative history:**临时复制身体 KV,在其后追加查询与真实 TTS 指令文本。shifted next-token CE 只算 labels≠−100 的目标 token,query/padding 不计入;全局按有效 token 数平均。LM head 冻结,尾部 trainable decoder 接收梯度。相对回忆查询编号经 `RelativeLagEmbedding` 编码,目标必须位于保留历史范围;并非把 GT 命令直接作为身体感知输入。 | |
| **QA:**独立 QA KV 的临时分支在视觉问题结束附近接受相同 answer+EOS 的 teacher forcing;全局目标 token mean。更新 QA LoRA 和接收侧 cross bridge;donor stop-gradient 不把 QA 梯度送进身体分支。口语答案波形/codec **不是当前训练 objective**;最终声音由冻结原生模型产生。 | |
| **Reply readiness:**二分类 CE,positive weight=8,只有语义更新时训练,输入 body summary.detach()。目标在 question-end 对齐的第一个可用 packet 及之后共3个窗口为 positive;推理需连续2次概率≥0.5才触发。 | |
| 证据:`_latest_instruction_teacher_forcing`([模型](../src/psi/models/full_duplex_psi0.py):2639);`qa_loss`([SWA模型](../src/psi/models/full_duplex_swa.py):187);[relative memory](../src/psi/models/relative_instruction_memory.py);`attach_live_packets`([overlay](../src/psi/data/seed/live_multimodal_overlay.py):317)。 | |
| ## 6. 总目标与正确分母 | |
| 当前C额外加入C的状态词语义锚定:`0.2 × mean(1 − cosine(E_i,E_i_initial))`。普通控制CE仍为三状态交叉熵,只是分类权重现在就是Qwen的新增词表行。Action condition用同一行数值的detach,不沿这条路径更新E。下面原有分组目标保留,不把锚项误算成新的数据任务。 | |
| 便于论文记号化,可写为: | |
| \[ | |
| \mathcal L=\mathcal A[L_{act}+L_c+0.1L_{vel}+0.05L_{acc}+0.1L_{root}+L_{height}+0.25L_{reply}] | |
| +0.5\mathcal E[L_{enter}]+\mathcal E[L_{stay}]+\mathcal E_r[L_{release}] | |
| +0.2\mathcal D[L_{dur}]+0.1\mathcal T[L_{latest}]+0.05\mathcal T_h[L_{history}]+\mathcal Q[L_{QA}]. | |
| \] | |
| 这些算子不能省略为一个统一 batch mean: | |
| - A:以原全局 slot 容量 C=B×world_size 为分母,只加 active rows。尾部只剩一条 source 时不放大为满 batch 权重。 | |
| - E/Er:按 pool 的事件总数归一化,再乘 pool/slot 比。 | |
| - D:当前有时长目标的有效样本数。 | |
| - T/Th/Q:各分支当前有效目标 token 数。 | |
| - 不存在对应监督时该项不参与;不是人为填 0 准确率。 | |
| 每 rank 的 objective 含 world_size 因子抵消 DDP 平均;不能再对已全局归一的指标重复除卡数。上式是与代码一致的分组抽象,不表示每一个密集步都有所有项。 | |
| ## 7. 优化循环和默认超参数 | |
| | 配置 | 默认值 / 来源 | | |
| |---|---| | |
| | 模型初始化 | 原始 pretrained Qwen;新 action/duration/reply;语义初始化的状态词行与新 cross bridge;新 QA LoRA;不加载旧实验权重 | | |
| | batch | 每卡16 slot;全局16×G;不是每步16×G条完整新 session | | |
| | optimizer | AdamW;身体/动作 β=(0.9,0.999), wd=0, eps=1e−8 | | |
| | learning rates | action/普通head 8e−5;body Qwen tail 2e−6;control 相关组按0.25倍率(8e−5基准对应2e−5;词表共享参数的实际归组以run参数组为准) | | |
| | QA group | 5e−5,β=(0.9,0.95), wd=.01;只在有 QA 目标时更新,按自己的40个有效 update warmup | | |
| | scheduler | cosine_with_min_lr,floor=.05;新训练 warmup=总步数/100(默认12,500) | | |
| | 总训练步 | 1,250,000 optimizer updates | | |
| | precision | action输入小MLP及位置相加FP32,其余bf16 autocast;Qwen trainable master fp32;clip body norm1,QA 单独 clip1 | | |
| | Qwen graph horizon | 1 个音频更新窗口;每次 backward 后 detach KV,数值保留 | | |
| | dense accumulation | 1;gradient accumulation1;source accumulation1 | | |
| | DDP | forward/backward 对齐;非 optimizer 边界才 `no_sync`;默认每密集窗口正常同步 | | |
| | eval | nominal每20,000步;valB8、总source budget64 | | |
| | checkpoint | nominal每5,000步、keep2;仅 cache-safe 边界发布,因此实际 step 可偏移 | | |
| 从 `iter_optimizer_steps` yield 的每个 event 才是一次 optimizer update。不是整条 source 只做一次 backward。历史 `average_full_duplex_gradients` 帮助函数仍存在,但不能拿旧 source-local manual-average 描述当前默认 dense loop。 | |
| `PosttrainFullDuplexTrainer` 的边界 checkpoint 包含训练状态、契约与紧凑 trainable 权重;frozen backbone仍是外部依赖。恢复 Adam/scheduler/RNG 不等于逐样本 bitwise 无中断复现:当前 stage0 marker 明确写 **DataLoader worker RNG/cursor 未序列化,恢复从新 source group 开始**。stage2 的 single-pass 恢复说明属于另一条路径。 | |
| 来源:[optimizer](../src/psi/trainers/posttrain_v1.py):493;[trainer](../src/psi/trainers/posttrain_full_duplex.py):5048、5390、6240、6260、6291;[scripts/train.py](../scripts/train.py):417。 | |
| ## 8. Epoch、效率与配置不变量 | |
| 每条 source 的 dense 长度不同且动态补槽,不能用 `len(dataset)/(B×G)` 得到 optimizer steps/epoch;那只近似原始批次数。epoch 实际 update 数由调度器、每条有效帧数、补槽等待和 pool 边界决定。总接触帧数、独立 source 数、Qwen更新数应另报,不能拿 stride1 的大量重叠窗口当等量独立数据。 | |
| 已有提速设计:离线启动索引复用、长度 lookahead、动态 source refill、无效动作行压缩、冻结前端 no-grad、视觉缓存、Qwen条件复用、QA稀疏目标更新。没有在本次文档更新运行性能实验;吞吐提升百分比 **Not confirmed from code**。 | |