# A1 上的状态词 A/B(261005) 状态:旧 A1/A2/Mask 已停止;四项完整模型/组件验收通过,A/B 长训已启动并连接独立 W&B。最新实际训练步数见各自日志。 ## 唯一核心变量 - 两组都使用 A1:共享冻结前28层、独立后8层、第34层双向门控cross,donor stop-gradient。 - A:三状态词预测及动作条件,不写入Body KV。 - B:相同预测及动作条件;每次真实AV包后,把**模型argmax预测**的词再forward一次,只写Body KV。不是每个stride1动作步追加。不用GT状态历史。 - B额外forward产生的hidden不进入本包动作条件。两组动作条件始终是同一个词表embedding。 ## 与提案的源码核对 - 旧头在`FullDuplexPsi0Model.__init__`,正式recipe已是`token_linear`,不是MLP;条件表为`control_condition_embedding`。 - CE沿用`PosttrainFullDuplexTrainer._forward_stream_batch`,只在原semantic-update窗口计入;不改loss权重。 - `FullDuplexSwaModel._encode_qwen_stream_input`取当前包最后有效hidden。硬argmax;条件拼在当前包hidden后面。 - 生产标签顺序为listen=0、motion=1、idle=2,保留,避免倒置标签。 - 原Qwen输入/输出词表不绑定。本实验只绑定新增3个词的输入、输出、动作条件;旧词表冻结。 - 实测tokenizer原长151665,新增IDs为151665/151666/151667。Qwen原权重表已padding到151936,resize不缩表,无需再额外分配完整大词表。冻结旧权重+3行可训练覆盖表,与选中行替换等价。 - **共享E意味着动作loss也会更新分类用的E。** 不穿过argmax不等于分类表示完全不受动作loss影响。A/B一致。 - B的Body/QA历史不同,前28层参数仍共享,但不能复用不等价的计算;正确fallback到独立计算,不复制Body状态词进QA。 - 原生self-attention各自保持正确M-RoPE;cross按同一当前AV包的token位置对应,不强迫两个分支绝对序号相等。 - `MiniCPM-o 4.5`第3.2节将各时间片的AV与输出词统一串行化;第3.3节比较LS/LT。这只是方案动机,不是本项目B有效的证据:https://arxiv.org/html/2604.27393v1 ## 相同配方 沿用`hfd.gpus3.2610010320/run_config.json`的完整数据/切分/优化器/增广/RTC/flow/duration/reply/QA参数,和现有A1单卡适配相同:seed42、B16、累积1、BF16、1,250,000步、LR8e-5、warmup12500、eval20000、save5000(仍遵守安全source边界)。均从相同预训练底座重新初始化,不加载旧实验优化器或权重。 两组实测唯一参数数均为6,143,549,555,可训练1,121,240,051;状态词为3×2048=6144参数。旧独立分类器移除;不保留第二套独立控制表。 ## 检查与记录 - CPU真实小Qwen测试6项通过(18.59s):输入/LM-head/条件绑定、CE可优化、冻词表无梯度、回答loss不更新Body状态词、动作条件梯度进入共享E、三包KV/反传/换source/过期清理。 - 小Qwen:A KV为4/8/12;B为5/10/15;QA均为4/8/12。 - 完整模型GPU短测:两组各完成2990步,训练loss由约126降至约11;均覆盖153个QA目标token、44次QA优化器更新、动态补source及64条验证和模型/优化器/RNG保存读取。发现独立短测直接调用evaluate时未继承正式driver的eval模式切换,已显式补齐并恢复原模式;两组另各完成32步+4条source组件复核,验证新增macro F1、precision/recall、混淆矩阵确实输出,不代替完整rollout覆盖,也不更改长训配方。所有验证数值有限。早期短测不作A/B质量结论。 - 完整模型前三次Body KV:A 280→280、427→427、574→574;B 280→281、428→429、576→577。QA未被直接追加状态词。组件补验中同样通过保存/读取。 - 原训练指标保留,额外记录三分类precision/recall、macro F1、3×3混淆矩阵。切换统计仅比较相邻真实包,排除换source:GT切换、预测切换、同包完全匹配、GT未切而预测切换、A-B-A闪烁。它们不是闭环动作成功率,不捏造延迟定义。 - 完整baseline三卡125万步,数据暴露与单卡实验不一致;标为not directly comparable。旧A1单卡记录可作参考,但须匹配步数与实际数据暴露,不伪称完整配对C。 ## 路径与启动 根目录:`/mnt/workspace/hfd_control_token_2610052100`。 GPU0:`bash /mnt/workspace/hfd_control_token_2610052100/run.sh A` GPU1:`bash /mnt/workspace/hfd_control_token_2610052100/run.sh B` 修改仅在隔离目录:`control_tokens.py`、`control_metrics.py`、`runtime.py`、`launch_training.py`、`prototypes/shared_prefix.py`、`prototypes/coupled_tail_cross.py`、snapshot中causal_av/native_visual/trainer的窄接口。正式baseline文件未改。 第三卡空置,第四卡不动。日志在`logs/`,checkpoint在`runs/posttrain_full_duplex/`,短测在`runs/preflight/`。 | 项目 | A | B | |---|---|---| | GPU | 0 | 1 | | PID | 2886561 | 2886565 | | tmux | hfd-control-A-long | hfd-control-B-long | | run目录(相对根目录) | runs/posttrain_full_duplex/hfd.gpus1.2610052136-control-A-a1 | runs/posttrain_full_duplex/hfd.gpus1.2610052136-control-B-a1 | | 日志 | logs/train_A.log | logs/train_B.log | | WandB ID | hs8ch908 | r2i7ueic | WandB:[A](https://wandb.ai/yth040313-zhejiang-university/humanoid-full-duplex/runs/hs8ch908)、[B](https://wandb.ai/yth040313-zhejiang-university/humanoid-full-duplex/runs/r2i7ueic)。从头长训,不接短测权重;当前尚未到首个安全边界checkpoint。两个MASTER_PORT分别29621、29622。两组保存配置逐项比较只差timestamp(WandB身份另各自生成),核心开关另存architecture contract。 代码冻结commit:d2aace758d82fd7c78c781a099eae2edabfbbba9。完整独立代码备份在evidence/experiment_code.bundle,另复制至共享盘hfd_experiments/control_token_2610052100_code.bundle;配置在每个run的run_config.json,KV/GT/pred/logits等检查在各preflight_result.json。补测临时权重约52GiB已删除,不可恢复;保留日志、配置和验收证据,旧实验完整权重未动。 本地盘实例重建可能丢失,不能冒充远端持久权重备份。沿用每组只留最近2个checkpoint的正式清理策略。没有额外重训baseline,也没有在本轮声称完成新A/B的长训闭环质量评估。