code-HFD / doc /experiment_setup.md
Tinghong-Ye22's picture
Add files using upload-large-folder tool
5d9f970 verified
|
Raw History Blame Contribute Delete
6.38 kB

A1 上的状态词 A/B(261005)

状态:旧 A1/A2/Mask 已停止;四项完整模型/组件验收通过,A/B 长训已启动并连接独立 W&B。最新实际训练步数见各自日志。

唯一核心变量

  • 两组都使用 A1:共享冻结前28层、独立后8层、第34层双向门控cross,donor stop-gradient。
  • A:三状态词预测及动作条件,不写入Body KV。
  • B:相同预测及动作条件;每次真实AV包后,把模型argmax预测的词再forward一次,只写Body KV。不是每个stride1动作步追加。不用GT状态历史。
  • B额外forward产生的hidden不进入本包动作条件。两组动作条件始终是同一个词表embedding。

与提案的源码核对

  • 旧头在FullDuplexPsi0Model.__init__,正式recipe已是token_linear,不是MLP;条件表为control_condition_embedding。
  • CE沿用PosttrainFullDuplexTrainer._forward_stream_batch,只在原semantic-update窗口计入;不改loss权重。
  • FullDuplexSwaModel._encode_qwen_stream_input取当前包最后有效hidden。硬argmax;条件拼在当前包hidden后面。
  • 生产标签顺序为listen=0、motion=1、idle=2,保留,避免倒置标签。
  • 原Qwen输入/输出词表不绑定。本实验只绑定新增3个词的输入、输出、动作条件;旧词表冻结。
  • 实测tokenizer原长151665,新增IDs为151665/151666/151667。Qwen原权重表已padding到151936,resize不缩表,无需再额外分配完整大词表。冻结旧权重+3行可训练覆盖表,与选中行替换等价。
  • 共享E意味着动作loss也会更新分类用的E。 不穿过argmax不等于分类表示完全不受动作loss影响。A/B一致。
  • B的Body/QA历史不同,前28层参数仍共享,但不能复用不等价的计算;正确fallback到独立计算,不复制Body状态词进QA。
  • 原生self-attention各自保持正确M-RoPE;cross按同一当前AV包的token位置对应,不强迫两个分支绝对序号相等。
  • MiniCPM-o 4.5第3.2节将各时间片的AV与输出词统一串行化;第3.3节比较LS/LT。这只是方案动机,不是本项目B有效的证据:https://arxiv.org/html/2604.27393v1

相同配方

沿用hfd.gpus3.2610010320/run_config.json的完整数据/切分/优化器/增广/RTC/flow/duration/reply/QA参数,和现有A1单卡适配相同:seed42、B16、累积1、BF16、1,250,000步、LR8e-5、warmup12500、eval20000、save5000(仍遵守安全source边界)。均从相同预训练底座重新初始化,不加载旧实验优化器或权重。

两组实测唯一参数数均为6,143,549,555,可训练1,121,240,051;状态词为3×2048=6144参数。旧独立分类器移除;不保留第二套独立控制表。

检查与记录

  • CPU真实小Qwen测试6项通过(18.59s):输入/LM-head/条件绑定、CE可优化、冻词表无梯度、回答loss不更新Body状态词、动作条件梯度进入共享E、三包KV/反传/换source/过期清理。
  • 小Qwen:A KV为4/8/12;B为5/10/15;QA均为4/8/12。
  • 完整模型GPU短测:两组各完成2990步,训练loss由约126降至约11;均覆盖153个QA目标token、44次QA优化器更新、动态补source及64条验证和模型/优化器/RNG保存读取。发现独立短测直接调用evaluate时未继承正式driver的eval模式切换,已显式补齐并恢复原模式;两组另各完成32步+4条source组件复核,验证新增macro F1、precision/recall、混淆矩阵确实输出,不代替完整rollout覆盖,也不更改长训配方。所有验证数值有限。早期短测不作A/B质量结论。
  • 完整模型前三次Body KV:A 280→280、427→427、574→574;B 280→281、428→429、576→577。QA未被直接追加状态词。组件补验中同样通过保存/读取。
  • 原训练指标保留,额外记录三分类precision/recall、macro F1、3×3混淆矩阵。切换统计仅比较相邻真实包,排除换source:GT切换、预测切换、同包完全匹配、GT未切而预测切换、A-B-A闪烁。它们不是闭环动作成功率,不捏造延迟定义。
  • 完整baseline三卡125万步,数据暴露与单卡实验不一致;标为not directly comparable。旧A1单卡记录可作参考,但须匹配步数与实际数据暴露,不伪称完整配对C。

路径与启动

根目录:/mnt/workspace/hfd_control_token_2610052100。

GPU0:bash /mnt/workspace/hfd_control_token_2610052100/run.sh A

GPU1:bash /mnt/workspace/hfd_control_token_2610052100/run.sh B

修改仅在隔离目录:control_tokens.py、control_metrics.py、runtime.py、launch_training.py、prototypes/shared_prefix.py、prototypes/coupled_tail_cross.py、snapshot中causal_av/native_visual/trainer的窄接口。正式baseline文件未改。

第三卡空置,第四卡不动。日志在logs/,checkpoint在runs/posttrain_full_duplex/,短测在runs/preflight/。

项目 A B
GPU 0 1
PID 2886561 2886565
tmux hfd-control-A-long hfd-control-B-long
run目录(相对根目录) runs/posttrain_full_duplex/hfd.gpus1.2610052136-control-A-a1 runs/posttrain_full_duplex/hfd.gpus1.2610052136-control-B-a1
日志 logs/train_A.log logs/train_B.log
WandB ID hs8ch908 r2i7ueic

WandB:A、B。从头长训,不接短测权重;当前尚未到首个安全边界checkpoint。两个MASTER_PORT分别29621、29622。两组保存配置逐项比较只差timestamp(WandB身份另各自生成),核心开关另存architecture contract。

代码冻结commit:d2aace758d82fd7c78c781a099eae2edabfbbba9。完整独立代码备份在evidence/experiment_code.bundle,另复制至共享盘hfd_experiments/control_token_2610052100_code.bundle;配置在每个run的run_config.json,KV/GT/pred/logits等检查在各preflight_result.json。补测临时权重约52GiB已删除,不可恢复;保留日志、配置和验收证据,旧实验完整权重未动。

本地盘实例重建可能丢失,不能冒充远端持久权重备份。沿用每组只留最近2个checkpoint的正式清理策略。没有额外重训baseline,也没有在本轮声称完成新A/B的长训闭环质量评估。