code-HFD / paper_context_v4 /02_method_architecture.md
Tinghong-Ye22's picture
Add files using upload-large-folder tool
5d9f970 verified
|
Raw History Blame Contribute Delete
15.7 kB

当前模型:一个共享主干、两条尾部分支

0. 图必须反映的实体

主策略:一个Qwen2.5-Omni-3B派生的分支式Thinker。冻结音频/视觉前端 → 同一个冻结28层主干 → Body与QA各8层 → 当前包双向cross通信 → 动作与回答输出。

“一个”指参数共享拓扑,不是将两个完整36层模型放在两个框里后画一根连线。主策略decoder的独立层参数集合为 28 + 8 + 8 = 44份层参数,不是72份;每一条路径深度仍是36层。QA尾部是独立冻结base加LoRA,Body尾部直接微调。cross是额外模块。

实现仍保留body和qa两个HF包装对象,安装ArchitectureRuntime后将前28层的Parameter/缓冲区绑定到同一对象。不能仅凭FullDuplexSwaModel构造时加载两个对象,就断言正式运行是两套完全独立模型。也不能将包装对象数画成完整模型数。

1. 精确层数、尺寸、训练方式

所有下文索引为0-based,括号中给人类层序号。

模块 层/尺寸 参数策略
Audio tower / Vision tower 输出宽度2048 冻结;QA复用已构造AV输入,不另跑一套感知塔
原始词表embedding width2048 冻结,base参数共享
shared trunk 0–27(第1–28层) 同一套冻结decoder参数
Body tail 28–35(第29–36层) 独立,尾8层直接微调
QA tail 28–35(第29–36层) 独立冻结base;q/k/v/o和MLP gate/up/down都加rank16、alpha16 LoRA
双向cross index34(第35层,倒数第二层) 两个不同的可训练接收桥;不是每层都有
final RMSNorm / LM readout 两个wrapper保留各自末端模块 不属于共享前28层;QA基座norm/原LM权重冻结;身体沿尾部微调策略
三个state词表行E 3×2048 可训练;同一E负责受限LM读出、状态输入与动作条件
Flow action transformer 6blocks、width1536、24heads×64 可训练,输入/输出动作40D
duration LN2048→Linear512→GELU→Linear48 可训练,48档概率分布
reply-ready Linear2048→2 输入body summary.detach();只更新head
声音合成辅助链 冻结text-conditioning adapter、Talker、Token2Wav 不参与本项目QA/action损失训练

Thinker单层:hidden2048,16个query heads、2个KV heads、head_dim128,MLP intermediate11008,RMSNorm eps1e-6,gated SiLU MLP。self-attention采用原生M-RoPE与因果mask。LoRA输出为 W_base x + W_up(W_down x),scale=1;不是再增加8层完整网络。

2. 输入与主干输出的tensor

设B是同时在场的source槽数;L是当前packet右padding后的token长度,K是已保存历史宽度。长度随视觉token数变化,不是固定一个语义向量。

  • 麦克风:16kHz,0.6s波形9600 samples,每0.4s一包。
  • 音频前端:有效60个mel帧 → 15个audio tokens,形状[B,15,2048]。
  • 相机:8Hz,只取已到达的新帧;224×224,视频temporal patch=2,spatial merge=2;F帧产生64·ceil(F/2)个2048维token。
  • 冻结原生视觉与已缓存post-merger features接入同一位置;缓存不是Thinker hidden。
  • 第一个包含system/user前缀,后续包不重复;后续有效包最前面带上次预测state token。
  • packed embedding X:[B,L,2048];current_mask:[B,L];positions:[3,B,L];attention mask覆盖历史K和当前L。
  • shared trunk输出[B,L,2048]。两条尾部输出H_body、H_qa:[B,L,2048]。
  • summary h:H_body的最后有效token,[B,2048],不是取padding末列,也不是全历史平均。
  • 每层K/V各[B,2,K,128];历史有两套可变容器,源切换逐slot重置。

长度示例(无padding、正常9600音频、沿用当前prefix tokenizer):首个纯音频包L=86;首个5帧视觉包L=280;后续4帧视觉包原AV为147,再加一个pending state为148。token数不等于M-RoPE坐标增量。详细pack和位置见deep_dive第1–3节。

3. 共享权重、共享计算、独立KV:三件不同的事

权重共享是确定的。 SharedPrefixReplay安装后body/qa第0–27层参数为相同Parameter对象,base embedding同样alias。不能只copy一次数值后让两套权重独立存在。

计算复用有条件。 同一当前AV输入、attention mask、positions、prefix历史、dtype等严格等价时,QA复用Body前28层的hidden与新KV。不同历史或文本解码不等价时,用同一套共享权重重新前向,不能盲目复用。lineage证书仅减少已确认历史的重复检查,不绕过等价条件。

KV容器独立。 Body/QA都有36层历史容器,尾8层必须独立。前28层在验证等价时可复用tensor值,但不能让可变DynamicCache对象共用而导致重复append。QA答案生成在私有snapshot上追加文字,不回写在线AV缓存。

因此可以画一块shared trunk接两条尾部;实现说明必须同时保留“shared weights; guarded activation reuse; private mutable caches”。这不是两套独立Qwen,也不是无条件只有一次36层计算。

4. cross到底插在哪:完整层内计算

只在层l=34执行,下游还剩l=35一层。以下Body/QA对称,分别记b/q:

  1. 各自执行原生self-attention,读取各自历史KV: U_b = H_b + SA_b(RMSNorm_b(H_b), KV_b) U_q = H_q + SA_q(RMSNorm_q(H_q), KV_q)
  2. 从当前包U中均匀抽最多M=32个donor token。idx_k=floor(k·L/M),M=min(32,L)。仍用原token位置检查causal和padding;不保证32个都有效。
  3. 两个方向各有自己的cross参数;接收侧query不detach,发送侧memory.detach()。
  4. 加cross残差后,再执行该层自己的原生MLP: Z_b = Cross_b(U_b, stopgrad(U_q[idx])) Z_q = Cross_q(U_q, stopgrad(U_b[idx])) H'_b = Z_b + MLP_b(RMSNorm_post_b(Z_b)) H'_q = Z_q + MLP_q(RMSNorm_post_q(Z_q))
  5. 两路再各自经过层35和final norm。

两个方向都读取同一时刻cross之前的U快照,不能让后算的一方读已经融合后的另一方形成顺序反馈。

单个接收桥:

  • 无affine LayerNorm在FP32规范化query和donor。
  • W_Q/W_K/W_V:2048→256,无bias;8heads×32。
  • W_O:256→2048,无bias。
  • mask只允许有效donor且donor原位置≤query原位置;只交换当前已到packet,不直接跨读对方整个历史。
  • attention = softmax(QK^T/sqrt(32)+mask)V;得分FP32。
  • 输出 U + tanh(g)·W_O(attention),g为可训练scalar,初始0;无可读donor或无效query则message=0。
  • cross本身无新RoPE;原生self-attention保留各自M-RoPE。
  • 每方向参数4×2048×256+1=2,097,153,两方向4,194,306。

它是 two directed cross-attention modules,不是把Body/QA的K/V拼到一个softmax中的joint-attention。代码复用coupled_joint的同步调度类名不改变实际运算。

KV细节:第34层原生self-attention先写KV,cross发生在它之后,因此不能说“第34层KV已经包含本层cross输出”;第35层则能将融合后的表示写进自己的KV。

5. C状态token:完整前向及梯度

标签顺序固定:0=listen,1=motion,2=idle,对应真实新增词表token <|listen|>、<|motion|>、<|idle|>。当前正式run的ID分别为151665、151666、151667;原预训练词表padding容量151936不需要缩小。加载时以保存的tokenizer/contract校验,不跨tokenizer硬编码。不要按文字列举顺序重新排序。

E∈R^(3×2048),共6,144个可训练参数:

  • 三行初始值来自冻结词表对“ listening”“ moving”“ waiting”的token embedding平均。
  • 原词表embedding与LM head保持原冻结策略;原Qwen输入输出权重不是全词表weight-tied。
  • VocabularyOverlay让新增三行在输入lookup、输出LM位置和control readout间绑定同一E。只算三类受限logits,不必每packet对全词表自由解码。
  • logits=h_body E^T:[B,3];s=argmax(logits);训练和推理都用预测s,不用GT填历史。
  • 普通control CE训练预测;另加0.2·mean(1−cos(E_i,E_i_initial))。
  • Action接收 stopgrad(E[s]):[B,1,2048]。不再有一份独立control lookup或并存旧Linear(2048,3)参数。
  • hard argmax不可导;不靠action loss穿过argmax训练控制。

延迟写入:

packet0: [system, AV0]          -> predict s0, save pending
packet1: [s0, AV1]              -> predict s1, save pending
packet2: [s1, AV2]              -> predict s2, save pending

同一个pending token随下一AV包进入Body与QA各自在线历史,embedding写入detach;不额外运行单token Qwen forward。当前action立即使用s_t对应E,下一包才把s_t作为历史读到。无新语义包的19个dense action窗口不会重复写state。

忽略压缩/过期/补齐,三个packet有效KV长度依次L0、L0+1+L1、L0+1+L1+1+L2。source reset清pending、两路历史、位置及RTC;状态idle/listen/motion切换不清这些。

6. 身体动作头:从语义到30×40

输入:

  • H_body:[B,L,2048]。
  • 追加control:[B,L+1,2048],Linear2048→1536。
  • observed state:[B,1,40],Dropout(.2)→Linear40→1536。
  • context顺序[body tokens, control token, state token]:[B,L+2,1536],mask对应当前有效body与两个有效条件token。
  • noisy action:[B,30,40],**FP32 Linear40→40→GELU→Linear40→1536,加learned position[30,1536]**。
  • future progress:[B,30,5],Linear5→1536→SiLU→Linear1536→1536,加到action tokens。
  • 每帧flow timestep:[B,30]→Fourier256→MLP1536,给各block的AdaLN,不是输入环境时间戳。

6个双流action/context joint-attention blocks:width1536、24heads×64,action与context各自Q/K/V然后沿token维拼接,共30+L+2个token。non-causal joint attention只屏蔽无效context key。前5层两路都做residual/FFN,第6层context_pre_only,不输出更新context。FFN扩张至6144,最后action adaptive norm→Linear1536→40,输出flow velocity[B,30,40]。

注意这里的joint-attention属于动作生成器内部,不要与Thinker第34层的双向cross混画。

flow训练:xσ=(1−σ)a+σε,目标v*=ε−a;RTC已知帧σ=0,不监督其flow。推理10次Euler更新解出30帧,执行20、保留未执行10。Root40具体坐标和prefix换系见第13篇。身体参考输出仍为36D绝对姿态,不是40个关节。

7. 时长、回答与声音

duration从body h输出48档log(1+seconds)分布;训练标签是本轮原始motion长度,不含idle/listen,也不是整个多轮session。进入motion时以预测中位数建立计划;future progress据此推进。不在每包把计划重置,不因预测时长用尽强制idle。训练progress主要使用GT长度,差异仍需评估。

QA在线分支收相同AV及pending state;问题结束有answer监督时,将其当前KV复制成临时文本分支。query要求“回答最新已听到的视觉问题”,再teacher-force答案+EOS。推理自由自回归生成文本。query/答案文字均不写回真实Body或QA在线历史;文本阶段不运行双方cross。

reply readiness从detach(body summary)得到是否可以回答,不是第四种动作状态。动作继续,异步worker读取QA快照生成文字和声音。

声音实现必须诚实说明: SwaSpeechWorker另外载入冻结Qwen原生Voice Thinker,移除其音视频塔,仅将QA已经生成的文本逐token送给它,取得Talker熟悉的文本hidden/embedding,再经Talker→codec→Token2Wav→24kHz PCM。这不是另一条从AV输入开始的独立语义决策模型,但确实是额外冻结文本网络,不能声称部署中绝无其他Qwen参数。主图把它放在输出侧灰色“冻结声音渲染器”内,附图明确展开;不要误画为第二个主策略Qwen。当前未训练codec/波形loss。

8. 损失到参数:箭头不等于梯度

损失/依赖 更新位置 不沿该路径更新
action / smooth / height Body尾部、Body接收cross、action模型 QA donor;作为动作条件的E
control CE Body尾部/接收cross、E hard argmax历史选择
duration / body指令文本 Body相关路径和相应head QA donor
QA回答CE QA尾部LoRA、QA接收cross Body donor、冻结共享前28层
reply readiness reply head detach的Body summary
state anchor E backbone
pending历史输入 数值进入下一packet 写入embedding detach;不跨历史图反传

共享主干冻结;历史KV在训练窗口之间保留数值但detach graph。隔离梯度不等于数值互不影响:一个分支参数更新会改变未来cross donor,间接影响另一分支输出。不能写“彻底消除负迁移”。

9. 接近实现的伪代码

initialize:
  construct body wrapper and QA wrapper from same base checkpoint
  freeze shared layers0:28 and base vocabulary
  enable Body tail training; install QA tail LoRA
  register two cross bridges at layer34 BEFORE optimizer
  install state rows E and tied three-row vocabulary overlays
  after device/DDP setup: alias frozen prefix parameters; install guarded replay
  create independent mutable body_kv and qa_kv per active source slot

on_av_packet(slot, packet):
  X, mask, pos = pack(detach(E[pending]) if pending else None, packet)
  Hb28 = shared_trunk(X, body_prefix_kv)
  Hq28 = reuse_if_exactly_equivalent_else_same_weights_forward(X, qa_prefix_kv)
  Ub = body_layers28_to33(Hb28)
  Uq = qa_layers28_to33(Hq28)
  Ub = body_layer34.self_attention_residual(Ub, body_kv)
  Uq = qa_layer34.self_attention_residual(Uq, qa_kv)
  Zb = body_cross(Ub, detach(Uq), causal_current_packet_mask)
  Zq = qa_cross(Uq, detach(Ub), causal_current_packet_mask)
  Hb = body_final_norm(body_layer35(body_layer34.mlp_residual(Zb)))
  Hq = qa_final_norm(qa_layer35(qa_layer34.mlp_residual(Zq)))
  h = last_valid(Hb, mask)
  control_logits = h @ E.T
  s = argmax(control_logits)
  pending[slot] = s
  action_semantics = concat(Hb, detach(E[s]))
  duration = duration_head(h)
  ready = reply_head(detach(h))
  return action_semantics, duration, ready, body_kv, qa_kv

此为算子与依赖伪代码;真实代码为两个HF wrapper在layer34 rendezvous,不能顺序先完整跑完Body36层再从其最终hidden伪造QA34层输入。非语义更新的动作步只复用detach的语义,不调用这一流程。

10. 当前参数计数(实际安装后)

读取两卡Root40正式run hfd.gpus2.2610072107的architecture_parameters.json:去重参数6,143,554,244,可训练1,121,244,740。计数在cross注册及prefix alias之后,包含主策略冻结塔/词表等,不只是decoder层;不包含推理worker另载的冻结声音渲染器。ActionTransformerModel为500,108,048;不能把其余参数全部说成可训练或再把共享28层重复相加。

11. 精确源码导航

  • 参数/计算共享:src/psi/models/interaction_arch/shared_prefix.py,SharedPrefixReplay。
  • 拓扑与安装时机:interaction_arch/runtime.py,ArchitectureSpec / ArchitectureRuntime / PrefixCrossRuntime。
  • cross算子:interaction_arch/coupled_tail_cross.py,GatedCausalTailCross / CoupledTailCrossRuntime._joint_layers(历史命名,不是joint-softmax)。
  • 状态:interaction_arch/control_tokens.py,install_token_rows / enable_packet_write;models/causal_av.py,_prepend_pending_control_tokens。
  • QA LoRA:models/swa_qa_branch.py,OnlineQaBranch / BranchLoRALinear。
  • current AV summary及heads:models/full_duplex_swa.py,_encode_qwen_stream_input。
  • 动作结构:models/psi0.py,ObservationProjection / ActionProjectionIn / VLATransformerBlock / ActionProjectionOut。
  • 声音边界:runtime/swa_speech.py,SwaSpeechWorker;runtime/native_streaming_speech.py,NativeTextConditionAnswer。