code-HFD / paper_context_v4 /02_method_architecture.md
Tinghong-Ye22's picture
Add files using upload-large-folder tool
5d9f970 verified
|
Raw History Blame Contribute Delete
15.7 kB
# 当前模型:一个共享主干、两条尾部分支
## 0. 图必须反映的实体
主策略:**一个Qwen2.5-Omni-3B派生的分支式Thinker**。冻结音频/视觉前端 → 同一个冻结28层主干 → Body与QA各8层 → 当前包双向cross通信 → 动作与回答输出。
“一个”指参数共享拓扑,不是将两个完整36层模型放在两个框里后画一根连线。主策略decoder的独立层参数集合为 **28 + 8 + 8 = 44份层参数**,不是72份;每一条路径深度仍是36层。QA尾部是独立冻结base加LoRA,Body尾部直接微调。cross是额外模块。
实现仍保留body和qa两个HF包装对象,安装ArchitectureRuntime后将前28层的Parameter/缓冲区绑定到同一对象。不能仅凭FullDuplexSwaModel构造时加载两个对象,就断言正式运行是两套完全独立模型。也不能将包装对象数画成完整模型数。
## 1. 精确层数、尺寸、训练方式
所有下文索引为0-based,括号中给人类层序号。
| 模块 | 层/尺寸 | 参数策略 |
|---|---|---|
| Audio tower / Vision tower | 输出宽度2048 | 冻结;QA复用已构造AV输入,不另跑一套感知塔 |
| 原始词表embedding | width2048 | 冻结,base参数共享 |
| shared trunk | 0–27(第1–28层) | 同一套冻结decoder参数 |
| Body tail | 28–35(第29–36层) | 独立,尾8层直接微调 |
| QA tail | 28–35(第29–36层) | 独立冻结base;q/k/v/o和MLP gate/up/down都加rank16、alpha16 LoRA |
| 双向cross | index34(第35层,倒数第二层) | 两个不同的可训练接收桥;不是每层都有 |
| final RMSNorm / LM readout | 两个wrapper保留各自末端模块 | 不属于共享前28层;QA基座norm/原LM权重冻结;身体沿尾部微调策略 |
| 三个state词表行E | 3×2048 | 可训练;同一E负责受限LM读出、状态输入与动作条件 |
| Flow action transformer | 6blocks、width1536、24heads×64 | 可训练,输入/输出动作40D |
| duration | LN2048→Linear512→GELU→Linear48 | 可训练,48档概率分布 |
| reply-ready | Linear2048→2 | 输入body summary.detach();只更新head |
| 声音合成辅助链 | 冻结text-conditioning adapter、Talker、Token2Wav | 不参与本项目QA/action损失训练 |
Thinker单层:hidden2048,16个query heads、2个KV heads、head_dim128,MLP intermediate11008,RMSNorm eps1e-6,gated SiLU MLP。self-attention采用原生M-RoPE与因果mask。LoRA输出为 W_base x + W_up(W_down x),scale=1;不是再增加8层完整网络。
## 2. 输入与主干输出的tensor
设B是同时在场的source槽数;L是当前packet右padding后的token长度,K是已保存历史宽度。长度随视觉token数变化,不是固定一个语义向量。
- 麦克风:16kHz,0.6s波形9600 samples,每0.4s一包。
- 音频前端:有效60个mel帧 → 15个audio tokens,形状[B,15,2048]。
- 相机:8Hz,只取已到达的新帧;224×224,视频temporal patch=2,spatial merge=2;F帧产生64·ceil(F/2)个2048维token。
- 冻结原生视觉与已缓存post-merger features接入同一位置;缓存不是Thinker hidden。
- 第一个包含system/user前缀,后续包不重复;后续有效包最前面带上次预测state token。
- packed embedding X:[B,L,2048];current_mask:[B,L];positions:[3,B,L];attention mask覆盖历史K和当前L。
- shared trunk输出[B,L,2048]。两条尾部输出H_body、H_qa:[B,L,2048]。
- summary h:H_body的最后有效token,[B,2048],不是取padding末列,也不是全历史平均。
- 每层K/V各[B,2,K,128];历史有两套可变容器,源切换逐slot重置。
长度示例(无padding、正常9600音频、沿用当前prefix tokenizer):首个纯音频包L=86;首个5帧视觉包L=280;后续4帧视觉包原AV为147,再加一个pending state为148。token数不等于M-RoPE坐标增量。详细pack和位置见deep_dive第1–3节。
## 3. 共享权重、共享计算、独立KV:三件不同的事
**权重共享是确定的。** SharedPrefixReplay安装后body/qa第0–27层参数为相同Parameter对象,base embedding同样alias。不能只copy一次数值后让两套权重独立存在。
**计算复用有条件。** 同一当前AV输入、attention mask、positions、prefix历史、dtype等严格等价时,QA复用Body前28层的hidden与新KV。不同历史或文本解码不等价时,用同一套共享权重重新前向,不能盲目复用。lineage证书仅减少已确认历史的重复检查,不绕过等价条件。
**KV容器独立。** Body/QA都有36层历史容器,尾8层必须独立。前28层在验证等价时可复用tensor值,但不能让可变DynamicCache对象共用而导致重复append。QA答案生成在私有snapshot上追加文字,不回写在线AV缓存。
因此可以画一块shared trunk接两条尾部;实现说明必须同时保留“shared weights; guarded activation reuse; private mutable caches”。这不是两套独立Qwen,也不是无条件只有一次36层计算。
## 4. cross到底插在哪:完整层内计算
只在层l=34执行,下游还剩l=35一层。以下Body/QA对称,分别记b/q:
1. 各自执行原生self-attention,读取各自历史KV:
U_b = H_b + SA_b(RMSNorm_b(H_b), KV_b)
U_q = H_q + SA_q(RMSNorm_q(H_q), KV_q)
2. 从当前包U中均匀抽最多M=32个donor token。idx_k=floor(k·L/M),M=min(32,L)。仍用原token位置检查causal和padding;不保证32个都有效。
3. 两个方向各有自己的cross参数;接收侧query不detach,发送侧memory.detach()。
4. 加cross残差后,再执行该层自己的原生MLP:
Z_b = Cross_b(U_b, stopgrad(U_q[idx]))
Z_q = Cross_q(U_q, stopgrad(U_b[idx]))
H'_b = Z_b + MLP_b(RMSNorm_post_b(Z_b))
H'_q = Z_q + MLP_q(RMSNorm_post_q(Z_q))
5. 两路再各自经过层35和final norm。
两个方向都读取**同一时刻cross之前的U快照**,不能让后算的一方读已经融合后的另一方形成顺序反馈。
单个接收桥:
- 无affine LayerNorm在FP32规范化query和donor。
- W_Q/W_K/W_V:2048→256,无bias;8heads×32。
- W_O:256→2048,无bias。
- mask只允许有效donor且donor原位置≤query原位置;只交换当前已到packet,不直接跨读对方整个历史。
- attention = softmax(QK^T/sqrt(32)+mask)V;得分FP32。
- 输出 U + tanh(g)·W_O(attention),g为可训练scalar,初始0;无可读donor或无效query则message=0。
- cross本身无新RoPE;原生self-attention保留各自M-RoPE。
- 每方向参数4×2048×256+1=2,097,153,两方向4,194,306。
它是 **two directed cross-attention modules**,不是把Body/QA的K/V拼到一个softmax中的joint-attention。代码复用coupled_joint的同步调度类名不改变实际运算。
KV细节:第34层原生self-attention先写KV,cross发生在它之后,因此不能说“第34层KV已经包含本层cross输出”;第35层则能将融合后的表示写进自己的KV。
## 5. C状态token:完整前向及梯度
标签顺序固定:0=listen,1=motion,2=idle,对应真实新增词表token <|listen|>、<|motion|>、<|idle|>。当前正式run的ID分别为151665、151666、151667;原预训练词表padding容量151936不需要缩小。加载时以保存的tokenizer/contract校验,不跨tokenizer硬编码。不要按文字列举顺序重新排序。
E∈R^(3×2048),共6,144个可训练参数:
- 三行初始值来自冻结词表对“ listening”“ moving”“ waiting”的token embedding平均。
- 原词表embedding与LM head保持原冻结策略;原Qwen输入输出权重不是全词表weight-tied。
- VocabularyOverlay让**新增三行**在输入lookup、输出LM位置和control readout间绑定同一E。只算三类受限logits,不必每packet对全词表自由解码。
- logits=h_body E^T:[B,3];s=argmax(logits);训练和推理都用预测s,不用GT填历史。
- 普通control CE训练预测;另加0.2·mean(1−cos(E_i,E_i_initial))。
- Action接收 stopgrad(E[s]):[B,1,2048]。不再有一份独立control lookup或并存旧Linear(2048,3)参数。
- hard argmax不可导;不靠action loss穿过argmax训练控制。
延迟写入:
~~~
packet0: [system, AV0] -> predict s0, save pending
packet1: [s0, AV1] -> predict s1, save pending
packet2: [s1, AV2] -> predict s2, save pending
~~~
同一个pending token随下一AV包进入Body与QA各自在线历史,embedding写入detach;不额外运行单token Qwen forward。当前action立即使用s_t对应E,下一包才把s_t作为历史读到。无新语义包的19个dense action窗口不会重复写state。
忽略压缩/过期/补齐,三个packet有效KV长度依次L0、L0+1+L1、L0+1+L1+1+L2。source reset清pending、两路历史、位置及RTC;状态idle/listen/motion切换不清这些。
## 6. 身体动作头:从语义到30×40
输入:
- H_body:[B,L,2048]。
- 追加control:[B,L+1,2048],Linear2048→1536。
- observed state:[B,1,40],Dropout(.2)→Linear40→1536。
- context顺序[body tokens, control token, state token]:[B,L+2,1536],mask对应当前有效body与两个有效条件token。
- noisy action:[B,30,40],**FP32 Linear40→40→GELU→Linear40→1536,加learned position[30,1536]**。
- future progress:[B,30,5],Linear5→1536→SiLU→Linear1536→1536,加到action tokens。
- 每帧flow timestep:[B,30]→Fourier256→MLP1536,给各block的AdaLN,不是输入环境时间戳。
6个双流action/context joint-attention blocks:width1536、24heads×64,action与context各自Q/K/V然后沿token维拼接,共30+L+2个token。non-causal joint attention只屏蔽无效context key。前5层两路都做residual/FFN,第6层context_pre_only,不输出更新context。FFN扩张至6144,最后action adaptive norm→Linear1536→40,输出flow velocity[B,30,40]。
注意这里的joint-attention属于**动作生成器内部**,不要与Thinker第34层的双向cross混画。
flow训练:xσ=(1−σ)a+σε,目标v*=ε−a;RTC已知帧σ=0,不监督其flow。推理10次Euler更新解出30帧,执行20、保留未执行10。Root40具体坐标和prefix换系见第13篇。身体参考输出仍为36D绝对姿态,不是40个关节。
## 7. 时长、回答与声音
duration从body h输出48档log(1+seconds)分布;训练标签是本轮原始motion长度,不含idle/listen,也不是整个多轮session。进入motion时以预测中位数建立计划;future progress据此推进。不在每包把计划重置,不因预测时长用尽强制idle。训练progress主要使用GT长度,差异仍需评估。
QA在线分支收相同AV及pending state;问题结束有answer监督时,将其当前KV复制成临时文本分支。query要求“回答最新已听到的视觉问题”,再teacher-force答案+EOS。推理自由自回归生成文本。query/答案文字均不写回真实Body或QA在线历史;文本阶段不运行双方cross。
reply readiness从detach(body summary)得到是否可以回答,不是第四种动作状态。动作继续,异步worker读取QA快照生成文字和声音。
**声音实现必须诚实说明:** SwaSpeechWorker另外载入冻结Qwen原生Voice Thinker,移除其音视频塔,仅将QA已经生成的文本逐token送给它,取得Talker熟悉的文本hidden/embedding,再经Talker→codec→Token2Wav→24kHz PCM。这不是另一条从AV输入开始的独立语义决策模型,但确实是额外冻结文本网络,不能声称部署中绝无其他Qwen参数。主图把它放在输出侧灰色“冻结声音渲染器”内,附图明确展开;不要误画为第二个主策略Qwen。当前未训练codec/波形loss。
## 8. 损失到参数:箭头不等于梯度
| 损失/依赖 | 更新位置 | 不沿该路径更新 |
|---|---|---|
| action / smooth / height | Body尾部、Body接收cross、action模型 | QA donor;作为动作条件的E |
| control CE | Body尾部/接收cross、E | hard argmax历史选择 |
| duration / body指令文本 | Body相关路径和相应head | QA donor |
| QA回答CE | QA尾部LoRA、QA接收cross | Body donor、冻结共享前28层 |
| reply readiness | reply head | detach的Body summary |
| state anchor | E | backbone |
| pending历史输入 | 数值进入下一packet | 写入embedding detach;不跨历史图反传 |
共享主干冻结;历史KV在训练窗口之间保留数值但detach graph。隔离梯度**不等于数值互不影响**:一个分支参数更新会改变未来cross donor,间接影响另一分支输出。不能写“彻底消除负迁移”。
## 9. 接近实现的伪代码
~~~
initialize:
construct body wrapper and QA wrapper from same base checkpoint
freeze shared layers0:28 and base vocabulary
enable Body tail training; install QA tail LoRA
register two cross bridges at layer34 BEFORE optimizer
install state rows E and tied three-row vocabulary overlays
after device/DDP setup: alias frozen prefix parameters; install guarded replay
create independent mutable body_kv and qa_kv per active source slot
on_av_packet(slot, packet):
X, mask, pos = pack(detach(E[pending]) if pending else None, packet)
Hb28 = shared_trunk(X, body_prefix_kv)
Hq28 = reuse_if_exactly_equivalent_else_same_weights_forward(X, qa_prefix_kv)
Ub = body_layers28_to33(Hb28)
Uq = qa_layers28_to33(Hq28)
Ub = body_layer34.self_attention_residual(Ub, body_kv)
Uq = qa_layer34.self_attention_residual(Uq, qa_kv)
Zb = body_cross(Ub, detach(Uq), causal_current_packet_mask)
Zq = qa_cross(Uq, detach(Ub), causal_current_packet_mask)
Hb = body_final_norm(body_layer35(body_layer34.mlp_residual(Zb)))
Hq = qa_final_norm(qa_layer35(qa_layer34.mlp_residual(Zq)))
h = last_valid(Hb, mask)
control_logits = h @ E.T
s = argmax(control_logits)
pending[slot] = s
action_semantics = concat(Hb, detach(E[s]))
duration = duration_head(h)
ready = reply_head(detach(h))
return action_semantics, duration, ready, body_kv, qa_kv
~~~
此为算子与依赖伪代码;真实代码为两个HF wrapper在layer34 rendezvous,不能顺序先完整跑完Body36层再从其最终hidden伪造QA34层输入。非语义更新的动作步只复用detach的语义,不调用这一流程。
## 10. 当前参数计数(实际安装后)
读取两卡Root40正式run hfd.gpus2.2610072107的architecture_parameters.json:去重参数6,143,554,244,可训练1,121,244,740。计数在cross注册及prefix alias之后,包含主策略冻结塔/词表等,不只是decoder层;不包含推理worker另载的冻结声音渲染器。ActionTransformerModel为500,108,048;不能把其余参数全部说成可训练或再把共享28层重复相加。
## 11. 精确源码导航
- 参数/计算共享:src/psi/models/interaction_arch/shared_prefix.py,SharedPrefixReplay。
- 拓扑与安装时机:interaction_arch/runtime.py,ArchitectureSpec / ArchitectureRuntime / PrefixCrossRuntime。
- cross算子:interaction_arch/coupled_tail_cross.py,GatedCausalTailCross / CoupledTailCrossRuntime._joint_layers(历史命名,不是joint-softmax)。
- 状态:interaction_arch/control_tokens.py,install_token_rows / enable_packet_write;models/causal_av.py,_prepend_pending_control_tokens。
- QA LoRA:models/swa_qa_branch.py,OnlineQaBranch / BranchLoRALinear。
- current AV summary及heads:models/full_duplex_swa.py,_encode_qwen_stream_input。
- 动作结构:models/psi0.py,ObservationProjection / ActionProjectionIn / VLATransformerBlock / ActionProjectionOut。
- 声音边界:runtime/swa_speech.py,SwaSpeechWorker;runtime/native_streaming_speech.py,NativeTextConditionAnswer。