Tinghong-Ye22's picture
Add files using upload-large-folder tool
5d9f970 verified
|
Raw History Blame Contribute Delete
2.81 kB

HFD paper context v4:当前模型的可实现说明

源码快照:2026-10-08;Root40实现 a18c4c1,当前工作分支基于 9fbfa32。正式架构标识 a1_c_deferred,动作表示 root40_v1。本包只更新文档,不修改训练。

交给GPT时,请先明确这句话

HFD的主策略骨干是一个“共享28层主干 + 身体8层分支 + 回答8层分支”的Qwen派生网络,不是音视频embedding处分开的两个独立36层Qwen-Omni。 分叉发生在共享第28层之后;两个分支在各自第35层内部做双向cross-attention。所有层编号同时见第02篇,防止0-based/1-based混淆。

这句话描述的是主策略参数拓扑,不意味着只有一个Python对象、一份可变KV,或者语音合成辅助器里完全没有冻结的Qwen文本模块。三者的区别必须保留,不能靠删除实现事实画出错误架构。

阅读顺序

  1. 02_method_architecture.md:共享/分叉位置、精确cross公式、状态token、梯度、缓存与实现伪代码。
  2. 09_architecture_figure_notes.md:画图硬性规范和可直接复制的prompt。
  3. architecture.mmd:主图;architecture_spec.json:结构化尺寸与连线。
  4. 13_root40_and_fp32.md:最新40维、坐标恢复、RTC重编码和FP32边界。
  5. model_architecture_deep_dive.md:音视频编码、action每层、原生声音、KV和时钟细节。
  6. 第03/04/05/07篇:数据、目标、推理和评估。第12篇:启动和证据边界。

相比v3的关键更新

  • 明确唯一共享主干、两条私有尾部;解释参数共享不等于任意历史都可共享计算或KV。
  • cross落在zero-based 34层的self-attention之后、MLP之前,双方donor均detach。
  • 专门说明声音渲染器中的冻结Voice Thinker:它只接收已生成文本,不是第二个实时音视频策略骨干。
  • 正式action/state均为40维;旋转变为固定chunk航向坐标下绝对rot6D,不再累计yaw增量。
  • RTC保留同一物理轨迹但换坐标重编码;不能直接复制上一chunk的40维尾部数值。
  • 动作输入小MLP及位置相加保留FP32;不是整个模型改FP32。
  • 删除旧版错误的关节索引推断;数组关节顺序以IsaacLab数据契约为准,不可拿XML遍历顺序直接代替。
  • 不把短测通过写成“已证明长期动作更平滑”;不把共享结构写成“语音codec端到端一起训练”。

源码路径是仓库内导航,不代表压缩包附带整套源代码。evidence_manifest.json记录当前源文件指纹。data_release_snapshot.json保留带日期的数据快照,不冒充本次重新全量统计。