Tinghong-Ye22's picture
Add files using upload-large-folder tool
5d9f970 verified
|
Raw History Blame Contribute Delete
2.81 kB
# HFD paper context v4:当前模型的可实现说明
源码快照:2026-10-08;Root40实现 a18c4c1,当前工作分支基于 9fbfa32。正式架构标识 a1_c_deferred,动作表示 root40_v1。本包只更新文档,不修改训练。
## 交给GPT时,请先明确这句话
**HFD的主策略骨干是一个“共享28层主干 + 身体8层分支 + 回答8层分支”的Qwen派生网络,不是音视频embedding处分开的两个独立36层Qwen-Omni。** 分叉发生在共享第28层之后;两个分支在各自第35层内部做双向cross-attention。所有层编号同时见第02篇,防止0-based/1-based混淆。
这句话描述的是主策略参数拓扑,不意味着只有一个Python对象、一份可变KV,或者语音合成辅助器里完全没有冻结的Qwen文本模块。三者的区别必须保留,不能靠删除实现事实画出错误架构。
## 阅读顺序
1. [02_method_architecture.md](02_method_architecture.md):共享/分叉位置、精确cross公式、状态token、梯度、缓存与实现伪代码。
2. [09_architecture_figure_notes.md](09_architecture_figure_notes.md):画图硬性规范和可直接复制的prompt。
3. [architecture.mmd](architecture.mmd):主图;[architecture_spec.json](architecture_spec.json):结构化尺寸与连线。
4. [13_root40_and_fp32.md](13_root40_and_fp32.md):最新40维、坐标恢复、RTC重编码和FP32边界。
5. [model_architecture_deep_dive.md](model_architecture_deep_dive.md):音视频编码、action每层、原生声音、KV和时钟细节。
6. 第03/04/05/07篇:数据、目标、推理和评估。第12篇:启动和证据边界。
## 相比v3的关键更新
- 明确唯一共享主干、两条私有尾部;解释参数共享不等于任意历史都可共享计算或KV。
- cross落在zero-based 34层的self-attention之后、MLP之前,双方donor均detach。
- 专门说明声音渲染器中的冻结Voice Thinker:它只接收已生成文本,不是第二个实时音视频策略骨干。
- 正式action/state均为40维;旋转变为固定chunk航向坐标下绝对rot6D,不再累计yaw增量。
- RTC保留同一物理轨迹但换坐标重编码;不能直接复制上一chunk的40维尾部数值。
- 动作输入小MLP及位置相加保留FP32;不是整个模型改FP32。
- 删除旧版错误的关节索引推断;数组关节顺序以IsaacLab数据契约为准,不可拿XML遍历顺序直接代替。
- 不把短测通过写成“已证明长期动作更平滑”;不把共享结构写成“语音codec端到端一起训练”。
源码路径是仓库内导航,不代表压缩包附带整套源代码。evidence_manifest.json记录当前源文件指纹。data_release_snapshot.json保留带日期的数据快照,不冒充本次重新全量统计。