code-HFD / paper_context_v4 /08_code_to_claim_mapping.md
Tinghong-Ye22's picture
Add files using upload-large-folder tool
5d9f970 verified
|
Raw History Blame Contribute Delete
2.59 kB
# 论文主张→实现证据
以下是实现支持,不是新颖性或收益证明。文件均相对仓库根目录。
| 可写的Method描述 | 证据 | 不能延伸为 |
|---|---|---|
| 五类交互任务与视觉问答正交组合 | data/seed/live_multimodal_overlay.py、hfd_current_recipe.py | 每条数据必有所有模态 |
| 共享冻结前28层,独立后8层 | models/interaction_arch/shared_prefix.py、runtime.py | 两个完全独立36层模型/所有层只跑一次 |
| 倒数第二层双向门控cross | coupled_tail_cross.py | 全历史跨分支joint attention |
| donor stop-gradient | GatedCausalTailCross.forward | 两个任务输出永不互相影响 |
| 三个真实词表状态行 | control_tokens.py install_token_rows | 对整个词表自由生成控制句子 |
| C的语义初始化+anchor+动作条件detach | control_tokens.py、full_duplex_psi0.py | action不能影响任何控制语义(body tail仍共享) |
| 上一预测状态随下一AV包进入两路KV | enable_packet_write、causal_av.py | GT状态teacher forcing/每帧单独Qwen前向 |
| 概率时长提供阶段条件 | full_duplex_psi0.py、motion_rollout.py | 时长一到就规则强制停 |
| dense stride1、语义stride20 | posttrain_full_duplex.py、数据集 | 独立数据量严格增加20倍 |
| 动态source refill、逐槽KV重置 | QwenStreamingKVCache、SourceBatchingLoader | padding完全消失 |
| RTC跨状态保持尾10帧 | motion_rollout.py、swa_rollout.py | 训练RTC全用自己预测/真机零延迟 |
| 朝向刚性对齐、stationary独立高度、listen hold | full_duplex_audio_command_dataset.py | 物理稳定性有严格保证 |
| GT一/二阶差分含历史边界 | posttrain_full_duplex.py | 闭环生成绝不抖动 |
| QA只读私有文本分支,不污染真实AV历史 | swa_qa_branch.py、interaction_arch | 回答内容传回body KV |
| 答案文本经冻结native声音链合成 | native_streaming_speech.py | 联合训练了声学codec模型 |
| 本地写ckpt、后台校验回传 | dlc_storage.py、launch_hfd_dlc.py | 本地磁盘失效也零损失/逐位完美恢复 |
| Root40固定anchor+RTC换系 | data/seed/motion_repr40.py、runtime/motion_rollout.py | 长训已证明无漂移/无抖动 |
| action输入小MLP FP32 | models/psi0.py ActionProjectionIn | 全模型FP32/冻结声音模型已联合训练 |
| 单/双卡短训、恢复和视频曾验收 | CHANGELOG 2026-10-07 | 八卡长训及所有任务质量均验收通过 |
真实robot端到端链路、足端物理安全、统计显著性、多种子大规模benchmark仍须单独证据。