code-HFD / paper_context_v4 /08_code_to_claim_mapping.md
Tinghong-Ye22's picture
Add files using upload-large-folder tool
5d9f970 verified
|
Raw History Blame Contribute Delete
2.59 kB

论文主张→实现证据

以下是实现支持,不是新颖性或收益证明。文件均相对仓库根目录。

可写的Method描述 证据 不能延伸为
五类交互任务与视觉问答正交组合 data/seed/live_multimodal_overlay.py、hfd_current_recipe.py 每条数据必有所有模态
共享冻结前28层,独立后8层 models/interaction_arch/shared_prefix.py、runtime.py 两个完全独立36层模型/所有层只跑一次
倒数第二层双向门控cross coupled_tail_cross.py 全历史跨分支joint attention
donor stop-gradient GatedCausalTailCross.forward 两个任务输出永不互相影响
三个真实词表状态行 control_tokens.py install_token_rows 对整个词表自由生成控制句子
C的语义初始化+anchor+动作条件detach control_tokens.py、full_duplex_psi0.py action不能影响任何控制语义(body tail仍共享)
上一预测状态随下一AV包进入两路KV enable_packet_write、causal_av.py GT状态teacher forcing/每帧单独Qwen前向
概率时长提供阶段条件 full_duplex_psi0.py、motion_rollout.py 时长一到就规则强制停
dense stride1、语义stride20 posttrain_full_duplex.py、数据集 独立数据量严格增加20倍
动态source refill、逐槽KV重置 QwenStreamingKVCache、SourceBatchingLoader padding完全消失
RTC跨状态保持尾10帧 motion_rollout.py、swa_rollout.py 训练RTC全用自己预测/真机零延迟
朝向刚性对齐、stationary独立高度、listen hold full_duplex_audio_command_dataset.py 物理稳定性有严格保证
GT一/二阶差分含历史边界 posttrain_full_duplex.py 闭环生成绝不抖动
QA只读私有文本分支,不污染真实AV历史 swa_qa_branch.py、interaction_arch 回答内容传回body KV
答案文本经冻结native声音链合成 native_streaming_speech.py 联合训练了声学codec模型
本地写ckpt、后台校验回传 dlc_storage.py、launch_hfd_dlc.py 本地磁盘失效也零损失/逐位完美恢复
Root40固定anchor+RTC换系 data/seed/motion_repr40.py、runtime/motion_rollout.py 长训已证明无漂移/无抖动
action输入小MLP FP32 models/psi0.py ActionProjectionIn 全模型FP32/冻结声音模型已联合训练
单/双卡短训、恢复和视频曾验收 CHANGELOG 2026-10-07 八卡长训及所有任务质量均验收通过

真实robot端到端链路、足端物理安全、统计显著性、多种子大规模benchmark仍须单独证据。