# 260910 — Speaking-while-acting:流式视听问答实验 ### 09/15:按严重度修复漏答、念错和过早回答 这轮不重训、不改正式 HFD 六任务数据与模型,冻结此前选中的 25k SWA checkpoint 和语音适配器,只在隔离 SWA 推理链路逐项修复。 第一,**修复漏答**。旧逻辑在语音 worker 忙时直接忽略新的回答触发;现在每次触发都复制当时的因果 KV 与文本 tape,送入单 worker、有上限的 FIFO。4 条针对性回放共 6 次触发,旧逻辑只返回 4 次,新逻辑返回 6 次;动作、control、KV、输入时刻和触发窗口逐项一致。回答包也改为 session 共用的播放 FIFO,旧独立播放时钟出现的 1 次声音重叠降为 0。这里验证的是软件排队,不是真机扬声器。 第二,**修复“文字生成正确但 Talker 念错”**。旧接口用训练出来的 affine adapter 把当前视听 Qwen hidden 直接映射给冻结 Talker,hidden 分布并不等同于 Talker 预训练时看到的文本 hidden。候选接口仍由当前视听模型逐词决定回答;但每个已经生成、已经到达的词,再经过一份冻结的原生 Qwen Thinker 得到 Talker 熟悉的 hidden,然后立即流给 Talker。它没有提前看到整句、没有输入参考答案,也没有改回答文字;代价是语音进程多驻留一份冻结的约 3B Thinker。 | 严格 ASR 与模型已生成文字一致;64 source×2 seed | 旧 affine:Whisper | 新接口:Whisper | 旧 affine:Qwen | 新接口:Qwen | |---|---:|---:|---:|---:| | 固定 val | 71/128 | **108/128** | 87/128 | **118/128** | | 冻结方案后只跑一次的固定 test | 67/128 | **106/128** | 77/128 | **119/128** | 按 source 做配对 bootstrap,val 的严格一致率增益为 +0.289(Whisper,95% 区间 [0.195, 0.383])和 +0.242(Qwen,[0.148, 0.344]);test 为 +0.305([0.203, 0.406])和 +0.328([0.227, 0.430])。val 的自然 EOS 从 123/128 提到 128/128,test 两臂均为 128/128。首 PCM 计算时间没有系统性变慢:val 平均差 +0.011 秒,test 平均差 -0.029 秒。数字是两套自动转写与“模型生成文字”的严格匹配,不是参考答案正确率,也不是人耳自然度评分;Qwen ASR 会把部分正确声音误当问题回答,因此同时保留 Whisper、Qwen 和原始 WAV。 第三,**抑制过早回答**。现有 reply probability 偶尔只有一个 0.4 秒窗口突然升高。候选要求连续两个窗口都超过 0.5 才触发。固定 64val 中,提前回答 source 从 4 降到 0,无问题普通回放误触发从 3 降到 0;固定 64test 原本均为 0,修改后仍为 0。64val/64test 的正确触发都没有漏掉或超过问题结束后 2 秒,代价是每次决定固定晚 0.4 秒。这是保守的推理防抖,不代表 reply head 本身已经通过训练变稳定;以后应训练边界持续性,再评估是否去掉这 0.4 秒。 最后将三项候选放回真实节奏的软件链路,专门回放 4 条早触发、忙碌漏答、旧非 EOS 与正常对照样例,共 8 次配对:8 次均返回、均正常 EOS、无语音线程错误;动作、control、KV、输入、触发窗口和回答文字全部逐项一致。它证明组合代码没有改变身体分支,也没有互相冲突;仍只是预录输入的因果实时回放,不证明真机麦克风回声、人耳音质或任意分布鲁棒性。 结论按严重度区分:软件漏答已从“丢弃”改为有界排队;语音接口在独立 test 上保持大幅改善;过早回答可安全压住但增加 0.4 秒。尚未彻底解决的是端到端实际首音延迟和真实环境双工:当前 Talker/Token2Wav 本身仍约需 1.2~1.4 秒,不能把“首包接口未变慢”写成低延迟已经完成。完整汇总在隔离 run 的 `repair_260914/priority_repairs_summary_v2.json`,原始 val/test ASR、配对 bootstrap、全量防抖复算和 4 条组合回放均保留;30 项关键 helper、结果和独立审计收据已封存到 `provenance/swa_priority_repairs_260915.tar.gz`,SHA256 为 `b1ffc4750b46def6b2ebd981f8d767117e1a526d27b8835d1cd769733fcafdc4`。正式 HFD 源码、训练权重和数据未改。 ### 09/14:完整软件验证完成——能边说边动,但念词和回答时机仍有问题 **先讲结论。** 在本次固定录像回放里,机器人可以一边继续生成动作、一边分块输出声音;但“能同时做”不等于“答得对、念得对、反应足够快”。128条source的开声/无声共256次配对全部完成,动作、control、主KV长度、输入时刻和触发窗口逐条一致;130次实际声音已用Whisper与另一套基座Qwen分别转写。没有把GT配音放进推理视频,也没有把整句离线WAV切开冒充在线生成。 原长训干净到300,000步,12次固定64val完成;按事先规则仍选25,000步,继续长训没有显示稳定的回答质量提升。原协议的64val/64test各三条件共384条推理也完成,六波两rank均返回0。下面先列原协议的文字理解,再列实际出声结果,二者不混用。 | 固定条件;选中25k | 64 val | 64 test | |---|---:|---:| | 正常画面,自由回答词F1 | 0.7643 | 0.7969 | | 参考答案逐词完全匹配 | 38/64 | 42/64 | | 只看问题的先验词F1 | 0.5807 | 0.5667 | | 错配画面的词F1 | 0.4356 | 0.3940 | | 问题结束后2秒内触发回答决定 | 64/64 | 64/64 | | 没有问题却回答的source | 3/64 | 0/64 | | 问答/无问题关节RMSE(rad) | 0.35646/0.35629 | 0.35229/0.35234 | 词F1是生成文字与参考文字的重合度,不是人工语义正确率;64条val有56条、64条test有54条合成或筛选代理参考。正常画面相较错画面在同一source上val词F1多0.3287(配对source bootstrap 95%区间[0.2127,0.4441]),test多0.4029([0.2947,0.5105])。这支持 **在这两个固定集里回答依赖画面**,不证明任何新场景都能答对。上表的动作RMSE本身不证明并发发声无干扰,必须看下面实际开声/无声配对;2秒内决定也不是2秒内听到首音。单训练seed、固定来源bootstrap和Holo同人物/房间可能重复的限制均保留。 30万步验证词F1为0.7250,比25k低0.0394;两者配对source bootstrap区间[-0.1121,0.0320]跨0。200k为0.6983,30万步相较200k回升0.0267,但区间[-0.0159,0.0814]也跨0。这些证据不支持“继续长训稳定变好”,也不足以归因具体学习率/数据/优化器。30万步训练独立WandB [yjcf4tvk](https://wandb.ai/yth040313-zhejiang-university/humanoid-full-duplex/runs/yjcf4tvk)已正常结束;四卡转两卡的CPU暂存恢复保留配方但非逐位等价。 用户关心的三个能力分别是:**理解**比较参考答案与生成文字;**说话**比较生成文字与实际声音转写;**反应**测问完到决定、首PCM及软件播放的时间。以下全量实测取代此前12条val×2seed的15/24小样本结论;没有人耳自然度评分,也没有真机扬声器/麦克风回声测试。 | 实际流式出声;选中25k | 64 val | 64 test | |---|---:|---:| | 问完后首次实际返回的文字完全匹配参考 | 37/64 | 42/64 | | 上述文字词F1;漏答按0计 | 0.7442 | 0.7969 | | 开声与无声的动作轨迹完全一致 | 64/64 | 64/64 | | 请求/返回的语音数 | 66/66 | 64/64 | | 提前触发的source / 忙碌丢掉的后续触发 | 4 / 2 | 0 / 0 | | 问完→首PCM,中位 / P95 | 1.83 / 3.05秒 | 1.67 / 2.62秒 | | 问完→软件开始播放,中位 / P95 | 2.03 / 3.25秒 | 1.87 / 2.82秒 | | 自然结束语音 / 达到500声码上限 | 64 / 2 | 64 / 0 | | 有软件供音断档的回答 / 累计断档 | 5 / 2.077秒 | 2 / 0.019秒 | | 动作窗口超时:不开声→开声 | 191→192 / 2694窗 | 215→219 / 2700窗 | val时间统计只含问完后实际返回的62条;另外2条不是“反应很快”,而是提前回答占住语音worker,后来真正的触发被跳过。test为64条。软件起播含固定0.2秒缓冲;PCM到达不等于人耳听到第一个音素。val/test的问完→决定中位仅0.178/0.172秒,主要等待发生在后面的文字/语音生成链路。此前单例3.12秒不能代表全部:本次软件起播P95为3.25/2.82秒,最慢4.43/4.12秒。 **声音有明确错词,但不能把ASR自身错误算成机器人的全部错误。** 原固定严格逐词匹配,Whisper为39/66、34/64,Qwen为48/66、48/64。检查发现Whisper常把“Two”写成“2”;额外做统一数字形式的事后诊断后,Whisper为51/66、48/64,Qwen为49/66、48/64,两套都匹配为46/66、46/64。此为事后解释,不覆盖原始指标,不是训练改进或人工听懂率。Qwen还会把“Left side of the image”当提问回答“我看不到图片”,而Whisper转写正确,所以不能仅凭Qwen的大WER认定声音在胡说。与此同时,两套识别器都把“Centered between hands”转成“Tendered between hands”,把部分“A frying pan”转成“A frying charm/chap”;这些值得检查真实声音,不能宣称发声已全部合格。 **又用4条val查了错词是不是分块造成的。** 固定原来实际生成的声码、音色和全局噪声,不重跑Thinker/Talker,对比原分块Euler、整段Euler、整段RK4;两套ASR核对。前三条错误在整段解码下仍未修复,一条Whisper正确/Qwen拒答的对照也保留了同样现象。这支持“这几条错词不能只归咎于分块边界或快速Euler”,但还不能区分上游Talker、条件向量兼容层或其他接口哪项是根因;没有把离线整段输出推广为流式方案。4条为事后选定诊断、一个声码/噪声seed,不当总体质量对照。 **架构层面已验证的边界:** 130次发声期间都有新的动作窗口完成,128条开声/无声动作数组逐元素一致;33/130次在整段声码完成前已交出第一块PCM,说明确实存在边生成边交付。不能把所有短答都记为“首块早于全段编码结束”。不开声也有406/5394个动作窗口超时,开声411/5394,约7.5%~7.6%;因此“没有明显增加动作计算负担”不等于严格实时,更不等于原动作本身已经准确。录像回放没有模拟机器人自声回入麦克风,也没有验证真实执行器误差反馈、中文/多音色或长对话。 下一步按问题拆开做:先处理提前触发后忙碌丢答;检查“正确文字→声码”的条件接口/兼容层,再决定是否做小规模语音监督;最后优化实际供音速度,而不是只减首包、把等待换成断音。当前不建议无依据继续长训,也不把波形、声码、同步loss一次性全加上。 **运行故障记录:** 训练09/13约14:03结束,但两套GPU0/1占卡程序并存使原固定评估等待器约31小时无法安全交接。核验进程出生时间/argv/env后只退出本实验多余的一套,原等待器按既定协议完成固定384条。固定评估退出时其守护器又恢复一套占卡,与另一套同时出现;再次只精确退出本实验恢复的worker,留给原流式等待器处理其余占卡。未修改冻结的训练/推理helper、权重、数据或后两卡。两个交接的原始收据分别在本run的 `duplicate_keeper_release_2609142109.json` 与 `duplicate_keeper_release_2609142141.json`,不能把“等待了31小时”说成模型推理耗时。 原始证据为两卡run的 `training_chain_checkpoint300000.json`、`analysis/validation_300k.json`、`final_evaluation.json`、`analysis/val_final.json`、`analysis/test_final.json`,以及 `final_streaming/{val,test}_summary.json`、`analysis/final_streaming_audio_review.json`、`analysis/final_capability_review.json`、`analysis/asr_number_normalization_260914.json`、`analysis/decoder_content_diagnostic/results.json`。原12阶段复算10项CPU测试通过,本次补充12项计数/重复/缺失/音频/未完成拒绝检查及四份冻结manifest核对。额外Qwen ASR先后遇到兼容路径、消息schema、EOS为None的问题;只修隔离分析脚本,旧失败日志保留,修后四分片实际完成,不改冻结训推代码。 独立同家族Type-A四轮原文保留各自时间快照,不能把运行中判未完成的旧结论当当前终态。最后一轮复算384份固定结果与val/test的396/392份流式文件,数量和哈希均无遗漏/差异,128对动作/control/KV/输入/触发一致,主要计数与本节相符;总体为WARN,限制是合成代理参考、ASR非人听、软件非真机及事后数字诊断。审查另外发现诊断plan仍写running、数字诊断缺复算代码SHA:现只补齐这两项收据,并用CPU小脚本逐项复算原数值一致,不改任何原始主指标。完整请求/回答及修后说明在隔离 `.aris/traces/experiment-audit/2026-09-14_run01/`,不冒称跨模型家族认证。正式HFD源码、数据与训练配方未改。 本轮5份分析helper、完整四轮审查、原始汇总及视频时序收据共41成员另存隔离 `scaleup/provenance/swa_final_verification_260914.tar.gz`,180,526字节,SHA256 `5ef49c2b0919448dbcd0c0f3f1e8d3fb4dc319779ae75d6e1286003bd2e3b19b`;逐成员哈希与当前文件一致,5份Python语法、15份JSON和数字复算通过。三个视频另存原位置、未重复打包,不复制模型/数据;不把旧异步queue里pending复核的字段当最终验收凭据,终态以 `analysis/verification_completion_260914.json` 和原始审查为准。 演示仅用实际生成的PCM、50fps模型动作及8fps已到达画面,按软件播放时钟保留等待和断档,不平滑、不替换GT声音。字幕是事后说明,不作为模型输入;没有重新模拟播放延迟反馈到机器人state。例子均为事后诊断选择,不作为总体评分: - [两套转写都正确的边说边动例子]():问红色海绵在哪里,生成并念“Right side of sink”;97个声码、正常结束、供音无断档。原动作指令是较复杂舞蹈,动作质量不由语音匹配结果保证。 - [文字正确但念词仍存疑]():“Centered between hands”,两套转写均出现首词差异。 - [未正常结束与供音断档]():想说“Two”,却达到500声码上限;这条断档约1.59秒。 ### 09/13:两卡续训验证,先保留实验可比性 用户暂时只允许前两卡实验。原四卡200k断点仍保留,没有把目标改成200k结束。当前实际运行位置是隔离 `scaleup/prepared/outputs/swa.gpus2.2609130238.continue300k`,总训练/LR日程仍为300k、固定64val每25k评估;210k保存及实际恢复已完成,03:46运行到210400,继续朝300k训练。WandB为独立硬件分支 [yjcf4tvk](https://wandb.ai/yth040313-zhejiang-university/humanoid-full-duplex/runs/yjcf4tvk),保留原四卡曲线,不伪装成完全相同的四卡运行。此前约0.404秒/步;恢复后短历史阶段约0.258秒/步,不当稳态提速证据。这些是实际运行证据,不是新的质量结果。当前最佳仍继承25k验证胜者。 **已经实测的部分:** 两卡各B128,合计仍256;保留原四个B64 source队列及各自的flow噪声、sigma、RTC随机流。第一次不暂存反传tensor的尝试到200,760后OOM。第二次只把Qwen反传需要暂存的tensor搬到CPU,活跃KV、上下文长度、数据、原loss/梯度同步和优化器配方不改;实际完成200,000→202,000共2,000次更新,峰值约100.76GiB/卡。这里有浮点计算顺序和进程随机流合并限制,不是逐位等价恢复,也没有证明模型质量变好。 | 相同前760次更新,rank0实测 | 不暂存 | CPU暂存 | |---|---:|---:| | 每次Qwen更新平均耗时 | 1.006秒 | 4.178秒 | | 中间动作窗口平均耗时 | 0.1465秒 | 0.1451秒 | | 跑满2,000次更新 | 未达到,760后OOM | 达到,并保存断点 | CPU暂存是用时间换显存,不是提速方案。两臂760步的有效source数和KV长度一致,第一步loss/grad norm相同,但后续轨迹并非完全相同:两rank loss最大绝对差0.00827/0.00964、grad norm最大差3.4518。不能把小型CUDA fixture的零差异扩大成真实训练逐参数相等,更不能据此声称质量不受影响。原始对照在 `repair_260912/two_gpu_offload_prefix_comparison.json`。最后100步约0.383秒/步;不是包含预载、保存、eval的完整训练均速。 **收尾失败也保留:** 两rank都打印202k正常到点,13.36GB断点原子写入后,监督器因一次5秒的nvidia-smi查询超时,错误终止了尚在收尾的torchrun。原job仍记录returncode=1,不改成成功。随后只读检查确认202k模型、optimizer、两物理rank/四逻辑队列和RNG字段完整,1,178个tensor均有限;断点SHA为 `8cf9e543d0e02604732b1be07156ff9562372e6441a44160b25d2f0e80b68934`。这是“可恢复的模型断点”,不是“监督进程干净完成”。 监督器现将GPU查询失败记录为暂时不可观测,继续检查同一子进程,不再凭查询超时结束训练;真实外部GPU占用、明确取消、执行时限仍让本实验退出。8项CPU检查包含真实子进程经历一次查询失败后正常退出。另13项CPU检查覆盖四队列/flow映射、恢复、WandB首次新建/同分支继续语义及反传暂存;WandB检查是无网络stub,不冒称在线续曲线已验证。CPU double梯度首次严格相等断言差1.39e-17,保留失败并改为1e-14容差;两个CUDA BF16小fixture为零差异,但上表是真实训练更严格的非等价限制。 **接续途中又出现的失败也不能省略:** 0210尝试在约31秒后因前两卡出现占卡进程退出,没有有效训练更新;0230因占卡锁仍被持有停在预检,0235在释放占卡后的最终GPU准入断言失败,同样没有新训练。核对另一个任务的资源脚本发现,它启动占卡时使用另一把自定义锁,因此只持有默认锁不足以防止占卡重入。又确认只停monitor worker,其父monitor.sh还可能在扩容轮询中拉起新worker。隔离handoff现用精确argv、仅GPU0/1的环境及父子PID/启动时间识别专属占卡父进程,退出该占卡后,整个实验同时持有两把已发现的占卡锁;没有修改其他任务或monitor源码,也不阻止真实模型任务抢占后让本实验退出。 0238实际启动前两卡均无CUDA进程,随后核验guard PID1343246确实持有两锁、两rank持续更新;GPU2/3仍只有专属占卡。运行时GPU观测以`two_gpu_continue_0238_to210k/resources.jsonl`及活进程为准,`job.json`在正常观测时不会每次刷新,不拿其陈旧state代替实时检查。独立Type-A复核为WARN:有运行进度和CPU安全测试,尚无210k干净结束、后续GPU恢复或质量提升证据。202k原失败/修前守护器归档 `provenance/gpu01_observer_failure_2609130206.tar.gz`(SHA `50778c6b388f46a66f63dc4658466781d8268de754be84849de315a6fde6dc34`);0210及两次预检失败也原样保留。 隔离接续器新增严格顺序:守护进程与worker实际结束且返回0→只读验证210k模型/optimizer/逻辑队列→同一两卡run、同一WandB和原300k日程继续→实际完成300k后才进入最终选模。另适配两卡最终评估:原四卡25k~200k的8阶段加两卡225k~300k的4阶段,共12阶段,保留原排序/并列时选择旧胜者的规则;仍为64val/64test各QA、无提问、错相机,合计384条,不能只看新run或减少test。47项CPU回归通过,包括真实CPU进程等待、故障拒绝、旧四卡路线及合成12阶段选模;实查177个训练依赖未变,当前实际只有8阶段,缺225k时验证器明确拒绝最终完成。独立第007轮Type-A审查指出旧四卡CLI不能直接用于本硬件分支,现已在任何GPU/进程操作前明确拒绝,新增回归检查通过。运行时观测继续以resources.jsonl和实际进程为准,未中途修改活跃守护器。 03:27前已实际挂上训练接续CPU进程1586392及最终固定评估等待进程1589936,两者实查存活、没有占GPU。训练最新208600步,最近200步约0.409秒/步;WandB API确认running且同组loss/速度指标已同步。**这里是运行进度,不是新模型质量证据;210k干净恢复、300k和最终384条仍未完成。** 随后为完整流式声音验收准备前两卡路线:64val和64test各自拆成两组32条,顺序复用GPU0/1;每条仍成对运行不出声/独立进程出声,共256次回放。两臂seed、48声码块、Euler10、0.2秒软件缓冲、因果画面/音频、动作RTC和组内顺序平衡保持不变,不靠减少样本满足资源限制。Talker适配器先核对最终选中模型SHA;若新胜者不是旧25k,按原512条独立train录像(448拟合/64训练校准)、同采样seed/特征组权重/ridge候选重拟合,两个GPU各处理半批,再CPU拟合。目标仍是预训练hidden兼容代理,不是GT语音或正确回答,训练/val/test用途不混淆。 这条新路线51项CPU检查和231子检查通过,含真实CPU进程顺序/失败退出、两分组完整并集、必要ASR参数、按原顺序合并特征及与原拟合公式逐值相同;首次漏camera8搜索路径导致测试收集失败的日志保留,修正环境后才计通过。新选中模型的特征收集与完整流式GPU/ASR尚未执行,不能用fixture表示发声或音质合格。正式代码和现有数据没有改,临时脚本/原始收据仍只在隔离scaleup/analysis与本run。 **03:46实际接续:** 原guard1343246干净退出0,210k断点13,355,953,877字节,SHA256 `11e316b05f8ec49fb718fa74eea474531cbeaf13af6ad9cc2f5655e76e4184e7`;1,178个tensor有限,106参数optimizer计数10,500、188参数计数210,000,两物理rank保留四个64槽位队列。随后新guard1732765及两rank真正恢复至210400,日志明确`Resuming run`同WandB。原chain字段`checkpoint210000_sha256`绑定的是检查收据文件SHA,模型本体SHA以`training_chain_checkpoint210000.json/checkpoint_sha256`为准,两者不混用。 最终分块CPU接续1778803(birth529783059)已实查存活,等待固定评估进程1589936完成,不占GPU。第008轮Type-A审查发现旧四卡streaming CLI及直接worker可能误用后两卡,已分别加硬件分支拒绝/精确GPU0/1约束;第009轮确认当前入口安全,53项CPU测试+231子检查通过,但不认证实际GPU发声、音质或真机。仍需实际跑完300k、384条原固定推理、256条增量出声对照、ASR及人工可视检查,不能用CPU通过缩小目标或宣布完成。 上述新代码/测试、006~009完整审查、210k收据和点时运行快照66成员归档`scaleup/provenance/two_gpu_chain_and_streaming_2609130346.tar.gz`,295,579字节,SHA256 `97aeeb5182b3294f7e6159173e00277c969c5471eed3dd4c600dbb1799022011`。逐成员SHA与语法/JSON校验通过,177训练依赖及三个活跃接续器依赖均未漂移;归档中的活跃状态只是当时快照,不与后续可变文件混称最终完成凭据。没有复制checkpoint/数据/声音或清理无关文件,正式只备份三份Markdown。 ### 09/13:先分清回答内容、发声质量和首音延迟,保留未完成项 用户要求继续修复关键问题,同时暂时只允许GPU0/1做实验;GPU2/3空闲时仅占卡、其他任务优先。原四卡训练最后日志为207,000步,最近完整断点为200,000步,`duplex_pause_200000.pt`与`latest.pt`是同一inode的硬链接,不多占13.36GB。原四卡训练和四卡最终评估接续均已暂停,不能把旧“等待300k”的进程描述当成仍在运行。200k以后的未保存更新需要重算;保留优化器的恢复仍需重放未完成source,不是逐位续训。原300k长训、固定val选模后的封存test及最终权重流式发声仍未完成,未改成“200k就算全部结束”。 **当前效果:继续训练没有显示稳定增益。** 用同一64条val(含合成筛选参考,不是官方人工VQA成绩),逐source复核了25k~200k八个阶段: | checkpoint | 自由回答词F1 | 答案完全匹配 | 动作关节RMSE(rad,低更好) | |---|---:|---:|---:| | 25k | 0.7643 | 38/64 | 0.35646 | | 50k | 0.7601 | 39/64 | 0.33625 | | 100k | 0.7408 | 39/64 | 0.32929 | | 175k | 0.7418 | 37/64 | 0.34603 | | 200k | 0.6983 | 36/64 | 0.34850 | 200k相较25k词F1下降0.0661(约8.64%),不能说训练loss下降就代表回答更好;相较100k动作误差也更大。完整八阶段、类别分组、原始回答和配对source区间在本run的`repair_260912/quality_diagnostic.json`,不只保留表内几行。重复查看val、一个训练seed、代理参考限制仍在,不能据此单独断定学习率、梯度同步或数据哪一项是根因,也未查看test。动作加速度RMS是抖动幅度,不是“相对GT的加速度误差”,两者不可混称。 对上述64条原始回答再作文字层面对照,26条在25k/200k之间改变。既有真正的参考冲突(勺子数量Two→One、物体位置Right→Left、位置问题竟答Two),也有指标本身的局限:Left of chair→Left of the chair意思不变但词F1下降;积木参考是On top,预测Left→Right虽然仍不符参考,词F1却从0.400升至0.615。这不是新人工视觉准确率,只是说明不能把词重合分数完全当语义正确性。后续应并列核对关键物体/数量/方向及实际发声内容,当前已固定的选模规则不事后更改;不要把内容错误归给没有声音loss。 #### 首包减半:更早开口,但后续更容易断音,暂不采用 在原25k权重及其train-only发声适配层上,固定两道val长句压力样例,各重复2次,交替比较首包48/24个声码;后续48、左24/右12上下文、Euler10和0.2秒软件起播缓冲均不变。共8次完整因果视听/自身state与RTC动作回放,4个配对的动作、control、主KV长度、输入时间轴、触发点、文字与声码均一致。分块解码几何改变,不声称两臂PCM逐样本相同。 | 指标(每臂4次) | 首包48 | 首包24 | |---|---:|---:| | 触发→首块PCM的中位耗时 | 2.218秒 | 1.736秒 | | 起播后累计供音断档 | 0.548秒 | 2.002秒 | | 出现断档的回答 | 3/4 | 4/4 | 按每一对计算的首音耗时差中位数为−0.519秒,不能用两列中位数之差冒充配对值。改法只是提前消耗缓冲,并未充分提高持续供音速度;不能为了首音好看接受更多卡顿。当前不推广这项改法,原声音接口不变。此为两个样例的运行时小测,不是多seed训练、自然听感或真实扬声器验收;原始`first_packet_pilot/{plan,results,pairs}.json`及WAV保留。 另准备“CPU中转历史副本 vs GPU IPC后复制到语音GPU”的配对,保持所有模型/声音参数不变,只测副本传输。第一次只完成train样例预热即在WAV整文件SHA比较处退出,没有获得正式配对结果。原临时预热WAV未保留,因此不能声称旧PCM一定相同。检查发现整文件可能含PEAK时间戳;现改为严格比较解码后PCM、采样率、形状,并保留两份预热声音和校验收据,仍拒绝任何实际声音差异。旧失败源码/日志已保存为`provenance/repair_ipc_failed_2609122352.tar.gz`(SHA256 `b6f99e320e889fa897dcf6a51ccb575a4b07e555b40419f28664bde59c72eb51`),没有覆写失败记录。 修后首次启动仍在GPU准入时退出:另一项vLLM任务已经占用GPU0/1,未加载模型、未产生`ipc_pilot_v2`结果。随后只挂CPU等待进程334910,20秒检查一次、连续4次确认空闲才单次启动;遇外部任务只结束本实验,不自动反复重跑。09/13 00:10实查该等待进程存活、两个外部vLLM worker仍各占约105.6GB,状态为`waiting_for_exclusive_gpu01`。GPU2/3由单独守护器仅在空闲时运行用户monitor,其他CUDA任务出现就退出自己创建的占卡进程;没有把空闲后两卡改为实验卡。 00:17等待器确实单次启动了worker458447,但另一任务在CPU准备后占用GPU0/1,守护器随后只终止本实验(SIGTERM),没有生成IPC正式结果。进程链确认该任务仍有活着的上层调度器276519;GPU短暂空闲并不意味着整组工作结束。保存旧守护源码/终态后,新增按PID及启动时间绑定该调度器的等待条件:它结束后才开始连续空闲计数,观察失败仍等待,不对它发信号。12项CPU回归含真实CPU-only子进程及PID复用/不可观测检查通过;00:22实查新等待进程486942与所等待调度器都存活,状态为`waiting_for_higher_priority_owner`,不是已获得IPC结果。后两卡仍仅占卡,原四卡长训未恢复。 Type-A独立审查另发现并修复两处隔离推理细节:外部语音worker启动时回报并核对真实device,结果不再把GPU1错记成动作GPU0;历史tape与KV/mask一样显式复制,同设备也不共享可写tensor。32项CPU回归通过,原模型权重、174训练依赖与清单SHA均未变。旧结果不覆写:first48/24的四对PCM确实不同,最大差0.18965/0.25659,不声称音质等价。修前6文件归档`provenance/speech_transfer_pre_fix_2609130038.tar.gz`,SHA256 `be503195eb0c22e7274f94529c975dfa1be183e925a0728569137d122abf0b66`。 00:40核验高优先级任务退出、前两卡仅专属monitor后,只释放其GPU0/1占卡,后两卡不动。原等待器486942单次启动IPC worker614445,两个语音进程在GPU1,动作在GPU0;已通过保留声音的train预热并进入配对,完成与否以后续原始收据为准。系统Python首次因无pidfd_open在发信号前退出,改项目Python完成精确PID/启动时间验证,不是训练失败。 有效loss范围也补清:继承config包含非零Stop专用权重,但隔离`train_long.py`实际objective未使用这些项,不能凭配置声称专门优化了Stop;正式HFD不受影响。原300k配方不在中途暗改,候选reducer尚未接入与最终test未完成仍是明确的未完成项。 #### 梯度同步:发现一个真实数值差异,但尚未证明影响模型质量 隔离原reducer会把某参数“所有卡本步都没有梯度”的`None`变为零张量;对于AdamW,零梯度仍可能触发动量/权重衰减,而`None`本应跳过。候选reducer先跨卡确认该参数是否在任何卡参与:任一卡参与则正常平均、缺席卡按零算;所有卡均未参与才保留`None`。显式零梯度或正负抵消不跳过。 CPU两rank Gloo、41次AdamW更新的可解析fixture,直接加载原实现作对照:候选每一步都与显式全局梯度参考一致;每20步才参与的参数实际应更新3次,原实现更新41次,末参数最大差0.18141;普通每步参数不变。10项CPU检查同时覆盖PCM元数据/样本差异、分布式梯度和守护进程身份。首次漏加既有compat路径导致soundfile无法导入,修正环境后才有通过日志,不能把失败收集阶段计为测试通过。 **上述CPU阶段,候选reducer尚未接入实际训练,更没有改正式HFD。** 数值fixture不等于证明此前质量退化由它造成;后续真实模型检查见下文。原训练配方/依赖快照保持不动,不在既有曲线中途偷偷混入修正。 #### IPC对照已完成:传输更快,但没有稳定缩短首音,暂不推广 09/13 00:47原等待器和实验子进程均正常退出,12次回放/6个配对完整,train预热声音也保留。CPU复算原始动作数组、control、KV长度、触发/输入时轴、生成文字、声码及PCM:全部一致;KV长度一致不冒称逐层KV张量逐值比较。结果中的实际设备字段均为动作GPU0、语音GPU1,测试结束后前两卡占卡自动恢复并实查存活,后两卡未用于实验。 | 同两条val×三次重复(每臂6答) | CPU中转 | GPU IPC | |---|---:|---:| | 历史传输/交接耗时中位数 | 0.129秒 | 0.021秒 | | 触发→首PCM中位数 | 1.905秒 | 1.916秒 | | 起播后累计软件断档 | 0.0027秒 | 0.0934秒 | | 有断档的回答 | 1/6 | 2/6 | | 动作超0.4秒期限 | 7/273窗 | 5/273窗 | 按6个配对计算,IPC首音只有3对更快,耗时差中位数为+0.0379秒(反而略慢)。结论仅为传输环节的典型耗时降低,**没有证明整体首音或连续供音改善,不把IPC设为新默认**。另有0.22/0.40秒交接慢值,不能只挑0.02秒报告。当前1.9秒属于两臂共同train预热后测量,不和先前冷启动/共享GPU的3秒视频直接比较成修复收益;也不是人听音质或真实扬声器验收。证据为`repair_260912/ipc_pilot_v2/{plan,results,pairs,warmup,cpu_recomputed_summary}.json`,同一模型/适配器、48-code/Euler10、0.2秒软件缓冲保持不变。 对200k优化器又作只读检查:Qwen、control和reply各实际更新10,000次,并非所有参数都错误地每动作帧更新;但唯一[3,2048]的control条件embedding在other组已更新200,000次,而非stage2的19个中间动作窗使用的是detach后的缓存条件。这个定位比抽象fixture更具体,但仍需真实梯度/训练对照,不能据此断言问答退步完全由它导致。记录为`repair_260912/condition_embedding_optimizer_check.json`;未修改原训练权重、优化器或冻结配方。 #### 01:08真实模型检查:额外优化器更新属实,质量影响尚未证明 前两卡从相同随机HFD初始化、同128条train、B16/卡、原损失/优化器/30万步LR日程,分别运行原reducer和候选reducer各40步;无WandB、无保存模型、无eval。实际调用原`train_long.main`及其导入的原reducer,不以另写玩具模型冒充。两卡每臂都有2个Qwen更新窗口与38个全局无control条件embedding梯度的窗口:原AdamW计数40,候选计数2;原有19个无梯度窗口发生权重变化,候选为0。 但此时处于极早warmup,原动作输出投影初始为零,观察到的单步最大额外权重变化只有4.66e-10,**不能拿40步短测宣布问答或动作质量改善,也不能解释此前全部退步**。数值更新问题与效果因果分开。`gradient_model_probe/{plan,cpu_recomputed_summary}.json`绑定配置、数据、初始化及174依赖SHA;四份原始rank日志和两臂输出保留,复算通过。9项CPU instrumentation/真实原reducer/守护检查通过。两个GPU实验均正常退出,GPU0/1占卡恢复,GPU2/3未用于实验。原日志step20的`mean_qwen_step_s=NaN`来自该聚合区间无Qwen窗口,不是训练loss或梯度NaN。 原30万步长训仍暂停;为遵守仅前两卡限制,隔离准备保留总batch256、原四份source队列与flow随机流的两卡恢复方案,先CPU逐项核对、再做真实恢复/显存短测。不是缩成更小batch冒称相同实验,也不偷偷在原曲线混入候选reducer;更大的单卡batch/浮点归约顺序仍有非逐位差异,正式长训前需验证,尚未声称已恢复。 独立Type-A第二次复核的原文/FAIL结论完整保留:它针对“原训练已是干净修复版”的说法指出候选未接入及Stop配置未生效。审查时00:46:51仅看到IPC10/12,后来完成12/12另有原始收据,不篡改审查时点或冒称跨模型家族认证。 上述已完成运行时/真实梯度证据、源码、测试与完整审查共92成员归档为隔离`scaleup/provenance/repair_runtime_and_real_gradient_2609130118.tar.gz`,378,147字节,SHA256 `9e06dd95c06ed2a28b61081c8857db9be50776efd77d9fc86358224ae4e26597`;逐成员哈希验证通过,不复制checkpoint/数据或大型媒体。两卡恢复的待测实现另留隔离区,未混入这份已完成证据归档。 #### 为什么暂不同时加三种声音loss 现有回答文字loss已监督“答什么”,reply loss监督“什么时候决定答”;Talker与Token2Wav冻结,发声适配层另用train-only特征拟合,没有声音波形、声码或逐词动作同步训练。此前给用户的两条视频是25k:显示器GT为“桌子左侧”、模型为“画面左侧”;厨具GT为“红色厨夹”、模型为“红色锅铲”。后一条首先是问答内容错,不是嘴没念顺。两句ASR对生成文字有3/23词编辑,ASR也可能认错,不当人听结论。 优先分别核对“生成文字↔GT含义”和“声音转写↔生成文字”,同时优化实际首PCM链路。若文字正确但发声确实系统性漏念/错念,才在有兼容GT声码的前提下小范围适配发声支路;不同合理音色/语调不应被简单逐采样波形相等约束。当前走路同时回答VQA不要求某个字对应某一步,不能人为造这种同步目标;未来“边说这里边指向物体”才需有语义对应的同步数据。没有把这些建议写成已实现或已验证收益。 ## 09/12 续做中:万级数据已冻结,长训与流式发声验证 20:22资源变化补记:连续两次发现外部GPU进程3008047/3008049,原守护器按既有保守策略只向SWA子进程发送SIGTERM,最近日志160,800步;两个最终评估接续也正确退出、没有启动GPU评估。不是数据/loss/显存报错。之后两次实查外部PID已不在、只有用户专属占卡;不据此推断这些外部进程的身份或完成原因。仅退出该占卡后,20:32从已核验的160k完整断点恢复原30万步配方和WandB lmdypebc,174训练依赖不变;约800步未保存更新需重算,未完source重放,仍非逐位续训。硬链接`duplex_pause_160000.pt`保留恢复起点,没有复制一份模型内容。 原失败的两份queue JSON移为同目录`*.paused_260912202238.json`,旧日志不改;核验旧监督器已退出、没有任何最终推理目录后,使用**原封不动的接续实现**重新挂CPU监督。新训练监督器3097029/torchrun3097515,原固定评估3104637,分块配对3108571,接续11依赖一致;20:34实查训练仍预载,两个接续等待,不把进程存活称为新质量结果。失败记录与恢复预检/启动快照8成员保留在隔离`scaleup/provenance/resume160_2609122033.tar.gz`(76,992字节,SHA256 `55eedca92ddae1b1b1fc3dbc1d8ea6fde274ad8f3694f9904f5b89052732f488`),逐文件核验。原固定val/test、选模和train-only发声适配要求不变,其他任务仍优先;这是经检查的手动恢复,不是忽略失败反复抢卡。 20:38上述恢复在首个更新前再次让路,guard记录外部PID3128577;占卡日志同时显示20:36:55重启launcher、20:36:57占GPU0,正值训练CPU预载空档。没有保存该旧PID的cmdline,不能把所有先前退出都归因占卡,但“预载时占卡重入”风险已确认。仅退出当前明确的专属占卡后,改用外部`flock --nonblock --no-fork /tmp/yetinghong_gpu_keeper_supervisor.lock`包裹**不改一行的原恢复器**:预载/训练期间占卡不能重新取得自己的锁,真实训练/论文GPU进程不受此锁限制。CPU实测验证exec后锁保留、竞争者被拒绝、原进程退出后锁释放、无关进程照常运行;实际SWA PID3169837的fd3及竞争锁检查也通过。第一次立即启动被尚未释放CUDA的旧占卡拒绝,等待退出后才启动,未硬抢卡。 20:43仍从同一160k断点起、原174依赖不变,20:44快照处于预载,尚无新的训练效果;20:38失败的两份queue同样另存`*.paused_260912203825.json`,原结果未覆盖,后续接续需绑定这次的新恢复凭据。互斥检查/启动快照与该次失败记录8成员归档`scaleup/provenance/resume160_keeper_lock_2609122043.tar.gz`(4,621字节,SHA256 `891bc7e401f40a8a7e79ec4065a31493d70e4f099a955967dcbc82c7c935d078`),逐文件核对一致。没有修改正式项目、模型、monitor脚本或已审查的接续helper;锁是运行时资源协调,不是模型性能优化或新的实时质量结果。 20:50恢复确认:四rank已实际更新到161,000步,WandB恢复同一run;当前约0.155秒/step、GPU采样79%~87%,但source重放/cache重新增长,不能算新的稳态提速或质量收益。原固定评估CPU接续3212438和分块发声接续3216613均存活,分别正确绑定新恢复器3169837及前者身份,11依赖不变,仍按原顺序等待最终300k/选模/适配校验。实际更新、配置绑定与GPU快照保存于`scaleup/analysis/resume160_active_260912.json`(SHA256 `4739c3bd714a7b337207f90d78905183636fb5e728b8c1c169a36a5ac80c3830`);先前各次退出/预载记录保留,未假称从未中断。 ### 09/12:最终权重的分块发声入口预检,尚未跑新的GPU结果 旧分块声音测试默认指向25k,不应把它当成后续模型效果。隔离`ProcessSpeech`现可明确传入checkpoint和适配器,两者必须同时指定、文件SHA必须匹配;子进程上GPU前再次核对,拒绝错误形状/非FP32/NaN的适配矩阵,退出的语音worker立即报错。默认旧25k调用仍保留,不改变主KV、动作、文字、Talker或PCM算法。如果最终选出的权重变了,必须用原配方只在train拟合/校准对应适配器,不能为了声音好听偷用旧权重。 另准备`analysis/final_streaming_evaluate.py`:原300k长训和固定离线评估真正完成、监督进程已退出、val-only选模凭据与冻结文件一致后才能用GPU。保留原离线64val/64test×三条件协议;新增的分块回放单独保存,拟用val/test各完整64条、每条“无语音/独立语音进程”配对。四卡分两对,各处理32条,并在每对内部平衡两种运行先后;使用原训练的短回答查询,不混入此前加长回答的压力提示。原始相机/音频按时到达,动作使用自身state、RTC和10步solver;语音/动作不一致或执行异常会保留部分结果后退出,不冒充跑完64条。该入口尚未挂起新的GPU任务,仍需正式执行和结果复核。 32项CPU检查及231个子测试通过;真实旧25k权重/适配器SHA和全部174个训练依赖核对通过、CUDA未初始化。当前真实运行上的CLI负向预检也正确拒绝提前执行,未创建推理结果目录。一次stdin检查因漏设`analysis`搜索路径失败,补启动环境后通过,失败日志保留;不是训练失败。旧GPU结论不自动认证新入口,尚无新性能/声音质量或独立审查结论。 新入口、测试、复用依赖与成功/失败记录18成员存隔离`scaleup/provenance/final_speech_assets_2609121931.tar.gz`(45,340字节,SHA256 `cc3912a19d7deaca66e585140d3f0043298c3c517ad7a1652afc8f83b6f2370f`),逐项SHA/语法检查通过;旧实现仍在前述17:26归档。正式代码、原数据、当前训练配方、WandB曲线和运行中的最终评估接续器均未修改。 20:01续做:增加隔离`analysis/final_streaming_supervise.py`,先等原最终评估成功退出并核验全部384条凭据,再执行上面的完整配对测试。两对GPU各跑32条,汇总器必须同时读齐两个pair,重新比较动作/control/输入时轴/主KV长度,核对全部64个ID和每条原始记录,才产生全量汇总;忙碌而漏答、无PCM、EOS/播放断档等不被过滤。原训练174依赖、接续11依赖和适配器SHA固定;如果最终选模改变,旧25k适配器不匹配便在上卡前停止,需按原配方仅在train重新拟合,不偷换旧模型。其他任务仍优先,失败只清理本实验子进程、保留部分结果且不盲目重试。 39项CPU检查及231个子测试通过,含真实CPU子进程的双GPU可见性参数、异常清理与无关进程保全。第017/018轮Type-A独立审查均WARN:未发现前提满足后的代码级启动阻断;018确认已补全两个pair的汇总校验。20:01实际启动CPU接续器2891737,20:04复核仍存活、约38MB内存、不占GPU,状态等待原训练/评估;**这不是最终分块发声已经执行,更不是音质通过。** 仍保留单seed、固定64/合成参考、录播输入及软件时钟、未做人听/真机的范围限制。36成员源码/测试/原始审查/启动快照及六阶段统计归档`scaleup/provenance/final_streaming_queue_2609121958.tar.gz`(168,002字节,SHA256 `44f8e42aa0fd64ef5b45408f0c91ff93df67200f9a721c917fcb67977f0fbb62`),逐成员核对通过。正式仅三份Markdown变化,未额外占GPU或改当前模型/数据/配方。 最终声音复核另准备隔离`analysis/review_final_streaming_audio.py`,只用CPU,待上述完整val/test配对结束且监督器退出后运行,不能提前评分。逐条验证音频/收据SHA,ASR只听声音,再与模型实际生成的文字比较;不拿它代替VQA正确率或人工音质。请求、忙碌跳过、执行失败、无PCM、不可评分声音都单独计数,WER明确只在可评分声音上计算;超过30秒的声音不静默截断。另区分“多少条source边动边说”和“多少次回答边动边说”:旧原始helper的`source_with_action_*`实际数的是回答,新复核给出两种分母,不改已固定的helper;此前两条各一次回答的数字不受影响。 17项CPU测试通过;真实CLI在监督器仍存活时拒绝提前运行。对已存在、SHA匹配的两条25k声音和既有ASR重计,仍是3/23词编辑、0/2完全匹配,**不是新ASR或新权重结果**。第019轮独立Type-A审查WARN:未发现需修的评分实现错误,但完整最终ASR、人工听评和真机结论均未完成。CPU入口尚未另挂监督进程,须在最终分块结果完整后执行;如果选出的checkpoint改变,仍先满足train-only适配器绑定。22成员代码/测试/原始审查/已有小测凭据归档`scaleup/provenance/final_audio_review_2609122026.tar.gz`(56,583字节,SHA256 `a755574e5bb4bb6ab683dde666fc7ca18e8737ecb9ac9add5b74bd9924af0c50`),逐项SHA/语法/JSON核验通过。训练174依赖及接续11依赖未变;20:19采样只见SWA四rank、约16万步/0.163秒每步,不能仅据此判断论文任务是否已完成,未操作该任务。 ### 09/12:把已有“边说边动”实测做成可听、可看的证据 没有另占GPU或重跑推理,只用CPU llvmpipe渲染前述固定25k权重、独立语音进程的两条实测。两条都保留,不根据好坏筛掉;不是最新125k模型的演示。视频分别为[显示器位置]()(17.68秒)和[厨具]()(21.36秒)。后者仍错误地回答spatula,参考是tongs,没有偷偷换成正确答案。 左声道为原麦克风输入,右声道为模型实际逐包输出的原生声音;按先前记录的到包和软件播放时间放置,没有把首音回填到问题结束,也没有用TTS目标声替代。此两条合成音轨的公共增益均为1,声音在影片的10.2837/10.0809秒开始,真实首音等待没有被裁掉。相机只显示当时已经到达的8Hz帧;原记录结束后的展示尾部保持末帧,不属于模型输入。视频/声音分别核对50fps、完整帧数、双声道、全PCM样本覆盖及所有输入SHA。 身体采用明确的**事后软件FIFO演示**:一包20帧必须在原记录的计算完成之后才可播放,队列空了保持上一姿态,不删慢窗、不平滑预测。它保留全部生成动作,但不是实际执行器记录;原模型反馈的是上一包预测状态,**不是该假设播放器的物理反馈**,因此这段视频不能新增“真机闭环实时”的结论。模型的结构隔离/延迟结论仍依据前述配对原始指标;两张预览的画面/字幕已目检,不冒称人工听完并确认音质合格。 隔离实现`analysis/render_paced_evidence.py`及4项CPU检查覆盖迟到动作、FIFO空档、提前/重叠声音、样本保全,检查通过;每条只保留MP4、预览和`render_receipt.json`,两个MP4合计约4.13MB,自动清掉约十余个可重建中间文件。正式模型/数据、原始动作与声音、当前训练及其他任务均未改动。 第015/016轮Type-A独立审查均为WARN:原运行表补了明确分母和逐窗收据,数字未变;复核未发现剩余数值/实现错误,但保留代理参考、两个source/单seed、软件回放及未听评限制,不是跨家族或真机认证。渲染4项与分母2项CPU检查共6项通过。源码、五阶段分析、收据及审查全文共27成员归档到隔离`scaleup/provenance/runtime_visual_2609121845.tar.gz`(139,534字节,SHA256 `b5f40aeb0e87667301f067d5b5614d8c8ecb0b0c44213a1d678888448873ff4a`);逐成员比对SHA/语法/JSON通过,视频只保留原输出,不重复拷入Git。完整审查在该归档的`analysis/runtime_visual_audit/`。 ### 09/12 固定验证跟踪至175k:仍有波动,不能说长训持续改善 继续同一条随机HFD头起训、后8层Qwen可训练的300k实验,没有改配方或依据val结果加训练技巧。用原工具重算同64条val的全部QA/无提问结果,WandB已同步至175k;没有查看test结果。下面F1是自由回答与合成/筛选参考的词重合分数,不是人工判定的正确率。 | 步数 | 回答词F1↑ | 文字完全匹配 /64 | 提前回答次数↓ | 无提问却开口 /64↓ | 问答时关节RMSE(rad)↓ | |---|---:|---:|---:|---:|---:| | 25k | 0.7643 | 38 | 4 | 3 | 0.35646 | | 50k | 0.7601 | 39 | 1 | 0 | 0.33625 | | 75k | 0.7062 | 38 | 3 | 3 | 0.35251 | | 100k | 0.7408 | 39 | 1 | 1 | 0.32929 | | 125k | 0.7085 | 38 | 0 | 0 | 0.35140 | | 150k | 0.7420 | 38 | 0 | 0 | 0.35331 | | 175k | 0.7418 | 37 | 2 | 2 | 0.34603 | 125k比100k的词F1低0.03230,按source配对bootstrap的95%区间为[-0.11541,0.04579],小集证据不足以确定问答退化;关节RMSE增加0.02211rad(+6.71%),区间[0.01256,0.03271],本固定集的动作误差确实变大。与25k比,两项差值的区间均含0。不能拿训练control_accuracy=1或“误开口0”代表整个模型学好了,也不能仅凭这些点将原因归给学习率、恢复或某个模块;没有相应单因素对照。区间仅重采样这64条录像,不含训练seed或同房间/人物的相关性不确定度。 125k仍64/64在问后2秒内决定回答,但这不是实际首音延迟。训练已在约167秒验证后继续,近期约0.163秒/step;GPU采样时仅见本次训练。本助手没有发出针对论文任务的暂停/修改命令;保存的`analysis/visual_review_environment.json`只证明采样时点状态,不证明其他任务全程状态或退出原因。原最终选模规则和固定评估接续保持不变;最终300k、val选模后的封存test和新权重发声仍待完成。证据为本run的`eval/step_125000/`、`analysis/val_step125000.json`及`analysis/val_progress_125000.json`,所有5个阶段逐source ID对齐并记录输入SHA。 150k同64val已完整复算,WandB同步;相较125k,词F1增加0.03345(+4.72%,按排序后的source ID做配对bootstrap,95%区间[0.00160,0.07723]),但完全匹配仍38/64,动作RMSE仅变化+0.00191rad、区间含0。相较100k,回答F1只差+0.00114、区间含0,动作误差则+0.02402rad(+7.29%,区间[0.01341,0.03514])。因此只是这批代理问答的局部回升,不是“越训越好”的证据,不调整原选模规则。六阶段原始分析和配对差值保存于本run的`analysis/val_step150000.json`及`analysis/val_progress_150000.json`;未查看test。四卡训练继续约0.163秒/step,采样利用率87%~94%,未操作其他任务。 175k全部128条结果、四rank汇总和WandB逐项一致。相比150k,词F1变化-0.00017,配对source 95%区间[-0.05440,0.05573];关节RMSE变化-0.00729rad(点估计-2.06%),区间[-0.01540,0.00041]也含0,不能据此断言动作稳定改善。完全匹配38→37条,提前回答和无问题误答各从0变2;误触发并未永久消失。相比100k,关节RMSE仍高0.01674rad(+5.08%,区间[0.00558,0.02797]),回答F1差值区间含0。原先以F1优先的固定选模规则未变,七个已完成验证点中仍是25k最高;这些是同一训练seed、固定小集、未校正重复比较的描述性诊断,不当因果或最终test结论。 新增证据是本run的 `eval/step_175000/`、`analysis/val_step175000.json`、`analysis/val_progress_175000.json`,后者保留七阶段输入SHA、排序source ID配对、seed260912及10,000次bootstrap口径。21:15只读加载170k滚动checkpoint,文件读取期间未变,含optimizer与4rank恢复信息、未初始化CUDA;仅是可读/字段检查,不称又做了完整恢复试验。21:32验证后训练已继续到175,200步、约0.163秒/step,原恢复器和两个最终CPU接续均存活,没有重复启动、修改训练依赖或处理其他任务。最终300k、锁定权重后的384条原协议评估和全量增量发声/ASR仍待完成。 ### 09/12:补齐长训后的固定评估接续(最终评估尚未开始) 继续只用原30万步配方训练,另在隔离`scaleup/analysis/final_evaluate_supervise.py`准备CPU接续器。它不加载GPU模型等训练结束:核对原监督进程身份、成功退出和完整300k断点,再逐项重算12次固定val的选模依据,按照原规则锁定`best_validation.pt`的硬链接;不因新测试结果改选模型。随后四卡各跑一个独立推理进程,完成预先规定的64val、64test各三种条件:正常问答、无提问、错配相机,共384条。所有源和失败回答都保留,不通过漏掉失败样本抬高分数。 恢复前的`launch.json`仍保留真实暂停历史。接续状态和完整结果凭据分开写`final_evaluation_queue.json`、`final_evaluation.json`;分析工具必须核对原启动/配置/恢复凭据/固定清单/权重SHA,以及全部384条结果,才能接受新的完成记录。CPU测试覆盖PID复用、非正常退出、未满计划步数、结果漏项、文件变动和四个真实CPU子进程的失败清理;无关进程不会被清理。当前20项CPU检查通过,原100k分析重跑与已保存结果一致;这些只是流程正确性证据,不是新模型质量结果。 **这套最终推理沿用原生Talker离线协议,不包含后来独立进程/增量PCM/语音适配层的小测改动。** 它用来公平核验问答、动作及原始发声接口,不能用完成WAV或问后逻辑触发时刻声称真正实时发声,也不能据其音质否定已经单独验证的适配方案。真实硬件、较长语音、新提问打断输出、最终权重的增量发声与人工听评仍需单独验收。接续器不重启训练,不修改训练依赖/数据/正式源码;遇到其他GPU任务优先让路,测试后空卡恢复占卡。 18:25已实查CPU接续进程2789734存活、状态`waiting_for_training`,约40MB内存、不持有GPU;原训练已过120k且新完整断点落盘,四rank继续。第014轮独立复核判定WARN、未发现具体启动阻断错误;这是同GPT家族Type-A检查,不是跨家族认证。保留固定64/单seed/代理参考限制,及占卡识别依赖用户专属monitor绝对路径的前提;最终完成凭据保持不可变,分析是否结束另看queue状态。实现、测试、原始审查请求/回复和结果归档12成员、21,732字节:`scaleup/provenance/final_evaluation_queue_2609121817.tar.gz`,SHA256 `8e5777b1d5f49eb8d76ab77d6d2afa3a139db1db0f6ffd4b4826edca7e36d0fa`。没有提前评测test、没有新增WandB曲线,训练和最终评估仍未完成。 ### 09/12 17:54:继续原30万步长训,保留原配方与未触碰的测试集 用户明确论文推理优先,可在不影响它的条件下共享。此次恢复前实查那组进程已退出,未操作它;四卡只有占卡,按原命令退出占卡后恢复SWA。**仍是从随机HFD头开始的同一条长训,现在从110,000步恢复到原定300,000步,不另起训练曲线,不中途加入新的发声适配/进程方案。** 模型、学习率、batch64/卡、warmup2000、数据和固定验证协议不变;174个训练依赖及train/val/test清单SHA均匹配。优化器/RNG/采样器会恢复,未完成source从首帧重放、清KV,不能称逐位完全续训。 只读复核七批当前准入及全量时间轴检查收据,问题/答案/审核PTS与准入记录一致;仍为新增12,372条去重录像-QA,共12,719source,原347条逐项不变,录像ID/SHA与motion在各split间无交集。此次是复核已有全量检查的哈希与覆盖,不冒称重新全量解码、人类逐题验收或统计独立的12,372场景;颜色偏置和合成参考局限继续保留。测试结果仍未查看,最终须先按固定val选模型,再一次性评测封存test及错相机/无提问对照。 恢复守护器仅放在隔离`scaleup/analysis/resume_supervise.py`。首次17:43尝试把torchrun各rank的独立进程组误判为外部任务,在首个更新前退出;修为沿父进程链识别归属,原失败代码/日志留`provenance/resume_guard_failed_2609121743.tar.gz`,不隐藏失败。新增3项CPU检查含真实独立session子进程,恢复与分析原15项检查也通过;说明的是恢复机制,不是模型质量。修后17:47监督器2644796与四rank实查存活,尚在全量预载,未把启动写成新效果。持续检测外部GPU任务,若连续出现则只让本实验退出保留断点、不自动抢卡重启;结束后无其他计算进程才恢复占卡。 17:53预载完成,四rank真实恢复更新;至110,400步,当前统计区间已有691个QA监督token、损失有限,GPU采样83%~87%。这是机制恢复证据,前几百步cache短且多source重新从idle开始,不能用低loss/高control准确率声称长训效果改善,也不以这段速度代替稳态速度。 运行状态另记本run的`resume_260912174723.json`及同名日志,不覆盖原`launch.json`和暂停前日志;WandB继续[lmdypebc](https://wandb.ai/yth040313-zhejiang-university/humanoid-full-duplex/runs/lmdypebc)。守护代码、3项测试、检查记录及首轮失败归档为`scaleup/provenance/resume_supervision_2609121754.tar.gz`,4成员核验相符、约9.3KiB,SHA256 `7ed349c40d1576317a033d02dc444e99e102f671bb5735d504ddc60e4d43b0bb`。长训、最终推理与完整结论仍未完成,本段不改变下文架构小测的证据范围。 ### 09/12 17:27:优先解决“边说边动”,独立语音进程取得关键进展 **先说结论:实验版已经做到一边接收视听输入、生成动作,一边陆续输出声音;两条句子级测试中,说话没有改变动作结果,也没有造成发声期间动作超时。还不能称完整实时产品:首音约3秒,发音仍有错误,未接真实麦克风/扬声器。** 不继续拿问答分数或增加训练步数代替这个架构验收。 做法很直接:主进程不停地听、看、更新主KV并生成动作。需要回答时,只把**截至此刻的历史副本及Talker需要的token/embedding/hidden记录**交给另一个进程。语音进程使用同权重的Qwen副本生成回答,原生Talker逐步生成声码,解码线程不断输出新的100毫秒PCM包。两边不共用可写KV,不在动作循环里等待整句话结束;语音报错独立记录,已经完成的动作先保存。没有给模型喂GT答案,也没有把完整WAV事后切片冒充流式。 #### 为什么只加CUDA流还不够 先暂停本次四卡长训、排除无关GPU进程,用固定25k权重、同一train-only语音适配层、同随机种子和真实因果视听回放比较。6条预选source,每臂264个动作窗口:“不说话/同卡说话/另卡但同进程说话”。12组动作比较逐值相同,control、触发窗口、主KV长度和输入时轴相同;跨卡6条文本、声码和PCM也相同。但语音生成重叠时,同卡动作每窗平均0.360秒,对应不出声窗口0.220秒;分卡仍约0.332对0.222秒。**逻辑隔离成立,不等于调度和计算资源互不影响。** 另用固定“显示器位置”和“厨具”两题,在回答分支请求完整句子;实际模型分别生成10词/13词、声音2.98/4.66秒,不是长篇对话,问答评分不与原短答案协议混算。同进程同卡两句累计软件供音断档1.945秒;换到第二GPU但仍同进程为1.378秒。故仅靠换CUDA流/换卡不够,进一步试独立Python/CUDA进程,保持文字、声码、PCM内容不变。 #### 独立语音进程的同轮对照 四卡分两组,各用一张卡跑听看/动作、一张卡跑语音,固定同两题;一组先不出声,另一组先出声。传递的是已经可见的历史副本,经有界CPU共享内存队列送到语音GPU,没有GPU抢占别人的训练,也没有改正在训的模型。全部比较使用自身state、前窗RTC和10步动作solver。 | 与语音worker计算区间有交集的动作窗 | 不出声的对应窗口 | 独立进程同时出声 | 超0.4秒期限 | |---|---:|---:|---:| | 显示器位置,10窗 | 0.1630秒/窗 | 0.1648秒/窗 | 0/10 | | 厨具,15窗 | 0.2305秒/窗 | 0.2382秒/窗 | 0/15 | 表格统计**整个动作计算区间与语音worker运行区间有正长度交集**,包含部分重叠,不等同“动作完成时worker仍在跑”,也不等同“声音已经播出”。显示器选中window18~27,厨具16~30;按这些ID取不出声对照的完整窗口耗时。若改为仅统计完成时刻落在worker区间内,分别是9/14窗;所以只看`speech_worker_active`快照会得到不同计数。新增`analysis/runtime_overlap_summary.json`逐窗保存区间、交集、ID、两臂耗时与超时,并单列触发含传输、PCM生产、软件播放三种口径;表中10/15及原均值经此重算一致。此规则明确的是计算争用,不新增实际扬声器或长时间性能结论。 - 两条source的全部动作、control、触发窗口、主KV长度均与本轮不出声对照相同,动作最大差0;与先前同进程分卡的文字、codec和PCM逐值一致。这里测的是“发声执行是否扰乱动作”,不等于所有提问都不会影响动作语义。 - 两句均在全部声码生成完成前已交付PCM,发声生产及软件播放期间输入/动作仍推进;软件FIFO固定0.2秒首缓冲,**两句起播后断档均为0**。没有事后增加缓冲或丢掉卡顿样本。 - 触发到首块PCM分别2.916/3.052秒,副本传输/排队/接收约0.526/0.289秒,仍需优化;文字只有12/16个token,在首PCM前已生成完,不声称验证了长篇边说边组织后文。 - 完整source仍保留启动超时:不出声4/91,出声5/91。出声版的5次都在厨具样本最初0~4窗,此时语音尚未启动;**不能用发声重叠期0超时冒称整机零超时**。原6题中高解码开销录像不出声也39/39超时,这个输入前端瓶颈尚未处理。 - CPU Whisper复核两句为3/23词编辑、0/2整句完全一致:一条把monitor识别成sea-knitter,另一条把man识别成person。可能涉及发音或ASR错误,须人听检查;不把无断音等同自然音质已合格。厨具回答本身仍说spatula而参考是tongs,是问答内容问题,不能用声音说顺了掩盖。 **可以保留的架构决定**是:动作主流持续更新;回答读历史副本;语音独立进程/设备;Talker与声码解码流水并行,保留句内上下文和统一真实时钟。无需为了“能分块”先解冻Talker,也不需要让Talker反向改写动作KV。独立进程有第二GPU、模型副本和首音传输成本;以上只有两条固定句子/一个模型seed,不是全场景质量或严格重复时延统计。没有实测真实摄像头、扬声器、回声消除、发声中途打断或持续长篇回答。这些边界不能略去。 检查与保存:18项CPU缓存所有权、块顺序、噪声/EOS和异常传播测试通过,隔离脚本编译通过;所有GPU对照退出0,原始失败/退化记录保留。新实现只在`scaleup/analysis/`,正式模型/训练推理入口/原数据未改。证据为本run的`duplex_architecture_25000_pair01/23`、`duplex_longanswer_25000_monitor/tongs`、`duplex_process_25000_monitor/tongs`及`analysis/duplex_*.json`。源码、结果和小音频归档在隔离`scaleup/provenance/duplex_architecture_2609121726.tar.gz`,6.4MiB,SHA256 `8d0609cd8187a650a3c4ac1084db8139e5bf8f4aa5dec218fb8e38431645bb77`;含较早同进程实测版本源码,不用当前helper冒充旧执行版本。 本次长训在110,000步完整checkpoint处保留,`duplex_pause_110000.pt`是硬链接,不额外复制13GB模型;174个训练依赖哈希不变。暂停时可能已有少量后续未保存更新,原日志不删除;恢复可继承optimizer/RNG/采样器,但未完成source需从首帧重放,不能称逐位续训。本轮为优先验证架构暂不自动续长训,GPU测试退出后已恢复占卡。正式仅把结果同步这份报告及DIALOG/CHANGELOG;此前第013轮外部审查不覆盖本轮新实现,本轮结果以CPU测试和实际配对断言为证,不虚称已独立审计。 ### 09/12 用户补充硬要求:声音也必须真正流式输出 用户明确要求语音与动作同步逐chunk输出,且听起来正常。**当前尚未满足这个要求。** 已核对安装版Transformers 4.57.0及隔离`evaluate_long.speak_native`:先生成完整回答token/hidden,等待Talker生成完整codec,再调用Token2Wav返回整段波形。此前WAV/ASR与同卡并行检查不能证明“第一块声音在整句生成完之前已输出”;把整段WAV事后切片或合进视频也不算通过。[官方架构](https://arxiv.org/html/2503.20215v1)支持流式设计,但不能拿论文能力代替当前入口的实际验收。 后续验收必须覆盖:①文字特征、Talker codec和PCM逐步生产,不等待整句结束;②说话时视听输入、主KV和动作窗口继续推进,语音阻塞不能拖停动作;③语音与动作按真实可用/播放时间戳对齐,不把几秒后才生成的声音回填到较早逻辑时刻;④同一回答保留Talker历史及声码解码上下文,按原生所需前视/缓存处理边界,禁止每0.4秒重新起一句话;⑤较长回答实测首块PCM早于整句codec结束,报告首音延迟、后续供给速度、播放缺块/卡顿、动作超时、跨块听感和ASR。声音内部chunk大小不必等于20动作帧,但播放时间轴必须一致。短短一个词的样例不足以验证持续流式输出。 “能流式输出”和“微调后发声正常”分开解决。前者首先需要正确的增量接口与非阻塞调度,**不能靠解冻Talker自动获得**;后者已有25k受控失败证据,随后在发声支路试验小型特征适配层。若训练Talker,必须增加有效语音/声码监督,不能只解冻参数却仍只算答案文字loss。下文已记录分块功能及联动实测,但尚无Talker训练、物理硬件实时或人听音质全面通过的证据;不提前宣布只训练连接层一定足够。原四卡长训配方不在中途暗改,新方案留隔离对照。 ### 09/12 16:22:语音生成与声音解码流水并行,减少断档但未完全达标 上一版虽然已经逐块出声,但每次解码当前声音块时,Talker会暂停生成下一批声码。这次只在隔离实验中把两者改为独立CUDA流:Talker继续生产,解码线程按顺序取新声码;保留同一句的上下文和噪声,最多排两块,满了等待,不丢块。**没有解冻Talker、没有改任何模型权重或训练配方。** 先用同25k模型、同train-only适配层、同12val×2seed、同Euler积分器/48-code块长,交替串行与并行顺序。48次生成的文字、codec和PCM均与相应固定参考逐值相同;因此原ASR结果可以沿用,两臂仍15/24匹配、9/50词编辑,并非做了新人工听评。只运行发声支路时,软件供音断档从6/24降至1/24,累计1.746→0.192秒;首块PCM中位等待1.766→1.738秒,整次调用中位1.885→1.820秒。**主要改善是连续供音,不是首音或整机速度暴增;仍有残余断档。** 时间是在共享训练GPU的条件下测得,不外推独占硬件性能。 同12source逐个交替“串行出声+视听动作”和“并行出声+视听动作”的联动也已完成。**两臂12/12动作数组、control、触发时刻、文本、codec和PCM一致**;软件回放期间动作都继续推进,不能理解为已经验证物理扬声器或长篇讲话。 | 同轮、同模型联动A/B | 串行解码 | 并行解码 | |---|---:|---:| | 回答供音断档 | 3/12 | 2/12 | | 累计缺音时间 | 1.676秒 | 0.518秒 | | 触发至第一块PCM中位延迟 | 2.592秒 | 2.588秒 | | 动作超0.4秒期限 | 258/526 | 263/526 | | 全部codec结束前输出PCM | 6/12 | 4/12 | 因此当前结论是**供音连续性改善,首音与动作实时性未改善到可验收水平**。并行使声码本身更快完成,短回答的“首PCM早于codec完成”比例反而可能下降;不把这个比例当独立质量分数。较长持续讲话、真实播放设备/回声处理、人听发音和接缝仍未验证。固定种子不能消除共享GPU负载与冷启动的计时扰动,保留所有样本、不只报告变快的片段。 13项CPU检查已通过,包括队列顺序、全局噪声、EOS、有限积压和失败退出。第一轮测试抓到音频写入异常后下一排队任务仍写入,修成首个失败后禁止后续解码/写入;独立审查又指出生产线程和解码线程同时失败时,关闭队列可能漏报后者,补异常链保留与共同失败测试。保留失败与修后日志,不删坏结果。完整GPU A/B绑定修前关闭错误报告逻辑的归档SHA;仅错误退出逻辑的后续修改另做13项CPU及两source×两seed×串并行共8次GPU复查,文字/code/PCM仍一致,不冒称全部A/B都在最新文件上跑过。复查在 `native_decoder_pipeline_25000_cleanup_smoke/`,不用于选模型或声称新的速度收益。 证据:隔离run的 `native_decoder_pipeline_25000/`、`paced_streaming_25000_pipeline_ab/`,统一汇总 `analysis/speech_pipeline_25000.json`。源码及完成支路记录归档 `provenance/native_pipeline_source_2609121612.tar.gz`,SHA `125893f491f79ff66f36fda561229d02497c4890a846cadf68ba116b0e670fc3`。后续完整联动、修后CPU/小GPU、汇总及审查另归档 `provenance/native_pipeline_complete_2609121627.tar.gz`(18成员逐文件匹配,SHA `67407beb194dcbb3c7adeb564ae8abeb007623bdc3985b4f44773a3c1905b2e8`),含先前完整GPU版源码包,不用新helper冒充旧结果的原版。评测加载的旧版paced helper另保留哈希一致副本,注明是后续从有限差异重建,不混淆新联动CLI版本。Type-A第012轮只读审核结论WARN及完整原文保存在隔离区,不称跨家族认证。四卡长训16:13实查91,800/300,000步,174依赖SHA未变;诊断共享GPU期间训练约0.205秒/步,不与无诊断的0.165秒当配方速度差异。16:25已过95,400步,诊断进程退出,四卡重新仅有训练,离散采样87%~100%。 独立第013轮逐项复算后仍为 **WARN**,未发现新的阻断错误:确认12对联动及8条修后复查的分母、等价性和计时;明确上述“缺音时间”是**起播以后的供音断档,不包含首次等待**,所以2.59秒首音必须另报。计划里的 `parallel_decoder=false` 是单独CLI开关,`pipeline_ab=true` 才选择两臂;原始24行确实各含12条串行/并行,不事后改原启动记录。问答参考混合合成与少量原人工标注,不称人听音质或人工VQA正确率。完整复核收据在 `provenance/native_pipeline_review_2609121636.tar.gz`,SHA `f25ecbd2e42eb1a906c7d06280447a0ba1f4d0f404fcf375e6bc911d49900ca1`;同模型家族不同实例审查,不冒充跨家族认证。 ### 09/12 15:41:联动回放完成;声音解码更快,但实时仍未过关 **Talker可以先不解冻,真正的增量接口已经跑通;剩下的卡顿不能靠“分块文件存在”蒙混过去。** 同12条预选val,以真实到达时间喂相机/麦克风,同时执行闭环动作与独立发声线程。原生RK4解码及另测Euler解码,两轮各12对“无语音/增量语音”均完成,动作数组逐值相同、控制与回答触发窗口相同。两种发声解码的回答文字/codec也全部一致;没有用GT答案、没有回填较早声音时刻、没有中途改长训权重。 | 联动软件回放,12条各一采样seed | 原生RK4解码 | Euler解码 | |---|---:|---:| | 动作、控制与同轮无语音版一致 | 12/12 | 12/12 | | 全部codec结束前已写出PCM | 6/12 | 6/12 | | 软件播放期间动作继续推进 | 12/12 | 12/12 | | 有供音断档的回答 | 6/12 | 4/12 | | 软件FIFO累计断档 | 6.009秒 | 1.659秒 | | 从回答触发到第一块PCM的中位延迟 | 3.446秒 | 2.592秒 | | 动作超0.4秒期限:无语音 / 出声 | 250/526 / 286/526 | 172/526 / 268/526 | 这两轮发生在不同时间,与同一四卡长训共享GPU1;各轮保留无语音对照,但**不能把跨轮差值当独占硬件公平测速**。无语音版自身也有大量超时,不能把所有问题归给Talker。声包到达时间是真实记录,缺块由固定0.2秒起播缓存、100毫秒播放器包的软件FIFO计算,不是实际扬声器/回声消除测试。部分回答很短,全部文字先于首块PCM完成,本轮也没有证明长篇边说边组织后文。 另做严格固定codec的声音解码对照:同12条×2seed、相同原生权重/说话人/噪声坐标/48-code块及上下文/10个积分时点,交替RK4与Euler顺序。**只测声音解码**的耗时中位数0.886→0.339秒(约2.61倍),RTF中位数0.934→0.312;ASR均15/24匹配、9/50词编辑、24/24正常EOS。RK4重放对原波形逐采样差0。Euler不是数学等价替换,波形发生变化;ASR持平不证明音色、韵律和接缝听感不变,仍保留原生RK4作为参考。 原始pending计划保留,新完成收据为同run的 analysis/streaming_paced_solver_review_25000.json 与 analysis/speech_status_25000.json。新回放逐答记录参考来源及实际seed;旧结果不覆写,在汇总里明确标注按冻结清单和原代码补出的sidecar元信息。8项CPU流式测试已重新执行并保存原始日志 analysis/streaming_tests_2609121531.log。代码、结果及跨目录stream_model/stream_common/reply_metrics/camera_protocol依赖归档在 provenance/native_streaming_review_2609121545.tar.gz(SHA 7058665e93b6756e5784c9ca5006623fa3f6f2ca7f4fc3fa6fad46d89b0f5946);较早失败归档只作失败证据。Type-A第010轮结论WARN及完整只读审计原文已保存,不冒称跨家族认证。 长训仍正常,15:40实查80,600/300,000步、近期约0.165秒/步、四卡采样86%~92%,174运行依赖SHA未改,原WandB仍running。75k固定64val词F1从50k的0.7601降到0.7062,无问题误开口从0/64回到3/64,QA/ordinary关节RMSE为0.35251/0.35093 rad;**尚未持续改善,不能只挑25k/50k好结果报喜**。最终val选权重、封存test、错相机、原生语音与独占实时检查仍未完成。 ### 09/12 15:05:小适配层改善发声,真正分块已跑通,实时验收仍在进行 **现在解决的是“怎么陆续出声”,还不能说整套实时说话系统已达标。** 原生Talker权重保持冻结;先加一个只作用于发声支路的小转换层,把微调后Qwen的内部特征转成发声器比较熟悉的形式。原始语义、动作条件、主KV和正在运行的四卡训练全部不改。 转换层是残差仿射映射,输入/输出仍为2048维。只选train中的512个独立录像source,448拟合、64选正则强度,val/test不参与选择;目标是预训练Qwen在**同一因果输入、同一模型自由回答token**下的内部特征,不是人工语音GT,更不是拿正确答案替换模型回答。CPU拟合6.71秒;校准特征MSE从8.8607降到1.3477,只说明兼容性代理改善。下面才是实际发声验证: | 发声方式,固定同12条val×2采样seed | ASR与模型想说的文字完全匹配 | 词编辑/目标词 | 正常EOS | |---|---:|---:|---:| | 不适配,生成完整声音 | 0/24 | 92/50 | 16/24 | | 加小适配层,生成完整声音 | 15/24 | 9/50 | 24/24 | | 同适配层,48-code真分块 | 15/24 | 9/50 | 24/24 | | 同适配层,24-code真分块 | 15/24 | 9/50 | 24/24 | ASR识别“three”为“3”等仍按原规则计错,不事后修改指标;另有把“pan”等词发错/识别错的待查情况。**这不是24题的人听正确率,也不是视觉问答正确率。** 没有因结果不好删样本或换seed,Talker、Token2Wav、Chelsie说话人、RK4配置保持固定。这些结果说明小适配有效、分块未在该小集合上额外增加ASR错误,不能据此断言解冻Talker永远没必要。 分块版逐个产生回答文字特征与语音codec,保留同一句话的Talker KV;原生解码器保留左右上下文和同一全局噪声坐标,够一块就输出PCM,不等完整WAV,不用外部TTS,也不靠交叉淡化掩盖接缝。两种分块共48次的文本和codec均与整句基准逐token一致,样本数没有丢失/重复;各有10/24次实际0.4秒PCM包在全部codec生成完之前写出,其余多为一个词的短回答,不能拿它们证明长句持续输出。分块波形并非逐采样等同整句:48/24-code平均波形RMSE分别0.00183/0.01077,跨块听感仍需审核。 过程中发现自动混合精度、一次性合并历史的矩阵乘法形状会改变BF16舍入,最后使随机发声分叉。没有放宽一致性检查;改为显式FP32计算适配层、沿用与基准相同的逐packet计算形状,再完成全部48次重测。失败计划和原始code序列保留。当前分块helper SHA:2278bd95b770e10b4d48e8ec2ab729b196f55ec6a13edac1464cc9e87511507e;此前两条机械检查只证明对应旧归档版本,不混用结果。 **实时联动还发现一个独立的输入端问题。** 老录像回放每0.4秒都重新seek,还缩放大量不送给Qwen的帧;无语音对照首条39窗口已明显超时。只读原生栈落在1920×1080→224像素缩放;那次含短暂gdb暂停,保留为定位记录、不当干净速度基准。新隔离回放持续打开解码器、只缩放真正送入模型的帧,12条全部526packet/1711帧与原冻结输入像素、PTS完全一致。随后重跑同12条“无语音/增量语音”配对实时回放,交替对照顺序,尚未全部完成。它与长训短时共享GPU1,不能当独占显卡实时性能。PCM按实际可用时间记录,播放缺块用明确的软件FIFO时钟计算,不冒充真实扬声器、相机硬件或回声消除已测试。 独立只读Type-A第009轮复核确认适配数字和对照,但结论WARN:小样本、代理标签、原记录pending状态与旧helper绑定必须交代。原始计划不事后改写,新 analysis/speech_status_25000.json 单独列实际完成收据。第010轮继续复核分块和实时代码。8项CPU测试通过,含207组不丢帧/不重复/不偷看未来codec子例、适配精度、EOS/flush和软件播放缺块计时;机械测试不代表音质通过。 主要证据在同一隔离run的 speech_adapter_25000/fit_result.json、speech_adapter_25000/val_native/asr_review.json、streaming_adapter_25000/consistent_map/asr_review.json 和 paced_streaming_25000_camera_check.json;实时回放继续写 paced_streaming_25000_continuous_camera/。代码及已完成JSON归档 provenance/native_streaming_adapter_2609121505.tar.gz,SHA256:6a040299d59fd54df0a4a3dd0431e13d2b476d20925ec0ff1efa1701ab92cf16。17MB适配权重、WAV与固定25k权重仍保留在隔离区,正式仓库只改报告和日志。 ### 09/12 50k固定验证:回答分数基本持平,误开口减少 同一冻结64val、同样闭环评价,从25k到50k:回答词F1 **0.7643→0.7601**,并没有随训练继续明显提高;普通无问题误回复 **3/64→0/64**,提前回答 **4/64→1/64**。有问题/无问题关节RMSE从0.35646/0.35629降到0.33625/0.33435 rad,是局部姿态误差降低,不等于整体动作已自然。50k对问题先验F1差为+0.1794,source配对95%区间[0.0641,0.2952];仍是混合参考、小固定集、单训练seed,错相机和最终test待完成。 15:01附近长训实查已到68,800/300,000步、约0.164秒/步,WandB仍running,174个运行依赖SHA完全未变。期间GPU1有上述受限的小诊断,不把这段速度当独占吞吐;最终30万步与原生语音质量结论尚未得出,goal未完成。 ### 09/12 首轮25k验证:文字有初步收益,原生语音仍未过关 **当前不能交付“可靠地边做动作边回答出声”。** 09/12 13:33实查同一四卡长训仍运行,40,600/300,000步,最近约0.162秒/步;四卡采样利用率89%~97%。训练配方、数据、174个运行依赖均未因下述诊断修改。以下质量数字只属于25,000步,不是最终test,也不是30万步结果。 固定64条val全部完成“有问题/同source无问题”两种闭环,共128条输出;回答由模型决定时机并自由解码,不喂正确答案。主要结果: | 指标 | 25k结果 | 如何理解 | |---|---:|---| | 自由回答词F1 | 0.7643 | 对混合参考的词重合,不是人工正确率 | | 只看问题、由train拟合的答案先验F1 | 0.5807 | 同64题,但有干净问题文本与oracle端点,不是严格同输入模型 | | 二者配对差 | +0.1836;source-bootstrap 95%区间[0.0742,0.2955] | 仅这64source的不确定性,不含训练seed差异 | | 回答完全匹配参考 | 38/64 | 未做人工同义词复核 | | 普通无问题source误回复 | 3/64 | 不是完全避免无依据开口 | | 提前回答 | 4次/64source | 共生成68次回复,没有从多次答案中挑最好一次 | | 有问题/无问题关节RMSE | 0.35646 / 0.35629 rad | 差很小不等于动作质量合格或六任务不退化 | 64条参考中56条来自合成/筛选代理、8条原人工带时刻问答。数量类F1为0.8,**与问题先验一样**;只看总分不能证明视觉有用,错配相机对照仍待完成。3条普通误回复以及其中3次提前回答共享同一个“逆时针慢跑、向左跳后爬行”的原动作指令,不能当成3个独立失败类型。另1条是在问题还没问完时提前说出物体。已保留原题、原参考和原始错误,没有看完结果后删题。64/64在问题结束后2秒逻辑窗口内产生回答决策,不等于2秒内声音已播放。 **语音问题及受控对照。** 在验证前预选的12条展示样例上接入冻结的原生Talker/Token2Wav,动作数组、控制、回答文字和触发窗口与不出声版本逐项一致;但独立Whisper ASR与模型自己生成的文字完全匹配为0/12,40处词编辑/25个目标词,2条未自然结束。说明“有WAV文件”不等于会正常说话,早期单例功能通过也不能外推到长训后。 随后固定同12条、相同模型生成的回答token、Talker权重/默认说话人/采样设置,配对两个随机种子(26091201、26091202),只改变Thinker提供的内部特征: | 发声条件 | ASR与模型回答文字完全匹配 | 自然EOS | 词编辑数/目标词数 | |---|---:|---:|---:| | 微调后的流式Qwen特征 | 0/24 | 16/24 | 92/50 | | 预训练Qwen、相同因果流式输入和回答token | 18/24 | 24/24 | 7/50 | | 预训练Qwen、标准纯文本提示 | 21/24 | 24/24 | 3/50 | 第三行只是兼容性诊断,**不是部署方案,也没有用外部TTS替代原生Talker**。同权重下的自由解码与固定token重放,12条ID/embedding完全相同、hidden最大差为0,先证明重放实现一致再换权重。24是12题各两次采样,不是24个独立问题;ASR不是人听评,数字“two/2”也按原规则记错,不在结果后偷偷改归一化。 通俗结论:**Qwen在学习新任务后,交给发声器的内部特征变了;发声器仍使用预训练时的接口。** 此小对照支持“微调后的特征与冻结Talker不兼容”是关键原因;不能再承诺只要继续长训声音就会自己恢复。下一步在隔离区测试只适配发声条件的方案,保持原生Talker与动作路径,使用train-only拟合、val比较,测试集保留;这是待做计划,不冒称已修复。 主要证据均在同一隔离run:`analysis/val_step25000.json`、`early_native_25000/audio_parity_asr_review.json`、`native_condition_ab_25000/{plan,results,asr_review,same_weights_replay_check}.json`。25k权重SHA为`fb02d10d0c4464f8fb0aecfb510863d407fa02fe8711504c79ea2cf12c6c1c7e`,已硬链接固定,后续best更新不会覆盖本次诊断权重。72次发声诊断使用GPU1约288秒、峰值allocated15.89GiB;与原训练短时同卡并行,该区间不计为独占训练吞吐基准。CPU ASR不占GPU;没有重启长训、新开WandB或改正式HFD源码。 独立只读Type-A复核已逐项重算全部原生发声行及首轮验证数字,结论WARN:数值及对照成立,但保留代理标签、小样本/单训练seed、无完整实时证据等限制;不是跨家族认证。原生诊断的旧启动收据仍写pending_ASR,实际完成以另存的\`asr_review.json\`为准,未事后改原始启动记录。四个分析helper及上述原始JSON/Markdown已归档\`provenance/longrun_native_2609121350.tar.gz\`,SHA256 \`efe5a07b58996639206067dcc26613f8e15ff1e101441e135f360572c01c742e\`;WAV和固定25k权重仍在原隔离run,没有删除。11项分析fixture、四脚本编译及174个运行依赖SHA不变检查通过。 ### 09/12 11:30启动:四卡长训中,首轮固定验证尚未到达 启动前独立Type-A复查已通过:七批冻结清单、因果时间轴、原GT、损失归一化、KV换源及恢复路径未发现阻断项;保留合成参考、强问题先验和非逐位续训等限制。这是代码/数据完整性准入,不是模型质量认证。 已退出本用户占卡程序,并确认没有其他GPU计算进程,再启动 `swa8.gpus4.2609121130`:四H200、每卡B64、30万步、2千步warmup、每2.5万步固定64条val。supervisor PID为601535,torchrun PID为601663。11:36四rank完成11,200条全量预载并实际开始前后向;约5分钟的一次性初始化有Python元数据构造/GIL等待证据,未发生内存超限,不能把它混作稳定训练每步耗时。只读gdb采样已正常detach,没有修改训练代码。一次最初的nohup后台尝试未存活、未创建run或WandB,改用持久执行会话后实际进程及launch.json已核实,不属于已训练模型失败。 WandB:[swa8.gpus4.2609121130](https://wandb.ai/yth040313-zhejiang-university/humanoid-full-duplex/runs/lmdypebc),API实查为running。6,000步时四rank最近200步平均0.1593/0.1606/0.1611/0.1602秒,峰值allocated88.80/86.76/87.98/87.21GiB,有效batch比例98.17%/98.80%/99.05%/98.80%;GPU离散采样约87%~95%,不是整个13小时的平均。QA已实际参与监督;例如5,200步窗口有357个目标token,训练词准确率0.8515、回复precision0.9510/recall0.9927,**不是自由问答或泛化成绩**。12:06实查已超过11,000步,首个10,000步恢复checkpoint原子落盘13,355,980,157字节,随后训练正常继续;只读加载确认296个model tensor、294个optimizer状态项、4组优化器参数,以及四rank各64槽位和完整RNG/采样器字段。没有为验证重启长训;真实恢复已由前述四卡QA小测覆盖,未完source仍需从首帧重放,不称逐位续训。首轮64val尚未到2.5万步。174个实际训练依赖代码SHA与启动时完全一致,没有为了指标改数据或训练参数。 结果目录:`/cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/hfd_experiments/swa_260910/ego_selection/scaleup/prepared/outputs/swa8.gpus4.2609121130`。同级隔离根的 `swa8.gpus4.2609121130.train.log` 保存训练输出;训练结束后监督器自动用val选定权重,执行固定val/test的正常问答、无问题、错配相机三组原生语音推理。按短测约0.159秒/步估计纯训练约13.3小时,尚不含初始化、评估和保存,需用全量实测速率更新。 完整运行代码、配置及冻结元数据已保存在隔离区 `provenance/longrun_code_2609121122.tar.gz`(201成员、5,865,954字节,逐成员哈希核验;归档SHA256 `8c046ed54207e3a32244c6eb90a7f97b718faf716554f3ded45a951da8505df0`),不含权重/数据/凭证。正式HFD源码、训推入口及旧数据不改;此前冻结记录已推送功能分支并no-ff合入远端默认分支。后续在本节补实际速度、WandB及效果,不以旧20万步或短测分数冒充新长训结果。 趁长训补齐独立只读结果核对 `scaleup/analysis/summarize_long.py`:只接受同一冻结64-source、完整各rank/模式及相同checkpoint;比较正常画面、错相机、train拟合问题先验,分开统计回复时机、第一条合格自由回答、普通无问题误回复、动作误差;不挑多次回答中最好的一次。加入按source配对bootstrap、来源/类别拆分、波形采样率/有限值/长度检查,测试集分析必须等完整最终推理结束。11项合成fixture单测通过;实际64val问题先验复算仍为0.580695,未运行新模型测试集。代码/测试/采样原始证据另归档 `provenance/longrun_analysis_2609121151.tar.gz`,SHA256 `1bce38c33b1cc537f1f440456c46897d904d991a905aac66c03cea31465a7d62`,不在正式源码或当前训练依赖哈希内。 两个解释限制补清楚:词F1不是人类回答正确率,例如“carpet”与“A carpeted floor”会得到0分,最终仍需看画面/听回答;旧20万步的8题也确有把眼镜答成黑色物体、把厨具夹答成锅铲等参考不一致,不能只靠一个总分分析原因。另旧204条通用source中发现1条val问题“Which of the following ... NOT mentioned ...”未提供选项/原录像声音,不适合当前输入;它不在本次冻结64val或64test中,保留旧数据并记录问题,不在看到结果后改测试集。新增12,372条的完整检查收据最多64个语义包/9,541前端token,**这批实验不能验证96秒乃至更长上下文记忆能力**。 首轮25,000步验证之前,另固定12条**只用于人工核对展示**的val样例,覆盖当前64val的7个来源组和6类元数据类别:每来源先按固定SHA选1条,补齐类别,再按较少覆盖类别/来源补到12条,不看模型输出。清单 `scaleup/analysis/fixed_val_review_260912.json` 的SHA为 `a7301bb52f45538afc6f7d8ca2ee8e3f643ebc3d65ae4910ae5d4a779db9496b`;所有64条仍进入定量评估,测试集不动。这不是随机准确率抽样,也没有改学习配方或训练输入。 用两个CPU进程回放这12条提问结束前的48张真实224像素相机帧,PTS逐个与冻结时间轴匹配;没有使用GPU、未来帧或模型答案。可见颜色/位置大多容易核对,但小厨具、重叠细杆、阴影来源的精确命名应结合更早的因果画面检查,不能把词F1差异都解释成模型错误;没有据此偷偷修参考或删评测题。实际预览、观察记录和检查工具已独立归档 `provenance/longrun_analysis_review_2609121236.tar.gz`,SHA256 `49861519c7d8dee8fcf9b687804e73fb811ad4c5767be49f76236d1bad25ca93`;11项分析fixture测试再次通过,预览脚本编译和真实48帧检查通过。长训已过20,000步,仍未产生首轮固定验证结果,暂不声称视觉或动作收益。 ### 09/12 11:18:扩量清单已经冻结,等待独立启动复查 **数据规模目标已达到;扩量后的长训尚未启动。** 七批逐条核验完成后再跨批去重,没有把换音色或换动作算成新问题。以下是当前状态,后文的“尚未完成”数字保留为较早过程记录。 | 口径 | 最终冻结数量 | |---|---:| | 新增独立视频问答 | **12,372** | | 加上原165题后的独立问答 | 12,537 | | 完整source(保留全部旧347条) | 12,719 | | train / val / test source | 11,200 / 797 / 722 | | 原始录像SHA / 原motion primitive | 1,689 / 204 | 新批合并前12,414题,排除42条同录像同问题/答案或保守词序改写重复。划分同时检查录像ID、SHA和原motion互斥;不声称Holo人员/房间或跨视频感知近重复已完全隔离。独立问答按“录像SHA+归一化问题+答案”计,不等于12,372个完全不同语言意图。颜色问题仍偏多:按source计颜色7,266、可见状态2,602、数量1,994、位置425、物体228,原通用204条未硬套新类别。新观察题主要是外部模型合成参考,**不是人工VQA benchmark**。 每条新source已实际核对:原动作数组不变;麦克风等于原背景/动作指令加用户问题,不含机器人答案;8Hz帧的PTS不越过当时可见边界;问题结束对应审核时实际已到达的帧;目标回答全部落在原动作仍执行的时段;音频ASR、冻结前端SHA、形状和有限数值齐全。LLM及KV没有离线缓存。完整证据见隔离区 `prepared/quality/dataset_frozen.json`、各批 `*_source_integrity.json` 和冻结的 `prepared/data/source_plan.json`。 这次额外修了一个会卡住离线准备的问题:本机原生线程栈显示HEVC工作线程等待Python GIL,主线程等待解码线程退出,与PyAV的Python日志回调死锁机制相符。在隔离 `fast_camera.py` 恢复FFmpeg原生日志回调,保留stderr告警,不修改采样/像素/异常准入标准。[PyAV说明](https://pyav.org/docs/stable/overview/caveats.html)、[回调接口](https://pyav.org/docs/stable/api/utils.html)。七批各抽两条,共14条/2,013帧,修改前后像素和PTS逐位相同;原卡住任务继续完成。此证明只覆盖被测样本,不声称任何视频都不会再失败。 六条新GT视频通过50fps展示、音画长度和独立回答声轨检查。其中一条“水壶在锅哪边”在真实输入分辨率下疑似把带长柄的盖锅叫作水壶,虽然双模型均放行仍保守隔离;另一条较早的monitor stand指代错误也已剔除。**保留错误示例及模型原回答作为质检失败记录,不偷偷修标签。** GT示例目录是 `scaleup/prepared/gt-review/`,`gt_media_checks.json` 区分技术检查通过与QA被隔离,不能把可播放当答案正确。可审核的例子包括“两把键盘”“桌布白底蓝花”“茄子深紫色”“手拿黑色小相机”“扳手在手里”。 启动前再做四卡B8测试:400步保存→恢复到800步,两个固定小val均执行,后半段QA确有179个目标token参与统计,四rank优化器/采样器/RNG恢复检查通过。未完source从头重放、清KV,**不是逐位完美续训**;4条val成绩只验证路径,不当效果证据。6个CPU回归测试通过,代码哈希覆盖扩展到实际调用的trainer/cache/metric/config。此前“恢复测试没有QA/eval”和“缺前端参数只有文字约束”已分别补测和加硬检查。 长训计划为四H200、每卡B64、总B256、300,000步,warmup2,000;HFD动作/控制/时长/回答头随机初始化,Qwen仍从预训练权重开始、只调末8层及final norm,不能称整个Qwen从零训练。25%同source不提问对照,冻结视听塔离线编码,Qwen/KV在线,动作stride1/语义stride20和30/20/10 RTC不变。每10,000步滚动保存optimizer、每100,000步留轻量权重;每25,000步固定64val做自身动作历史的闭环自由回答/无提问评估,选checkpoint只用val,64test保留到最终。只开一条WandB,原2.5fps训练不复用曲线。 特别保留“不看画面只看问题”的多数答案基线:只从train拟合,在同一固定64val上词F1为**0.5807**。这是合成参考下的词重合代理分数,不是人类正确率;它说明本数据的语言先验很强,后续必须与它及错配相机条件比较,不能凭高答案F1宣称学会看图。它也不能与旧2.5fps固定8val的0.292直接比较,因为数据不同。代码、数据清单和完整审查trace将独立归档;正式项目仍只更新本报告和两日志。 用户允许睡觉期间继续完善数据、四卡长训与监督。本轮在独立的 `ego_selection/scaleup` 目录工作,正式模型、训练入口和旧数据不改。目标仍是至少1万条合格独立视频问答,**不是把同一道题换声音或换动作算成新题**。下面是准备进度,不是长训收益结论;最终结果会更新在本节,不另建碎片报告。 ### 已实际发现并处理的问题 1. 上游合成答案并不总是可靠:有杯子已经被拿走、答案却仍说桌上有杯子的例子;“已经完成”“需要用力”等也不能从当前画面直接证实。四卡运行两个独立预训练视觉模型,每个分别做不看答案的作答、看参考的核对;静态问题再单独核对当前最后一帧。人工标签与上游合成标签分别保留来源,不能把机器一致率称为人评准确率。 2. 问题说完时,最后一张真正到达的8Hz相机图像可能比语音结束早0.025~0.1秒。新增时间轴将审核时刻对齐到这张已到达图像,而非尚未采样的“理论结束时刻”;逐条断言实际图像PTS一致、无未来帧。背景/原动作GT不变,回答声单轨、不进麦克风,目标声音必须完整落在source里。 3. EPIC一段 `P01_17` 上游文件SHA正确,但PyAV和ffmpeg都在同一附近解码失败。整段录像及其363个字面问题候选隔离,不以补帧/忽略报错放行,剩余4318个EPIC候选继续核验。原文件和失败收据保留。 4. 试验性的BF16前端混合批编码没有通过对齐:固定样本的部分视觉/声音向量相对误差约数个百分点。没有放宽阈值;最终保留逐窗原生B1编码,用独立进程并行、多核CPU预取、相同音频特征的哈希复用提速。两条完整source共97包独立重算,ID/位置/视觉及声音向量最大差均为0。只缓存冻结的音视频塔,LLM及KV仍在线训练;这不等于所有输入都已完成验收。 5. 官方人工**动作标签也不等于当前画面的VQA答案**。HoloAssist的noun/fine-action模板路线共26429候选,暂停时完整复核2368题仅19题通过。典型问题是标签写着抓取某零件,当前帧却已在做别的事;零件在224像素画面里也可能认不清。因此停止这条低通过率路线,不放松门槛。复用已下载官方录像,另用外部冻结Qwen3-VL提出当前可见物体、颜色、数量和位置的问答,再经双模型盲答/核验/当前帧检查。**这些新参考明确是合成代理标签,不是人工GT或官方VQA分数**。小样本254题中97题通过四重筛查;抽查又排除把凳面叫成盘子的问句,过滤肤色/品牌类问题。正式模型及测试输出不参与造答案。 ### 准备规模(尚非最终完整训练集) - 已完整通过新source及前端检查的四批:Holo字面 **1872题**(train1651 / val124 / test97)、camera-wearer **934题**(852/47/35)、EPIC字面 **286题**(240/13/33)、EPIC camera-wearer **165题**(137/9/19)。合计3257条是合并前数量,最后还需跨批去重;尚不足1万。ASR不一致只表示存疑,不自动改目标来迎合识别器,也不证明TTS一定错。新观察问答预先固定更强的Whisper-large-v3-turbo核验方案,未用它回捞旧批Tiny-ASR拒绝样本。 - EPIC原问答306题通过视觉准入后,最终286题完成全链路准入。为避免数据被yes/no主导,另从官方EPIC-100人工noun/narration构造“拿着什么 / 正在做什么”观察问答,答案保留原标签,再核对当时画面;未通过的不进入训练。它们是**人工标签衍生模板QA,不是官方VQA benchmark**。仅用官方train,排除EPIC-55/100原val/test冲突;自定义val/test按整个人员隔离。额外82段、148.92GiB原视频仍在续传/按官方MD5核对,尚未全部准入;同时利用已校验录像另做当前可见事实的合成问答。[官方数据](https://epic-kitchens.github.io/2024#copyright) - 现有通用204条及旧第一视角143条保持原样;它们合计是165个独立QA与204条原始动作的配对,不是347个独立QA。旧2.5fps四卡200k训练和后续推理已结束,不能与新8fps、扩量配方直接当单因素A/B。新增观察路线已从11639个时刻生成、去重/文字初筛为19580候选,后续仍须视觉/声音/时间轴准入。新长训尚未启动。 ### 长训前检查(不是效果结论) - 独立GPT-5.5只读预审指出完整清单尚未冻结、两个探针缓存使用旧编码SHA等问题。显式`.venv-psi`导入通过;两条探针按当前编码SHA重新生成并独立逐窗重算97包,最大差0,原先缓存与新缓存张量也完全一致。冻结清单及启动前现在校验编码SHA。该复查是同模型家族Type-A,不是跨家族认证。 - B32四卡从随机HFD头开始的1200步冒烟及固定4条val的QA/ordinary闭环完成;rank0实际补入31条source,后500步平均约0.0959秒。B64随后完成2400步、1200/2400两次固定小val,恢复训练状态正常;四rank末1000步平均0.1585~0.1590秒,最大allocated86.37GiB、reserved约94GiB,实际补入147/144/149/151条source。两组数据子集不同,不能据此声称严格B32/B64提速;均不写checkpoint或WandB,短测分数不作为泛化收益证据。 - 另以80步小checkpoint验证保存、重载及原生Talker→Token2Wav。真实流式KV在已知问题末端自由生成“carpet”,原生声码解码出0.9秒波形,独立ASR得到“carpet”。这只是**oracle端点的功能测试**;当时学到的回复时机尚未成功,不能称为自然端到端问答效果。长训将看预测时机触发的自由回答,不拿teacher-forced token准确率代替它。 - 给隔离长训补齐显式恢复:保存四rank队列、RNG、flow采样器和优化器;恢复原学习率进度,未结束source重放至自身起点并清空KV。四卡80步保存→重载再跑到160步已经完成,两个CPU队列测试通过。**不是逐位无缝续训**,重放的窗口数逐rank记录;正式HFD恢复逻辑没有修改。旧日志尾部独立保留,恢复写新日志段,不混淆重复step。 - 正式长训会固定录制视频及primitive互斥划分、验证/测试ID和代码SHA;只保存一个滚动优化器checkpoint及少量里程碑权重。不承诺中途KV的逐位续训;固定val包括自由回答、误回答和自身动作历史的10步flow闭环,按数据来源拆开代理QA分数,保留比较帧数。 ### 新观察数据最后筛查(还在做声音/完整source准入) Holo主批、厨房EPIC批及Holo新时刻批目前分别有6446、916、1877题通过视觉/文字筛查,**不是最终训练数量**。额外剔除问题已泄露颜色答案、答案只是重复物体属性、把家具零件叫成盘子/鼓棒、物体实际拿着却说在桌上等。每批固定六题/类别,共72张当前帧做助手视觉抽查,分别隔离5/5/2题;这是分层定点质检,不是随机人评准确率。 还尝试更大的Qwen3-VL-32B做48题复核,不给参考答案、明确要求检查问题的物体指代,但仍放过已知的错误名称和位置前提,因此**未把更大模型当作可靠的自动放行保证**。保留原始候选、各模型原回答和排除原因,不修改参考以提高一致率。仍须承认这批合成参考会有残余噪声;最终评估分来源列出,并加入训练集拟合的“只看问题、不看画面”多数答案基线和错配相机对照,检查是否只学会答常见颜色/数量。 预审过程有一项操作事故:只读reviewer误对六个**已结束的小测JSON**执行空Perl原地程序,可能刷新mtime。随后逐文件记录现SHA、验证JSON/配置/manifest及checkpoint参数一致;没有事故前六份哈希,**不声称已经逐字节证明未变**。准确路径与命令保存在隔离质量收据和审查trace,未触及正式代码、数据或活动长训产物。 原始证据:`scaleup/quality/`、`prepared/plans/`、`prepared/quality/`、`epic/provenance/`和`epic_human/provenance/`。失败批编码代码归档为 `provenance/frontend_failed_batch_2609120106.tar.gz`;SHA256 `0dccbc62ef8cbab5b6e8e74179f4805153bf823656032d3a448bc791c5c3b779`。所有数据与实验产物在正式项目外,正式仅维护本报告、CHANGELOG和DIALOG。 ## 09/11 补充:按音频规模扩量,不把44题当正式训练规模 用户已看过GT并认可质量,同时指出44题远不足以训练。这个判断正确:上一批只是验证因果时间轴、音色、动作不变和带回答声展示的质量样本,不能作为正式规模完成交付。 - 当前音频根目录实查有 **5,220个指令目录**,每条设计8种中英文音色(41,760个WAV是此前全量审计的规模;本轮没有逐文件重新审计全部WAV)。 - 新视觉数据的目标改为 **至少10,000条通过筛查的独立“视频—问题—答案”样本**,再扩音色、动作搭配。不能把同一问题换4条motion或8个声音算成新增独立视觉知识;同一录像内的近义改写也要继续去重。目标不是已经完成的数量。 ### 已经实际扩了什么 对固定EgoIT版本全量元数据去重及文字初筛,整理出 **47,962条待验证候选**,来自ADL、Charades-Ego(上游目录拼作ChardesEgo)、EgoProceL、EgoTask、EGTEA、EpicKitchens、IndustReal和HoloAssist。**这8个来源不是都已具备训练准入资格**:其他来源的原划分、许可适用、视频是否完整连续、答案能否在当时看见,仍需确认,未直接入库。 先把已核对来源的HoloAssist公开视频从小样本扩到 **121段**:原train107段、原val14段,没有用官方test。全部按固定文件大小/SHA下载或复用、ffprobe校验;总原视频约11.21GiB,其中本轮新写8.14GiB,旧文件只引用不复制,没有下载失败或残留partial。原16,670条Holo候选经真实录像时长和末尾至少3秒余量筛选后余 **16,401条(train14,733 / val1,668)**。这只证明时间范围可用,**不证明可以完整拼接、视觉答案正确或适合训练**。 发现Holo候选约九成是yes/no形式(14,945/16,670)。所以后续必须拓展生活/厨房等来源、限制重复问法和类别偏置,不能为了凑够一万条直接放行。具体顺序为:原split/许可核对 → 只看当时及过去画面独立作答并核对原参考 → 近重复/类别平衡 → 同音色TTS和独立ASR → 完整source时间轴/GT抽检。当前**新扩量准入数仍是0,旧44题验收集保留**;一万条合格集尚未完成,新长训未启动。 隔离证据在 `/cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/hfd_experiments/swa_260910/ego_selection/scaleup`: `candidate_inventory.json`、`inventory_summary.json`、`video_acquisition.json`、`acquisition_complete.json`、`holo_time_bounded_candidates.json`。 候选均显式标为不可训练,没有接入任何正式source_plan。检查通过:候选ID唯一、121段下载完成、原录像split互斥、文件大小、无partial,以及旧143-source清单SHA完全不变。并行获取只用了CPU/网络,没有停止或改写当前四卡训练。 ### 一张看懂当前视听实验架构 [架构图](../figures/260911-hfd-swa-architecture.png) · [生成提示词](../figures/260911-hfd-swa-architecture.prompt.txt) · [便于下载的PNG](/mnt/workspace/260911-hfd-swa-architecture.png) 用户认可原图后,按要求仅局部展开KV,保留原图:[KV细化版](../figures/260911-hfd-swa-architecture-kv.png) · [编辑提示词](../figures/260911-hfd-swa-architecture-kv.prompt.txt) · [下载PNG](/mnt/workspace/260911-hfd-swa-architecture-kv.png)。显示36层原生K/V、每个[B,2,L,128]、因果读/追加、96秒滚动历史加prompt和source重置;回答读副本、不写回主历史。训练辅助框显示相对轮次查询到文本CE,r=1为最新完整指令、r≥2为更早指令,不是只保存三个槽。这里只补充既有实现说明,未改模型或训练;96秒是当前配置,不声称无限记忆或按年龄直接改注意力。 图按隔离camera8里的 `CausalAVModel._encode_qwen_stream_input / qa_loss / free_answer`、`speak_native` 和其固定基础代码核对:相机与麦克风进入共享Qwen,控制线性头及三态embedding、48档时长分布和RTC进入动作Transformer;另一条回答分支读KV副本,共享Qwen解码参数,再送原生Talker/Token2Wav。没有把回答支路写回原动作KV,也没有虚构Talker→Action注意力。Instruction Text Loss是训练辅助,不是推理喂GT文本。紫色是视听实验扩展,**并未合入正式HFD训推入口**。图省略工程调度和大量训练细项,不代表它们被删除。 通过原生imagegen生成并做一次定点修正:第一张图把KV的read/write标签画反,最终改为KV→Thinker读、Thinker→KV写;训练辅助虚线改为从KV读出到loss,不画GT写入历史。最终PNG1672×941,SHA256 `604ccba02b3591589b5d6c467124255ced37dae0ecfe19b3ae8336eb868c8c82`,逐项检查关键箭头/形状/模块与代码一致。用户要求gpt-image-2,但本会话专用桥接未开放,原生接口未展示后端型号,已明确不能核实型号;没有用代码绘图冒充图片模型。正式仅新增图和提示词、更新此综合报告及DIALOG/CHANGELOG,模型/训练脚本/旧数据不变。 ## 09/11 晚补充:第一视角数据实际落地 ### 这次交付了什么 不再只是选型:**从 EgoIT-99K 的 HoloAssist 来源准备了一批可复查的小规模数据**。当前任务仍是“机器人继续执行原动作,同时根据眼前画面回答问题”,不是视觉导航或操作学习。正式模型、六任务数据及正在运行的四卡实验均未切换。 | 口径 | 新第一视角 | 保留的通用视频 | 合并后 | |---|---:|---:|---:| | 独立问答 | 44 | 121 | 165 | | 组成完整 source | 143 | 204 | 347 | | train / val / test source | 132 / 5 / 6 | 166 / 20 / 18 | 298 / 25 / 24 | 新数据来自 **26 段原始录像、11 类物体/设备场景**:相机、游戏机、打印机、桌架/推车、电脑部件、电路和工作台设备等,涵盖办公、家居布置和设备环境。按独立问题计,物体/场景类别 8、数量 4、位置 7、可见状态 8、颜色 17。**这不是“各种生活场景已经全面覆盖”**:新增部分仍偏室内设备,只有英文、固定女声输入;厨房、户外、多人、多音色及长多轮问答不能靠这批数据声称已解决。通用视频保留,不减少现有数据来凑比例。 训练问答各搭配 4 条不同的现有身体 source,因此 33 个训练问题组成 132 条训练 source。它们是输入—动作搭配增强,**不是 132 个独立视觉问题**;合并后仍只有原来的 204 个独立 motion primitive。按训练 source 数,ego / generic 约 44.3% / 55.7%,不等于逐帧或正式六任务比例。原有同 source 25% 无提问对照可继续使用,防止学成“每段动作固定回答一次”。 ### 筛选不是直接把 99K 全倒进去 本轮定向下载/复核 33 段 HoloAssist 录像,查看 168 道候选在真实 224×224 输入分辨率下的因果抽帧。视觉预审留下 50 道,按完整 source 拼接及独立 ASR 再保守排除 6 道,最终 44 道。总计排除 21 个搭配 source:8 个因录像剩余长度不足,13 个因问题转写存疑;没有用冻结最后一帧、循环视频或改答案来硬凑时长。 具体失败保留:上游合成问答曾把画面中的红色手柄标成蓝色;“螺栓已拧紧”“动作很小心”等结论不能仅从当前帧可靠确认;部分目标被手挡住。EgoBlind 又抽查 3 段,仍见烧录字幕/提示箭头、目标被遮挡、提问点靠近录像末尾,故本轮未入库。**168 是定向候选复核量,不是随机质量调查,不能据此估计全库坏数据率。** 问题/答案共生成 100 条 TTS WAV,独立 Whisper-tiny 检查原始 50 条问题中 46 条字符归一化转写一致;另 4 条存疑问题整组隔离。ASR 不等于人耳确认:比如 “Where is” 被识别成 “Where's” 不证明 TTS 一定错误,本轮只是采取保守准入。最初答案有 3 条转写差异,一个“两台显示器”目标声音过长;已重做 4 条目标声音,最后 **50/50 答案字符归一化转写一致**。一条 “office or workspace” 仅在 TTS 文本里加逗号停顿,词语和训练答案不变;旧声音与 ASR 结果保留。**这仍不是 100% 人耳验收,也不是新增波形训练 loss。** 第一视角答案来自 EgoIT 上游合成标注,再由本助手检查画面,**不是人工标注 benchmark GT**。它们可以作为待用户审核的训练候选,但不能用来冒充人类验证过的泛化评测。Holo 原视频 CDLA、EgoIT 问答及其项目声明分别保留;EgoLife 项目为 S-Lab 非商业许可,HF 数据卡没有给出可据此保证商用的独立授权,企业商用需另确认。本轮未代签 Ego4D 协议或绕过受限下载。 ### 一条数据具体怎么拼 原 HFD 指令/背景声/动作不变;进入 motion 后加入同音色的视觉问题。**问题真正说完的时刻对齐已审核的原视频时刻**,模型只能拿到这个时刻之前的帧。相机按 8 fps 采样,Qwen 每 0.4 秒收到全部新到的 3~4 帧(首包 5 帧)和最近 0.6 秒音频;不是先看完整视频,也不是每包只取一张图。图像保留宽高比,模型输入 224×224;展示视频按原相机连续画面回放,身体显示 50 fps。 目标回答单独生成男声,放在问题说完 0.4 秒后供 GT 审核。**0.4 秒是构造的参考等待时间,不是模型实测发声延迟**。回答声轨不进入用户麦克风;现有试验训练答案文字和回答时机,Talker 仍冻结,未新增波形监督。原始摄像头自带人声也不混入,避免与合成问题或原动作指令冲突。身体动作与摄像头录像是独立配对,不能冒称摄像头物理运动与 G1 相同。 官方 Holo train 只进 train;官方 val 按整段录像拆成本实验 val/test,官方 test 不用。录像 ID / SHA 和原 motion 跨 split 隔离,**尚未证明人员/房间隔离,也未完成跨视频感知近重复排查**。通用视频继续使用原实验自定义划分,不把这套微调后的结果报成官方 StreamingBench 分数。 ### 检查结果与当前状态 - 143 条新时间轴逐条通过:原 body GT 哈希不变、麦克风可由原音轨加问题精确重建、回答声没有进入输入、重叠音频一致、19,366 个相机采样没有重复冻结/未来帧,最大取帧滞后约 0.0353 秒。 - 新 ego 143 条与通用 204 条原生 8 fps 冻结视觉/音频前端已全部编码;LLM 和历史 KV 仍在线计算。合并 347 条逐条通过前端形状、有限数值、视频/音频时间轴、目标标签和跨 split 检查,共 46,831 个相机采样、14,393 个 Qwen 输入包。不存在以缺缓存样本静默缩水的长训入口。 - 8 条两域 source、单卡 B2、1000 步真实前后向小测试正常结束:所有 loss/梯度有限,完成 2 次换源,24 个 QA 目标 token 实际进入监督。没有保存 checkpoint、没有创建新 WandB 曲线。约 25.1 GiB 峰值只是这次并发小测试,不是独占吞吐对比;最后部分控制指标仍低,**不据此宣称学好或效果提升**。 - 6 条最终 GT MP4 的音画长度、回答声轨和字幕时段检查通过,本助手复看了每条开头/提问末尾/回答时的实际渲染抽帧;不是完整人耳审听所有音频。 - 独立审计第一轮指出通用前端尚未齐、旧时间轴缺新字段,以及 3 条 source 的目标回答超出视频结尾。前端已补齐;过长声音由 8.24 秒重生成到 1.7601 秒,未延长/冻结录像;所有现有时间轴升级 schema,143 条前端仅同步目标展示元数据,张量逐项哈希不变。现在准入强制检查目标声音可完整落在 source 内,拒绝旧 schema/失配声音哈希。复查已解除具体数据阻断:A/B/C/D/F 通过,E 因样本小、人员/场景和感知近重复未审全而保留 WARN。复核者独立核对了143条声音/时间轴、347条路径并抽验10条张量,未重复完成全量347条张量检查;全量执行证据来自主检查脚本。报告越界声称检查 PASS,整体交付因范围、许可适用及去重限制仍为 WARN;一次旧目录查找错误已纠正,不是交付文件缺失。两轮数据复查与报告闭环原文留在隔离根 `.aris/traces/experiment-audit/260911-ego-data`,这是同模型家族、独立上下文的 Type-A 审查,不冒充跨模型家族认证或一开始就完全通过。 - 为节省准备时间,在 ego 编码完成后仅停止本次两路通用前端工作进程、校验已有 108 条无损缓存,再以四路继续剩余部分;原训练未停止。新缓存采用临时文件写完后原子替换。新 ego 数据目录约 8.0 GiB,通用完整 8 fps 前端约 5.6 GiB(包含之前已生成的 6 条,不全是本轮增量),原 motion/基础模型/原通用视频只引用不复制。仅清理 3 段本轮新下载但拒收的 EgoBlind 预览,释放 331,450,975 字节,截图、URL、SHA 保留,可在源仍可用时重新下载。 ### 先看这六条 GT 这些视频都标明 **GT BODY + SYNTHETIC TARGET VOICE**,不是模型推理结果。 | 样片 | 原动作 + 视觉问题/目标回答 | |---|---| | [桌面颜色](/cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/hfd_experiments/swa_260910/ego_selection/prepared/gt-review/ego_0161_m0/camera_motion_with_gt_answer.mp4) | 跳舞;相机所在桌面什么颜色 → Brown | | [托盘颜色(val)](/cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/hfd_experiments/swa_260910/ego_selection/prepared/gt-review/ego_0131_m0/camera_motion_with_gt_answer.mp4) | 沿弧线慢跑;托盘什么颜色 → Black | | [手柄颜色](/cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/hfd_experiments/swa_260910/ego_selection/prepared/gt-review/ego_0159_m1/camera_motion_with_gt_answer.mp4) | 拉小提琴;两只手柄什么颜色 → Red and blue | | [按钮数量](/cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/hfd_experiments/swa_260910/ego_selection/prepared/gt-review/ego_0008_m2/camera_motion_with_gt_answer.mp4) | 使用望远镜;遥控器有几个大按钮 → Two large buttons | | [纸盘位置](/cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/hfd_experiments/swa_260910/ego_selection/prepared/gt-review/ego_0089_m2/camera_motion_with_gt_answer.mp4) | 盘腿坐;打印机纸盘在哪里 → At the bottom front | | [工具箱颜色](/cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/hfd_experiments/swa_260910/ego_selection/prepared/gt-review/ego_0164_m0/camera_motion_with_gt_answer.mp4) | 跳舞;工具箱什么颜色 → Bright red | ### 数据、证据和后续使用 隔离根目录:`/cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/hfd_experiments/swa_260910/ego_selection/prepared`。 - 单独 ego 最终清单:`data/source_plan.json`;`planned_source_plan.json` 是含被排除样本的审计输入,**不能直接用于训练**。 - 合并清单:`mixed/data/source_plan.json`;只链接已有前端,不复制原 motion/视频;完整性状态见 `data/mixed_manifest.json`。 - 逐项证据:`quality/integrity_checks.json`、`quality/mixed_checks.json`、`quality/asr_audit.json`、`quality/gt_media_checks.json`;另有上游 revision、SHA、下载地址和许可快照。21 个本轮准备/验收脚本另存为 `provenance/preparation_code_260911.tar.gz`(约 27 KiB,SHA256:`38c35e1815e6a7447d599f545c743b82d68473013946ea3555bfb0375613c99a`),不含视频、模型、环境或凭证;只用于还原本轮数据处理版本,不并入正式训练代码。 - 准备/混合接口代码都在同一隔离 `ego_selection` 下,不在正式模型/训练脚本内;原通用 8 fps 数据根为 `/cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/code/HFD_swa_stream_2609111628_hzoGRo/camera8`。不能删这两个源根后指望索引仍可用。 - 下一步先由用户看 GT;再在相同 8 fps / 模型 / 训练预算下比较“通用视频”与“通用+ego”。原正在跑的是 2.5 fps 实验,不能直接把差异归因于 ego 数据。新增数据尚无长训收益结论。 以下“新增就绪 0 / 前端只有 6 条”等属于本日更早阶段记录,由上面本次进展替代,保留是为了追溯,不是当前结论。 ## 09/11 补充:第一视角数据选型与严格筛选 ### 先说决定 **先做“边执行已有动作,边看第一视角画面回答简单问题”,暂不让视频决定机器人怎么操作物体。优先从 EgoIT-99K 的 HoloAssist 来源做小规模干净子集;保留现有通用视频。EgoBlind 暂作补充候选,不整包使用。** 选择理由不是“名字里带 Ego 就行”:EgoIT 是 CVPR 2025 工作实际用于训练的问答集,HoloAssist 是真实头戴相机连续录像;这一组合比随便抓第一视角短视频更有出处。**这是选型结论,还不是训练效果结论。** 本轮完成公开资料调研、全量标注初筛、11 条录像的抽帧复核;只有 1 条通过视觉预审,尚有语音时间轴、跨库去重及独立审核未完成,**正式可训练新增数据仍为 0**,没有把未验收样本投入训练。 “较新”和“大家在用”不能混为一谈:Ego4D 等基础视频集使用更成熟,EgoIT/HD-EPIC/EgoBlind 等 2025 问答工作更近;2026 新 benchmark 不能仅凭新就称主流。下面区分实际训练用途、仅用于评测、以及是否适合当前任务。 ### 看了哪些数据,为什么选或不选 | 数据 / 论文 | 权威性与实际用途 | 对当前任务的判断 | |---|---|---| | **EgoIT-99K / EgoLife**,Yang 等,CVPR 2025 | EgoGPT 实际使用的第一视角指令训练集;来自多个成熟视频源,不是新拍的 99K 段独立视频 | **主候选**。只取当下物体、颜色、数量、位置;合成问答和整段时间标注必须重新审核。[论文](https://openaccess.thecvf.com/content/CVPR2025/papers/Yang_EgoLife_Towards_Egocentric_Life_Assistant_CVPR_2025_paper.pdf)、[官方数据](https://huggingface.co/datasets/lmms-lab/EgoIT-99K) | | **HoloAssist**,Wang 等,ICCV 2023 | 真实头戴相机与多模态同步数据;被上述 EgoIT 使用,2026 EgoVis 仍设相关挑战 | **优先筛这个视频来源**。保留“桌面是什么颜色”,不要“下一步怎么装机器”。不用其人的手部轨迹替代 G1 GT。[官方页面](https://holoassist.github.io/) | | **EgoBlind**,Xiao 等,NeurIPS 2025 D&B | 有训练划分、提问时刻、多参考答案,面向真实第一视角视觉辅助 | 时间定义很贴近实时问答,但有大量导航/安全/个人意图问题,抽查也见字幕泄漏。**只作严格筛后的补充,不当主数据池**。[官方项目](https://github.com/doc-doc/EgoBlind) | | **Ego4D + EgoTimeQA / GroundVQA**,基础数据 CVPR 2022,QA 工作 CVPR 2024 | 成熟第一视角底座;GroundVQA 发布约 303K 合成问答,后续 EgoThinker(NeurIPS 2025)也使用 | **后续扩量候选**。EgoTimeQA 的部分证据区间由 narration 时间统计估计,不是人工精确“此刻可答”;不能直接把整段标注当在线标注。原视频须先有授权。[GroundVQA](https://github.com/Becomebright/GroundVQA)、[构造方法](https://arxiv.org/html/2312.06505v4)、[后续使用](https://github.com/InternRobotics/EgoThinker) | | **QaEgo4D / QaEgo4D-v2**,CVPR Workshops 2022 / 2025 预印本 | 人工情景记忆问答;v2清理问答文字,但不是重新精确标定所有视觉证据 | 主要是“之前东西放哪了”,不是都适合“现在看到了什么”;授权、当前可见性仍要检查。不能把自己的规则过滤称为官方 v2。[原项目](https://github.com/lbaermann/qaego4d)、[v2论文](https://arxiv.org/html/2504.04550v1) | | **PLM-Video-Auto**,Meta,2025 | 大规模视频自动标注,含 Ego4D QA | 规模大,但 scene 起止不是每条问题的证据时间;官方卡还列有上游生成内容及模型命名条件。**本轮不选,不能拿代码许可代替数据许可**。[官方数据卡](https://huggingface.co/datasets/facebook/PLM-Video-Auto) | | **HD-EPIC**,Perrett 等,CVPR 2025 | 高质量第一视角数据与 26,650 道 VQA benchmark,涉及细粒度活动/空间/注视 | 有适合的物体与场景子题,但大量操作、配方、3D内容超出第一步;**优先保留作外部评测候选,不把评测题倒进训练**。[官方项目](https://hd-epic.github.io/site/) | | **OpenEQA**,Majumdar 等,CVPR 2024 | 环境理解与情景记忆问答评测 | 问题接近“杯子在哪里”,但不是现成的大规模带在线提问时刻训练集;适合后续独立评测。[官方项目](https://github.com/facebookresearch/open-eqa) | | **EgoTextVQA**,Zhou 等,CVPR 2025 | 带时间点的第一视角场景文字问答 | OCR 对清晰度和分辨率要求更高,当前 224×224 不作为首批任务;测试题保留评测。[官方项目](https://github.com/zhousheng97/EgoTextVQA) | | **EgoSAT**,Lei 等,官方仓库标 ECCV 2026 | 很新的第一视角流式时间/可回答性 benchmark | 在线定义值得借鉴,但不能称已有广泛使用;涉及过去/未来和原 Ego4D 授权。后续单独核对官方 split,再决定用途。[官方项目](https://github.com/leiyj23/EgoSAT)、[论文](https://arxiv.org/html/2606.24422v1) | HoloAssist 原视频按官方 CDLA-Permissive-2.0 发布;**EgoIT 问答本身及其他视频来源还要分别遵守各自条款**。例如 Charades-Ego 明确限制商业企业使用和二次分发,EgoBlind 限非商业研究;不能把它们混合后统称“随便商用”。这次仅下载小量公开文件做质量审核,没有接受 Ego4D 用户协议、代申请账号或绕过授权下载。[HoloAssist 许可](https://cdla.dev/permissive-2-0/)、[Charades-Ego 许可](https://prior.allenai.org/projects/data/charades-ego/license.txt)、[EgoBlind 许可](https://github.com/doc-doc/EgoBlind/blob/main/LICENSE)、[Ego4D 获取条件](https://ego4d-data.org/docs/start-here/) ### 不只是读论文:实际文件检查结果 标注固定版本:EgoIT `a57f1f2078a7b01ea87014050fdb3afe169e54f1`;EgoBlind `14f8c828c7d0649eff7f2e51678f46ceebd44cab`。下载地址、字节数、SHA、原划分证据在隔离目录中。 **EgoIT 的“99K”到底是什么:** - 实际 JSON 是 **99,486 条记录**:88,545 条视频相关记录,另有 **10,941 条静态图片**;图片排除。 - 视频记录内共有 **299,330 对问答**。这些记录来自 1,529 个不同视频路径,仍不等于 1,529 条绝不重叠的原长录像,尤其 Ego4D 长片/子片要追溯父视频。 - 仅问题文字规则初筛留下 **52,600 对候选**,不是合格数量。没有逐个验证这些答案,更没有把这 52,600 条用于训练。 - 9,890 条视频记录没有秒级起止字段,104 条时分秒格式无效,570 条结束不晚于开始;其余 77,981 条只证明格式可解析,**不证明区间没有超出视频、答案此刻可见**。缺时间的条目可能有其他元数据,不能全部叫“坏数据”,但不自动纳入本次在线子集。 - HoloAssist 部分共 26,324 条视频记录,回查原官方 split 后为 **23,614 条 train(107 个视频)+ 2,710 条 val(14 个视频)**。后者不进入训练。 - Charades-Ego 部分也并非全是第一视角训练视频:13,875 条属于原 train 第一视角,**4,154 条属于原 test**,427 条是原 train 第三视角。聚合指令集的名称/文件夹不能替代原始划分,原 test 一律不用来训。 **EgoBlind 的检查:**官方 train 文件有 2,746 道问题、673 个 clip ID;test 文件只读取 ID 用于排除,共 656 个 clip ID。按照原视频来源链接复查,有一组潜在父视频重叠、12 个来源映射歧义 ID,保守排除相关候选,而不是武断宣布官方 benchmark 泄漏。先排未来/导航/危险建议/依赖原声/过细 OCR、参考答案冲突和来源不明,再保守排除第一人称身体与个人上下文问题,最后剩 **221 道 / 153 个 clip** 待看录像。过程中暂报的 311、288 都是更早初筛数,不是最终可训练规模。 这批候选还可能有未识别的语义矛盾,所以“过了关键词规则”不能当质量认证。第一人称过滤只是首批保守策略,不表示所有“我前面的杯子”问题原则上不能训练。官方 README 和论文表格的总视频数也有口径差异,本记录使用实际发布文件统计,不拼接宣传数字。 ### 看录像后发现了什么 共定向抽查 **11 条视频**,按实际 224×224 输入显示,并保留抽查时间和截图。不是随机抽样,不能用这个小样本推算整个数据集的坏样本率。 | 样例 | 直接观察 | 本次处理 | |---|---|---| | EgoBlind 25:问冰箱位置 | 字幕直接写出把饺子放进冰箱 | 排除,避免读字幕“答对” | | EgoBlind 78:问纸巾盒位置 | 手和食物挡住大半画面,盒子边缘仅短暂可见 | 首批排除,不说原标签一定错误 | | EgoBlind 155 / 173 / 250 / 267 | 都有烧录叙述字幕;部分直接说出目标食物,另有遮挡、答案措辞含混 | 首批排除;未裁字幕、未修图伪装干净样本 | | EgoIT 的 3 条 Charades-Ego 样例 | 两条旋转窄画面加大黑边,另一条人体/手主导,目标桌面证据不够清楚 | 首批排除;不猜旋转角度改答案 | | **EgoIT / HoloAssist R071-19July-DSLR** | 相机所在桌面清晰呈棕色,无叙述字幕;提问点之前已经可见 | **通过视觉预审**,仍不是已入库训练样本 | | EgoIT / HoloAssist R185-13Oct-RAM | 黑白电线很多,单看抽帧无法唯一确认问的是哪根电源线 | 排除,不能猜 | 可看[通过视觉预审的画面](/cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/hfd_experiments/swa_260910/ego_selection/outputs/holo_r071_evidence17_to20p5.jpg):问题问相机放置表面的颜色,标注答案是棕色。17.0~19.5 秒的帧在候选提问截止 19.7 秒之前,已能判断;另外 20.0/20.5 秒仅用来检查后续画面,不能提前输给模型。原视频 896×504、约29.78 fps,长116.93秒,不是一张静态图复制成视频。 另一类失败来自合成问答:EgoIT 中有答案直说“文字没有说明”的条目,以及 `00:07:70,000` 这种无效时间。不能拿合成模型给的文字当绝对 GT,也不能自动猜成 7.7 秒。本轮未改原标注,问题样例和排除理由留档。 ### 最终怎样构造,哪些条件不满足就不入库 1. **视频先过关。** 只选真实连续第一视角;原视频、拍摄者/场景和衍生 clip 做关联分组,再分 train/val/test。不同 QA、不同裁剪、第一/第三视角对应片段不能跨组。现有 StreamingBench 也要做跨库去重;原 benchmark val/test 不回流训练。 2. **问题只问眼前环境。** 首批物体、颜色、数量、明确相对位置;不要手部操作指令、危险建议、未来事件、必须听原声才知道的事。目标物在实际输入分辨率下可见,多个参考答案不矛盾,没有字幕答案泄漏。左右以当前相机为参考,不随意翻转画面。 3. **答案得在说完问题时就有依据。** 对 EgoIT 重新核验每条的证据时间,不能直接拿整段结束时间充当实时标注。按同 source 音色合成问题、测实际说话长度,再对齐视频时钟;证据不足、录像前后长度不够就舍弃,不靠循环视频、冻结画面或提前加载未来内容补齐。 4. **沿用已修正的流式接口。** 相机 8 fps,Qwen 每0.4秒收到这一段新到的3~4帧(首包5帧);动作50fps、30/20/10 RTC不变。视频、用户语音、背景用同一真实时间轴,原动作 GT 不变;视觉问答不作为新的动作命令。 5. **机器人回答单独一轨。** GT审核视频仍展示用户问题、目标动作和目标回答声音,明确是合成 GT 示意。回答声不混进输入麦克风;推理依旧是原生 Talker,不拿预合成回答充当模型结果。 6. **混合但不丢旧数据。** 初步按 VQA 子任务内部 ego:通用约1:1做小试验,保留旧通用视频与原 HFD source池,不改变正式六任务比例;1:1是起点,不是已验证最优。按视频/问题去重和控制配额,避免同一个桌子派生很多问句就主导训练。 7. **先看合成 GT 再开新训练。** 目前通过视觉预审的一条还需完整source审核、TTS/时间轴/许可适用确认及独立复核。单纯看几张图不等于已经全部通过。无法观察的例子以后可作为经验证的“不知道”负样本,不能误当肯定答案,也不应永久把所有难例删光。 ### 边界与下一步 当前工作只解决“候选是否值得加入、怎样保证流式且不污染数据”。**还没证明加 ego 后问答、动作或泛化变好;没有新的 ego 长训或推理成绩,也没有新的合成 GT 视频。** 小批过审后,先生成带用户/机器人双声轨的 GT 供审核,再完整接入隔离的8fps实验。以后比效果要与同为8fps的通用视频基线比较,分开统计第一视角问答、原通用问答、动作保持和误开口;不能拿正在跑的2.5fps版本直接归因“ego带来提升”。 原始证据和临时代码统一放在: `/cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/hfd_experiments/swa_260910/ego_selection` 其中 `outputs/annotation_audit.json` 为统计,`outputs/visual_review.json` 是逐例复核,`outputs/checks.json` 为28项规则/计数/哈希检查;公开标注、11个小视频和截图总计约 **0.51 GB**。没有下载整套数百GB视频、没有产生额外checkpoint或WandB曲线。正式 HFD 只更新本综合报告、DIALOG和CHANGELOG;原数据、模型、正在跑的四卡长训均未改变。Ego4D授权/迁移路径未确认,但这不阻塞先筛公开的HoloAssist来源,不绕过权限去别处搬Ego4D镜像。 --- ## 09/11 补充:相机帧率、目标回答声音与目录清理 用户指出的低帧率是实际问题:上一版把“Qwen 每 0.4 秒更新一次”错误简化成“相机每 0.4 秒只取一张”,所以画面实际只有 2.5 fps。把 MP4 写成 50 fps 并不能补回缺失画面。 只读核对 v26:`posttrain-v1-psi0-all-7task-cached-oss.sh:827` 的有效 video_clip 分支是 **8 fps**、50176 像素;另一个 1 fps 分支默认权重为 0。机器人动作是 50 fps,不能把两者混为一谈。 新版放在原隔离实验的 `camera8/`,没有改正式 HFD 或 v26,也没有在正在运行的长训中途换数据: | 哪条时间轴 | 新设置 | |---|---| | 本次两条 GT 使用的原相机录像 | 25 fps;展示真实已到达画面,不做生成式补帧 | | 模型实际取视频帧 | 8 fps、224×224,独立于 Qwen 更新时钟 | | Qwen 更新 | 每 0.4 秒收取这段时间新到的多帧;首包 5 帧,之后每包 3 或 4 帧 | | 麦克风 | 同一时间轴的 0.6 秒音频窗,0.4 秒滑动 | | 动作 / MP4 容器 | 动作 50 fps;合成视频容器 50 fps 不等于摄像头有 50 张新画面 | 视频改用 Qwen 原生 video token 和视频位置编码,不再当一张静态 image。视觉编码器按两帧组成一个时间块,奇数帧包只重复最后一个**已经到达**的帧补齐,不读未来。每个相机采样只分配给一个新包,过去的内容通过 KV 保留。224×224 和原生 video 接口也一起对齐了 v26,所以这**不是只改变 fps 的单因素效果实验**。 204 条数据已重建 27,465 个相机采样,逐条检查原动作 GT 和麦克风数组不变、帧时间不超过当前、采样没有漏掉或重复分包。实际帧 PTS 与采样时刻最多相差 0.04167 秒。只保存时间索引和必要音频特征,不额外存一套解码后 RGB 大缓存;原 motion 和麦克风文件用硬链接只读复用,不额外复制数据块。当前仅 6 条完成新版冻结前端编码用于接口验收;完整 8 fps 训练默认会检查缺失并拒绝悄悄用部分数据开训。 两条新 GT 同时展示用户问题、目标动作、机器人目标回答: - [GT 1:跳舞时问厨具,回答“Red kitchen tongs.”](/cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/code/HFD_swa_stream_2609111628_hzoGRo/camera8/outputs/gt-review/val_001_0/camera_motion_with_gt_answer.mp4) - [GT 2:沿弧线慢跑时问锅中食物,回答“Tomatoes slices.”](/cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/code/HFD_swa_stream_2609111628_hzoGRo/camera8/outputs/gt-review/val_002_0/camera_motion_with_gt_answer.mp4) 回答文字来自原始人工标注,声音是 Qwen3-TTS 合成的**目标示意**,不是模型已经答对的证据。男声表示机器人、原女声表示用户;问句结束 0.4 秒后安排目标回答,这是展示用时序,不是测得的推理延迟。保留独立的 `robot_answer_gt.wav`、`robot_speaker_timeline_gt.wav` 和麦克风轨;机器人答案绝不混进训练麦克风输入。当前训练仍只监督答案文字和开口时机,Talker 冻结;这些新示意音频没有被悄悄加入音频训练 loss。实际模型推理仍用原生 Talker → Token2Wav,未改成外接 TTS。 接口核验:新版 5 个视频包“离线缓存 / 现场重算”最大向量误差 0;真实答案 loss 对 Qwen 的梯度范数 5.021,辅助读出没有改写所有层原 KV。随机 HFD 头搭配预训练 Qwen 的单例自由回答为“Tongs.”,原生 Talker 输出 1.30 秒有效音频且正常 EOS;这只是接口测试,不是新模型质量结论。另实测连续两个 10-step 动作生成窗口,下一窗用上窗预测的后 10 帧 RTC,输出与维度检查通过。 四卡每卡 B1、4 条训练 source 的 1000 步真实前后向及换源检查已全部正常退出,无 NaN/OOM,没有保存大 checkpoint 或新开 WandB 曲线。这是功能短测,没有配置 learned eval;与原长训同卡并发,也不能当独占吞吐基准。两条新视频分别20.2/15.8秒,音画时长一致、回答轨只出现在标定时段。ASR筛查第一条与文本逐词一致,第二条读作“Tomato slices.”,与原人工标注的复数不同,保留差异而不改GT,也不声称人工核验100%正确。 独立同家族 Type-A 审查结论为 **WARN(范围有限)**:未发现答案泄漏到输入、未来相机帧泄漏或虚构指标,但6条前端、5包现场对齐和4条source短训不能证明完整长训质量。原始请求/响应和审查结果留在 camera8/.aris/traces/experiment-audit/2026-09-11_run01/,不称跨家族认证。连续两窗动作测试为审查结束后补跑,单独记录。最初生成GT语音曾因时间轴清单未就绪退出,已增加加载模型前检查并重试成功。 当前 `swa.gpus4.2609111745` **仍是旧 2.5 fps 对照长训**,没有被改成 8 fps,也未重启或混用曲线。下一版 8 fps 长训需要先补齐前端缓存、再单独启动,不能声称它已经在训练。 清理范围仅为四个已无进程引用的 HFD 临时实验:`HFD_exp_260908`、`HFD_exp_260909_stage1`、`HFD_exp_260910_stage2_xUiu`、`HFD_check_260910_joint_Y9dX`。完整代码、原始结果、模型和优化器归档到 `/cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/hfd_experiments/archive_260911/`,逐文件比较和压缩包 SHA 校验后才删除展开目录、注销两份 Git worktree;排除了环境/凭据链接与可重建 pyc。净释放约 1.31 GiB,重要实验内容可恢复,不是丢弃模型。当前两份 SWA 目录仍被长训/排队推理引用,暂不移动;新版 camera8 的少量 Python 依赖和 Talker 桥接代码已有本地副本,不再导入旧 SWA 脚本。没有触碰 HFD_lzk、Psi0 系列、正式 runs 或原数据。旧实验报告保留,并注明新归档位置。 下面各节的 **2.5 fps 长训设置和成绩保留原实验条件**,不能与新版 8 fps 短检查混作同一次训练。 ## 一、先说清楚:这次修的是什么 **之前“先看完整视频,再一边动作一边回答”的设计不符合实时摄像头这个目标。现在已重做输入数据和实验接法:画面和声音一起、按时间顺序进入模型,只能看到当前及过去。** 正式 HFD 的模型、训推入口、原数据没有改。这仍是隔离实验,还没证明可以直接替代正式训练。 可以这样理解一条新数据:机器人先听到原动作指令并开始执行;摄像头画面一直在更新;执行中,用户问一个关于此刻画面的问题;机器人应继续原动作,同时回答。问题不是新的动作指令,所以不能因为有人提问就丢掉原动作。 ### 数据具体怎么修 改用有明确“提问时刻”的 [StreamingBench 原始视频和人工问答](https://github.com/THUNLP-MT/StreamingBench),只选主要看当下画面就能回答的问题,例如物体、颜色、位置、数量。下载来源及版本写在隔离区的 `data/streamingbench/provenance.json`,对应[官方数据发布](https://huggingface.co/datasets/mjuicem/StreamingBench)。 | 自定义划分 | 不同视频 | 不同问题 | 配上动作后的 source | |---|---:|---:|---:| | train | 42 | 83 | 166 | | val | 10 | 20 | 20 | | test | 10 | 18 | 18 | 训练中,一个问题配两个不同原始动作。三组的视频、原始 motion 都不重叠。这是我们用于开发的小数据划分,**不是官方全量 benchmark 成绩**;前四条 val 已用于调试,不能再冒称完全未看过的测试集。 每 0.4 秒取一张已经到达的画面,分辨率 336×336;同时取最近 0.6 秒音频。例如到第 1.0 秒,只能输入不晚于 1.0 秒的画面及 0.4~1.0 秒声音,不能读 1.4 秒的内容。问题说完时,画面对应人工标注的提问时刻。204 条时轴检查全部通过,采样画面比当时真实最新时刻最多旧约 0.042 秒。 输入问题用 Qwen3-TTS,参考同一 source 原指令的 female_01_en 声音做克隆;只增加新音轨文件,不覆盖原音频。办公室背景全程连续。独立 ASR 筛查的词错误率为 1.55%,183/204 条转写完全匹配;其余主要含分词、连读和少量词差异,**这不是人工确认 100% 正确,也没有做声纹认证**。 原动作 GT、state、RTC、progress 等监督保持不变,逐数组检查通过。另有约 25% 训练抽取使用同一 source 的“没有提问”版本,防止模型不管有没有问题都开口。 边界也要讲清:本轮只有单条动作中的视觉提问、一个英语音色;公开视频并不是机器人实际所在房间。它可以验证“边执行边看边答”的输入协议,不能验证真实抓取环境、长多轮记忆或六类旧任务全部不退化。 ### 模型改动,用人话说 核心还是**一个 Qwen 同时理解当前画面、声音和过去的历史**,然后分两条路: ```text 当前摄像头画面 + 当前麦克风声音 ↓ Qwen + 历史 KV ↙ ↘ 继续生成身体动作 判断现在是否该回答 控制 token、时长、 ↓ 原 Action Transformer 用当前历史生成答案文字 ↓ ↓ 下一段动作 原生 Talker → codec → Token2Wav → 声音 ``` 动作路保留现有三状态线性头、时长分布、RTC 和平滑约束。没有重新加入“固定问句前旧语义”,也没有直接添加未经证明有效的 Talker→Action 注意力。动作和回答共享上游 Qwen;并不等于已经学会让手势与每个单词一一对应。 回答路增加一个很小的“现在继续等 / 现在可以答”分类头。训练既监督它何时答,也监督答案文字;推理不喂正确问题文本、不喂正确答案,也不用 GT 结束时间触发回答。回答文字和声音从真实 KV 的副本生成,不把回答分支的提问模板塞回动作历史。[Qwen 的原生 Talker/Token2Wav](https://github.com/QwenLM/Qwen2.5-Omni)负责回答发声,不是外接回答 TTS。 Talker 和 Token2Wav 本轮冻结,暂不重新训练发声。新加的是“听看以后何时回答、回答什么”的训练,不是另造一套说话模型。 **这版从头训的含义:动作头、控制头、时长头和回答时机头重新初始化;Qwen 使用原生预训练权重、训练后 8 层及最终 norm,不加载任何旧 HFD checkpoint。** 冻结的图像/音频编码器可离线处理每个独立窗口,避免反复读视频解码;Qwen 语言层及其 KV 仍按 source 时间在线计算,不是预先看全片得到的 hidden。 训练保留动作 stride1、Qwen stride20;动作 loss、控制 CE、时长 loss 及原 latest 文本辅助沿用基础实现,额外加回答时机 CE 和答案 token CE。最新动作指令辅助的梯度已单独实测非零;这一批只有一条动作指令,因此没有更早轮指令的监督样本,不能借此声称历史记忆已经验证。 ## 二、实际测到了什么,哪些仍没解决 **数据与接口已通过检查;动作和问答质量还不能说训练好了。** - 四卡短训练分别跑到 1000、1200、1600 步,之后又验证了修改后的训练、评估和汇总路径。 - 回答文字 loss 能反传到 Qwen,控制 loss 能更新控制头。回答查询和 latest 查询均未改写全部层的原动作 KV。 - 换 source 后旧 KV 加入极端干扰也不改变新 source 输出;FP32 对照误差小于 0.001。BF16 下“带屏蔽旧列”和“完全新建短缓存”仍存在数值差异,不能声称逐位一样。 - 50 窗口的缩短历史压力测试触发 8 次槽位重置、23 次整理,检查通过;新增长度/掩码检查和诊断计数。这是短压力测试,不是长训已经完成的证据。 前 4 条 val 的 1200 步小测试:控制准确率约 96.4%,但只成功触发了 2/4 次回答,动作关节误差仍约 0.42 rad。比如问“用什么厨具”,回答了“A spatula.”,而标注是“Red kitchen tongs.”。**控制 token 对了,不代表动作质量或回答内容就对了。** 又按真实时间逐窗输入原始画面/声音,现场跑图像/音频编码、Qwen、10 步动作生成和同卡原生发声。两条固定样例中,开关发声并发所得的动作数组逐值相同,说明这两条里没有把动作历史串坏。但是: | 实测内容 | 样例 1 | 样例 2 | |---|---:|---:| | 含发声并发时,每个动作窗口平均计算 | 0.211 秒 | 0.213 秒 | | 动作窗口超过 0.4 秒计算预算 | 4/49 | 2/39 | | 问句结束至整段声音可用 | 4.61 秒 | 3.38 秒 | 这里有冷启动和发声瞬间的超时。两组不是大样本随机 ABBA,不能据此下“并发一定不拖慢”的结论。也没有真实录放音、回声消除或实体机器人。 **特别修正计时口径:决定回答 ≠ 已经有声音。** 原小测试把逻辑窗口触发算成“两秒内回答”,会误导读者。现在拆开记录决定时刻、文字开始/完成、完整声音可用时间;故这两例不是“两秒内发声成功”。手动关闭回答的纯动作测速也改为“不适用”,不再记成问答失败。旧原始文件不篡改,校正另存 `outputs/corrected_evidence_summary.json`。 问答暂用自由文字 exact/token-F1 作诊断,**不是官方选择题准确率**。额外“在正确问句结束时强制解码”的结果单列为 oracle 诊断,不用它冒充机器人自主决定回答的效果。独立上下文审查仍为 WARN:小样本、语音延迟和长期质量没有完全解决;同家族审查不包装成跨模型家族认证。 ### 四卡长训 已启动 `swa.gpus4.2609111745`:4×H200,每卡 B32、总 B128,从零 HFD 权重训练 20 万 optimizer step;warmup 2000 步。Qwen 后 8 层学习率 1e-5、控制头 5e-5、其余头 1e-4,之后 cosine 下降至各自峰值的 10%。这些是本轮先验证学习能力的保守配方,不称为已经调到最优。 短测每步约 0.09~0.10 秒;预计包括评估和保存约 6~8 小时,随长训实际缓存和文件系统负载修正。已越过 5000 步并完成第一轮验证,未发现 NaN/OOM;近期训练约 0.10 秒/步,四卡抽查利用率约 87%~91%。这说明起跑正常,不能提前判断最终收敛。 5000 步固定 8 条 val:8/8 在问完后两秒内决定回答,但有 1 次提前回答、1/8 无提问 source 误回答。自主答案词 F1 为 0.354,**不是35.4%的问答正确率**;有/无问题的动作关节RMSE分别为0.362/0.361 rad。说明还存在错答和误触发,动作也未验收。它与之前B16的1200步短测训练预算/配方不同,不作为严格单因素提升对照。原始汇总在长训目录 `eval/step_5000/summary.json`。 只开一条 [WandB 曲线](https://wandb.ai/yth040313-zhejiang-university/humanoid-full-duplex/runs/5l0sf05u)。每 5000 步检查固定 8 条 val,每条都对比“有问题/没问题”,使用模型自己的上一段动作、RTC 和时长预测。每 10000 步原子保存一份滚动 checkpoint,避免堆满存储。保存 optimizer 便于恢复研究,但没有伪称包含当前 source KV 的完美中途续训。 主要看三件事,而不是只看训练 loss: - `eval/qa_decision_within_2s`:有没有在问完后及时决定回答,不是实际声音延迟。 - `eval/learned_answer_f1_misses_zero`:真正自主触发的回答与 GT 的词重合,漏答记 0;只是文字诊断分数。 - `eval/qa_body_joint_rmse_rad` 对比 `eval/ordinary_body_joint_rmse_rad`:提问有没有破坏动作,同时人工看动作语义、方向和抖动。 训练结束后已排队全 val/test 的三条件推理:正确画面问答、同 source 不提问、错配画面;问答用原生 Talker 出声。这项目前是**已排队、尚未完成**,不会把计划写成结论。若结束时发现其他人的 GPU 任务,会记录延期而不抢卡。训练/后续测试结束恢复用户的占卡程序。 ## 三、视频、结果和下一步在哪里看 新隔离工作区(正式训练不引用它): ```text /cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/code/HFD_swa_stream_2609111628_hzoGRo ``` 先审核两条**训练目标 GT**视频:左侧是每个时刻模型能看到的画面,右侧是没有被问答修改的动作,音轨是原指令+新问题+连续背景。不是生成效果展示: - [GT 1:执行舞蹈时询问厨具](/cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/code/HFD_swa_stream_2609111628_hzoGRo/outputs/gt-review/val_001_0/camera_motion_with_audio.mp4) - [GT 2:沿弧线慢跑时询问锅里食物](/cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/code/HFD_swa_stream_2609111628_hzoGRo/outputs/gt-review/val_002_0/camera_motion_with_audio.mp4) 实验脚本、数据、checkpoint、视频均在隔离区。复现入口是 `supervise_training.py`;长训日志在 `logs/swa.gpus4.2609111745.log`,结果在 `outputs/swa.gpus4.2609111745/`。固定评估是 `eval/step_/`,最终三条件输出是 `final_rollouts/`。校验依据为 `outputs/data_checks.json`、`outputs/model_checks.json`、`outputs/corrected_evidence_summary.json`;启动命令和运行时脚本 SHA 在长训目录 `launch.json`。 本轮原始数据/冻结前端缓存约 27 GiB。已将完成的1200步短测checkpoint从12.44 GiB缩为4.17 GiB:仅删除不再需要的优化器,所有模型tensor的SHA256前后一致,释放8.27 GiB;删掉的短测optimizer不可恢复,模型仍可推理。长训另保留约13 GiB滚动状态,保存瞬间需要临时文件的额外空间。没有删除原runs或旧实验失败证据。正式改动只有本报告、CHANGELOG和DIALOG;改前正式版本已在远端 `2609102334-backup-pre-speak-act`,本轮记录分支 `2609111727-causal-av-scratch-pilot`。隔离代码另存 `code_archive_2609111745.tar.gz`,哈希见 `code_archive_manifest.json`;这是本地实验归档,不冒称这些临时脚本已经合入远端正式实现。 接下来先看长训是否同时改善“及时回答、答对、动作不被破坏”,再扩展多轮、Stop/新指令负对照和更多音色。实时发声分块、回声处理、同一真实场景里视觉与动作的物理联系仍是后续问题。**不能用这批简单 VQA 的改善,替代对旧全双工任务的回归验证。** 下面保留早期实验,方便追溯错误、失败和接口验证。它们的“预先看完视频”前提与当前摄像头目标不同,旧数值不再作为本次流式长训的直接对照。
展开:09/10 开始的旧实验与修复过程(历史记录,不代表当前实时输入设计) 实验开始于 2026-09-10,09-11 整理。旧阶段只验证“继续执行动作,同时回答已经看到的画面问题”,不修改正式训练方法,不宣称复现真实具身视觉交互。 ## 1. 结论先说 **09-11 续做后,已在隔离区跑通“动作持续在线生成,同时生成原生语音回答”的计算链路,并修复真实历史到 Talker 的主要接口错误。但问答和动作质量尚未全面过关,不能直接等同于正式新增能力已经训练好。** 本文 3~8 节保留首轮实验及失败;第 9 节是续做后的结论,出现差异时以其注明的条件为准。 - 正确视频确实提供有效信息:48 条 NExT-QA held-out 五选一诊断,旧 HFD Thinker 的语音问答为 25/48;错视频 12/48、无视频 11/48。但直接给文字问题是 36/48,说明语音问题理解/视听融合仍有明显差距。 - 原生 Talker **直接输出音频 codec token**,再由原生 Token2Wav 还原声音,不需要外接回答 TTS。单独问答的 24 条 val 输出均自然结束;原版调用是整段生成,首音频仍要等数秒。 - 旧 HFD 会把很多问题当成打断。小规模控制头适配能缓解这个现象,但**控制正确不等于原动作被保留下来**;闭环轨迹仍退化。 - 相同参数量的“正确 Talker 特征 vs 错配 Talker 特征”两 seed 对照没有发现额外跨头注意力的收益,不应凭概念好看就加。 - 首轮真实动作 KV → Talker 的重复/不结束,续做定位到 **Talker 原生完整上下文条件没有正确传递**。修复后 12/12 自然结束,拿掉同一条件后降到 2/12;语音可懂不代表问答一定正确。 - 必须纠正首轮推测:**冻结问句前的旧语义没有证明有利**。控制与时长条件完全相同的五组配对中,使用持续更新的语义,根 XY 误差均更低;不少小样本置信区间跨零,不推广为普遍定律。 - 实际包含在线音频编码、Qwen KV 更新及动作 solver 的同卡并发已验证:两种配置各自的单独/并发动作输出逐值相同,测试各 387/254 个窗口均未超过 0.4 秒截止时间。回答仍整段等待约数秒,且答复触发使用已知问题结束时间,不宣称实时麦克风/真机端到端完成。 下一步重点是 **学会区分提问与新动作指令,同时保持动作计划;改进真实语音问答与何时回答**。没有证据支持现在就添加额外跨头注意力,正式训练代码与原数据均未改变。 ## 2. 研究依据,以及这次没有冒充什么 [ELLSA:End-to-end Listen, Look, Speak and Act](https://arxiv.org/abs/2510.16756) 在机器人的同一场景中处理说话与动作,采用模态专家及共享注意力,其上下文问答涉及真实任务场景;[官方代码](https://github.com/bytedance/SALMONN/tree/ELLSA)可以核对具体实现。 本次取的是公开视频 VQA 加独立 G1 动作。它能检查“问题是否错误打断动作”“语音输出能否并行”,但视频并不是机器人动作所改变的环境,不能验证“我刚抓起的杯子在哪里”这种物理交互问答,也不算复现 ELLSA。 [Qwen2.5-Omni 官方代码](https://github.com/QwenLM/Qwen2.5-Omni)及[技术报告](https://arxiv.org/abs/2503.20215)支持原生视听理解和音频生成。此次还读取了实际安装版本的 processor/generate 源码,没有把模型总体支持 streaming 等同于本地 `generate(return_audio=True)` 已经能实时吐出第一段声音。 **版本边界:** - 正式代码快照:`0c3cd995f45c10a37a192625da5c998bbfa6f9aa`,已在远端 `2609102334-backup-pre-speak-act` 备份。 - 正式新代码是联合训练、Qwen 后 8 层、token_linear 和滚动窗口历史。 - 本次动作质量基座是已有长训 `hfd.gpus8.2608282256/checkpoints/ckpt_1250000`:**Qwen 后 2 层 + MLP 控制头**。实际 run_config 和全部 223 个 delta key 已校验,Qwen overlay 为 25 个 tensor。 - 所以这些结果是“已有成熟旧 checkpoint 的扩展 pilot”,**不是最新 8 层/token 版的效果结论**。两种架构不能混称。 ## 3. 数据怎么准备,如何避免污染和偷看未来 实验区:`/cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/code/HFD_swa_260910_jyGc6V`。代码、下载数据、raw metrics、小权重、视频都在这里,正式仓库只增加本报告和两份日志。 | 公共数据 | 原 train | 原 val | 原 test | 视频文件总大小 | |---|---:|---:|---:|---:| | MSVD-QA | 128 | 48 | 64 | 220,248,042 B | | NExT-QA | 0 | 48 | 64 | 315,725,590 B | | 合计 | 128 | 96 | 128 | 535,973,632 B,约 511 MiB | 每视频取一条原始问题,共 352 条;不是完整数据集。NExT-QA 仅选择描述性问题和较短视频,所用镜像没有可取得的原 train 对应视频,**没有把 val 改名成 train**。训练适配只用 MSVD 的原 train。公开视频与答案来源: - [MSVD-QA 原始项目](https://github.com/xudejing/video-question-answering);视频镜像 `friedrichor/MSVD@9aa95a3039c106ee9e0969d82d7ce5a9efab1196`,标注镜像 `morpheushoc/msvd-qa@1c43da5962f8149702cf3d193182cfb484578927`。 - [NExT-QA 原始项目](https://github.com/doc-doc/NExT-QA);镜像 `lmms-lab/NExTQA@a0d7729e38399da9c8a70c59aa4ad7f6996d3c00`。 - manifest 保留原始标注、video ID、路径、字节数、SHA256;下载按 ZIP range 取需要的成员并校验,不下载全量大包。发布/扩充时仍需遵守原数据使用条件,不把网上可下载当成可随意商用。 **时间轴:**完整观察公开视频 → 开始原动作指令/执行 → 动作中插入语音问题 → 生成完成后播放答案。先看完整片段,是因为许多公开 QA 会问整段发生了什么;不能在机器人早期时刻就给未来视频帧。每条视频均匀取 8 个实际解码帧,记录 PTS,长边 224,保持比例并对齐 28。这是低分辨率、全片已观察的最小试验,不是持续视频输入的全面验收。 352 个问题使用既有 Qwen3-TTS 离线转成 16 kHz 单声道;**只有输入问题用 TTS,回答不走 TTS**。统一 female_01_en 风格提示,未验证成同一说话人的严格声纹克隆。独立 Whisper-tiny 核对问句,词错误 101/2429=4.16%;这是有噪声的 ASR 审核,不等于人审 100% 正确。 动作配对取原数据 16 条 train、6 条 val,不共享原 motion;任务长度筛选和随机 seed 固定,不按模型表现选样。为控制变量,构造单条完整任务并保留原 GT,问题于 motion 起点约 2.4 秒后对应音频窗口插入。背景声全 source 连续,新增问题叠加到原背景,不拼接两段背景,不修改原音频文件。 另外准备真实新动作指令与 Stop 负对照,防止“学会一律忽略新语音”。这些对照的期望控制标签是按合成插入时间人工规定的端点标签,不是公共 VQA 数据集的官方逐帧标注。训练与验证使用不同动作指令和 Stop 短句,Stop 说到一半的模糊窗口不计分;不能拿这部分结果当 Stop 反应延迟金标准。原六任务全套长期回归未做。 实际数组检查通过:ordinary/QA 的 actions、states、future_progress、mask 完全相同;问题出现前,两条音频的 Qwen 条件和 control logits 逐值相同。没有用模型生成的动作当 GT。 ## 4. 模型路线和受控结果 ### 4.1 视觉问答和原生声音 最小原生路线为: ```text 8 observed video frames + spoken question ↓ Qwen Thinker ↓ generated answer text/hidden [1, L, 2048] ↓ Qwen Talker hidden [1, K, 896] ↓ native codec IDs [1, K] ↓ Qwen Token2Wav → waveform [1, N] @24 kHz ``` Talker 内部为 24 层、896 宽;不是再调一个文本 TTS API。公开数据 GT 答案不进入自由问答 prompt,也不用于合成实验中的回答 hidden。 96 个原 test 视频(两个数据集各 48)×四种输入×原生/旧 HFD 两种 Thinker,共 768 条自由回答。四种输入固定为正确视频+语音问题、正确视频+文字问题、错视频+同一语音、无视频+同一语音。确定性生成并显式指定 EOS;初次漏设 EOS 的失败结果不计入正式指标。 自由回答的单词完全匹配容易低估同义答案,例如 GT 为“discussion”,回答为“They have a conversation”。旧 HFD 的 spoken EM/F1:MSVD 为 8.33%/16.62%,NExT 为 4.17%/18.43%;不能改用模型回答重写 GT,也不能用下面的选项分数冒充自由回答成功率。 为减少同义答案问题,补做同一批 48 条 NExT-QA 原始五选一候选的条件似然评分,选择平均 token log probability 最大项: | 输入 | 原生 Qwen | 旧 HFD Thinker | |---|---:|---:| | 正确视频 + 语音问题 | 25/48 = 52.1% | 25/48 = 52.1% | | 正确视频 + 文字问题 | 36/48 = 75.0% | 36/48 = 75.0% | | 错视频 + 同一语音 | 13/48 = 27.1% | 12/48 = 25.0% | | 无视频 + 同一语音 | 10/48 = 20.8% | 11/48 = 22.9% | 随机水平 20%。旧 HFD 的“正确视频-错视频”配对差为 +27.1 个百分点,按视频 bootstrap 10,000 次的 95% 区间为 [+10.4,+43.8];“语音-文字”为 −22.9 个百分点,区间 [−37.5,−10.4]。这是选中小子集的候选似然诊断,**不是官方全量 benchmark 成绩,也不是自由生成答案准确率**。两模型相同总数不代表逐样本完全相同。 40 条原生回答保存为 24 kHz WAV:原生 val12、旧 HFD val12、旧 HFD train16。两组 val 各 12/12 个 Talker 自然 EOS;独立 ASR 对“模型所生成的文本”核对,原生 2/185=1.08% WER,旧 HFD 13/268=4.85% WER。此指标只看“说的和生成文字是否一致”,**不评价答案是否真实**。 ### 4.2 问句为什么会影响动作,控制适配够不够 在真实原始音频流中逐 0.4 秒更新旧 HFD Qwen KV;QA/new-command/stop/ordinary 四条件独立重置后按同一 source 顺序走完。不因插入问题清空动作历史。 仅训练旧控制 MLP,Qwen、动作头、时长头全部冻结。16 train / 6 val;3 个 seed=911/912/913,各 1000 步,B256、AdamW 2.5e-5。训练从 source/mode/region/label 桶抽样;3560 个 train 窗口、1524 个 val 窗口。每 100 步检查相同 held-out 窗口,不只看单个最佳 checkpoint。 | 验证指标 | 原 checkpoint | 适配后 3 seed | |---|---:|---:| | 正在问 VQA 时保持 motion | 5/39 = 12.8% | 均为 33/39 = 84.6% | | 新动作指令期间进入 listen | 40/47 = 85.1% | 44–45/47 = 93.6%–95.7% | | Stop 听完后保持 idle | 89/270 = 33.0% | 249–253/270 = 92.2%–93.7% | 这些是**相关的逐窗口标签准确率,不是 39/270 次独立任务,也不是整条成功率**。三 seed 不能弥补验证只有 6 条 source 的局限;从不含新任务的 checkpoint 小样本适配,不能证明所有旧任务不退化。 闭环另外比较 6 个条件×6 条完整 val source,共 36 条 rollout。每次用真实 10-step flow、自己的上一窗口生成 state/RTC,以及模型预测时长;只有初始 state 用 GT。Qwen 不读取机器人状态,因此可重放已按时间顺序生成的冻结语义,节约重复计算,而不是用 GT control 替换预测。保持完整原时间轴,不因为预测提早结束就缩短评分区间。 | 条件 | 关节 RMSE,rad,越低越好 | 根 XY RMSE,m,越低越好 | |---|---:|---:| | 原动作,不插问题 | 0.4067 | 0.9607 | | 插问题,完全不适配 | 0.4437 | 1.3171 | | 插问题,仅适配控制头 | 0.4190 | 1.3919 | | 插问题,仅正确语音注意力 | 0.4404 | 1.3190 | | 插问题,仅错配语音注意力 | 0.4421 | 1.3167 | | 插问题,控制适配 + 正确注意力 | 0.4190 | 1.3913 | 按 6 条 source 等权平均,不拿更长 source 贡献更多权重。闭环用一个噪声 seed911,不包装为多 seed 长训。关节/根误差来自原真实 GT;根旋转、速度误差与加速度幅值原始结果也保留,但平滑或低 MSE 不等于语义完成。视频中仍能见到动作变弱/接近站立,不能称为“边问边走已经解决”。 **解释:**给动作模型一个正确 motion token 只说明“继续动”,不保证它仍读到原来的“斜向走”。新问题改变了直接送入动作头的 Qwen 语义和时长判断。这支持把“当前有效动作意图”和“当前问句”区分开继续研究,但尚未通过消融锁定唯一根因。 ### 4.3 Talker 与 Action 是否需要额外注意力 本次不是直接共用两套 KV:Action block 实际宽 1536,Talker 宽 896、层数也不同。实验在最后一个 Action block 后插入残差交叉注意力: ```text Action hidden [B, 30, 1536] → Q [B, 4, 30, 32] past/current Talker hidden [B, 17, 896] → K,V [B, 4, 17, 32] attention → projection [B, 30, 1536] → residual add → 原 action projection [B,30,39] ``` 17 个位置是最近 16 个 codec hidden 加 1 个 null;只读取当前/已过去的发声位置。输出投影零初始化,未开始/已结束发声时残差严格为零。用原生答案生成所测的完整等待时间确定发声起点;不把未来 codec 作为当前动作输入。 公平对照是**同样 627,456 个可训练参数**、同初始权重/样本/GT/噪声/sigma、相同更新次数和优化器,只把配对的语音 hidden 换成另一条 source 的 hidden。它控制了“多参数/多训练”的因素;并非完整 end-to-end shared-attention 模型。已有未改模型也单独报告。 冻结主模型,缓存真实最后层激活,2048 个 train flow-noise 抽样(16 source)、384 个 val 抽样(6 source);2 个优化 seed,各 800 步,B128、LR1e-4,每100步固定验证。GT state/RTC 仅用于这个有监督 flow-loss 诊断,闭环另测。 | seed | 无残差的缓存基准 MSE | 正确语音注意力末段 | 错配语音注意力末段 | |---|---:|---:|---:| | 911 | 0.05816 | 0.06153 | 0.06019 | | 912 | 0.05816 | 0.06482 | 0.05915 | 正确-错配的 source 配对均值分别 +0.00134、+0.00567(越大越差);95% bootstrap 区间分别 [−0.00111,+0.00455]、[+0.00354,+0.00853]。没有看到稳定收益,且二者都未超过零残差基准。 零残差在同一输入上的单元测试为逐值相同;缓存 BF16 后重新经过最终投影,与缓存前完整输出最大差 0.0625,已保留并披露,不能宣称离线缓存和完整前向逐位一致。所有 A/B 共用同一缓存基准。 **限制:**视频问题和走路动作语义基本独立,本来没有逐词手势对齐 GT;此小型冻结 adapter 的失败不能否定更大共享模型或真实 speech–gesture 数据。当前证据只说明“不值得直接把这个接法合进正式代码”。 ### 4.4 真实动作 KV → 原生回答的额外检查(首轮失败;续做修复见 9.2) 为避免独立问答支路掩盖历史问题,补做 6 条 val source,每条按真实动作音频走到问题结束,复制真实 Qwen KV,再附加已观察视频和通用回答请求;**不提供 GT 问题文本/GT 答案**。正确/错视频共 12 次。回答分叉不写回动作 KV。 stock generate 对已有 past KV 的视频处理不能直接照搬,因此实验用了手动 Thinker prefill/greedy loop,位置按实际历史逻辑长度偏移。这个接法未经过联合训练,**不是已验证等价于原生全上下文视听生成**,失败可能涉及 prompt、hidden 对接、位置或语义融合,不能一概解释为“长历史毁掉 Qwen”。 首轮 12 次有 10 个 WAV 恰为 11.98 秒,怀疑撞 600 codec 上限;随后固定前两个 source 复测、直接记录 Talker EOS,四次均生成到 600 而没有 EOS。加回官方 system prompt 的四次对照只有两次正常结束,回答仍有明显错误,例如把“他们在做什么/有什么”答成“都有领带”。这里的错视频只作反例,不求错视频输出原问题 GT。 独立 ASR 对首轮 12 次生成文字核对为 115/104=110.6% WER,包含插入/重复所以可超过100%,不是概率。出现“Ah”、拉长音等输出;**不能把这些失败 WAV 当有效回答或剪掉失败尾段做展示**。初次仅检查首层 KV;补测检查全部层 key/value 逐值不变。 ## 5. 计算成本和时间同步 - 本地四张 H200,主要独立条件按四卡分片/并行;CPU 下载、视频解码、source 构造多进程。冻结语义和最后层激活复用,避免每个小头的 seed 重新跑大模型。 - 原生 val12 旧 HFD 首完整音频可取时间中位数 **5.08 秒**,范围 **1.83~9.73 秒**;输出语音中位长度3.36秒、逐样本RTF中位1.44。原生 Qwen 为6.29秒/RTF1.37,但回答长度不同,不能据此称 HFD 加速。 - 当前安装版整段 Thinker→Talker→Token2Wav 串行返回,B=1;“生成架构可以流式”不等于这条入口达成低延迟。 - 6-source 动作 batch 的10步 solver 中位约0.084~0.097秒,但不含音频/视频编码和 Talker,不能拿它宣布整机实时。 - 同卡两 CUDA stream 另测 B1 动作每0.4秒调用、同时生成原生答案,3次配对×每次30个动作调用;使用固定真实动作条件,专测资源争用,不作为新的动作质量试验。并发语音分支实际包含完整 Thinker、Talker 和 Token2Wav,不只是播放预先生成的声音。最终原始记录为 `outputs/concurrent_latency.json`,保留每次释放/开始/完成时间、首音频等待、守护占卡干扰记录。**不包括实时摄像头、动作分支在线Qwen音频/视频缓存更新、录放音回声消除。** - 最终3次配对的平均动作计算耗时:单独运行为0.0914/0.0949/0.0946秒,同时说话为0.1409/0.1190/0.1148秒。两种条件各90次动作调用,单独0次超时、并发1次超过0.4秒;不能宣称100%按时。三条答案从生成开始到可取音频分别约6.37/3.76/3.22秒。 - 早期计时遇到另一处重新拉起 keeper,结果留作未净化记录;最终计时增加 wall clock 和显式检测,6个测量区间均没有keeper重启/终止事件,不把早期受干扰记录当纯模型成本。 - 渲染器检查为 llvmpipe,实际由 CPU 渲染而非有效 GPU 推理;渲染/整理期间恢复用户占卡程序。占卡利用率不计入实验算力利用率。全程未新建 WandB 测试曲线。 统一音频时间轴不等于动作语义对齐。现在只保证问题、答案、背景和动作播放时刻有明确定义,**没有训练手势与回答中每个词同步,也没有实时语音回环验证**。离线 HFD 窗口的 `t = window_index × 0.4s` 是窗口索引时间,不是现场采集完0.6秒输入后的响应时间;演示不能用来证明物理传感到响应的严格延迟。 ## 6. 首轮的两条离线演示(最新实际并发录像见 9.6) 两条均按预先固定的 val_00/val_01 和前20秒动作渲染,不挑选最好的一段。先完整播放已观察视频,再展示 GT / 原 HFD 插问题 / 控制适配三栏。回答来自正常结束的**独立视频+语音问题原生问答**,不是4.4失败的真实历史分叉;标题明确标为 offline,不伪称一体化现场录像。 - [样例1:斜向左走,同时回答谁在往肉袋里倒酱汁](/cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/code/HFD_swa_260910_jyGc6V/outputs/demos/val_00_speaking_while_acting.mp4)。动作段问题6.60~9.64秒,原生答案16.85~19.97秒;前置视频另7.04秒。 - [样例2:夸张向前走,同时回答画面里两人的活动](/cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/code/HFD_swa_260910_jyGc6V/outputs/demos/val_01_speaking_while_acting.mp4)。动作段问题5.40~7.24秒,原生答案9.89~11.57秒;前置视频另14.04秒。 完整文件分别约27.07/34.07秒,1440×448、50fps、AAC16kHz;原始模型回答 WAV24kHz也保留。GT从原始motion来,预测轨迹不做后处理修饰;纯运动学渲染,不代表真实机器人动态稳定。已检查字幕/帧和音视频容器,未进行多人人工质量打分。 ## 7. 首轮提出的后续假设(已在第 9 节继续检验,不是最终推荐) 1. **先做意图保持,而非硬锁 motion。** 维持可被 Stop/新指令更新的“当前动作指令”表示;视频问句更新另一个问答表示,不替换当前动作语义。最终两个读出可共享一个 Thinker,但不是把同一 latest-text 目标同时当动作意图和问答意图。 2. **说话作为正交状态。** motion 可同时 speaking;idle/listen/motion 控制身体,回答分支控制说什么。Stop、新动作命令仍有真实打断能力,不能用“凡新语音都忽略”投机。 3. **先修原生流式对接,再做小数据联合适配。** 保留预训练视觉前端,正确维护视频 MRoPE/音视频时间戳;先验证真实历史下文本和 codec 都正常结束,再训练新任务,不把拼两个已经好的离线文件当 end-to-end 完成。 4. **注意力暂不加正式默认。** 若要验证它,需更大、同场景、同步回答/动作数据,至少多 seed、多 checkpoint、控制和轨迹的联合评估。本轮小 adapter 没有给出合入依据。 5. 新数据单独 manifest、新 task 配额;原数据不删除、不改写。当前352个视频是pilot子集,不能直接当完整新任务数据规模。未擅自变更正式任务比例、步数或学习率。 ## 8. 失败记录、复现与证据保存 保留而不隐去:首轮无EOS导致输出额外对话;Talker短上限截断声音;OpenCV seek/标称总帧数不可靠,改为PyAV实际解码;已有KV时视频prefill不自动兼容;真实历史音频失败;EGL物理编号与可见编号混淆导致两次渲染失败,改用可见0后完成;视频拼接SAR不一致修复;占卡重新出现导致重做计时。上述修复都只在隔离区。 主要证据目录(相对实验区): | 内容 | 文件 | |---|---| | 初始方案、冻结版本与范围 | `PLAN.md`、`code/` | | 下载/标注/分割/问题声音 | `data/{msvd,nextqa}/manifest.json`、`provenance.json`、`data/questions/` | | 全部汇总 | `outputs/SUMMARY.json`、`summarize.py` | | 自由回答与候选对照 | `vqa_benchmark.py`、`mc_benchmark.py`、`outputs/vqa_fixed_eos/`、`outputs/mc/` | | 原生回答和真实历史失败 | `native_answers.py`、`native_history.py`、`outputs/native_answers/`、`outputs/native_history*/`、`outputs/asr_history.json` | | 控制适配3seed曲线 | `hfd_features.py`、`train_control.py`、`outputs/control_adapt_diverse/` | | 注意力2seed与闭环 | `coupling_common.py`、`cache_action.py`、`train_coupling.py`、`rollout_action.py`、`outputs/coupling/`、`outputs/rollout/` | | 单元不变量/真实时钟 | `check_invariants.py`、`outputs/adapter_invariants.json`、`latency_concurrent.py`、`outputs/concurrent_latency.json` | | 演示和逐阶段时间戳 | `render_demo.py`、`assemble_demo.py`、`outputs/demos/` | | 证据索引与清理 | `EVIDENCE.json`、`record_evidence.py`、`outputs/cleanup_superseded.json` | 独立只读审查由不同模型实例完成,结论为 **WARN(证据范围有限,不是实验通过后即可上线)**。原始数字、GT来源、配对条件和代码类型检查未发现需要推翻主结论的错误;主要限制是合成控制端点标签、16 train/6 val的小规模适配、相关窗口、多数闭环仅一个seed,以及真实KV→Talker接口尚未验证成功。两实例属于同一GPT模型家族,不声称跨家族复核。完整审查保留在隔离区 `.aris/traces/experiment-audit/2026-09-11_run01/`。审查中对计时范围的疑问已核查:包含原生完整音频生成,但缺少动作分支在线编码和现场采集,因此仍不能宣称完整实时系统。 `EVIDENCE.json` 逐文件保留SHA256、版本、用途、纳入/排除状态、主要调用命令及可用样本ID;修正前脚本产生的失败结果明确排除,不宣称用修正后脚本可逐位复现旧错误。实际执行脚本编译、残差与因果mask不变量、source配对检查、视频容器及抽帧检查;正式 `src/scripts/tests/*.sh/pyproject.toml` 相对改前快照无修改。 只删除本实验的可重新生成临时物:未完成大ZIP、错误帧缓存、错误Python版本依赖约237MiB,以及被多样化对照替代的44份旧控制特征430,713,472 B(约411MiB)。后者先记录SHA256和精确清单再删除;普通/QA特征、当前多样化对照、原始失败指标、有效视频均保留。没有删除原数据、正式run/checkpoint或其他实验。旧重复短句校准试验不再保留特征级逐位复现材料,亦不作为结论依据。 本次正式归档分支为 `2609110105-speaking-while-acting-pilot`,只提交本报告、`CHANGELOG.md` 和 `DIALOG.md`,按仓库流程保留feature提交并合入默认分支;改前仍可从 `2609102334-backup-pre-speak-act` 恢复。**本轮隔离探索已完成,正式新增speaking-while-acting能力没有被宣告完成或合入。** GPU实验结束后调用用户占卡启动脚本;收尾时四卡被另一组真实vLLM实验使用,keeper仅待命,不终止其他任务。 ## 9. 09-11 续做:修接口、反证旧语义冻结、实测同时计算 本节沿用同一个隔离目录、同一旧 125 万步 checkpoint、同一 16 train / 6 val 配对;不重新挑最好样本。验证集被反复用于排查和设计,因此属于开发诊断,**不是额外独立测试集,更不是全量六任务回归**。本节脚本、指标、权重及审查都在隔离区,正式仍只更新这一个报告及两份项目日志。 ### 9.1 调研得到的具体取舍 | 工作及一手依据 | 与本项目有关的做法 | 这次采取的取舍 | |---|---|---| | [ELLSA](https://arxiv.org/html/2510.16756v1),方法、训练及附录 | 同一时间块内交错音频、图像、文本、动作;模态专家通过逐层共享注意力/KV交互,先练专家,再联合适配,最后接语音合成器 | 可以借鉴统一时间轴和问句不打断动作的任务。它不是简单把现成 Talker 随意接进动作头;本轮只测小型因果跨注意力,不冒充 SA-MoE 复现 | | [Qwen2.5-Omni](https://arxiv.org/html/2503.20215v1)及[官方代码](https://github.com/QwenLM/Qwen2.5-Omni) | Thinker 的文本/隐藏表示驱动 Talker 预测 codec,再由 Token2Wav 输出波形 | 复用原生模块,不把回答重新送外部 TTS;严格照实际安装实现核对完整前缀、位置和 hidden 移位 | | [Freeze-Omni](https://arxiv.org/html/2411.00774v1) | 冻结语言模型,通过训练输入/输出连接部分完成语音对齐 | “文字回答正常”不能替代语音接口验收;连接协议和训练分布必须分别检查 | | [Moshi](https://arxiv.org/html/2410.00037v2) | 对齐输入/输出语音流和文本流,模型按时间持续产生内容 | 真正低延迟发声依赖模型与解码协议,不是把最后生成的 WAV 混入视频就完成流式 | | [VITA-1.5](https://arxiv.org/html/2501.01957v1) | 分阶段进行视听理解与语音生成对齐 | 支持先分开检验理解、生成,再做联合任务;不据此推断现有 HFD 微调后视觉问答一定可靠 | ELLSA 的 context-grounded VQA 问的是 **机器人当前正在改变的环境**,本次公开视频与 G1 动作相互独立,只能证明并行能力的基本可行性。当前不需要为简单“走路时回答视频问题”增加逐词手势监督;若下一步要“说到杯子时指向杯子”,就必须另有同场景动作/语言对齐 GT,不能从本轮结果外推。 还核对了本地 Qwen2.5 Token2Wav 和[异步分块实现文档](https://github.com/vllm-project/vllm-omni/blob/main/docs/design/feature/async_chunk.md):公开异步例子涉及的模型/运行时不能直接当作本地 2.5 入口已支持。**本轮没有实现逐 codec 分块播放**,报告中的首音频时间都是整段波形已生成可取的时间。 ### 9.2 原生语音为什么之前失败,现在修了什么 人话:**KV 是 Thinker 自己继续理解的历史,不等于 Talker 发声需要的全部材料。** 原接口还会取历史每个 token 的输入向量、最后层 hidden 和对应 token ID。只交 KV 或只交最新答案尾部,会把 Thinker 和 Talker 的上下文对错位置。 在 `native_bridge_v2.py` 中记录真实逐窗输入向量与最终 hidden,并补齐整个前缀的 token ID、mask、长度和位置;照原生规则把音频/视频原始输入 embedding 在 Talker 条件中置零,正确移位接入答案 hidden。读取时复制动作 KV,回答分支不写回动作历史。**这是隔离实验的接口修复,不是修改正式 HFD 的 KV 更新策略。** | 验收 | 结果及正确解释 | |---|---| | 原生调用 vs 手动完整 prefill,原生/旧 HFD × 固定两样本 | 4/4 的文本 ID、codec ID、输出 WAV 完全相同;最后层 hidden 最大差 0。证明这个范围内接法一致 | | 相同输入分成两段 prefill,BF16 | hidden 最大差 5.375~10.625,声音可能改变;**不声称分块与一次输入逐位等价** | | 独立 SDPA 数值诊断,中间切分 | BF16 的整体 hidden 相对 L2 差 0.0333;FP32 降到约 6.80e-6,最大差约 0.00354。说明该例有明显精度/计算形状影响,不据一例排除所有位置错误 | | 6 条真实动作历史 × 正确/错误视频 | 12/12 Talker 正常 EOS;11/12 Thinker 正常 EOS,另一个错视频回答撞 40 文本 token 上限;每层动作 KV 均保持不变 | | 上述同一生成文本、同一随机设置,只移除 Talker 的完整历史前缀条件协议 | Talker EOS 降为 2/12,10 条撞 600 codec 上限。移除同时涉及 ID/embedding/hidden/长度等,不能把效果独归某个 tensor | | 独立 ASR 核对这两种声音与其生成文本 | 完整条件 3/111=2.70% WER;删前缀 127/111=114.4%。后者有大量插入/重复,不是“准确率为负” | 这些结果支持“之前声音失败与错误对接有关”,而不是“Qwen 只要有动作历史就无法说话”。但 native full-prefill 的逐位验收不是任意长历史加视频的完全等价证明;历史问答的内容仍有错,下一节单独列出。 ### 9.3 保住动作,是否应该冻结问句前语义?反证结果 用真实因果 Qwen `memory_token [B,2048]` 训练小路由器:`LayerNorm → Linear(2048,256) → GELU → Linear(256,4)`,判断普通/提问/新动作指令/Stop。16 train,三个 seed 各 1000 步、B256、LR1e-4,只训练这个小头,其余模型冻结;实际语音逐窗输入,推理不给 GT 类别或问题文本。 隔离策略暂时保存“普通状态下已经预测出的 motion 条件”。路由判为提问时沿用原动作控制和计划;判为新指令/Stop 时释放。**路由是学到的,但如何保留计划是实验代码规则,不是整个模型已经学会分离两个意图。** 不应当成生产级新架构直接合入。 最关键的消融:两组逐窗 **预测 control、计划时长、progress、路由及噪声完全相同**,唯一改变是动作头看问句前旧语义,还是当前持续更新的语义。实际断言检查了这些条件一致;都使用自身生成的 state/RTC 和相同 10 步 solver,GT 不作闭环中途输入。 | action seed / router seed | 固定旧语义:根 XY RMSE,m | 当前语义:根 XY RMSE,m | 旧-当前;6 source 配对 bootstrap 95% 区间 | |---|---:|---:|---| | 911 / 911 | 1.2087 | 1.0882 | +0.1205;[−0.0121,+0.3134] | | 911 / 912 | 1.1102 | 0.9754 | +0.1349;[+0.0019,+0.3174] | | 911 / 913 | 1.2087 | 1.0882 | +0.1205;[−0.0121,+0.3134] | | 912 / 911 | 1.0139 | 0.9570 | +0.0569;[−0.0053,+0.1592] | | 913 / 911 | 1.2856 | 1.1499 | +0.1357;[+0.0080,+0.3129] | 这是三个 action seed 和三个 router seed 的五组相交配对,不是 3×3 的九组独立实验;独立验证 source 始终只有 6 条。关节误差并非每组都改善,原始六种运动指标全部保存。旧单 seed 对照中,无问句 XY=0.9607、插问句不适配=1.3171、只适配控制头=1.3919。当前语义策略有缓解但没有证明全面恢复原动作质量;不能拿最好的 router seed 宣称稳定胜出。 因此撤回“固定旧语义会更好”的推荐。**更值得研究的是避免问句误改动作控制/时长计划,而不是冻结原始 H 或停止更新 KV。** 控制和时长尚未进一步彼此拆开,不能认定哪一个单独解释全部收益。 负对照也没有省略:三个 router seed 的策略在问句期间正确 motion 为 37/39、39/39、37/39;同一已适配控制头单独为 33/39。新指令 listen 45/47、Stop 后 idle 252/270,策略在这些六条负对照中没有覆盖原控制输出。Stop 说话期间端点标签准确率只有 10/24,且标签有时序歧义。**这只证明本小集合没有“一律忽略新语音”的投机,不证明完整 Stop 动作稳定或新指令物理执行成功。** ### 9.4 回答清楚了,是否真的答对? 真实长历史问答会混淆“正在执行的机器人任务”和“视频问题”。补测两条路:一条保留完整真实历史读取;另一条仅在 **回答支路** 使用路由器检测到的问句起点,加固定 0.4 秒提前量,从连续原始音频缓冲区读入到当前时刻,另建原生视频问答 turn。动作支路仍持续更新原 KV,不清空、不冻结。 后者不是靠 GT 转录或干净离线问句偷换输入,保留实际背景和可能的边界多余语音;但问句结束触发仍用数据标注。它也不是完整多轮问答记忆方案:第二轮若问“他刚才呢”,新答复 turn 可能缺乏对话上下文,后续需要独立验证。 | 固定样本/问题概要 | 数据集 GT | 完整历史的原生回答 | 当前问句缓冲分支的原生回答 | |---|---|---|---| | val_00:谁往肉袋里倒酱汁 | man | The man pours sauce… | A man pours sauce… | | val_01:画面里两人有什么/在进行什么 | discussion | They both have eyes. | They have a conversation. | | val_02:什么钻进沙发下面 | cat | The cat… | A cat. | | val_03:女人放下什么 | vine | She drops down and then looks right. | A woman drops a ladder down. | | val_04:厨师切什么 | cauliflower | broccoli | Broccoli. | | val_05:谁站旁边看 | adult | The man stands… | A man stands to the side watching. | 后两列按原始生成文字展示,没有拿模型答案改写 GT。“discussion/conversation”可解释为同义,但 “vine/ladder”“cauliflower/broccoli”不一致,**不把 12/12 EOS 说成 100% 答对**。视频尺度、标注歧义、微调模型和语音理解均可能贡献错误,这六例不足以定位唯一原因。固定问题缓冲分支正确/错视频共 12 次都结束,其 ASR 对生成文字为 6/101=5.94% WER;语音一致性和视觉正确性依然分开评价。 ### 9.5 同一张 GPU 上是否真能同时算? `online_swa.py` 从预录原始音频按真实时钟释放窗口:第 w 个窗口只有在 `0.6+0.4w` 秒才可见。释放后现场做 CPU 音频特征提取,再跑音频编码器、Thinker/KV、控制/路由、自身 state/RTC 和 10 步动作 solver。另一个 CUDA stream 同时运行视频编码和原生 Thinker/Talker/Token2Wav。不是播放提前生成的答案来冒充并发,也不是先离线缓存所有动作语义再计时。 每条 source 做单独动作/同时发声配对,交替两种运行顺序,固定动作 RNG,动作 warmup 后缓存全部重置;回答本身首次调用未提前 warmup。两个支路读写各自 KV,不共享可变动作缓存;单独/并发最终动作数组最大差均为 0。 | 配置 | 每种条件的动作窗口数 | 单独动作平均计算 | 并发平均计算 | 真正与语音生成重叠的窗口平均计算 | 并发超过0.4秒 | 首整段声音生成等待中位数 | |---|---:|---:|---:|---:|---:|---:| | 固定6 source:旧语义实验策略+完整历史回答 | 387 | 0.1237s | 0.1382s | 各 source 0.209~0.225s | 0/387 | 4.123s | | 固定前4 source:当前语义+问句缓冲回答 | 254 | 0.1241s | 0.1403s | 各 source 0.211~0.238s | 0/254 | 3.468s | 平均计算先在每条 source 内平均再等权汇总;重叠期间单独运行的对应窗口约0.121~0.124秒,不用大量未说话窗口稀释并发额外成本。后一配置的答案等待分别5.422/3.461/2.870/3.476秒,**两个配置样本数和答案长度不同,不用两者中位数宣称算法加速**。CPU准备每窗平均约1.3~1.5ms;当前进程GPU allocated峰值约22.09GiB,不是训练显存要求。预录输入每0.4秒来一次,GPU等待下一段音频是这个测试的时间条件,不是数据盘慢。 限制仍然明确:视频在整个音频流之前已完整观察;问题结束时间由标注触发;输入没有麦克风/摄像头采集和回声消除;语音按整段返回;没有真机驱动和运动安全验收。零超时仅覆盖这些短 source,不能取代长时间压力测试。早期第5节固定条件测试的1次超时仍保留,不用这次新条件覆盖旧失败。 ### 9.6 最新可看的视频与下一步 固定 val_00/01,不按表现挑选;三栏是原 GT、旧 HFD 插问句、当前语义+问句路由实验。新实验栏使用 **9.5实际同时计算产生的动作与声音**,不是首轮独立问答 WAV。回答从实际可取时间开始播放;视频问句/答案字幕也只在对应时刻出现。为满足输入先可见、动作后执行,三个动作栏统一延后1秒,背景和语音不乱挪;不做动作平滑后处理。 - [新版1:斜向左走+肉袋问答](/cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/code/HFD_swa_260910_jyGc6V/outputs/demos_v2/val_00_integrated_swa.mp4):动作段问题6.60~9.64s,真实答案15.349~18.709s;前置视频7.04s,整片约28.10s。 - [新版2:夸张向前走+两人对话问答](/cpfs01/thscc/sharestorage/AIGC-06-01/Hithink_VideoGen_Group/user_workspace/yetinghong/code/HFD_swa_260910_jyGc6V/outputs/demos_v2/val_01_integrated_swa.mp4):动作段问题5.40~7.24s,真实答案11.023~12.703s;前置视频14.04s,整片约35.10s。 三栏是解释性展示,不作为严格同噪声A/B分数:旧展示栏来自先前 B6 回放,新栏为 B1 在线运行,随机噪声形状不同。严格数值对照看9.3的同batch同噪声结果;并发数值一致性看9.5的 B1 配对。机器人仍有轨迹/姿态误差,不以剪辑或站着说对答案冒充动作任务成功。 后续建议仅保留三件事: 1. 在独立新任务数据中训练“这是提问,不是动作替换”,保持当前控制/时长计划但继续读新语义;混入真实新指令和Stop做回归,不硬锁所有后续动作。 2. 把“什么时候答、回答哪句”作为独立验收点,替换目前已知问题结束时刻;继续保留视听错误样例,不能用语音EOS或ASR曲线替代问答正确率。 3. 先不加本轮无收益的 Talker→Action 注意力。若追求低首音频延迟,再单独做原生codec分块/播放对齐;与正式八层token checkpoint的小规模适配也需另测,不能拿旧模型pilot作已验收上线。 ### 9.7 复现、审查与归档 新增主要证据(相对同一隔离区): | 证据 | 位置 | |---|---| | 原生逐位对齐/分块数值 | `native_bridge_v2.py`、`bridge_validation.py`、`prefill_numerics.py`、`outputs/bridge_validation/`、`outputs/prefill_numerics_*.json` | | 真实历史及删前缀反证 | `history_bridge_validation.py`、`outputs/history_bridge_v2*/`、`outputs/asr_continuation_cpu.json` | | 三seed路由/五组同条件动作消融 | `train_intent_router.py`、`eval_intent_policy.py`、`rollout_action.py`、`outputs/intent_router/`、`outputs/intent_policy.json`、`outputs/rollout_intent/` | | 当前问句读取、按时钟同卡并发 | `question_buffer_readout.py`、`online_swa.py`、`outputs/question_buffer/`、`outputs/online_swa*/` | | 原始汇总、最终视频与时间轴 | `summarize_continuation.py`、`outputs/CONTINUATION_SUMMARY.json`、`outputs/demos_v2/` | | 调用及独立审查 | 隔离区根目录 `*_jobs*.json`、`logs/`、`.aris/traces/experiment-audit/2026-09-11_run02/` | 失败的首版 history job、BF16不等价、旧语义消融不支持、错误VQA都保留。审查指出执行中脚本有修订且早期结果未内嵌执行时源代码SHA;现在保存的 `EVIDENCE.json` SHA是 **归档时版本**,不能倒填为历史运行时版本。调用命令/退出码和原始结果可核对,但旧失败不保证按当前脚本逐位复现。后续正式实验应在启动时保存代码哈希。独立审查按同家族不同实例执行,不宣称跨家族证明。 最终独立审查为 **WARN**:核对的第9节数字与原始结果一致,未发现GT答案泄漏或自归一化得分;限制是小且重复使用的验证集、已知问题结束时刻、旧checkpoint、归档而非执行时哈希,以及预录回放不等于真机。问句缓冲正确视频的严格别名完全匹配只有1/6,含同义句表达差异;不能把它或12/12 EOS直接当人评准确率。完整审查放隔离区`EXPERIMENT_AUDIT.md/.json`及上述trace,不额外散落正式报告。 最终CPU检查`outputs/final_checks.json`确认:38个隔离脚本编译通过;22个source的配对GT与问题前音频不变、train/val motion不重叠;已纳入的八组完成任务清单均退出0;原生完整prefill逐位对照及五组控制/计划匹配断言通过。两条成片1440×448/50fps/AAC16k,解码音轨相对预期零采样延迟、相关系数0.99980/0.99941;字幕与抽帧也已查看。这些是完整性检查,不替代动作或视觉语义的人审。 续做归档分支为 `2609110930-speaking-while-acting-bridge`;只更新这一份报告、DIALOG、CHANGELOG,模型/训练推理入口/任务数据/环境保持改前状态。四卡GPU测量已退出,CPU渲染及ASR也完成,占卡程序已恢复。本轮隔离探索和证据整理完成,**不宣称正式训练数据、新模型、任意场景VQA或真实具身speaking-while-acting已经全部解决**。