# HFD Bench · 2048个完整session **当前状态(2026-10-13):2048条完整闭环推理、5377段动作的14列计分和最终完整性校验全部完成。** 不要把旧版单source分数当成本轮结果。正式训练、模型参数和参考仓库未修改。 ## 测什么 机器人完整经历1~4轮交互,同时看视频、听指令/问题、生成动作和回答语音;不是每轮重置后分别推理。 当前先算动作质量;交互时机、VQA和语音质量以后沿用同一清单。 motion评分只取**完整执行的动作段**:被打断/Stop截断的整段动作排除,同一session其他完整动作照常算。 完整session的滑脚/抖动仍保留,包括idle、listen和状态切换。 hesitation按最终执行指令评分;第三方谈话、backchannel、VQA和Stop文本不充当动作语义。 ## 数据规模 从正式val划分的10,055个自然session中按任务、轮数、音色、语义粗类、时长和提问可插入时间分层选取。 只依据GT,不依据模型成绩。 | 项目 | 数量 | |---|---:| | 完整session | 2048 | | turn-taking | 342 | | interruption / stop | 171 / 171 | | backchannel / hesitation / pause / third-party | 各341 | | 1 / 2 / 3 / 4轮 | 210 / 561 / 624 / 653 | | 动作源出现次数 / 不同动作源 / 不同最终英文指令 | 5816 / 4502 / 1626 | | 完整motion / 被打断 / 被Stop截断 | 5377 / 268 / 171 | | 视觉QA / 不同视频 / 视频占比 | 66 / 53 / 100% | | 八音色变体 / 每种音色session数 | 528 / 229~282 | | session时长:最短 / 中位 / 最长 | 11.18 / 41.18 / 157.98秒 | 用户指令和视觉问题在同一session内同音色;third-party背景说话人保持原任务设计。 同一视觉题最多复用64次,**2048条session不是2048道独立视觉题**。视觉规模仍偏小。 后续VQA置信区间应按原题/视频分组;动作源重复也要披露,不能与旧2048独立动作源直接比高低。 ## 外部视觉数据与审核 | 来源 | 本轮处理 | |---|---| | [OVO-Bench](https://github.com/JoeLeelyf/OVO-Bench) | 使用当前/历史事实题,保留原提问时刻和此前完整视频;排除未来预测、未确认权限的来源。 | | [Omni-DuplexEval](https://github.com/OpenBMB/Omni-DuplexEval) | 持续描述、事件提醒不等于单次QA;留作后续时机评测,不硬改成事实问答。 | | [LiveSports-3K-CC](https://huggingface.co/datasets/stdKonjac/LiveSports-3K) | 解说含画面外知识,不直接当视觉事实GT;同仓库QA子集不冒充CC。 | OVO 1640条顶层标注 → 281题结构筛选 → 277题媒体合格 → 116题机器审核通过。 加上八音色翻译/TTS/独立ASR等检查,首轮可用85题;原清单选入73题。 再逐题查看带时间戳的已观察前缀抽帧,保留66题,剔除7题答案矛盾或证据不足的题目。 例如标准答案“15”与画面/盲答“ADWEEK ORIGINALS”冲突,却被机器判为等价,现已否决。 这是Codex直接看图复核,**不是人类逐帧标注**;个别措辞精度限制已记录,不能证明每一帧绝无错误。 与33,189个训练视频做源ID、文件哈希和抽样画面比对,隔离4个疑似重复视频。 不保证穷尽裁剪/重编码重复,也不保证与基础模型预训练零重叠。 动作沿用正式source划分,近似动作家族不保证隔离;OMG v13评价器训练包含SEED,需要披露。 问题改成语音,**说完时刻等于原题提问时刻**;视频从原0秒连续输入,必须覆盖整个session, 不定格尾帧、不裁掉历史,不覆盖原指令/交互事件。模型按0.4秒packet回答,可能稍晚,视频继续播放。 这是**HFD语音开放问答改造版**,不是原OVO选择题/固定截断协议,不能报作其官方成绩。 ## 推理与指标口径 使用 `hfd.gpus4.2610100010-thirdparty / ckpt_1800000`。 调用正式闭环推理:Qwen每0.4秒更新、10步flow、生成动作回填RTC。 仅首帧用部署初始化姿态;不给后续GT动作、状态、时长或指令文本。 回答是模型原生语音,绝不用GT TTS替代;失败和重复回答保留。离线排队墙钟时间不是实时latency指标。 本轮共生成2188段可用回答:89条session没有可用回答,1762条恰好一次,197条多次回答; 17条session记录了语音生成到长度上限仍未结束的失败。没有可用回答与失败样本可能重叠,不能直接相加。 以上仅是输出次数/生成完整性,**不是VQA正确率**;所有2048条仍保留在动作评测中。 40维输出经正式解码还原为36维物理动作。按固定GT时间轴切段;50→30fps使用位置/关节线性插值、 四元数SLERP。不平滑、不重对齐朝向、不DTW。tracking只跑motion一次,全程/阶段另算滑脚和Jerk。 直接调用vendor中的OmniHM/OMG公式。原32条迁移复算14列完全一致,见 `outputs/portability_check.json`。 | 指标 | 原实现含义/单位 | |---|---| | FID ×100 | 动作嵌入分布距离:`||μGT−μgen||² + tr(ΣGT+Σgen−2sqrt(ΣGTΣgen))` | | Matching | 配对动作/文本嵌入平均欧氏距离 | | R@1/2/3 | 32个候选文本中的配对检索比例,不是动作成功率 | | Diversity | 300对不同生成嵌入平均欧氏距离,seed1234 | | C-Slide ×10 | 连续接地脚底代理点最大水平速度,按有效接地项平均,m/s | | Jerk | FK身体位置三阶差分范数平均乘`fps³`,m/s³ | | MPJPE / g-MPJPE | 执行与生成目标的根相对/世界坐标身体位置误差,mm | | E_vel / E_acc | 执行与目标的一/二阶位置差分误差,mm/frame、mm/frame² | | Fall | 原高度/倾角条件连续触发≥11个50Hz帧的序列比例 | | J-Limit | 出现超关节限位1e-4rad状态的序列比例 | Tracking是**执行 vs 生成目标**,不是生成 vs GT。HoloMotion v1.2、50Hz、10物理子步、action clip10; 不做四种tracker择优,不冒称论文Best Tracking Score。接地高度0.12m、穿地容差0.02m原样保留。 全程含切换;分阶段不跨断开的区间求差分,内部按帧数加权再对session平均。GT同步算,避免误读“滑脚少=动作好”。 5377段都进入FID、Matching、物理和tracking;R@只用完整32条批次,尾部1条不计R@。 重复指令会影响候选难度/并列排名,必须披露;公式不改。测试集不同,不能直接和论文数字比高低。 ## 完整动作评分 同一模型 `ckpt_1800000`,一次完整闭环运行;不是多次运行择优。以下14列直接读取原生计分产物: | 指标 | 结果 | 指标 | 结果 | |---|---:|---|---:| | FID ×100 ↓ | 7.616 | Matching ↓ | 1.3018 | | R@1 ↑ | 22.34% | R@2 ↑ | 35.32% | | R@3 ↑ | 43.79% | Diversity | 1.2331 | | C-Slide ×10 ↓ | 2.6200 | Jerk ↓ | 126.96 | | MPJPE ↓ | 38.53 mm | g-MPJPE ↓ | 143.11 mm | | E_vel ↓ | 3.2712 mm/frame | E_acc ↓ | 1.3104 mm/frame² | | Fall ↓ | 0.1302%(7/5377) | J-Limit ↓ | 5.9327%(319/5377) | 这说明该跟踪器执行这些生成动作时较少摔倒,**不表示动作语义正确或整段交互成功**。 限位是执行轨迹上超过原实现阈值的序列占比,不是违规帧比例;不能把7条摔倒或319条限位删掉后重算。 ### 和同一批GT对照 | 指标 | 模型 | 同一批GT | |---|---:|---:| | motion FID ×100 ↓ | 7.616 | — | | motion Matching ↓ | 1.3018 | 1.2829 | | motion R@1 / R@2 / R@3 ↑ | 22.34% / 35.32% / 43.79% | 32.09% / 45.96% / 55.06% | | 完整session Jerk ↓ | 118.40 | 27.04 | | idle / listen Jerk ↓ | 104.30 / 109.45 | 6.43 / 1.70 | | 完整session接地滑速(m/s)↓ | 0.1795 | 0.1676 | 前3行来自最终motion计分及同一vendor的GT检索诊断;后3行来自`phase_physics.json`。 动作质量的明显问题是抖动,idle/listen也存在,并非只发生在motion。 GT检索也不到100%,说明它不是动作成功率;重复/近义指令、评价器能力都会影响数值。 这里没有同一批输入上的旧模型对照,不能据此归因于VQA或宣称比旧模型好/差。 完整session与motion切片的统计对象不同,不能把两表的Jerk/滑脚数值混用。 例如完整session的Jerk是GT的约4.38倍;idle/listen尤其突出,值得后续定位,但本轮不改模型或loss。 ## 运行与文件 ```bash bash benchmark/run.sh ``` 默认四卡、每卡3个worker;完整生成后统一审计、计分,不平均分片FID。H200实测利用率约98%~100%。 小显存机器可降低`WORKERS_PER_GPU`。重跑跳过完成结果;脚本不杀其他任务、不启动训练。 - `outputs/sessions2048/manifest.json`:冻结输入、source切片、时钟、SHA256。 - `outputs/session_ckpt_1800000/generated/`:动作、状态、模型回答声音、失败记录。 - `outputs/session_ckpt_1800000/audit.json`:全量完成后核验划分、文件、checkpoint、覆盖率。 - `outputs/session_ckpt_1800000/eval/motion/paper_metrics.json`:最终14列,已完成。 - `outputs/session_ckpt_1800000/eval/phase_physics.json`:全程/分阶段结果,已完成。 - `outputs/session_ckpt_1800000/eval/result_audit.json`:最终14列、样本顺序/数量、原生公式汇总和文件来源核对,`complete=true`。 - 预览:`generated//preview/model_session_with_audio.mp4`,明确标注MODEL OUTPUT而非GT。 复核保留1891条同输入session,替换157条;249条已完成推理经哈希验证复用。 `revision.py`记录原清单/结果哈希,拒绝复用改变过的输入。24项测试通过。 全量审计已核验2048条、5816次动作源出现、543个外部资产文件;参考动作没有缺失帧。 每条生成多出的末尾1帧不计分,其余按固定GT时间轴评分。 10月13日修正计分入口的32整除限制:只在HFD适配层放开数量检查,vendor源码和指标公式不改。 真实5377条输入校验通过;回归验证32条时结果完全相同、33条时Matching仍用全部33条, 且尾部样本仍接受身份/标签/四元数/长度校验。原失败痕迹保留,续跑只做计分,不重复生成。 5377条同时做FK时曾占满H200显存,现仅把FK按32条分批,时间维度/首帧锚点/公式不改。 CPU三种动作表示回归逐值相同,GPU65条×127帧实测最大差0;没有截短动作或降低计分精度。 `run.sh`末尾额外核对整套计分产物,即使存在`paper_metrics.json`也不会直接宣布完成。 回归测试覆盖尚未完成、样本错序、NaN和汇总表被改写的拒绝路径;不改变运行中的计分。 本轮完整性核验通过:2048条session、5377段motion、5376条检索样本;所有14列及逐样本数组有限值, 样本顺序与冻结清单一致,公式/评价器哈希一致。跟踪完整执行约77分钟,随后完成轨迹保存及计分。 旧单source结果仅作历史证据保留在`outputs/ckpt_1800000/`,不是当前结果。 大文件通过outputs链接至`/mnt/workspace/hfd_bench_external_261013`;实例重建可能丢失,迁移需复制实际目标。 ## 迁移与后续 `vendor/`约11.12GiB:OMG/OmniHM代码、G1资产、v13评价器、T5-3B、HoloMotion ONNX。 是真实复制,不是外部软链接;保留许可证,来源/哈希见`vendor/manifest.json`。 生成使用HFD环境;计分使用OMG环境或按`requirements-eval.txt`配置。权重/数据不提交Git。 本轮完成后,再核查[Realtime-QA-100K](https://huggingface.co/datasets/OpenMOSS-Team/Realtime-QA-100K) 和[RealTimeVideo-Instruct-112K](https://huggingface.co/datasets/zeyun-zhong/RealTimeVideo-Instruct-112K): 先确认视频可获取、去掉未来预测、与本bench按原视频去重,再造数据并小批量试训,目前尚未加入训练。 10月13日只读核查的接入注意点(尚未构建新训练包): - Realtime-QA-100K只发布标注和YouTube ID。实际样本的一个assistant字段可能包含多个时刻的回答更新、静默和被打断的半句话;不能直接删除时间标记后合并成问答,否则会提前使用后续画面信息。需按原时间轴提取完整、当时已有证据的回答,再核验原视频。 - RealTimeVideo-Instruct-112K也只发布标注。官方清单包含22,493条Ego4D动作预测/QA混合样本,不能整批视为当前事实问答;31,619条来自LLaVA-Video,也不能都算新视频。接入时用`rt_time`,不误用较早的`proact_time`。 - 两者都还没有证明“质量一定优于现用数据”。先检查合法可用视频、已观察画面证据、完整答案及bench视频去重,再决定实际纳入数量;不因数据集名字含实时就免审。 用户当前目标(原文): > 你先完成benchmark的数据制作和动作质量评分吧,数据制作方面可以考虑我刚刚提的那三个视觉问答全双工的bench,看看能不能融进去。这个确认搞好以后,留一个说人话的说明文档,再搞刚刚说的新数据和试训