code-HFD / benchmark /README.md
Tinghong-Ye22's picture
Add files using upload-large-folder tool
fb0074a verified
|
Raw History Blame Contribute Delete
13 kB

HFD Bench · 2048个完整session

当前状态(2026-10-13):2048条完整闭环推理、5377段动作的14列计分和最终完整性校验全部完成。 不要把旧版单source分数当成本轮结果。正式训练、模型参数和参考仓库未修改。

测什么

机器人完整经历1~4轮交互,同时看视频、听指令/问题、生成动作和回答语音;不是每轮重置后分别推理。 当前先算动作质量;交互时机、VQA和语音质量以后沿用同一清单。

motion评分只取完整执行的动作段:被打断/Stop截断的整段动作排除,同一session其他完整动作照常算。 完整session的滑脚/抖动仍保留,包括idle、listen和状态切换。 hesitation按最终执行指令评分;第三方谈话、backchannel、VQA和Stop文本不充当动作语义。

数据规模

从正式val划分的10,055个自然session中按任务、轮数、音色、语义粗类、时长和提问可插入时间分层选取。 只依据GT,不依据模型成绩。

项目 数量
完整session 2048
turn-taking 342
interruption / stop 171 / 171
backchannel / hesitation / pause / third-party 各341
1 / 2 / 3 / 4轮 210 / 561 / 624 / 653
动作源出现次数 / 不同动作源 / 不同最终英文指令 5816 / 4502 / 1626
完整motion / 被打断 / 被Stop截断 5377 / 268 / 171
视觉QA / 不同视频 / 视频占比 66 / 53 / 100%
八音色变体 / 每种音色session数 528 / 229~282
session时长:最短 / 中位 / 最长 11.18 / 41.18 / 157.98秒

用户指令和视觉问题在同一session内同音色;third-party背景说话人保持原任务设计。 同一视觉题最多复用64次,2048条session不是2048道独立视觉题。视觉规模仍偏小。 后续VQA置信区间应按原题/视频分组;动作源重复也要披露,不能与旧2048独立动作源直接比高低。

外部视觉数据与审核

来源 本轮处理
OVO-Bench 使用当前/历史事实题,保留原提问时刻和此前完整视频;排除未来预测、未确认权限的来源。
Omni-DuplexEval 持续描述、事件提醒不等于单次QA;留作后续时机评测,不硬改成事实问答。
LiveSports-3K-CC 解说含画面外知识,不直接当视觉事实GT;同仓库QA子集不冒充CC。

OVO 1640条顶层标注 → 281题结构筛选 → 277题媒体合格 → 116题机器审核通过。 加上八音色翻译/TTS/独立ASR等检查,首轮可用85题;原清单选入73题。 再逐题查看带时间戳的已观察前缀抽帧,保留66题,剔除7题答案矛盾或证据不足的题目。 例如标准答案“15”与画面/盲答“ADWEEK ORIGINALS”冲突,却被机器判为等价,现已否决。 这是Codex直接看图复核,不是人类逐帧标注;个别措辞精度限制已记录,不能证明每一帧绝无错误。

与33,189个训练视频做源ID、文件哈希和抽样画面比对,隔离4个疑似重复视频。 不保证穷尽裁剪/重编码重复,也不保证与基础模型预训练零重叠。 动作沿用正式source划分,近似动作家族不保证隔离;OMG v13评价器训练包含SEED,需要披露。

问题改成语音,说完时刻等于原题提问时刻;视频从原0秒连续输入,必须覆盖整个session, 不定格尾帧、不裁掉历史,不覆盖原指令/交互事件。模型按0.4秒packet回答,可能稍晚,视频继续播放。 这是HFD语音开放问答改造版,不是原OVO选择题/固定截断协议,不能报作其官方成绩。

推理与指标口径

使用 hfd.gpus4.2610100010-thirdparty / ckpt_1800000。 调用正式闭环推理:Qwen每0.4秒更新、10步flow、生成动作回填RTC。 仅首帧用部署初始化姿态;不给后续GT动作、状态、时长或指令文本。 回答是模型原生语音,绝不用GT TTS替代;失败和重复回答保留。离线排队墙钟时间不是实时latency指标。

本轮共生成2188段可用回答:89条session没有可用回答,1762条恰好一次,197条多次回答; 17条session记录了语音生成到长度上限仍未结束的失败。没有可用回答与失败样本可能重叠,不能直接相加。 以上仅是输出次数/生成完整性,不是VQA正确率;所有2048条仍保留在动作评测中。

40维输出经正式解码还原为36维物理动作。按固定GT时间轴切段;50→30fps使用位置/关节线性插值、 四元数SLERP。不平滑、不重对齐朝向、不DTW。tracking只跑motion一次,全程/阶段另算滑脚和Jerk。

直接调用vendor中的OmniHM/OMG公式。原32条迁移复算14列完全一致,见 outputs/portability_check.json。

指标 原实现含义/单位
FID ×100 动作嵌入分布距离:`
Matching 配对动作/文本嵌入平均欧氏距离
R@1/2/3 32个候选文本中的配对检索比例,不是动作成功率
Diversity 300对不同生成嵌入平均欧氏距离,seed1234
C-Slide ×10 连续接地脚底代理点最大水平速度,按有效接地项平均,m/s
Jerk FK身体位置三阶差分范数平均乘fps³,m/s³
MPJPE / g-MPJPE 执行与生成目标的根相对/世界坐标身体位置误差,mm
E_vel / E_acc 执行与目标的一/二阶位置差分误差,mm/frame、mm/frame²
Fall 原高度/倾角条件连续触发≥11个50Hz帧的序列比例
J-Limit 出现超关节限位1e-4rad状态的序列比例

Tracking是执行 vs 生成目标,不是生成 vs GT。HoloMotion v1.2、50Hz、10物理子步、action clip10; 不做四种tracker择优,不冒称论文Best Tracking Score。接地高度0.12m、穿地容差0.02m原样保留。 全程含切换;分阶段不跨断开的区间求差分,内部按帧数加权再对session平均。GT同步算,避免误读“滑脚少=动作好”。

5377段都进入FID、Matching、物理和tracking;R@只用完整32条批次,尾部1条不计R@。 重复指令会影响候选难度/并列排名,必须披露;公式不改。测试集不同,不能直接和论文数字比高低。

完整动作评分

同一模型 ckpt_1800000,一次完整闭环运行;不是多次运行择优。以下14列直接读取原生计分产物:

指标 结果 指标 结果
FID ×100 ↓ 7.616 Matching ↓ 1.3018
R@1 ↑ 22.34% R@2 ↑ 35.32%
R@3 ↑ 43.79% Diversity 1.2331
C-Slide ×10 ↓ 2.6200 Jerk ↓ 126.96
MPJPE ↓ 38.53 mm g-MPJPE ↓ 143.11 mm
E_vel ↓ 3.2712 mm/frame E_acc ↓ 1.3104 mm/frame²
Fall ↓ 0.1302%(7/5377) J-Limit ↓ 5.9327%(319/5377)

这说明该跟踪器执行这些生成动作时较少摔倒,不表示动作语义正确或整段交互成功。 限位是执行轨迹上超过原实现阈值的序列占比,不是违规帧比例;不能把7条摔倒或319条限位删掉后重算。

和同一批GT对照

指标 模型 同一批GT
motion FID ×100 ↓ 7.616 —
motion Matching ↓ 1.3018 1.2829
motion R@1 / R@2 / R@3 ↑ 22.34% / 35.32% / 43.79% 32.09% / 45.96% / 55.06%
完整session Jerk ↓ 118.40 27.04
idle / listen Jerk ↓ 104.30 / 109.45 6.43 / 1.70
完整session接地滑速(m/s)↓ 0.1795 0.1676

前3行来自最终motion计分及同一vendor的GT检索诊断;后3行来自phase_physics.json。 动作质量的明显问题是抖动,idle/listen也存在,并非只发生在motion。 GT检索也不到100%,说明它不是动作成功率;重复/近义指令、评价器能力都会影响数值。 这里没有同一批输入上的旧模型对照,不能据此归因于VQA或宣称比旧模型好/差。 完整session与motion切片的统计对象不同,不能把两表的Jerk/滑脚数值混用。 例如完整session的Jerk是GT的约4.38倍;idle/listen尤其突出,值得后续定位,但本轮不改模型或loss。

运行与文件

bash benchmark/run.sh

默认四卡、每卡3个worker;完整生成后统一审计、计分,不平均分片FID。H200实测利用率约98%~100%。 小显存机器可降低WORKERS_PER_GPU。重跑跳过完成结果;脚本不杀其他任务、不启动训练。

  • outputs/sessions2048/manifest.json:冻结输入、source切片、时钟、SHA256。
  • outputs/session_ckpt_1800000/generated/:动作、状态、模型回答声音、失败记录。
  • outputs/session_ckpt_1800000/audit.json:全量完成后核验划分、文件、checkpoint、覆盖率。
  • outputs/session_ckpt_1800000/eval/motion/paper_metrics.json:最终14列,已完成。
  • outputs/session_ckpt_1800000/eval/phase_physics.json:全程/分阶段结果,已完成。
  • outputs/session_ckpt_1800000/eval/result_audit.json:最终14列、样本顺序/数量、原生公式汇总和文件来源核对,complete=true。
  • 预览:generated/<sample_id>/preview/model_session_with_audio.mp4,明确标注MODEL OUTPUT而非GT。

复核保留1891条同输入session,替换157条;249条已完成推理经哈希验证复用。 revision.py记录原清单/结果哈希,拒绝复用改变过的输入。24项测试通过。 全量审计已核验2048条、5816次动作源出现、543个外部资产文件;参考动作没有缺失帧。 每条生成多出的末尾1帧不计分,其余按固定GT时间轴评分。 10月13日修正计分入口的32整除限制:只在HFD适配层放开数量检查,vendor源码和指标公式不改。 真实5377条输入校验通过;回归验证32条时结果完全相同、33条时Matching仍用全部33条, 且尾部样本仍接受身份/标签/四元数/长度校验。原失败痕迹保留,续跑只做计分,不重复生成。 5377条同时做FK时曾占满H200显存,现仅把FK按32条分批,时间维度/首帧锚点/公式不改。 CPU三种动作表示回归逐值相同,GPU65条×127帧实测最大差0;没有截短动作或降低计分精度。 run.sh末尾额外核对整套计分产物,即使存在paper_metrics.json也不会直接宣布完成。 回归测试覆盖尚未完成、样本错序、NaN和汇总表被改写的拒绝路径;不改变运行中的计分。 本轮完整性核验通过:2048条session、5377段motion、5376条检索样本;所有14列及逐样本数组有限值, 样本顺序与冻结清单一致,公式/评价器哈希一致。跟踪完整执行约77分钟,随后完成轨迹保存及计分。 旧单source结果仅作历史证据保留在outputs/ckpt_1800000/,不是当前结果。 大文件通过outputs链接至/mnt/workspace/hfd_bench_external_261013;实例重建可能丢失,迁移需复制实际目标。

迁移与后续

vendor/约11.12GiB:OMG/OmniHM代码、G1资产、v13评价器、T5-3B、HoloMotion ONNX。 是真实复制,不是外部软链接;保留许可证,来源/哈希见vendor/manifest.json。 生成使用HFD环境;计分使用OMG环境或按requirements-eval.txt配置。权重/数据不提交Git。

本轮完成后,再核查Realtime-QA-100K 和RealTimeVideo-Instruct-112K: 先确认视频可获取、去掉未来预测、与本bench按原视频去重,再造数据并小批量试训,目前尚未加入训练。

10月13日只读核查的接入注意点(尚未构建新训练包):

  • Realtime-QA-100K只发布标注和YouTube ID。实际样本的一个assistant字段可能包含多个时刻的回答更新、静默和被打断的半句话;不能直接删除时间标记后合并成问答,否则会提前使用后续画面信息。需按原时间轴提取完整、当时已有证据的回答,再核验原视频。
  • RealTimeVideo-Instruct-112K也只发布标注。官方清单包含22,493条Ego4D动作预测/QA混合样本,不能整批视为当前事实问答;31,619条来自LLaVA-Video,也不能都算新视频。接入时用rt_time,不误用较早的proact_time。
  • 两者都还没有证明“质量一定优于现用数据”。先检查合法可用视频、已观察画面证据、完整答案及bench视频去重,再决定实际纳入数量;不因数据集名字含实时就免审。

用户当前目标(原文):

你先完成benchmark的数据制作和动作质量评分吧,数据制作方面可以考虑我刚刚提的那三个视觉问答全双工的bench,看看能不能融进去。这个确认搞好以后,留一个说人话的说明文档,再搞刚刚说的新数据和试训