File size: 13,012 Bytes
fb0074a
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
# HFD Bench · 2048个完整session

**当前状态(2026-10-13):2048条完整闭环推理、5377段动作的14列计分和最终完整性校验全部完成。**
不要把旧版单source分数当成本轮结果。正式训练、模型参数和参考仓库未修改。

## 测什么

机器人完整经历1~4轮交互,同时看视频、听指令/问题、生成动作和回答语音;不是每轮重置后分别推理。
当前先算动作质量;交互时机、VQA和语音质量以后沿用同一清单。

motion评分只取**完整执行的动作段**:被打断/Stop截断的整段动作排除,同一session其他完整动作照常算。
完整session的滑脚/抖动仍保留,包括idle、listen和状态切换。
hesitation按最终执行指令评分;第三方谈话、backchannel、VQA和Stop文本不充当动作语义。

## 数据规模

从正式val划分的10,055个自然session中按任务、轮数、音色、语义粗类、时长和提问可插入时间分层选取。
只依据GT,不依据模型成绩。

| 项目 | 数量 |
|---|---:|
| 完整session | 2048 |
| turn-taking | 342 |
| interruption / stop | 171 / 171 |
| backchannel / hesitation / pause / third-party | 各341 |
| 1 / 2 / 3 / 4轮 | 210 / 561 / 624 / 653 |
| 动作源出现次数 / 不同动作源 / 不同最终英文指令 | 5816 / 4502 / 1626 |
| 完整motion / 被打断 / 被Stop截断 | 5377 / 268 / 171 |
| 视觉QA / 不同视频 / 视频占比 | 66 / 53 / 100% |
| 八音色变体 / 每种音色session数 | 528 / 229~282 |
| session时长:最短 / 中位 / 最长 | 11.18 / 41.18 / 157.98秒 |

用户指令和视觉问题在同一session内同音色;third-party背景说话人保持原任务设计。
同一视觉题最多复用64次,**2048条session不是2048道独立视觉题**。视觉规模仍偏小。
后续VQA置信区间应按原题/视频分组;动作源重复也要披露,不能与旧2048独立动作源直接比高低。

## 外部视觉数据与审核

| 来源 | 本轮处理 |
|---|---|
| [OVO-Bench](https://github.com/JoeLeelyf/OVO-Bench) | 使用当前/历史事实题,保留原提问时刻和此前完整视频;排除未来预测、未确认权限的来源。 |
| [Omni-DuplexEval](https://github.com/OpenBMB/Omni-DuplexEval) | 持续描述、事件提醒不等于单次QA;留作后续时机评测,不硬改成事实问答。 |
| [LiveSports-3K-CC](https://huggingface.co/datasets/stdKonjac/LiveSports-3K) | 解说含画面外知识,不直接当视觉事实GT;同仓库QA子集不冒充CC。 |

OVO 1640条顶层标注 → 281题结构筛选 → 277题媒体合格 → 116题机器审核通过。
加上八音色翻译/TTS/独立ASR等检查,首轮可用85题;原清单选入73题。
再逐题查看带时间戳的已观察前缀抽帧,保留66题,剔除7题答案矛盾或证据不足的题目。
例如标准答案“15”与画面/盲答“ADWEEK ORIGINALS”冲突,却被机器判为等价,现已否决。
这是Codex直接看图复核,**不是人类逐帧标注**;个别措辞精度限制已记录,不能证明每一帧绝无错误。

与33,189个训练视频做源ID、文件哈希和抽样画面比对,隔离4个疑似重复视频。
不保证穷尽裁剪/重编码重复,也不保证与基础模型预训练零重叠。
动作沿用正式source划分,近似动作家族不保证隔离;OMG v13评价器训练包含SEED,需要披露。

问题改成语音,**说完时刻等于原题提问时刻**;视频从原0秒连续输入,必须覆盖整个session,
不定格尾帧、不裁掉历史,不覆盖原指令/交互事件。模型按0.4秒packet回答,可能稍晚,视频继续播放。
这是**HFD语音开放问答改造版**,不是原OVO选择题/固定截断协议,不能报作其官方成绩。

## 推理与指标口径

使用 `hfd.gpus4.2610100010-thirdparty / ckpt_1800000`。
调用正式闭环推理:Qwen每0.4秒更新、10步flow、生成动作回填RTC。
仅首帧用部署初始化姿态;不给后续GT动作、状态、时长或指令文本。
回答是模型原生语音,绝不用GT TTS替代;失败和重复回答保留。离线排队墙钟时间不是实时latency指标。

本轮共生成2188段可用回答:89条session没有可用回答,1762条恰好一次,197条多次回答;
17条session记录了语音生成到长度上限仍未结束的失败。没有可用回答与失败样本可能重叠,不能直接相加。
以上仅是输出次数/生成完整性,**不是VQA正确率**;所有2048条仍保留在动作评测中。

40维输出经正式解码还原为36维物理动作。按固定GT时间轴切段;50→30fps使用位置/关节线性插值、
四元数SLERP。不平滑、不重对齐朝向、不DTW。tracking只跑motion一次,全程/阶段另算滑脚和Jerk。

直接调用vendor中的OmniHM/OMG公式。原32条迁移复算14列完全一致,见 `outputs/portability_check.json`。

| 指标 | 原实现含义/单位 |
|---|---|
| FID ×100 | 动作嵌入分布距离:`||μGT−μgen||² + tr(ΣGT+Σgen−2sqrt(ΣGTΣgen))` |
| Matching | 配对动作/文本嵌入平均欧氏距离 |
| R@1/2/3 | 32个候选文本中的配对检索比例,不是动作成功率 |
| Diversity | 300对不同生成嵌入平均欧氏距离,seed1234 |
| C-Slide ×10 | 连续接地脚底代理点最大水平速度,按有效接地项平均,m/s |
| Jerk | FK身体位置三阶差分范数平均乘`fps³`,m/s³ |
| MPJPE / g-MPJPE | 执行与生成目标的根相对/世界坐标身体位置误差,mm |
| E_vel / E_acc | 执行与目标的一/二阶位置差分误差,mm/frame、mm/frame² |
| Fall | 原高度/倾角条件连续触发≥11个50Hz帧的序列比例 |
| J-Limit | 出现超关节限位1e-4rad状态的序列比例 |

Tracking是**执行 vs 生成目标**,不是生成 vs GT。HoloMotion v1.2、50Hz、10物理子步、action clip10;
不做四种tracker择优,不冒称论文Best Tracking Score。接地高度0.12m、穿地容差0.02m原样保留。
全程含切换;分阶段不跨断开的区间求差分,内部按帧数加权再对session平均。GT同步算,避免误读“滑脚少=动作好”。

5377段都进入FID、Matching、物理和tracking;R@只用完整32条批次,尾部1条不计R@。
重复指令会影响候选难度/并列排名,必须披露;公式不改。测试集不同,不能直接和论文数字比高低。

## 完整动作评分

同一模型 `ckpt_1800000`,一次完整闭环运行;不是多次运行择优。以下14列直接读取原生计分产物:

| 指标 | 结果 | 指标 | 结果 |
|---|---:|---|---:|
| FID ×100 ↓ | 7.616 | Matching ↓ | 1.3018 |
| R@1 ↑ | 22.34% | R@2 ↑ | 35.32% |
| R@3 ↑ | 43.79% | Diversity | 1.2331 |
| C-Slide ×10 ↓ | 2.6200 | Jerk ↓ | 126.96 |
| MPJPE ↓ | 38.53 mm | g-MPJPE ↓ | 143.11 mm |
| E_vel ↓ | 3.2712 mm/frame | E_acc ↓ | 1.3104 mm/frame² |
| Fall ↓ | 0.1302%(7/5377) | J-Limit ↓ | 5.9327%(319/5377) |

这说明该跟踪器执行这些生成动作时较少摔倒,**不表示动作语义正确或整段交互成功**。
限位是执行轨迹上超过原实现阈值的序列占比,不是违规帧比例;不能把7条摔倒或319条限位删掉后重算。

### 和同一批GT对照

| 指标 | 模型 | 同一批GT |
|---|---:|---:|
| motion FID ×100 ↓ | 7.616 | — |
| motion Matching ↓ | 1.3018 | 1.2829 |
| motion R@1 / R@2 / R@3 ↑ | 22.34% / 35.32% / 43.79% | 32.09% / 45.96% / 55.06% |
| 完整session Jerk ↓ | 118.40 | 27.04 |
| idle / listen Jerk ↓ | 104.30 / 109.45 | 6.43 / 1.70 |
| 完整session接地滑速(m/s)↓ | 0.1795 | 0.1676 |

前3行来自最终motion计分及同一vendor的GT检索诊断;后3行来自`phase_physics.json`。
动作质量的明显问题是抖动,idle/listen也存在,并非只发生在motion。
GT检索也不到100%,说明它不是动作成功率;重复/近义指令、评价器能力都会影响数值。
这里没有同一批输入上的旧模型对照,不能据此归因于VQA或宣称比旧模型好/差。
完整session与motion切片的统计对象不同,不能把两表的Jerk/滑脚数值混用。
例如完整session的Jerk是GT的约4.38倍;idle/listen尤其突出,值得后续定位,但本轮不改模型或loss。

## 运行与文件

```bash
bash benchmark/run.sh
```

默认四卡、每卡3个worker;完整生成后统一审计、计分,不平均分片FID。H200实测利用率约98%~100%。
小显存机器可降低`WORKERS_PER_GPU`。重跑跳过完成结果;脚本不杀其他任务、不启动训练。

- `outputs/sessions2048/manifest.json`:冻结输入、source切片、时钟、SHA256。
- `outputs/session_ckpt_1800000/generated/`:动作、状态、模型回答声音、失败记录。
- `outputs/session_ckpt_1800000/audit.json`:全量完成后核验划分、文件、checkpoint、覆盖率。
- `outputs/session_ckpt_1800000/eval/motion/paper_metrics.json`:最终14列,已完成。
- `outputs/session_ckpt_1800000/eval/phase_physics.json`:全程/分阶段结果,已完成。
- `outputs/session_ckpt_1800000/eval/result_audit.json`:最终14列、样本顺序/数量、原生公式汇总和文件来源核对,`complete=true`。
- 预览:`generated/<sample_id>/preview/model_session_with_audio.mp4`,明确标注MODEL OUTPUT而非GT。

复核保留1891条同输入session,替换157条;249条已完成推理经哈希验证复用。
`revision.py`记录原清单/结果哈希,拒绝复用改变过的输入。24项测试通过。
全量审计已核验2048条、5816次动作源出现、543个外部资产文件;参考动作没有缺失帧。
每条生成多出的末尾1帧不计分,其余按固定GT时间轴评分。
10月13日修正计分入口的32整除限制:只在HFD适配层放开数量检查,vendor源码和指标公式不改。
真实5377条输入校验通过;回归验证32条时结果完全相同、33条时Matching仍用全部33条,
且尾部样本仍接受身份/标签/四元数/长度校验。原失败痕迹保留,续跑只做计分,不重复生成。
5377条同时做FK时曾占满H200显存,现仅把FK按32条分批,时间维度/首帧锚点/公式不改。
CPU三种动作表示回归逐值相同,GPU65条×127帧实测最大差0;没有截短动作或降低计分精度。
`run.sh`末尾额外核对整套计分产物,即使存在`paper_metrics.json`也不会直接宣布完成。
回归测试覆盖尚未完成、样本错序、NaN和汇总表被改写的拒绝路径;不改变运行中的计分。
本轮完整性核验通过:2048条session、5377段motion、5376条检索样本;所有14列及逐样本数组有限值,
样本顺序与冻结清单一致,公式/评价器哈希一致。跟踪完整执行约77分钟,随后完成轨迹保存及计分。
旧单source结果仅作历史证据保留在`outputs/ckpt_1800000/`,不是当前结果。
大文件通过outputs链接至`/mnt/workspace/hfd_bench_external_261013`;实例重建可能丢失,迁移需复制实际目标。

## 迁移与后续

`vendor/`约11.12GiB:OMG/OmniHM代码、G1资产、v13评价器、T5-3B、HoloMotion ONNX。
是真实复制,不是外部软链接;保留许可证,来源/哈希见`vendor/manifest.json`。
生成使用HFD环境;计分使用OMG环境或按`requirements-eval.txt`配置。权重/数据不提交Git。

本轮完成后,再核查[Realtime-QA-100K](https://huggingface.co/datasets/OpenMOSS-Team/Realtime-QA-100K)
和[RealTimeVideo-Instruct-112K](https://huggingface.co/datasets/zeyun-zhong/RealTimeVideo-Instruct-112K):
先确认视频可获取、去掉未来预测、与本bench按原视频去重,再造数据并小批量试训,目前尚未加入训练。

10月13日只读核查的接入注意点(尚未构建新训练包):

- Realtime-QA-100K只发布标注和YouTube ID。实际样本的一个assistant字段可能包含多个时刻的回答更新、静默和被打断的半句话;不能直接删除时间标记后合并成问答,否则会提前使用后续画面信息。需按原时间轴提取完整、当时已有证据的回答,再核验原视频。
- RealTimeVideo-Instruct-112K也只发布标注。官方清单包含22,493条Ego4D动作预测/QA混合样本,不能整批视为当前事实问答;31,619条来自LLaVA-Video,也不能都算新视频。接入时用`rt_time`,不误用较早的`proact_time`。
- 两者都还没有证明“质量一定优于现用数据”。先检查合法可用视频、已观察画面证据、完整答案及bench视频去重,再决定实际纳入数量;不因数据集名字含实时就免审。

用户当前目标(原文):
> 你先完成benchmark的数据制作和动作质量评分吧,数据制作方面可以考虑我刚刚提的那三个视觉问答全双工的bench,看看能不能融进去。这个确认搞好以后,留一个说人话的说明文档,再搞刚刚说的新数据和试训