HFD 视频语音问答:DuplexOmni / ROMA / Aero
2026-11-04 交付版:共用 1024 条输入、在线动态 Interruption/Backchannel 推理代码、完整测评代码和正式测评协议。不测动作输出。
接手运行三个模型的 Codex 请先读根目录的项目交接与执行顺序,再按本文安装和运行各模型,按测评 README完成计分。
本版替换旧数据。全部样例移除对 HFD 动作/会话结束时间的尾部补齐,只保留有效输入后的 3 秒末帧静音槽。不再采用“只处理额外尾帧超过 0.2 秒”的筛选规则;该筛选仅用于此前节省重跑时间。
下载与目录
hf download HMYF/HFD_DuplexOmni_ROMA_Aero --local-dir HFD_DuplexOmni_ROMA_Aero
cd HFD_DuplexOmni_ROMA_Aero
HANDOFF_FOR_CODEX.md # 项目交接与执行顺序
data/
manifest.jsonl # 唯一正式入口,1024 条
videos/ # 1024 个 H264/AAC、5 fps 视频
adapters/ # 1024 个 adapter,每条仅一份
input_audio/ # 去重的用户问题/指令 WAV,运行时动态混音
evaluation_reference.jsonl # 仅供测评,推理代码不读取
compilation_audit.json # 时长、来源和编译校验
independent_verification.json # 逐条媒体核验
code/
run_roma_adaptive.py
roma_backend.py / roma_native_speech.py
roma_official.py # 官方 Speak Head、源码及已训练权重核验
roma_concurrent.py # 独立输入采集、thinker 和原生语音任务
aero/run_aero_adaptive.py
aero/aero_server.py / tts_server.py / qwen3_tts_bridge.py
duplexomni/run_duplex_adaptive.py
duplexomni/orchestrator_completion.py
hfd_runtime/ # 共用调度、真实输入/输出音轨记录
compile_vqa_tail3s.py / verify_data.py
evaluation/ # 可配置的新模型评测、固定指标、协议
tests/ # 调度、传输、实际音轨保存测试
所有数据路径相对 data/manifest.jsonl 所在目录。不要沿用旧 data_hesitation_1030 或嵌套的重复 adapter。运行时需要完整 input_audio/,不能只拷 MP4。
输入与动态 Interruption/Backchannel
任务数量:turn-taking 199;pause、hesitation、interruption、backchannel、third-party 各 165。Hesitation 保留重新编译的“未完成前缀 + 完整改口问题”语音。
有效画面结束取既有视频视图长度和偏移;有效输入结束取画面结束与最后用户输入结束的较晚者,之后加 3 秒末帧静音。以 5 fps 帧边界向上取整,另外产生不足 0.2 秒误差。编译显式冻结末帧;不从旧 MP4 的总时长倒推有效画面,不读取动作结束时间。现有画面起点保留,不另换源视频裁剪。视频统一重新编码为 H264 CRF 18,音频从原用户 WAV 重建。
Interruption、Backchannel 的 MP4 音轨均只预放原问题:Interruption 的新问题/指令、Backchannel 的语气词由 runner 在原回答实际发声后动态播放。因此不能把这两个任务的 MP4 音轨直接当作完整固定输入流。Third-party 的随机干扰音仍在固定时间播放;其他任务包含全部实际输入事件。
以下调度同时适用于 Interruption 和 Backchannel;前者的后续语音是新问题或停止/重答指令,后者是原有语气词音频。
- 播放原问题,暂不播放后续语音。
- 旧问题内容结束后,等实际输出语音开始。连续 60 毫秒 WebRTC VAD 发声确认后,在尚未提交的输入范围内立即插入后续语音;不以文字 token 触发。已知在旧问题开始前生成的语音,即使排队播放跨过问题结束,也不能触发这次打断。
- 新语音整体平移,保存实际时刻;正向平移量加入输入尾部观察时间。输入块边界另有各模型原生步长的取整。
- 若模型提前发声,插入仍不早于旧问题内容结束;最多等待 30 秒。超时不播放尚未触发的新问题,记录
no_voice_timeout,不把未提出的新问判错。 - 新问题到来不会由客户端直接删除、截断或取消旧回答 PCM。停止效果由实际返回并播放的语音决定。
DuplexOmni 模型自身返回原生 [STOP] 时,按官方播放端行为清空尚未播放的音频队列;已播放部分不变,完整原始音频包另存。触发停止的是模型输出的控制字段,客户端不会因听到新问题就代替模型停止。
当前 165 条 Interruption 每条都只有一对旧/新输入;共用控制器已测试一条含两对的调度。replace 换问题,restart 要求重答,stop-only 只要求停止。
时间来自实际输入媒体和输出 PCM 播放队列。ROMA 的并发 thinker/原生语音、Aero 的异步模型/外部 TTS、DuplexOmni 的 HTTP/原生 talker 各保留来源记录。ROMA 按真实时钟持续采集输入,另存模型处理和 PCM 可用时刻;不把函数耗时直接当作语音播放长度。Aero 异步输入截止时间仅是最近提交输入的上界;ROMA 每段语音记录其源 thinker 输入块的精确截止点。
权重与官方源码
权重不随本仓库分发。此前本地服务器的 ROMA/Aero 权重已清理,师兄须自行下载。
| 模型 | 官方权重 | 固定权重 revision | 官方代码 |
|---|---|---|---|
| ROMA | EurekaTian/ROMA | cc245ea5dab25a39fa6a12a7e6dc7405eebd9254 |
Eureka-Maggie/ROMA |
| Aero | kcz358/aero-realtime-4B | f69c337b146c2b42aa414a8c21fdca8f0f66cb2f |
kcz358/aero-realtime |
| DuplexOmni | MuyeHuang/DuplexOmni | 运行时记录实际 snapshot | MuyeHuang/DuplexOmni |
| Aero 外部 TTS | Qwen3-TTS-12Hz-0.6B-CustomVoice | 运行时记录实际 snapshot | Qwen3-TTS |
hf download EurekaTian/ROMA --revision cc245ea5dab25a39fa6a12a7e6dc7405eebd9254 --local-dir weights/ROMA
hf download kcz358/aero-realtime-4B --revision f69c337b146c2b42aa414a8c21fdca8f0f66cb2f --local-dir weights/aero
hf download Qwen/Qwen3-TTS-12Hz-0.6B-CustomVoice --local-dir weights/Qwen3-TTS
hf download MuyeHuang/DuplexOmni --local-dir weights/DuplexOmni
各模型使用独立环境;共用客户端依赖见根目录 requirements.txt。正式推理保持完整权重、原生上下文、原生采样配置;ROMA、DuplexOmni 用原生语音头,Aero 明确使用外部 TTS。推荐在显存充足的服务器先各跑一条并检查实际音轨,再全量运行。
ROMA:在线原生 two-stage
沿用官方自主发声演示的 Speak Head 与文字续答流程,保留原生 thinker、talker/token2wav 和完整上下文,以三个独立任务运行:
- 输入每 20 毫秒按真实时钟采集,完整保存音视频,不等待语音生成。
- thinker 按原生 1 秒、两帧的粒度持续处理输入,单独维护会话 KV;已训练 Speak Head 判断是否发声,未触发时不调用文字生成或语音生成。
- 原生语音 worker 读取每次输出的只读 hidden states / token 快照,在独立 CUDA stream 中生成语音;后续 thinker 输入不等待它返回。
不会只把新输入堆入队列就声称已处理:concurrency_trace.json 分别记录输入到达、thinker 开始/完成、语音开始/完成,以及处理积压和延迟;roma_live_status.json 可在运行中查看。当前语音头仍保留原生每段完整波形的解码方式;生成一段语音期间,输入采集和 thinker 继续运行。模型原始参数、原生采样、完整 KV 和上下文保留,不额外递题目文字。
Speak Head 使用最后四层 hidden states 的已训练加权混合,再经过官方两层 MLP 和 sigmoid;概率严格大于 0.975 才触发。启动时核对固定源码哈希,并逐项核验已加载的门控参数与权重文件一致,缺失或随机初始化均报错。0.975 来自作者公开的 narration 演示,沿用于本次 HFD;作者没有在该演示中提供 HFD 专用阈值。不会读取问题结束标注来强制模型发声。改动 --gate-threshold 或文字预算会另记配置身份,不能复用原配置结果。
文字生成直接调用官方分支的 model.generate(),每段最多 25 个贪心 token。达到预算但没有生成 <|im_end|> 时,按官方流程写入 <|endoftext|><|im_end|>,接收后续输入后再由 Speak Head 决定续答。真正生成 <|im_end|> 才结束该次逻辑回答;静默输入块不会使未完回答丢失。角色标记、文字 token 和 KV 逐项保持一致,不把人工续答标记送入语音合成,也不在连续用户输入块之间重复插入用户角色前缀。日志保留门控概率、触发结果、续答标记和逻辑回答编号。
所核对的官方演示使用 return_audio=False,因此原生语音输出与并发调度是本仓库为视频语音任务增加的适配。正式默认沿用官方 FlashAttention 2;若环境不支持则报错,不自动换内核。仅在显式传入 --attn-implementation sdpa 时使用兼容配置,并单独记录模型身份。完整权重、上下文及原生语音采样不缩减。
源码固定 ROMA e5bced66527a18c80e9dffe3a426f107a0bb027c;原生 Transformers 分支固定 Eureka-Maggie/transformers 24ff780fcbb04b5e0b8dc909a1210496290a95a3。按官方 ROMA 安装依赖,并将该 Transformers 分支放在 vendor/transformers-roma;runner 优先加载它。
git clone https://github.com/Eureka-Maggie/ROMA third_party/ROMA
git -C third_party/ROMA checkout e5bced66527a18c80e9dffe3a426f107a0bb027c
git clone https://github.com/Eureka-Maggie/transformers third_party/ROMA/vendor/transformers-roma
git -C third_party/ROMA/vendor/transformers-roma checkout 24ff780fcbb04b5e0b8dc909a1210496290a95a3
# 在 ROMA 专用环境安装官方依赖(含 FlashAttention 2)及本仓库客户端依赖后:
python code/run_roma_adaptive.py --roma-source third_party/ROMA --model-path weights/ROMA \
--manifest data/manifest.jsonl --output-root results_roma --gate-threshold 0.975 --limit 1
# 检查后去掉 --limit 1,继续全量。
原生输入步长 1 秒、每秒 2 帧、每块最多 25 个贪心文字 token;原生 talker 配置保存在 roma_native_speech.py。代码与配置哈希参与结果指纹,旧串行或未使用 Speak Head 的结果不能冒充本配置续跑。run_streaming_pilot.py 保留为兼容入口,调用新实现。
正式运行将完整模型驻留在师兄的大显存 GPU 上。当前并发调度已通过“语音任务被阻塞时,后续输入仍进入 thinker”回归测试;完整权重运行和持续实时吞吐须在师兄的 GPU 上用 --limit 1 验证。输入延迟与模型处理积压会如实记录;线程并发通过不等于完整模型已达到实时速度。
Aero:音视频输入与真实外部 TTS 触发
Aero 源码固定 837fd01976ea56b67f7c8cdfcb6baee40e695d42,其 kcz358/vllm-omni 固定 81b1c2c2b1a08f6a14b6fdc30c5e0735d7dfe0ae。按 Aero 官方环境或推理 Docker 安装;TTS 单独环境使用 qwen-tts==0.1.1,并安装本仓库 code/aero/qwen_tts_fork/ 的流式实现,避免与 Aero 的 Transformers 版本混装。
本仓库以全双工 VQA baseline 为目标:视频与实际用户语音输入、实际回答语音输出,持续处理输入。Aero 沿用官方在线演示支持的外部流式 Qwen3-TTS 路线,结果应标为 Aero + Qwen3-TTS,不把外接语音称为模型自带语音头。原生输入缓冲、反馈及生成逻辑与该官方服务保持一致:每 80 毫秒预测一个文字或静音 token,温度 0、top-p 1、top-k -1、种子 42,完整上下文 262144。GPU 分配可按设备调整,实际模型、部署配置、采样及源码身份保存在运行记录中。
每 80 毫秒发送实际音频,每秒发送一帧视频;不附加题目文字,服务端会拒绝文字输入。文字 delta 立即交 TTS,实际 TTS PCM 发声才触发新问题。播放端使用 80 毫秒 PCM 缓冲,完整保留短 codec 包及末尾残包。TTS 连续 300 毫秒没有新文字时结束当前文字片段以释放短答案语音,连接继续保留;不在新问题出现时强行结束片段或切掉旧 PCM。
# TTS 环境,建议单独 GPU;使用本仓库流式 qwen_tts fork。
python code/aero/tts_server.py --model weights/Qwen3-TTS --device cuda:1 --port 8091 \
--emit-every-frames 1 --decode-window-frames 80 --idle-flush-ms 300 --seed 0
# Aero 环境,保留完整 262144 上下文。
python code/aero/aero_server.py --model weights/aero \
--deploy-config /path/to/vllm-omni/vllm_omni/deploy/aero_realtime.yaml \
--gpu-memory-utilization 0.9 --max-model-len 262144 --port 8090
python code/aero/run_aero_adaptive.py --manifest data/manifest.jsonl --output-root results_aero \
--url ws://127.0.0.1:8090/v1/aero/realtime --tts-url ws://127.0.0.1:8091/v1/tts/stream --limit 1
run_aero_online_batch.py 是兼容入口。TTS fork 安装方式及版本见 TTS_SETUP.md。本地 32GB GPU 的完整 Aero 启动失败:262144 上下文需要约 36GiB KV 缓存,超出此卡容量;没有用缩小上下文/量化的测试替代正式配置。真实 TTS 与动态插入链路另有独立测试,不能据此声称完整 Aero 模型已跑通。
输入在对应音频块完整到达后按真实时钟发送;模型和 TTS 接收任务独立运行,不等待整句回答结束才发送下一块输入。concurrency_trace.json 记录输入发送、模型输出和实际 TTS PCM 到达时间。服务端 input.ack 只表示输入已排队,不能当成模型已经完成处理。80 毫秒播放缓冲、300 毫秒文字空闲刷新是本任务的客户端语音适配,保留全部返回音频,不使用用户声音自动切断模型输出。TTS 正式解码窗口沿用官方默认 80 帧;此前本地接口测试使用过 20 帧,该测试不作为正式配置完整模型通过的证据。
DuplexOmni:官方 S1/S2 与原生语音
按官方说明部署 thinker、原生 talker。接口源码固定 33bfba1a821b09c5aa66790944f9098584979d34。用下面的完成确认启动器替代官方 server_orchestrator.py 的直接启动;它校验源码哈希,只增加队列完成/错误通知,不改模型、采样或音频字节。
python code/duplexomni/orchestrator_completion.py \
--source /path/to/DuplexOmni/inference_framework/realtime_serving/serving_core/server_orchestrator.py \
--weights-dir /path/to/the/checkpoint/loaded/by/both/services --port 21000
python code/duplexomni/run_duplex_adaptive.py --manifest data/manifest.jsonl \
--output-root results_duplexomni --url http://127.0.0.1:21000 \
--model /path/to/official/served/model \
--official-s2-source /path/to/DuplexOmni/inference_framework/realtime_serving/simulate_video_v8.py \
--s2-base-url http://127.0.0.1:8000/v1 --s2-model YOUR_SERVED_S2_MODEL \
--s2-revision YOUR_EXACT_S2_CHECKPOINT_REVISION --limit 1
输入采用官方 480 毫秒音频块、每 4 块一帧和固定系统提示。没有额外题目文字;结构字段中的固定文字只是官方输入格式。默认启用官方 System2Agent,复用固定源码的提示、采样和控制逻辑;它接收实际 S1 转写、语音反馈和已到达的最近视频帧。须先按官方说明部署 S2,再明确填写其端点、模型和权重 revision;没有默认外部付费端点。鉴权如有需要,通过 S2_API_KEY 环境变量传入,不写入结果。
输入采集每 20 毫秒按真实时钟继续,随后原样拼为官方 480 毫秒 S1 输入块,视频仍为每 4 块一帧。采集、串行 S1 HTTP、原生 talker 接收和后台 S2 分开运行;既不等待语音说完,也不因等待 S2 停止接收下一块输入。S1 保留官方 temperature=0.01、max_tokens=999、stream=False 和同一会话上下文。每段音频绑定产生它的 S1 文字及输入截止点,PCM 播放不得早于实际可用时间。S2 使用对应 S1 时刻的画面快照,不能读取后来的画面。处理积压和实际时间保存到 concurrency_trace.json;这些客户端检查不代替完整模型的实时吞吐验证。
仅测试 S1 时显式传 --s2-mode disabled,该结果须标为 DuplexOmni-S1 消融,不能作为完整 S1/S2 配置。S2 调用轨迹和模型身份保存在结果中。播放端遵循原生 [STOP],完整原始语音包保留,assistant_audio.wav 只包含实际播放的部分;不拉伸语音,也不因新用户输入自动截断旧回答。该接口、S2 调用及停止控制已做替身接口测试,完整模型仍需在师兄服务器验证。
Aero / DuplexOmni 的官方配置对照与适配范围见 validation/aero_duplex_audit.json。
各任务实际计算的指标、公式及 stop-only 等特殊情况的取值见测评协议。
结果交付和测评
论文中 MiniCPM-o 4.5、Venus、Gander 的指标可用 CPU 重算。归档包括逐样例转写、对齐、裁判证据及三个模型的原始答音和推理日志,具体方法见指标复现和实现说明。
每个模型保存整套 results_<model>/:每条有 results.json、status.json、assistant_audio.wav、dynamic_input.wav、packets/;目录根有 run_config.json、batch_status.json。保存媒体秒、语音包、问题插入记录和来源哈希。失败重试存入 previous_attempts/;只有配置指纹和输出哈希一致的成功结果才复用。
完整测评入口:evaluation/README.md。正式协议:evaluation/PROTOCOL.md。项目结构、三模型推理到测评的执行步骤、转写/切分/对齐和恢复方式见 Codex 项目交接;下载后可执行 python3 evaluation/check_delivery.py 检查源码是否齐全。摘要规则:
- Pause/Hesitation 不统计 Response Latency。
- Interruption 抢答及 stop-only 的指标取值以测评协议第 5 节表格为准。
- 只有 H/I 使用额外 VLM/Omni Flash 归属和必要的段内切分;只答旧问题或只答新问题均保留完整回答,不强行切成两类。
- Whisper + Omni Flash 两路后仍无法判定的模型×样例,从全部指标分子和分母中排除,保存数量与证据;不调第三个语音模型,不记 AnswerAcc=0。
- Backchannel 计算 Resume、TOR。Resume 要求不另起实质回答;语气词期间自然完成原回答也可计成功。需要时由 Qwen3-VL-Plus API 用原问题和实际转写复核完成性,未决不强记 0。
- Third-party 计算 FinalAcc、TOR。FinalAcc 看最后新启动的实质回答是否属于原问题;TOR 看是否在原问题问完后新启动过实质回答,不要求等随机干扰音结束。
- 交互表覆盖全部任务,回答质量按模型跨任务汇总。AnswerAcc 正确性未决的问答仅从该指标分子、分母排除,其他指标正常计算,另存
answeracc_excluded_cases.jsonl。原基础指标文件及哈希不变,当前规则在外层应用。
Backchannel 不再计算 Respond,Third-party 不再计算 Resume、Respond。两任务的归属与回答角色仍由原仓库 Qwen3-4B 判断,不追加 VLM/Omni 归属复判;保留现有转写与判断误差。Turn-taking 原有 TOR 定义不变。
已完成的 MiniCPM、Venus、Gander 总评分报告(HTML)包含全部任务、全局回答质量和正式协议。这是先前三模型的结果,不能作为待跑 ROMA、Aero、DuplexOmni 的分数或评测输入。
语音指标雷达图
MiniCPM-o 4.5、Venus、Gander,含16项语音交互和5项回答质量指标;各任务用彩色弧形色块分区。统一越外越好;Venus AnswerAcc 为45.02%(452/1004,另2条正确性未决排除)。
矢量 PDF · 可编辑 SVG · 绘图代码、数据与刻度说明
python -m unittest discover -s tests -v
python -m unittest discover -s evaluation -p 'test_*.py' -v
数据在服务器编译;本机只接收编译产物和发布。编译、核验、模型测试的最终状态见 VALIDATION.md。旧编译入口已移除。需要在服务器复现时,先下载旧提交 5db9f11cc5648f5529a5393baf9088c0312c8f6e 的 data/ 作为只读视频源,再运行:
python code/compile_vqa_tail3s.py --source-data /path/to/old_snapshot/data \
--source-aux data/compilation_sources --output-data /path/to/data_rebuilt
python code/verify_data.py --manifest /path/to/data_rebuilt/manifest.jsonl \
--source-data /path/to/old_snapshot/data --report /path/to/verification.json
复现只依赖本版给出的用户 WAV、标注和编译元数据,以及固定旧提交的视频源,不需要模型答案音轨或动作数据。
