HFD Speech Bench — 1109 protocol

语音全双工交互时机与回答质量评测,面向已有真实模型录音。**本仓库默认入口为 speech_bench.py**。这是固定交接版 288a49c2 加已采用修正的发布包;不是新的计分器,也不包含动作评测。

阅读顺序

  1. 安装与复现:从空目录到报告。
  2. 当前正式口径:优先于旧文档的分母说明。
  3. 原公式及特殊情况:每项指标的定义和适用性。
  4. 模型接入与输入输出:动态插话、录音、时间戳和结果结构。
  5. 论文写作参考:实验设置、单位、限制及不能混淆的概念。
  6. 版本与来源、来源与许可、原始交接文档。

快速开始

git clone https://huggingface.co/Tinghong-Ye22/speech_bench_1109
cd speech_bench_1109
python3.12 -m venv .venv
source .venv/bin/activate
# GPU PyTorch版本及其余依赖见 docs/REPRODUCE.md
pip install huggingface_hub
python fetch_data.py
cp evaluation/config.example.json evaluation/config.json
# 填入自己的模型真实推理结果目录、API Key配置路径
python speech_bench.py --config evaluation/config.json --stage check
# 收费阶段需自行明确预算,不会在下载或检查时调用API
python speech_bench.py --config evaluation/config.json --stage all --api-budget-cny 25

完整1024条输入与标注固定引用同一公开源版本,fetch_data.py下载到本目录,无需访问作者服务器。仓库直接包含1024条manifest、离线reference和source groups;大体积视频/输入WAV、模型权重通过固定来源下载,不重复打包。数据下载不是重新编译:包含165条新版hesitation的编译版本已固定,勿重复替换旧数据。

发布状态

  • 原始计分函数、裁判提示和依赖锁保留;运行入口默认应用最新分母政策和restart时间修正。
  • ROMA、Aero旧成绩已撤回:推理适配尚未验收,不提供可引用的新成绩或已验证baseline复现承诺。原始示例runner仅作接口参考,不能当作已修好的部署。
  • DuplexOmni暂停,S1不能冒充完整S1/S2;本仓库不提供S2后台。
  • 不含HFD私有checkpoint、任何API Key、个人SSH、付费缓存或人工判分答案。评测已有输出不需要HFD权重;复现HFD模型本身另需相应公开模型实现与权重。
  • 语音模型/硬件环境不同不承诺逐位相同;云端裁判使用服务别名,提供商更新也可能产生差异。实际运行必须保存版本、请求响应、分母及排除记录。

源码与metadata检查、CPU策略测试结果见 发布验证。这不是新的全量GPU/API评测完成证明。不新增许可证;原第三方声明与适用条款保留。

Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support