Instructions to use Beagledata/Turn-Detection-Jev with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use Beagledata/Turn-Detection-Jev with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("audio-classification", model="Beagledata/Turn-Detection-Jev")# pip install -U transformers accelerate # Load model directly from transformers import AutoProcessor, AutoModelForMultimodalLM processor = AutoProcessor.from_pretrained("Beagledata/Turn-Detection-Jev") model = AutoModelForMultimodalLM.from_pretrained("Beagledata/Turn-Detection-Jev", device_map="auto") - Notebooks
- Google Colab
- Kaggle
Download EVALUATION.md from Beagledata/Turn-Detection-Jev: direct link, hf CLI and curl.
- Browser
- Download file 6.12 kB
-
https://huggingface.co/Beagledata/Turn-Detection-Jev/resolve/main/EVALUATION.md
- Command line
-
hf download hf://Beagledata/Turn-Detection-Jev/EVALUATION.md
-
curl -L -o EVALUATION.md https://huggingface.co/Beagledata/Turn-Detection-Jev/resolve/main/EVALUATION.md
Turn-Detection-Jev:训练与评估详情
开源发布名为 Turn-Detection-Jev。
训练数据与配置
该模型 共使用 156,925 条处理后的样本,来源为 Easy-Turn、Smart-Turn 和 MUSAN noise(OpenSLR 17 的 noise 子集)。
| 来源 | 纳入样本数 |
|---|---|
| Easy-Turn | 115,995 |
| Smart-Turn | 40,000 |
| MUSAN noise | 930 |
| 合计 | 156,925 |
| 最终标签 | train | validation | calibration | test |
|---|---|---|---|---|
listen_complete |
45,000 | 2,500 | 1,250 | 1,250 |
listen_incomplete |
22,500 | 1,250 | 625 | 625 |
listen_background |
419 | 24 | 12 | 12 |
speak_interrupt |
27,000 | 1,500 | 750 | 750 |
speak_backchannel |
23,395 | 1,300 | 650 | 650 |
speak_incomplete |
22,500 | 1,250 | 625 | 625 |
speak_background |
418 | 23 | 11 | 11 |
| 合计 | 141,232 | 7,847 | 3,923 | 3,923 |
训练过程中将五种语义按照助手实际状态拆分为七小类。
| 训练参数 | 值 |
|---|---|
| LoRA rank / alpha / dropout | 32 / 64 / 0.05 |
| 学习率 / 训练预算 | 5e-5 / 3 epochs |
| 单卡 train / eval batch size | 4 / 4 |
| 梯度累积 / 有效训练 batch | 64 / 256(本次单卡训练) |
| 精度 / 最大输入 token 数 | bfloat16 / 4096 |
| 损失 | audio_jev_ce_brier,Brier 权重 1.0 |
| warmup ratio / weight decay | 0.03 / 0 |
| 随机种子 | 0 |
| 检查点选择 | 每 100 步验证,以最低验证 NLL 选择 best |
评估结果
公开测试集:完整评估范围
结果来自 2026-11-11 完整原生 Transformers 运行 merged-20261111_051726-1672084,prompt 为 audio-jev-labels-v4、评分 head 为 lm_head、温度 T=1,未启用 calibration。两套报告均为 is_full_run=true。该运行替换主页中的历史 ms-swift 成绩,历史原始记录仍保留在代码仓库 results/reference/。
代码仓库 docs/public-benchmark.json 保存完整/共同样本的精确指标、预测文件 SHA256 和来源路径;路径均为仓库相对路径。
| 数据集 | N | 正确数 | Accuracy | 状态标签 Macro-F1 | 语义 Macro-F1 |
|---|---|---|---|---|---|
| Easy-Turn | 800 | 789 | 98.625% | 98.83% | 99.00% |
| Smart-Test-4000 | 4,000 | 3,871 | 96.775% | 96.78% | 96.81% |
公开集宏平均只覆盖有真值样本的类别。语义映射将两种 incomplete 合并为 incomplete,两种 background 合并为 invalid,speak_interrupt 对应 Easy-Turn 原始 wait。零支持类别不代表已经获得完整评估。
| 状态标签 | Easy-Turn 正确 / N | Recall | Smart-Test 正确 / N | Recall |
|---|---|---|---|---|
listen_complete |
296 / 300 | 98.67% | 1,958 / 2,000 | 97.90% |
listen_incomplete |
144 / 150 | 96.00% | 914 / 1,000 | 91.40% |
listen_background |
0 / 0 | 未评估 | 0 / 0 | 未评估 |
speak_interrupt |
100 / 100 | 100.00% | 0 / 0 | 未评估 |
speak_backchannel |
100 / 100 | 100.00% | 0 / 0 | 未评估 |
speak_incomplete |
149 / 150 | 99.33% | 999 / 1,000 | 99.90% |
speak_background |
0 / 0 | 未评估 | 0 / 0 | 未评估 |
Easy-Turn 的 listening / speaking 准确率分别为 97.78%(440/450)、99.71%(349/350);Smart-Test 分别为 95.73%(2872/3000)、99.90%(999/1000)。
共同样本上的模型参照
Easy-Turn 下表只取 complete/incomplete 的 600 条共同样本;Turn-Detection-Jev 为 589/600,与全量 800 条的 789/800 是不同范围。Smart-Test 使用固定 4,000 条子集。Turn-Detection-Jev 使用本次结果,其他模型保留历史结果。
| 数据集 | 模型 | N | 准确率 | 精准率(宏平均) | 召回率(宏平均) | F1(宏平均) |
|---|---|---|---|---|---|---|
| easyturn | TurnSense 1.1 GPU | 600 | 96.17% | 96.19% | 96.17% | 96.17% |
| easyturn | Smart-Turn 3.2 CPU | 600 | 76.00% | 78.21% | 76.00% | 75.52% |
| easyturn | Smart-Turn 3.2 GPU | 600 | 77.17% | 78.26% | 77.17% | 76.94% |
| easyturn | Qwen3-Omni-30B-A3B-Instruct | 600 | 92.33% | 93.40% | 92.33% | 92.53% |
| easyturn | Turn-Detection-Jev | 600 | 98.17% | 98.33% | 98.17% | 98.25% |
| smart-test | TurnSense 1.1 GPU | 4000 | 26.28% | 75.97% | 26.28% | 38.86% |
| smart-test | Smart-Turn 3.2 CPU | 4000 | 92.50% | 92.59% | 92.50% | 92.50% |
| smart-test | Smart-Turn 3.2 GPU | 4000 | 93.88% | 93.89% | 93.88% | 93.87% |
| smart-test | Qwen3-Omni-30B-A3B-Instruct | 4000 | 69.40% | 80.43% | 69.40% | 66.35% |
| smart-test | Turn-Detection-Jev | 4000 | 96.78% | 96.87% | 96.78% | 96.81% |
Turn-Detection-Jev 获得了按标签规则构造的助手状态,其他音频模型未获得该状态,且服务和环境不同。因此表格只作描述性参照,不能据此将差值全部归因于微调或声称同等输入条件下的优势。
评估协议与耗时
公开集使用单声道、16 kHz、末尾最多 8 秒的 PCM16 WAV 音频;短音频保留实际长度。逐条串行预测,complete 分配到 listening,interrupt/backchannel 分配到 speaking;incomplete 按样本 ID 哈希分配一半到每个状态,状态种子为 4。助手状态为构造的场景元数据,未向麦克风音频混入助手播放声音。
| 完整公开集 | 平均逐样本耗时 | P50 | P90 | 串行 samples/s |
|---|---|---|---|---|
| Easy-Turn(800) | 111.22 ms | 91.69 ms | 157.55 ms | 8.99 |
| Smart-Test(4,000) | 97.50 ms | 96.29 ms | 110.90 ms | 10.26 |
本次计时包含本地文件读取/解码、音频预处理和模型推理,不经 HTTP;未剔除首次调用开销。samples/s=样本数×1000/累计逐样本耗时,不是整轮墙钟吞吐。分位数在排序后的 (N−1)×q 位置线性插值。未测量独立 GPU kernel 耗时或真实在线打断延迟。
主页对比图中的 Easy-Turn 耗时仅对应 600 条共同样本,因此与上表 800 条的均值、分位数不同。其他模型的历史计时排除文件读取/解码,硬件和计时边界均不一致,不能作为同硬件速度排名。