Turn-Detection-Jev / EVALUATION.md
Beagledata's picture
add readme (#1)
8951ee4
|
Raw History Blame Contribute Delete
6.12 kB

Turn-Detection-Jev:训练与评估详情

返回模型主页

开源发布名为 Turn-Detection-Jev。

训练数据与配置

该模型 共使用 156,925 条处理后的样本,来源为 Easy-Turn、Smart-Turn 和 MUSAN noise(OpenSLR 17 的 noise 子集)。

来源 纳入样本数
Easy-Turn 115,995
Smart-Turn 40,000
MUSAN noise 930
合计 156,925
最终标签 train validation calibration test
listen_complete 45,000 2,500 1,250 1,250
listen_incomplete 22,500 1,250 625 625
listen_background 419 24 12 12
speak_interrupt 27,000 1,500 750 750
speak_backchannel 23,395 1,300 650 650
speak_incomplete 22,500 1,250 625 625
speak_background 418 23 11 11
合计 141,232 7,847 3,923 3,923

训练过程中将五种语义按照助手实际状态拆分为七小类。

训练参数 值
LoRA rank / alpha / dropout 32 / 64 / 0.05
学习率 / 训练预算 5e-5 / 3 epochs
单卡 train / eval batch size 4 / 4
梯度累积 / 有效训练 batch 64 / 256(本次单卡训练)
精度 / 最大输入 token 数 bfloat16 / 4096
损失 audio_jev_ce_brier,Brier 权重 1.0
warmup ratio / weight decay 0.03 / 0
随机种子 0
检查点选择 每 100 步验证,以最低验证 NLL 选择 best

评估结果

公开测试集:完整评估范围

结果来自 2026-11-11 完整原生 Transformers 运行 merged-20261111_051726-1672084,prompt 为 audio-jev-labels-v4、评分 head 为 lm_head、温度 T=1,未启用 calibration。两套报告均为 is_full_run=true。该运行替换主页中的历史 ms-swift 成绩,历史原始记录仍保留在代码仓库 results/reference/。

代码仓库 docs/public-benchmark.json 保存完整/共同样本的精确指标、预测文件 SHA256 和来源路径;路径均为仓库相对路径。

数据集 N 正确数 Accuracy 状态标签 Macro-F1 语义 Macro-F1
Easy-Turn 800 789 98.625% 98.83% 99.00%
Smart-Test-4000 4,000 3,871 96.775% 96.78% 96.81%

公开集宏平均只覆盖有真值样本的类别。语义映射将两种 incomplete 合并为 incomplete,两种 background 合并为 invalid,speak_interrupt 对应 Easy-Turn 原始 wait。零支持类别不代表已经获得完整评估。

状态标签 Easy-Turn 正确 / N Recall Smart-Test 正确 / N Recall
listen_complete 296 / 300 98.67% 1,958 / 2,000 97.90%
listen_incomplete 144 / 150 96.00% 914 / 1,000 91.40%
listen_background 0 / 0 未评估 0 / 0 未评估
speak_interrupt 100 / 100 100.00% 0 / 0 未评估
speak_backchannel 100 / 100 100.00% 0 / 0 未评估
speak_incomplete 149 / 150 99.33% 999 / 1,000 99.90%
speak_background 0 / 0 未评估 0 / 0 未评估

Easy-Turn 的 listening / speaking 准确率分别为 97.78%(440/450)、99.71%(349/350);Smart-Test 分别为 95.73%(2872/3000)、99.90%(999/1000)。

共同样本上的模型参照

Easy-Turn 下表只取 complete/incomplete 的 600 条共同样本;Turn-Detection-Jev 为 589/600,与全量 800 条的 789/800 是不同范围。Smart-Test 使用固定 4,000 条子集。Turn-Detection-Jev 使用本次结果,其他模型保留历史结果。

数据集 模型 N 准确率 精准率(宏平均) 召回率(宏平均) F1(宏平均)
easyturn TurnSense 1.1 GPU 600 96.17% 96.19% 96.17% 96.17%
easyturn Smart-Turn 3.2 CPU 600 76.00% 78.21% 76.00% 75.52%
easyturn Smart-Turn 3.2 GPU 600 77.17% 78.26% 77.17% 76.94%
easyturn Qwen3-Omni-30B-A3B-Instruct 600 92.33% 93.40% 92.33% 92.53%
easyturn Turn-Detection-Jev 600 98.17% 98.33% 98.17% 98.25%
smart-test TurnSense 1.1 GPU 4000 26.28% 75.97% 26.28% 38.86%
smart-test Smart-Turn 3.2 CPU 4000 92.50% 92.59% 92.50% 92.50%
smart-test Smart-Turn 3.2 GPU 4000 93.88% 93.89% 93.88% 93.87%
smart-test Qwen3-Omni-30B-A3B-Instruct 4000 69.40% 80.43% 69.40% 66.35%
smart-test Turn-Detection-Jev 4000 96.78% 96.87% 96.78% 96.81%

Turn-Detection-Jev 获得了按标签规则构造的助手状态,其他音频模型未获得该状态,且服务和环境不同。因此表格只作描述性参照,不能据此将差值全部归因于微调或声称同等输入条件下的优势。

评估协议与耗时

公开集使用单声道、16 kHz、末尾最多 8 秒的 PCM16 WAV 音频;短音频保留实际长度。逐条串行预测,complete 分配到 listening,interrupt/backchannel 分配到 speaking;incomplete 按样本 ID 哈希分配一半到每个状态,状态种子为 4。助手状态为构造的场景元数据,未向麦克风音频混入助手播放声音。

完整公开集 平均逐样本耗时 P50 P90 串行 samples/s
Easy-Turn(800) 111.22 ms 91.69 ms 157.55 ms 8.99
Smart-Test(4,000) 97.50 ms 96.29 ms 110.90 ms 10.26

本次计时包含本地文件读取/解码、音频预处理和模型推理,不经 HTTP;未剔除首次调用开销。samples/s=样本数×1000/累计逐样本耗时,不是整轮墙钟吞吐。分位数在排序后的 (N−1)×q 位置线性插值。未测量独立 GPU kernel 耗时或真实在线打断延迟。

主页对比图中的 Easy-Turn 耗时仅对应 600 条共同样本,因此与上表 800 条的均值、分位数不同。其他模型的历史计时排除文件读取/解码,硬件和计时边界均不一致,不能作为同硬件速度排名。