# Turn-Detection-Jev:训练与评估详情 [返回模型主页](README.md) 开源发布名为 **Turn-Detection-Jev**。 ## 训练数据与配置 该模型 共使用 **156,925 条**处理后的样本,来源为 Easy-Turn、Smart-Turn 和 MUSAN noise([OpenSLR 17](https://www.openslr.org/17/) 的 noise 子集)。 | 来源 | 纳入样本数 | | --- | ---: | | Easy-Turn | 115,995 | | Smart-Turn | 40,000 | | MUSAN noise | 930 | | **合计** | **156,925** | | 最终标签 | train | validation | calibration | test | | --- | ---: | ---: | ---: | ---: | | `listen_complete` | 45,000 | 2,500 | 1,250 | 1,250 | | `listen_incomplete` | 22,500 | 1,250 | 625 | 625 | | `listen_background` | 419 | 24 | 12 | 12 | | `speak_interrupt` | 27,000 | 1,500 | 750 | 750 | | `speak_backchannel` | 23,395 | 1,300 | 650 | 650 | | `speak_incomplete` | 22,500 | 1,250 | 625 | 625 | | `speak_background` | 418 | 23 | 11 | 11 | | **合计** | **141,232** | **7,847** | **3,923** | **3,923** | 训练过程中将五种语义按照助手实际状态拆分为七小类。 | 训练参数 | 值 | | --- | --- | | LoRA rank / alpha / dropout | 32 / 64 / 0.05 | | 学习率 / 训练预算 | 5e-5 / 3 epochs | | 单卡 train / eval batch size | 4 / 4 | | 梯度累积 / 有效训练 batch | 64 / 256(本次单卡训练) | | 精度 / 最大输入 token 数 | bfloat16 / 4096 | | 损失 | `audio_jev_ce_brier`,Brier 权重 1.0 | | warmup ratio / weight decay | 0.03 / 0 | | 随机种子 | 0 | | 检查点选择 | 每 100 步验证,以最低验证 NLL 选择 best | ## 评估结果 ### 公开测试集:完整评估范围 结果来自 2026-11-11 完整原生 Transformers 运行 `merged-20261111_051726-1672084`,prompt 为 `audio-jev-labels-v4`、评分 head 为 `lm_head`、温度 T=1,未启用 calibration。两套报告均为 `is_full_run=true`。该运行替换主页中的历史 ms-swift 成绩,历史原始记录仍保留在代码仓库 `results/reference/`。 代码仓库 `docs/public-benchmark.json` 保存完整/共同样本的精确指标、预测文件 SHA256 和来源路径;路径均为仓库相对路径。 | 数据集 | N | 正确数 | Accuracy | 状态标签 Macro-F1 | 语义 Macro-F1 | | --- | ---: | ---: | ---: | ---: | ---: | | Easy-Turn | 800 | 789 | 98.625% | 98.83% | 99.00% | | Smart-Test-4000 | 4,000 | 3,871 | 96.775% | 96.78% | 96.81% | 公开集宏平均只覆盖有真值样本的类别。语义映射将两种 incomplete 合并为 `incomplete`,两种 background 合并为 `invalid`,`speak_interrupt` 对应 Easy-Turn 原始 `wait`。零支持类别不代表已经获得完整评估。 | 状态标签 | Easy-Turn 正确 / N | Recall | Smart-Test 正确 / N | Recall | | --- | ---: | ---: | ---: | ---: | | `listen_complete` | 296 / 300 | 98.67% | 1,958 / 2,000 | 97.90% | | `listen_incomplete` | 144 / 150 | 96.00% | 914 / 1,000 | 91.40% | | `listen_background` | 0 / 0 | 未评估 | 0 / 0 | 未评估 | | `speak_interrupt` | 100 / 100 | 100.00% | 0 / 0 | 未评估 | | `speak_backchannel` | 100 / 100 | 100.00% | 0 / 0 | 未评估 | | `speak_incomplete` | 149 / 150 | 99.33% | 999 / 1,000 | 99.90% | | `speak_background` | 0 / 0 | 未评估 | 0 / 0 | 未评估 | Easy-Turn 的 listening / speaking 准确率分别为 **97.78%(440/450)**、**99.71%(349/350)**;Smart-Test 分别为 **95.73%(2872/3000)**、**99.90%(999/1000)**。 ### 共同样本上的模型参照 Easy-Turn 下表只取 complete/incomplete 的 **600 条**共同样本;Turn-Detection-Jev 为 **589/600**,与全量 800 条的 789/800 是不同范围。Smart-Test 使用固定 4,000 条子集。Turn-Detection-Jev 使用本次结果,其他模型保留历史结果。 | 数据集 | 模型 | N | 准确率 | 精准率(宏平均) | 召回率(宏平均) | F1(宏平均) | | --- | --- | --- | --- | --- | --- | --- | | easyturn | TurnSense 1.1 GPU | 600 | 96.17% | 96.19% | 96.17% | 96.17% | | easyturn | Smart-Turn 3.2 CPU | 600 | 76.00% | 78.21% | 76.00% | 75.52% | | easyturn | Smart-Turn 3.2 GPU | 600 | 77.17% | 78.26% | 77.17% | 76.94% | | easyturn | Qwen3-Omni-30B-A3B-Instruct | 600 | 92.33% | 93.40% | 92.33% | 92.53% | | easyturn | Turn-Detection-Jev | 600 | 98.17% | 98.33% | 98.17% | 98.25% | | smart-test | TurnSense 1.1 GPU | 4000 | 26.28% | 75.97% | 26.28% | 38.86% | | smart-test | Smart-Turn 3.2 CPU | 4000 | 92.50% | 92.59% | 92.50% | 92.50% | | smart-test | Smart-Turn 3.2 GPU | 4000 | 93.88% | 93.89% | 93.88% | 93.87% | | smart-test | Qwen3-Omni-30B-A3B-Instruct | 4000 | 69.40% | 80.43% | 69.40% | 66.35% | | smart-test | Turn-Detection-Jev | 4000 | 96.78% | 96.87% | 96.78% | 96.81% | Turn-Detection-Jev 获得了按标签规则构造的助手状态,其他音频模型未获得该状态,且服务和环境不同。因此表格只作描述性参照,不能据此将差值全部归因于微调或声称同等输入条件下的优势。 ### 评估协议与耗时 公开集使用单声道、16 kHz、末尾最多 8 秒的 PCM16 WAV 音频;短音频保留实际长度。逐条串行预测,complete 分配到 listening,interrupt/backchannel 分配到 speaking;incomplete 按样本 ID 哈希分配一半到每个状态,状态种子为 4。助手状态为构造的场景元数据,未向麦克风音频混入助手播放声音。 | 完整公开集 | 平均逐样本耗时 | P50 | P90 | 串行 samples/s | | --- | ---: | ---: | ---: | ---: | | Easy-Turn(800) | 111.22 ms | 91.69 ms | 157.55 ms | 8.99 | | Smart-Test(4,000) | 97.50 ms | 96.29 ms | 110.90 ms | 10.26 | 本次计时包含本地文件读取/解码、音频预处理和模型推理,不经 HTTP;未剔除首次调用开销。samples/s=样本数×1000/累计逐样本耗时,不是整轮墙钟吞吐。分位数在排序后的 (N−1)×q 位置线性插值。未测量独立 GPU kernel 耗时或真实在线打断延迟。 主页对比图中的 Easy-Turn 耗时仅对应 600 条共同样本,因此与上表 800 条的均值、分位数不同。其他模型的历史计时排除文件读取/解码,硬件和计时边界均不一致,不能作为同硬件速度排名。