docs: publish audited four-domain 600-case evaluation and concise model card
Browse files
README.md
CHANGED
|
@@ -21,7 +21,8 @@ AffectF5 为 F5-TTS v1 Base 增加五类 Emotion 与连续 Arousal 控制。该
|
|
| 21 |
|
| 22 |
- Emotion：Neutral、Happy、Sad、Angry、Surprise。
|
| 23 |
- Arousal：`[-1, 1]`。
|
| 24 |
-
-
|
|
|
|
| 25 |
|
| 26 |
## 使用
|
| 27 |
|
|
@@ -36,15 +37,45 @@ affect-f5 --help
|
|
| 36 |
|
| 37 |
`affectf5_c7_adapter.safetensors` 包含：
|
| 38 |
|
| 39 |
-
-
|
| 40 |
-
- Emotion/Arousal
|
| 41 |
-
- Layer 11/17 Emotion-FiLM；
|
| 42 |
-
- Layer 14/20 Arousal-residual。
|
| 43 |
|
| 44 |
不包含官方底模、优化器状态或训练数据。
|
| 45 |
|
| 46 |
Adapter SHA-256：`26dd9fdc69395e8a937feadb3417e5503667eaedb6a85b12b26d0374a58f253f`。
|
| 47 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 48 |
## 许可与限制
|
| 49 |
|
| 50 |
Adapter 采用 CC BY-NC 4.0，仅供非商业用途。当前主要验证英文；自动情感指标不能替代人工听测。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 21 |
|
| 22 |
- Emotion：Neutral、Happy、Sad、Angry、Surprise。
|
| 23 |
- Arousal：`[-1, 1]`。
|
| 24 |
+
- Emotion 与 Arousal 分别建模，以轻量适配控制待生成区域，同时兼顾文本准确度与音色保持。
|
| 25 |
+
- 运行所需配置见 `config.yaml`；reference edge VAD 是推理预处理选项，不是另一套权重。
|
| 26 |
|
| 27 |
## 使用
|
| 28 |
|
|
|
|
| 37 |
|
| 38 |
`affectf5_c7_adapter.safetensors` 包含：
|
| 39 |
|
| 40 |
+
- 轻量 LoRA 适配参数；
|
| 41 |
+
- Emotion/Arousal 条件编码与生成区域控制模块。
|
|
|
|
|
|
|
| 42 |
|
| 43 |
不包含官方底模、优化器状态或训练数据。
|
| 44 |
|
| 45 |
Adapter SHA-256：`26dd9fdc69395e8a937feadb3417e5503667eaedb6a85b12b26d0374a58f253f`。
|
| 46 |
|
| 47 |
+
## 正式四域 600 条评测
|
| 48 |
+
|
| 49 |
+
2026-09-04 的 Longform Multidomain V3 Emotion-only 评测：CMU Arctic / EARS / Expresso / VCTK 分别为 100 / 200 / 75 / 225 条，共 24 个说话人组，五类各 120 条。模型共享参考、目标文本、目标情感及 seed，Arousal 条件关闭。
|
| 50 |
+
|
| 51 |
+
这是已用于分析的已知 benchmark，不是未触碰测试集。原始五域生成中的 LibriSpeech 因参考转录缺少终止标点引发内容串入而整体排除；下表仅使用剩余四域 600 条，不混用旧 80 条或五域 1200 条结果。
|
| 52 |
+
|
| 53 |
+
### Pooled：600 条合并，主结果
|
| 54 |
+
|
| 55 |
+
| 同一公开 C7 adapter 的推理条件 | E2V UAR5 | MER UAR5 | WER | SIM-o | CAM++ | UTMOSv2 | WeSpeaker | NISQA |
|
| 56 |
+
|---|---:|---:|---:|---:|---:|---:|---:|---:|
|
| 57 |
+
| 无 reference VAD | 0.7350 | 0.7617 | 0.0064 | 0.6193 | 0.7355 | 3.2977 | 0.8399 | 4.2613 |
|
| 58 |
+
| 加 reference VAD | 0.7100 | 0.7267 | 0.0022 | 0.6181 | 0.7335 | 3.2888 | 0.8394 | 4.3133 |
|
| 59 |
+
|
| 60 |
+
### 数据集等权：每域 25%，敏感性分析
|
| 61 |
+
|
| 62 |
+
| 同一公开 C7 adapter 的推理条件 | E2V UAR5 | MER UAR5 | WER | SIM-o | CAM++ | UTMOSv2 | WeSpeaker | NISQA |
|
| 63 |
+
|---|---:|---:|---:|---:|---:|---:|---:|---:|
|
| 64 |
+
| 无 reference VAD | 0.7410 | 0.7699 | 0.0049 | 0.6140 | 0.7325 | 3.3189 | 0.8353 | 4.2814 |
|
| 65 |
+
| 加 reference VAD | 0.7246 | 0.7465 | 0.0018 | 0.6132 | 0.7311 | 3.3022 | 0.8350 | 4.3212 |
|
| 66 |
+
|
| 67 |
+
E2V / MER 分别为 Emotion2Vec / MERaLiON 的五类宏平均召回率，双 SER 不取平均。WER 是 Qwen3-ASR 逐句 WER 的均值，不是按总词数加权的 corpus WER，越低越好；其余表中指标越高越好。Pooled 等价于本协议的说话人组等权；数据集等权先域内计算再对四域平均。
|
| 68 |
+
|
| 69 |
+
两行来源 checkpoint 均已与 adapter 元数据哈希核对一致。C7 评测使用 32 NFE、global CFG 2、Emotion/A CFG 0、`has_arousal_condition=false`，两行只区分 reference VAD。当前公开 API 会启用 Arousal，`arousal=0` 也不等于关闭条件；交互生成示例不能直接复现本表。此次 600 条不评估连续 Arousal slope，不沿用旧小样本强度数字，也不引用后续候选训练结果。
|
| 70 |
+
|
| 71 |
+
VAD 降低了本次 WER，但没有改善所有情感和音色指标。完整协议、参照模型与核验说明见 [评测说明](https://github.com/ScreamingTony/AffectF5/blob/main/docs/evaluation.md)。
|
| 72 |
+
|
| 73 |
## 许可与限制
|
| 74 |
|
| 75 |
Adapter 采用 CC BY-NC 4.0，仅供非商业用途。当前主要验证英文；自动情感指标不能替代人工听测。
|
| 76 |
+
|
| 77 |
+
本项目基于 [F5-TTS](https://github.com/SWivid/F5-TTS)，保留官方底模归属与许可限制。代码遵循 MIT，详见 [NOTICE](https://github.com/ScreamingTony/AffectF5/blob/main/NOTICE.md) 与 [模型许可说明](https://github.com/ScreamingTony/AffectF5/blob/main/MODEL_LICENSE.md)。必要结构和采样配置保留在 `config.yaml` 中，以维持权重加载和推理兼容性。
|
| 78 |
+
|
| 79 |
+
## 联系
|
| 80 |
+
|
| 81 |
+
[ye.chen2@siat.ac.cn](mailto:ye.chen2@siat.ac.cn)
|