| # Évaluation v0 |
|
|
| 300 phrases françaises de 300 articles Wikipédia, sans article commun avec les |
| 12 000 phrases d'apprentissage, les 500 de validation et les 500 de test. |
| La sélection déterministe exclut les doublons et quasi-doublons par Jaccard |
| sur trigrammes de mots (seuil 0,85). Répartition : 60 courtes, 180 moyennes, |
| 60 longues. Le jeu est figé avant les mesures ; aucun réglage ne doit être |
| choisi à partir de ses scores. |
|
|
| Les phrases proviennent de `wikimedia/wikipedia`, snapshot français `20231101.fr`, |
| révision `b04c8d1ceb2f5cd4588862100d08de323dccfbaa`. Les originaux restent |
| CC BY-SA 3.0 ; les adaptations/sélections sont CC BY-SA 4.0. Chaque ligne de |
| `heldout_v0.jsonl` attribue les contributeurs, lie l'article et son historique, |
| et conserve les offsets et la révision du snapshot. Ce fichier n'est pas |
| couvert par la licence Apache du code. |
|
|
| Comparaison : Paradis FP32 et INT8 avec les mêmes traitements, Kokoro `ff_siwis` |
| et Piper `fr_FR-siwis-medium`. Chaque moteur reçoit le même texte normalisé. |
| Le RTF inclut G2P, génération et traitements du moteur, exclut chargement, |
| échauffement, ASR et écriture des WAV. Tous les moteurs tournent sur CPU, |
| deux threads configurés dans ONNX Runtime/PyTorch, dans des processus distincts. |
| ORT utilise un thread inter-op ; les bibliothèques numériques auxiliaires |
| conservent leurs réglages par défaut. Le pic RSS est échantillonné toutes |
| les 20 ms et inclut le processus de synthèse complet. Piper conserve sa |
| normalisation de volume standard ; aucun traitement Paradis ne lui est ajouté. |
|
|
| WER : Faster Whisper Small FP16 sur GPU pour la mesure publiée, français, beam 5, température 0, |
| sans VAD ni conditionnement sur les phrases précédentes. La même normalisation |
| est appliquée aux références et transcriptions (minuscules, chiffres développés, |
| ponctuation supprimée, apostrophes et tirets séparateurs, accents conservés). |
| Le WER global est calculé sur les sommes de substitutions, suppressions et |
| insertions, divisées par le nombre total de mots de référence. |
| Le rapport donne aussi un intervalle à 95 % par bootstrap de 2 000 rééchantillonnages |
| de phrases, seed 1729. Il ne couvre pas les biais propres à l'ASR ou au corpus. |
|
|
| Qualité : DNSMOS P.835 non personnalisé de Microsoft, signal/bruit/global. |
| Fenêtres de 9,01 s, pas de 1 s, répétition des clips courts et calibration |
| polynomiale officielle. Rééchantillonnage à 16 kHz par filtre polyphase SciPy. |
| P.808 n'est pas calculé. **Ces scores sont un proxy de parole/bruit entraîné |
| pour le débruitage, pas un MOS humain ni une mesure suffisante de naturalité TTS.** |
|
|
| Limites : même domaine Wikipédia que l'entraînement ; possible recouvrement |
| avec les corpus originaux de Kokoro/Piper ; noms propres difficiles pour l'ASR. |
| Le portable exécute un entraînement GPU indépendant pendant les mesures CPU : |
| les temps décrivent ces conditions et ne justifient aucun classement général. |
| L'INT8 désigne le stockage des poids ; les calculs restent flottants. |
|
|
| Reproduction : `scripts/evaluate_release.py`, `config_v0.json`, puis les |
| étapes `synthesize` (une par moteur), `score` et `aggregate`. Les WAV et logs |
| intermédiaires restent locaux ; les scores par phrase et résultats agrégés |
| sont publiés. Les moteurs d'évaluation ne sont pas des dépendances du package. |
|
|
| Les textes et transcriptions liés au jeu gardent les attributions et licences |
| CC BY-SA décrites ci-dessus. Les mesures numériques ne sont pas des avis humains. |
|
|
| Exemple de reproduction (dans des environnements d'évaluation séparés du package) : |
|
|
| ```bash |
| python -m pip install -r requirements-evaluation.txt |
| # Kokoro nécessite en plus son runtime et PyTorch CPU, dans son environnement dédié. |
| python scripts/evaluate_release.py synthesize --variant fp32 --bundle chemin/vers/exports |
| python scripts/evaluate_release.py synthesize --variant int8 --bundle chemin/vers/exports |
| python scripts/evaluate_release.py synthesize --variant piper |
| python scripts/evaluate_release.py synthesize --variant kokoro |
| python scripts/evaluate_release.py score --asr-device cuda --asr-compute float16 |
| python scripts/evaluate_release.py aggregate |
| python scripts/audit_evaluation_split.py |
| ``` |
|
|
| `chemin/vers/exports` contient les dossiers `fp32` et `int8` décompressés. |
| Pour une mesure ASR CPU, utiliser `--asr-device cpu --asr-compute int8` ; les |
| chiffres peuvent différer légèrement de l'ASR GPU de la publication. Le GPU |
| d'évaluation nécessite CUDA/cuDNN compatibles avec CTranslate2. Les révisions |
| des modèles sont figées dans `config_v0.json` et les versions installées dans |
| le lock Windows. Le runtime de synthèse public reste exclusivement CPU. |
|
|
