Mimba Voix — Matcha-TTS plt / mfe / fr / en (privé)
Un modèle, 4 langues, 8 voix. Appris depuis matcha_vctk (Matcha-TTS, code MIT ; VCTK, CC-BY 4.0) sur
mimba/mimba-tts-voix ; vocodeur HiFiGAN universel (MIT). Décodage en 5 pas, température 0.667, 22050 Hz.
| numéro | voix | langue | genre |
|---|---|---|---|
| 0 | plt-F2 | plt | femme |
| 1 | plt-H5 | plt | homme |
| 2 | mfe-F1 | mfe | femme |
| 3 | mfe-H1 | mfe | homme |
| 4 | fr-F3 | fr | femme |
| 5 | fr-H3 | fr | homme |
| 6 | en-F5 | en | femme |
| 7 | en-H2 | en | homme |
Fichiers
onnx/matcha_mimba.onnx(ou_fp16: poids en fp16, calcul en fp32, moitié moins lourd ; ou_int8) : entréesx(int64 [1, T] : numéros desymboles.json, un 0 entre chaque symbole et aux bouts),x_lengths(int64 [1]),scales(float32 [température, vitesse : 1 = normale, >1 = plus lent]),spks(int64 [1] : numéro de voix) ; sortiesmel[1, 80, trames],mel_lengths.onnx/hifigan.onnx(ouhifigan_fp16.onnx, à prendre avec_fp16) :mel->wav[1, 1, échantillons] à 22050 Hz.- Phonèmes : ceux de Mimba TTS (G2P malgache et mauricien, espeak-ng en processus séparé pour fr / en), voir
entrainement/tts/phonemiser_corpus_tts.py. matcha_mimba.ckpt: le modèle PyTorch (format Matcha-TTS) ;checkpoints/: reprise de l'entraînement.
Versions (processeur, 1 cœur)
| version | Mo (avec vocodeur) | RTF | CER Whisper des phrases d'écoute (%) |
|---|---|---|---|
| fp32 | 141.7 | 1.179 | 65.38 |
| fp16 | 72.2 | 1.179 | 32.21 |
| int8 | 137.7 | 1.18 | 30.03 |
Écoute : onnx/ecoute/<version>/, et l'évolution pendant l'entraînement : echantillons/pas_…/.