słyszę głosy
Mały polski model syntezy mowy (TTS) z dwoma głosami: F (kobiecy) i M
(męski). Cały model, razem z generatorem fali, ma 4,5 mln parametrów i został
wytrenowany od zera na 18 godzinach syntetycznej mowy. Na czterech wątkach CPU
działa ok. 150× szybciej niż w czasie rzeczywistym, w przeglądarce
(ONNX Runtime Web) ok. 25×.
- Kod: https://github.com/damaon/slyszeglosy
- Demo w przeglądarce: https://slyszeglosy-demo.damaon.workers.dev
Inspiracją i bazą jest tiny-voca
(Muhammed Nazeem, Apache-2.0): ta sama architektura i ten sam przepis treningu,
z nowym front-endem fonetycznym wymowa, nowym korpusem i nowymi głosami.
| Parametry | 4 533 451 |
| Głosy | F, M (polski, syntetyczne) |
| Wyjście | 24 kHz mono |
| Wejście | Tekst zamieniany na głoski przez wymowa (reguły, bez słownika zewnętrznego) |
| Wagi wstępnie wytrenowane w modelu | Brak |
| Licencja wag | CC-BY-NC 4.0 (kod: Apache-2.0) |
Pliki
| Plik | Rozmiar | Zawartość |
|---|---|---|
slyszeglosy.pt |
18,2 MB | Wagi PyTorch, float32 |
onnx/model.onnx |
21,4 MB | Eksport ONNX, float32, opset 17 |
onnx/model.json |
Metadane eksportu: słownik głosek, głosy, wejścia i wyjścia | |
config.json |
Ustawienia modelu, słownik głosek, głosy | |
samples/ |
Próbki z tej strony |
SHA256:
slyszeglosy.pt:edfba942687504b0b5933a8718773f3956780d1690a71af556be84be9abb4841onnx/model.onnx:6d2a81bcc47589f9235452011979f641395749015a3903aaadff4558784ab087
Próbki
| Tekst | F |
M |
|---|---|---|
| Dzień dobry! Spotkanie zaczyna się o 15:30 w sali nr 4. | ||
| W Szczebrzeszynie chrząszcz brzmi w trzcinie. | ||
| Czy możesz kupić 2 kg jabłek i 1,5 l mleka? | ||
| Tuwim, „Lokomotywa” (początek) | ||
| Mickiewicz, „Pan Tadeusz”, Inwokacja |
Użycie
PyTorch
pip install git+https://github.com/damaon/slyszeglosy
hf download Damaon/slyszeglosy --local-dir slyszeglosy
python -m tiny_voca.infer --checkpoint slyszeglosy/slyszeglosy.pt --voice F \
--text "Dzień dobry! Spotkanie zaczyna się o 15:30." --output dzien-dobry.wav
| Opcja | Domyślnie | Znaczenie |
|---|---|---|
--text-file |
Tekst z pliku zamiast --text |
|
--voice |
F |
F albo M |
--speed |
1.0 | Tempo mowy |
--pitch-shift |
0 | Dodawane do log F0; 0,058 to ok. pół tonu |
--pitch-range |
1.0 | Skaluje ruch melodii wokół średniej |
Tekst może mieć dowolną długość: jest czytany zdanie po zdaniu, a nagrania są
sklejane. Liczby, daty, godziny, kwoty, procenty, jednostki, skróty i
skrótowce rozwija wymowa.normalize.
ONNX
Graf przyjmuje numery głosek i akcent, a zwraca falę. Tekst zamienia się na
numery poza grafem, przez tiny_voca.text.phonemize.
import numpy as np, onnxruntime as ort, soundfile as sf
from tiny_voca.text import phonemize
phones = phonemize("Dzień dobry! Tu słyszę głosy.")
one = lambda value: np.array([value], dtype=np.float32)
session = ort.InferenceSession("slyszeglosy/onnx/model.onnx")
audio, durations = session.run(None, {
"tokens": np.array([phones.ids], dtype=np.int64),
"stress": np.array([phones.stress], dtype=np.int64),
"voice": np.array([0], dtype=np.int64), # 0 = F, 1 = M
"speed": one(1.0), "pitch_shift": one(0.0), "pitch_range": one(1.0),
})
audio = audio[0] * min(1.0, 0.99 / np.abs(audio[0]).max())
sf.write("dzien-dobry.wav", audio, 24000)
Jedno wywołanie czyta jedną wypowiedź (do 512 głosek i 32 s). Wypowiedź
powinna kończyć się znakiem interpunkcyjnym. Ten sam plik działa w
onnxruntime-web; demo jest w katalogu web/ repozytorium.
Model
Architektura tiny-voca bez zmian: enkoder transformerowy (4 bloki) czyta głoski z akcentem, predyktor długości daje każdej głosce liczbę ramek, dwa transformery ramkowe (2 i 5 bloków) przewidują wysokość, dźwięczność i energię, a potem parametry syntezatora źródło-filtr (ciąg impulsów i szum kształtowane filtrami cepstralnymi), bez neuronowego wokodera. 192 kanały, 4 głowice, RoPE, ramka 256 próbek (10,7 ms).
| Komponent | Parametry |
|---|---|
| Osadzenia (głoska, akcent, głos, pozycja) | 12 864 |
| Enkoder tekstu | 1 588 864 |
| Predyktor długości i pauz | 123 906 |
| Transformer ramkowy A, głowica prozodii | 795 971 |
| Transformer ramkowy B | 1 985 984 |
| Syntezator źródło-filtr | 25 862 |
| Razem | 4 533 451 |
Słownik ma 56 symboli: 39 polskich głosek (8 samogłosek z nosowymi
ɛ̃ ɔ̃, 31 spółgłosek), znaki specjalne i interpunkcję.
Trening
| Dane | 18 268 nagrań, 18,0 h, po połowie na głos (walidacja 576, test 566) |
| Kroki | 104 000 |
| Sprzęt | Jeden RTX 3090 Ti, 8,9 h, z termostatem GPU (--max-temp 76) |
| Straty | Wielorozdzielcze straty widmowe; od kroku 8000 strata adwersarialna (dyskryminatory wielookresowe i wielorozdzielcze) |
Nagrania treningowe są syntetyczne:
- Teksty: 10 020 zdań: Common Voice PL (sentence collector i Europarl, CC0) oraz zdania i szablony napisane dla projektu (liczby, daty, godziny, kwoty, skróty).
- Głosy zaprojektowano z samego opisu tekstowego w OmniVoice (k2-fsa), bez nagrania prawdziwej osoby.
- Nagrania: każde zdanie oboma głosami, OmniVoice 0.6B z klonowaniem zaprojektowanych głosów.
- Odsiew: Whisper large-v3-turbo; nagrania z CER powyżej 5% generowano drugi raz, potem odrzucano (244 z 20 040).
- Adnotacja: długości głosek z wymuszonego dopasowania
facebook/wav2vec2-lv-60-espeak-cv-ft, z mapą etykiet i przesunięciem granic skalibrowanymi na polskich nagraniach. Kontrola jakości dopasowania odrzuciła dalsze 386 nagrań. Aligner służy tylko do adnotacji i nie jest częścią modelu.
Ocena
CER i WER mowy z modelu w transkrypcji Whisper large-v3-turbo (język pl).
Oryginalne nagrania nauczyciela tych samych zdań oceniono tak samo.
| Zdania | Nagrania | CER model | CER nauczyciel | WER model | WER nauczyciel |
|---|---|---|---|---|---|
| Walidacja | 50 | 0,37% | 0,28% | 2,7% | 2,5% |
| Test | 50 | 0,48% | 0,52% | 3,1% | 3,6% |
| Nowe zdania spoza korpusu (z liczbami i skrótami) | 20 | 0,0% | 0,0% |
Model jest tak samo zrozumiały jak jego nauczyciel: różnice mieszczą się w szumie pomiaru. Długość wypowiedzi wynosi 98–99% długości nagrań nauczyciela.
To małe zbiory: wynik jest kontrolą poprawności, nie benchmarkiem. Nie przeprowadzono formalnego testu odsłuchowego.
Ograniczenia
- Tylko polski. Dwa stałe głosy, bez klonowania.
- Ten sam tekst jest zawsze czytany tak samo.
- Głos brzmi czysto, ale słychać, że jest syntetyczny (generator źródło-filtr).
- Liczebniki po przyimkach nie są odmieniane („z 5 osobami”).
- Obce nazwy i nietypowa pisownia bywają czytane źle; wymowa zależy od
reguł
wymowai słownika wyjątkówsrc/wymowa/lexicon.py. - Bez strumieniowania.
- Dane są syntetyczne, więc model nie brzmi naturalniej niż jego nauczyciel i dziedziczy jego wymowę.
Licencja
Wagi: CC-BY-NC 4.0, tylko użytek niekomercyjny. Nagrania treningowe
wygenerował OmniVoice, którego wagi są udostępnione na licencji CC-BY-NC.
Kod (tiny-voca i wymowa): Apache-2.0.
Podziękowania
Architektura, przepis treningu i kod bazowy: tiny-voca (Muhammed Nazeem,
Apache-2.0). Nauczyciel: OmniVoice (k2-fsa). Teksty: Mozilla Common Voice
(CC0). Aligner: facebook/wav2vec2-lv-60-espeak-cv-ft (Apache-2.0). Ocena:
Whisper (MIT). Projekt opiera się na FastSpeech 2, DDSP, neuronowym wokoderze
homomorficznym oraz dyskryminatorach HiFi-GAN i UnivNet, bez użycia ich kodu
ani wag.
- Downloads last month
- 24