Wilga (beta)
Mały polski model syntezy mowy: 4,55 mln parametrów, 24 kHz, działa na CPU (ok. 100× szybciej niż w czasie rzeczywistym na 4 wątkach, ONNX). Jeden głos męski, wytrenowany od zera wyłącznie na MC Speech (CC0, ~22 h, jeden lektor). Architektura to polska adaptacja tiny-voca: transformer przewiduje parametry syntezatora źródło–filtr (ciąg impulsów + szum, filtry cepstralne) zamiast używać wokodera neuronowego.
A small Polish text-to-speech model (4.55M parameters, 24 kHz, CPU, ONNX), trained from scratch on the CC0 MC Speech dataset only. Beta: see the limitations below.
Próbki
Odtwarzacze działają po uzyskaniu dostępu do repozytorium (pliki są w katalogu samples/).
Zdania ze zbioru testowego MC Speech (model ich nie widział w treningu):
| Tekst | Próbka |
|---|---|
| Gdy zamknęłam drzwi za tymi moimi lokatorami, kamień spadł mi z serca. | |
| Jak okiem sięgnąć, ciągnęły się zielone łąki i płowe, szumiące zboża. | |
| Wzmaga to poczucie samotności, szczególnie w sytuacjach, gdy potrzebujemy wsparcia od bliskiej osoby. |
Zdania spoza korpusu:
| Tekst | Próbka |
|---|---|
| Czy możesz mi powiedzieć, która jest godzina? | |
| Cześć, Marta! Dawno cię nie widziałem. | |
| Cztery wszy szły gęsiego przez szczelinę w drzwiach. | |
| Wyślij mi, proszę, wiadomość, kiedy dojedziesz na miejsce. | |
| Kiedy wreszcie dotarliśmy na szczyt, słońce już zachodziło, a w dolinie zapalały się pierwsze światła miasteczka, w którym spędziliśmy dzieciństwo. |
Wyniki (zbiór testowy, ASR: Whisper large-v3)
| Wilga-beta | Oryginalne nagrania | |
|---|---|---|
| WER, 400 zdań testowych | 1,95 % | 2,34 % |
| WER, 48 nowych zdań | 1,75 % | — |
| UTMOS (naturalność) | 3,25 | 3,38 |
| Sybilanty w parach minimalnych („Słowo: X.”, 72 słowa) | 83,3 % | — |
| Prędkość, ONNX, 4 wątki CPU | 138× czasu rzeczywistego (102× z fonetyzacją) | — |
Brak przesterowań i uciętych końcówek. Szczegóły: eval/summary.json, zgodność ONNX z PyTorch: eval/onnx_check.json.
Pliki
model.onnx— model do inferencji (wejście: identyfikatory głosek i akcentu, wyjście: fala 24 kHz i długości głosek)model.json— lista symboli, częstotliwość próbkowania, nazwy wejść/wyjśćwilga-beta.pt— wagi PyTorch (format tiny-voca,format_version4)config.json— konfiguracja architektury
Użycie (ONNX)
Tekst trzeba najpierw zamienić na głoski: eSpeak NG (-v pl --ipa), potem mapowanie na symbole z model.json
(<bos> na początku, <sp> między słowami, interpunkcja jako osobne symbole, <eos> na końcu;
stress = 1 dla samogłoski akcentowanej, inaczej 0). Afrykaty (ts, dz, tʃ, dʒ, tɕ, dʑ) to pojedyncze symbole.
import json, numpy as np, onnxruntime as ort, soundfile as sf
meta = json.load(open("model.json"))
session = ort.InferenceSession("model.onnx")
ids = meta["symbols"]
phones = ["<bos>", "dʑ", "ɛ", "ɲ", "<sp>", "d", "ɔ", "b", "r", "ɨ", ".", "<eos>"] # „Dzień dobry.”
stress = [0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 0]
one = lambda v: np.array([v], dtype=np.float32)
audio, durations = session.run(None, {
"tokens": np.array([[ids.index(p) for p in phones]], dtype=np.int64),
"stress": np.array([stress], dtype=np.int64),
"voice": np.array([0], dtype=np.int64),
"speed": one(1.0), "pitch_shift": one(0.0), "pitch_range": one(1.0)})
sf.write("dzien_dobry.wav", audio[0], meta["sample_rate"])
speed > 1 przyspiesza mowę, pitch_shift przesuwa wysokość głosu (w półtonach), pitch_range skaluje intonację.
Trening
- Dane: tylko MC Speech (CC0). Bez danych syntetycznych z innych modeli TTS i bez cudzych wag TTS. Modele pomocnicze (wav2vec2 do wyrównania głosek, Whisper i UTMOS do oceny) służyły tylko do etykietowania i oceny.
- Syntezator: obwiednia harmoniczna ze 160 współczynnikami cepstralnymi oraz aperiodyczność w 3 pasmach (cele z WORLD D4C). Te dwie zmiany usunęły „brzęczący” charakter wcześniejszej wersji (UTMOS 1,99 → 3,25).
- 112 tys. kroków, GAN od 8 tys. kroków, jeden GPU, ok. 4,5 h.
Ograniczenia
- Sybilanty w rzadkich kontekstach: afrykata na końcu wypowiedzi („mocz” → „mot”) oraz „dż”/„dz” na początku słowa („dżem” → „rem”). Takich kontekstów prawie nie ma w MC Speech („dż” występuje 51 razy w danych treningowych).
- Liczby i skróty nie są w pełni normalizowane do słów (WER w kategorii „liczby”: 8,2 %); najlepiej zapisywać je słownie.
- Jeden głos, styl lektorski: pytania i wykrzyknienia brzmią spokojnie.
- eSpeak NG (fonetyzacja) jest na licencji GPL-3.0; nie jest częścią tego repozytorium, ale wymagany do użycia z tekstem.
Licencja
Wagi: Apache-2.0 (jak kod tiny-voca). Dane treningowe: MC Speech, CC0.
- Downloads last month
- -