You need to agree to share your Hugging Face information to access this model

This repository is publicly accessible, but you have to accept the conditions to access its files and content.

Log in or Sign Up to review the conditions and access this model content.

Wilga (beta)

Mały polski model syntezy mowy: 4,55 mln parametrów, 24 kHz, działa na CPU (ok. 100× szybciej niż w czasie rzeczywistym na 4 wątkach, ONNX). Jeden głos męski, wytrenowany od zera wyłącznie na MC Speech (CC0, ~22 h, jeden lektor). Architektura to polska adaptacja tiny-voca: transformer przewiduje parametry syntezatora źródło–filtr (ciąg impulsów + szum, filtry cepstralne) zamiast używać wokodera neuronowego.

A small Polish text-to-speech model (4.55M parameters, 24 kHz, CPU, ONNX), trained from scratch on the CC0 MC Speech dataset only. Beta: see the limitations below.

Próbki

Odtwarzacze działają po uzyskaniu dostępu do repozytorium (pliki są w katalogu samples/).

Zdania ze zbioru testowego MC Speech (model ich nie widział w treningu):

Tekst Próbka
Gdy zamknęłam drzwi za tymi moimi lokatorami, kamień spadł mi z serca.
Jak okiem sięgnąć, ciągnęły się zielone łąki i płowe, szumiące zboża.
Wzmaga to poczucie samotności, szczególnie w sytuacjach, gdy potrzebujemy wsparcia od bliskiej osoby.

Zdania spoza korpusu:

Tekst Próbka
Czy możesz mi powiedzieć, która jest godzina?
Cześć, Marta! Dawno cię nie widziałem.
Cztery wszy szły gęsiego przez szczelinę w drzwiach.
Wyślij mi, proszę, wiadomość, kiedy dojedziesz na miejsce.
Kiedy wreszcie dotarliśmy na szczyt, słońce już zachodziło, a w dolinie zapalały się pierwsze światła miasteczka, w którym spędziliśmy dzieciństwo.

Wyniki (zbiór testowy, ASR: Whisper large-v3)

Wilga-beta Oryginalne nagrania
WER, 400 zdań testowych 1,95 % 2,34 %
WER, 48 nowych zdań 1,75 % —
UTMOS (naturalność) 3,25 3,38
Sybilanty w parach minimalnych („Słowo: X.”, 72 słowa) 83,3 % —
Prędkość, ONNX, 4 wątki CPU 138× czasu rzeczywistego (102× z fonetyzacją) —

Brak przesterowań i uciętych końcówek. Szczegóły: eval/summary.json, zgodność ONNX z PyTorch: eval/onnx_check.json.

Pliki

  • model.onnx — model do inferencji (wejście: identyfikatory głosek i akcentu, wyjście: fala 24 kHz i długości głosek)
  • model.json — lista symboli, częstotliwość próbkowania, nazwy wejść/wyjść
  • wilga-beta.pt — wagi PyTorch (format tiny-voca, format_version 4)
  • config.json — konfiguracja architektury

Użycie (ONNX)

Tekst trzeba najpierw zamienić na głoski: eSpeak NG (-v pl --ipa), potem mapowanie na symbole z model.json (<bos> na początku, <sp> między słowami, interpunkcja jako osobne symbole, <eos> na końcu; stress = 1 dla samogłoski akcentowanej, inaczej 0). Afrykaty (ts, dz, tʃ, dʒ, tɕ, dʑ) to pojedyncze symbole.

import json, numpy as np, onnxruntime as ort, soundfile as sf

meta = json.load(open("model.json"))
session = ort.InferenceSession("model.onnx")
ids = meta["symbols"]
phones = ["<bos>", "dʑ", "ɛ", "ɲ", "<sp>", "d", "ɔ", "b", "r", "ɨ", ".", "<eos>"]   # „Dzień dobry.”
stress = [0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 0]
one = lambda v: np.array([v], dtype=np.float32)
audio, durations = session.run(None, {
    "tokens": np.array([[ids.index(p) for p in phones]], dtype=np.int64),
    "stress": np.array([stress], dtype=np.int64),
    "voice": np.array([0], dtype=np.int64),
    "speed": one(1.0), "pitch_shift": one(0.0), "pitch_range": one(1.0)})
sf.write("dzien_dobry.wav", audio[0], meta["sample_rate"])

speed > 1 przyspiesza mowę, pitch_shift przesuwa wysokość głosu (w półtonach), pitch_range skaluje intonację.

Trening

  • Dane: tylko MC Speech (CC0). Bez danych syntetycznych z innych modeli TTS i bez cudzych wag TTS. Modele pomocnicze (wav2vec2 do wyrównania głosek, Whisper i UTMOS do oceny) służyły tylko do etykietowania i oceny.
  • Syntezator: obwiednia harmoniczna ze 160 współczynnikami cepstralnymi oraz aperiodyczność w 3 pasmach (cele z WORLD D4C). Te dwie zmiany usunęły „brzęczący” charakter wcześniejszej wersji (UTMOS 1,99 → 3,25).
  • 112 tys. kroków, GAN od 8 tys. kroków, jeden GPU, ok. 4,5 h.

Ograniczenia

  • Sybilanty w rzadkich kontekstach: afrykata na końcu wypowiedzi („mocz” → „mot”) oraz „dż”/„dz” na początku słowa („dżem” → „rem”). Takich kontekstów prawie nie ma w MC Speech („dż” występuje 51 razy w danych treningowych).
  • Liczby i skróty nie są w pełni normalizowane do słów (WER w kategorii „liczby”: 8,2 %); najlepiej zapisywać je słownie.
  • Jeden głos, styl lektorski: pytania i wykrzyknienia brzmią spokojnie.
  • eSpeak NG (fonetyzacja) jest na licencji GPL-3.0; nie jest częścią tego repozytorium, ale wymagany do użycia z tekstem.

Licencja

Wagi: Apache-2.0 (jak kod tiny-voca). Dane treningowe: MC Speech, CC0.

Downloads last month
-
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Dataset used to train lion-ai/wilga-beta