|
Download README.md from semfence/tiny-voca-ptbr: direct link, hf CLI and curl.
- Browser
- Download file 15.2 kB
-
https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/README.md
- Command line
-
hf download hf://semfence/tiny-voca-ptbr/README.md
-
curl -L -o README.md https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/README.md
15.2 kB
| language: | |
| - pt | |
| license: cc-by-4.0 | |
| library_name: pytorch | |
| pipeline_tag: text-to-speech | |
| tags: | |
| - text-to-speech | |
| - tts | |
| - pt-br | |
| - brazilian-portuguese | |
| - onnx | |
| - webgpu | |
| datasets: | |
| - semfence/ptbr-synthetic-speech | |
| - semfence/ptbr-sentences | |
| # tiny-voca-ptbr | |
| tiny-voca-ptbr é um modelo pequeno de texto para fala em **português do Brasil**, da **SemFence**, com duas vozes | |
| sintéticas, `F_s4` (feminina) e `M_sm4` (masculina). O modelo completo, com o gerador de onda, tem 4,5 milhões de | |
| parâmetros e foi treinado do zero com 24,7 horas de fala sintética. Roda em CPU, na GPU do Mac (Metal/MPS) e no | |
| navegador (WebGPU ou WASM). | |
| <audio controls src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/semfence_F_s4.wav"></audio> | |
| - Experimente no navegador: https://huggingface.co/spaces/semfence/tiny-voca-ptbr-demo | |
| - Código: https://github.com/SemFence/tiny-voca-ptbr | |
| - Fonemizador: https://github.com/SemFence/dizione-ptbr (Python) e https://github.com/SemFence/dizione-ptbr-js (TypeScript), com saída idêntica | |
| - Datasets: https://huggingface.co/datasets/semfence/ptbr-synthetic-speech e https://huggingface.co/datasets/semfence/ptbr-sentences | |
| > **Só pt-BR.** Não serve para português de Portugal nem para outras línguas. | |
| | | | | |
| |---|---| | |
| | Parâmetros | 4.533.259 | | |
| | Vozes | `F_s4` (feminina), `M_sm4` (masculina), sintéticas, português do Brasil | | |
| | Saída | 24 kHz, mono | | |
| | Entrada | Texto, convertido em fonemas pelo dizione-ptbr (55 símbolos) | | |
| | Pesos pré-treinados no modelo | Nenhum (treinado do zero) | | |
| | Licença | CC BY 4.0 (crédito obrigatório: SemFence, Gustavo Toledo). Código: Apache-2.0 | | |
| Criado pela **SemFence** · pesquisador: **Gustavo Toledo**. É a receita do [tiny-voca](https://huggingface.co/n4ze3m/tiny-voca) | |
| (Muhammed Nazeem) aplicada ao português do Brasil. | |
| ## Arquivos | |
| | Arquivo | Tamanho | Conteúdo | | |
| |---|---:|---| | |
| | `tiny-voca-ptbr.pt` | 18,2 MB | Pesos PyTorch, float32, passo 104.000 | | |
| | `onnx/model.onnx` | 21,4 MB | Exportação ONNX, float32, opset 17 | | |
| | `onnx/model.json` | | Símbolos, vozes, taxa de amostragem e limites do modelo | | |
| | `samples/` | | Os áudios desta página | | |
| | `eval/report.json` | | Avaliação completa (WER por clipe e transcrições) | | |
| | `LICENSE`, `NOTICE` | | Texto da CC BY 4.0 e o crédito a ser mantido | | |
| SHA256: | |
| - `tiny-voca-ptbr.pt`: `ae4614b02572f59ea0c60f81fcbc3d0dd995d8f82321cee3d7546c7a6f8627e2` | |
| - `onnx/model.onnx`: `0ac1ffc83e508973513182ed79d4626556e35bcffcccd99ee066dde6d2c77e5b` | |
| ## Exemplos | |
| | Texto | F_s4 | M_sm4 | | |
| |---|---|---| | |
| | Olá! Eu sou uma voz em português do Brasil, feita pela SemFence. Estou rodando aqui mesmo, no seu navegador: nada do que você escreve sai do seu aparelho. | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/semfence_F_s4.wav"></audio> | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/semfence_M_sm4.wav"></audio> | | |
| | Oi! Tudo bem? Pode escrever qualquer coisa aqui que eu leio para você. | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/saudacao_F_s4.wav"></audio> | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/saudacao_M_sm4.wav"></audio> | | |
| | A reunião foi marcada para as 15h30 do dia 14/03/2026, e o pagamento de R$ 1.250,50 vence em 3 dias. | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/numeros_F_s4.wav"></audio> | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/numeros_M_sm4.wav"></audio> | | |
| | Você acha mesmo que eu ia esquecer o seu aniversário? Claro que não! | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/pergunta_F_s4.wav"></audio> | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/pergunta_M_sm4.wav"></audio> | | |
| | O outono chega pintando as árvores de tons dourados, alaranjados e avermelhados. As folhas caem, o vento sopra suavemente e a natureza nos ensina que até deixar ir pode ser uma forma de florescer. | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/poesia_F_s4.wav"></audio> | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/poesia_M_sm4.wav"></audio> | | |
| | Ela nunca tinha visto o mar, e por muito tempo ficou parada na beira da água, sem dizer uma palavra. | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/historia_F_s4.wav"></audio> | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/historia_M_sm4.wav"></audio> | | |
| | Este modelo tem só quatro milhões e meio de parâmetros. Foi treinado do zero pela SemFence, e o código, os dados e os pesos estão abertos para qualquer pessoa usar. | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/sobre_F_s4.wav"></audio> | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/sobre_M_sm4.wav"></audio> | | |
| ## Uso | |
| ### PyTorch | |
| ```bash | |
| pip install git+https://github.com/SemFence/dizione-ptbr git+https://github.com/SemFence/tiny-voca-ptbr | |
| hf download semfence/tiny-voca-ptbr --local-dir tiny-voca-ptbr | |
| python -m tiny_voca.infer \ | |
| --checkpoint tiny-voca-ptbr/tiny-voca-ptbr.pt \ | |
| --voice F_s4 \ | |
| --text "Olá! Esta é a voz da SemFence." \ | |
| --output ola.wav | |
| ``` | |
| | Opção | Padrão | O que faz | | |
| |---|---|---| | |
| | `--text-file` | | Lê o texto de um arquivo em vez de `--text` | | |
| | `--voice` | `F_s4` | `F_s4` ou `M_sm4` | | |
| | `--speed` | 1,0 | Velocidade da fala | | |
| | `--pitch-shift` | 0 | Somado ao log de F0; 0,058 é cerca de um semitom | | |
| | `--pitch-range` | 1,0 | Aumenta ou diminui a variação de tom em torno da média | | |
| | `--device` | `cpu` | `cpu`, `mps` (GPU do Mac) ou `cuda` | | |
| Texto de qualquer tamanho funciona: o comando lê uma frase por vez e junta o áudio. Um texto sem pontuação final recebe | |
| um ponto. Uma frase sem nada para ler, como uma em outro alfabeto, é pulada. O áudio salvo nunca passa de 0,99 de pico. | |
| ### Mac (GPU Apple, Metal/MPS) | |
| ```bash | |
| python -m tiny_voca.infer --checkpoint tiny-voca-ptbr/tiny-voca-ptbr.pt --voice M_sm4 --device mps \ | |
| --text "Esta voz roda na GPU do seu Mac." --output mac.wav | |
| ``` | |
| No Apple M4 isso dá cerca de 165× o tempo real, contra cerca de 113× na CPU, com o mesmo áudio. | |
| ### ONNX | |
| O grafo recebe ids de fonemas e acento e devolve a onda. O texto vira ids fora do grafo, com o fonemizador; os ids são as | |
| posições em `symbols` no `onnx/model.json`. | |
| ```python | |
| import numpy as np | |
| import onnxruntime as ort | |
| import soundfile as sf | |
| from tiny_voca.text import phonemize # dizione-ptbr + a tokenização do modelo | |
| phones = phonemize("Olá! Esta é a voz da SemFence.") | |
| one = lambda value: np.array([value], dtype=np.float32) | |
| session = ort.InferenceSession("tiny-voca-ptbr/onnx/model.onnx") | |
| audio, durations = session.run(None, { | |
| "tokens": np.array([phones.ids], dtype=np.int64), | |
| "stress": np.array([phones.stress], dtype=np.int64), | |
| "voice": np.array([0], dtype=np.int64), # 0 = F_s4, 1 = M_sm4 | |
| "speed": one(1.0), | |
| "pitch_shift": one(0.0), | |
| "pitch_range": one(1.0), | |
| }) | |
| audio = audio[0] | |
| audio = audio * min(1.0, 0.99 / np.abs(audio).max()) # o modelo pode passar de 1.0 | |
| sf.write("ola.wav", audio, 24000) | |
| ``` | |
| | Entrada | Tipo | Forma | Significado | | |
| |---|---|---|---| | |
| | `tokens` | int64 | [1, N] | Ids dos fonemas, com os tokens de início e fim | | |
| | `stress` | int64 | [1, N] | 0 sem acento, 1 sílaba tônica | | |
| | `voice` | int64 | [1] | 0 = `F_s4`, 1 = `M_sm4` | | |
| | `speed` | float32 | [1] | 1,0 como previsto; maior é mais rápido | | |
| | `pitch_shift` | float32 | [1] | Somado ao log de F0 | | |
| | `pitch_range` | float32 | [1] | Escala a variação de tom | | |
| | Saída | Tipo | Forma | Significado | | |
| |---|---|---|---| | |
| | `audio` | float32 | [1, amostras] | Onda a 24 kHz | | |
| | `durations` | int64 | [1, N] | Duração de cada token em quadros de 256 amostras | | |
| O modelo lê uma frase por chamada, até 512 tokens e 32 segundos. Divida textos longos em frases | |
| (`tiny_voca.infer.speak_text` faz isso em Python) e termine cada uma com pontuação, senão a última palavra é cortada. | |
| O áudio pode passar um pouco de 1,0, então reduza a escala antes de salvar em 16 bits, como acima. O mesmo arquivo roda no | |
| onnxruntime-web: as durações são idênticas às do PyTorch, e o áudio difere pouco (até 3,6% no pior caso testado), porque | |
| cada runtime sorteia o próprio ruído. | |
| ### Navegador | |
| A [demo](https://huggingface.co/spaces/semfence/tiny-voca-ptbr-demo) roda tudo no aparelho de quem usa: o fonemizador em | |
| TypeScript (`@semfence/dizione-ptbr`) e este ONNX no WebGPU, com WASM como reserva. Nada do que é digitado sai do aparelho. | |
| ## Modelo | |
| A arquitetura é a do tiny-voca: codificador de texto, preditor de duração e pausas, dois transformers por quadro (tom, | |
| sonoridade e energia, depois o filtro) e um sintetizador por fonte e filtro, em vez de um vocoder neural. Um trem de pulsos | |
| no tom previsto e um ruído passam por filtros que a rede prevê a cada quadro (256 amostras, 10,7 ms). Essa parte tem 25.862 | |
| parâmetros. A única diferença de arquitetura é o vocabulário: 55 símbolos do português do Brasil. | |
| ## Dados de treino | |
| Toda a fala de treino é **sintética**: [`semfence/ptbr-synthetic-speech`](https://huggingface.co/datasets/semfence/ptbr-synthetic-speech) | |
| (20.442 clipes, 24,7 h, CC BY 4.0), gerada com o Chatterbox Multilingual pt-BR (MIT) a partir de duas vozes de referência | |
| também sintéticas (criadas com Qwen3-TTS VoiceDesign). Nenhuma gravação de pessoa real foi usada. Os textos vêm do | |
| [`semfence/ptbr-sentences`](https://huggingface.co/datasets/semfence/ptbr-sentences) (Common Voice PT, CC0, frases escritas com | |
| Qwen3-8B e modelos de números, datas, valores e horas). Cada clipe passou por Whisper large-v3-turbo (erro de palavras ≤ 15%). | |
| As durações dos fonemas vêm de alinhamento forçado com `facebook/wav2vec2-lv-60-espeak-cv-ft`, usado só para rotular os dados. | |
| ## Treino | |
| 104.000 passos em uma RTX 5080 alugada (~8 h, cerca de US$ 3 de GPU), com a receita do tiny-voca: 8.000 passos só com | |
| perdas espectrais e depois perda adversarial com discriminadores. As perdas de validação pararam de melhorar de forma | |
| visível por volta do passo 30.000. | |
| ## Avaliação | |
| Frases lidas pelo modelo a partir do texto (durações, tom e energia previstos, sem ver a gravação), transcritas pelo Whisper | |
| large-v3-turbo (CPU, int8, `language=pt`). WER em frases **fora do treino**: | |
| | Grupo | Clipes | WER | Clipes sem nenhum erro | | |
| |---|---:|---:|---:| | |
| | Teste do dataset (textos nunca vistos) | 96 | **0,55%** | 93,8% | | |
| | Frases novas, em nenhum conjunto | 32 | **0,0%** | 100% | | |
| Nenhum clipe passou de 20% de erro. Os poucos erros foram de grafia ("pra"/"para", "Matheus"/"Mateus") e de números | |
| escritos em dígitos pelo Whisper, não de palavras trocadas. Para referência, o mesmo Whisper nas gravações do dataset para | |
| os mesmos textos: 0,35% (voz feminina) e 1,63% (voz masculina), pelo controle de qualidade do dataset. | |
| **O que isso não mostra.** São poucos clipes (128 no total, 64 por voz), o avaliador é um modelo automático e não há teste de | |
| audição com pessoas. WER baixo diz que as palavras saem inteligíveis, não que a voz é natural. A qualidade do som é a do | |
| tiny-voca original: o sintetizador por fonte e filtro soa mais sintético do que um vocoder neural. | |
| ### Velocidade (Apple M4) | |
| | Onde | Tempo | Vezes o tempo real | | |
| |---|---:|---:| | |
| | PyTorch, CPU | ~95 ms (10,7 s de áudio) | ~113× | | |
| | PyTorch, GPU do Mac (MPS) | ~65 ms (10,7 s de áudio) | ~165× | | |
| | ONNX Runtime, CPU (4 threads) | ~27 ms (4,5 s de áudio) | ~164× | | |
| | Navegador, WebGPU | ~0,23 s (14,9 s de áudio) | ~65× | | |
| | Navegador, WASM (CPU) | ~1,8 s (14,9 s de áudio) | ~8,5× | | |
| ## Limitações | |
| - Só português do Brasil. Duas vozes fixas, sem clonagem de voz. | |
| - Sotaques regionais (chiado carioca, "r" caipira) não são modelados: t/d palatalizados antes de "i", "l" final como `w`, | |
| "r" final como `x`. | |
| - O fonemizador não distingue homógrafos ("almoço", "sede"); nomes e palavras estrangeiras são lidos com regras do português | |
| ("pix" → "pi-chi"); siglas sem vogal são soletradas. O léxico às vezes diverge da voz (ex.: "ou" átono sai `o w`). | |
| - Números, datas, horas e valores são normalizados por regras; telefones, URLs, algarismos romanos e unidades não. | |
| - Sem fala em fluxo (streaming). | |
| ## Uso responsável | |
| As duas vozes são sintéticas e não imitam ninguém. Não use o modelo para se passar por outra pessoa nem para enganar quem | |
| ouve: deixe claro, quando for o caso, que a voz é gerada por computador. O áudio de treino veio do Chatterbox, que embute a | |
| marca d'água Perth no que gera; não verificamos se algo dela sobrevive no áudio deste modelo. | |
| ## Licença | |
| **Pesos (este repositório): CC BY 4.0.** Você pode usar, modificar, redistribuir e comercializar, inclusive em produtos | |
| fechados, **desde que dê o crédito**: | |
| > tiny-voca-ptbr, por SemFence (Gustavo Toledo), CC BY 4.0, https://huggingface.co/semfence/tiny-voca-ptbr | |
| Indique se você alterou o modelo (por exemplo, um ajuste fino). Gerar áudio com o modelo não exige crédito sobre o áudio. | |
| Texto da licença em `LICENSE`; o crédito em `NOTICE`. | |
| - **Código** ([`SemFence/tiny-voca-ptbr`](https://github.com/SemFence/tiny-voca-ptbr), `dizione-ptbr`, `dizione-ptbr-js`): Apache-2.0, com arquivo `NOTICE`. | |
| - **Datasets**: CC BY 4.0, com crédito obrigatório a **SemFence (Gustavo Toledo)**. | |
| - **Léxico do fonemizador**: CC BY 4.0, derivado do dicionário MFA de Michael McAuliffe e Morgan Sonderegger, com mudanças. | |
| ## Citação | |
| ```bibtex | |
| @software{semfence2026tinyvocaptbr, | |
| author = {{SemFence} and Toledo, Gustavo}, | |
| title = {tiny-voca-ptbr: a 4.5M-parameter two-voice Brazilian Portuguese text-to-speech model}, | |
| year = {2026}, | |
| url = {https://huggingface.co/semfence/tiny-voca-ptbr} | |
| } | |
| ``` | |
| Cite também o [tiny-voca](https://huggingface.co/n4ze3m/tiny-voca) original. | |
| ## Agradecimentos | |
| - [tiny-voca](https://github.com/n4ze3m/tiny-voca), de Muhammed Nazeem: a arquitetura e a receita de treino. | |
| - [Chatterbox Multilingual](https://huggingface.co/ResembleAI/chatterbox) (Resemble AI, MIT): gerou a fala de treino. | |
| - [Qwen3-TTS](https://huggingface.co/Qwen/Qwen3-TTS-12Hz-1.7B-VoiceDesign) e [Qwen3-8B](https://huggingface.co/Qwen/Qwen3-8B) (Alibaba Qwen, Apache-2.0): criaram as vozes de referência e parte das frases. | |
| - [Mozilla Common Voice](https://commonvoice.mozilla.org) (CC0): frases em português. | |
| - Dicionário de pronúncia do português do Brasil do [Montreal Forced Aligner](https://montreal-forced-aligner.readthedocs.io) (CC BY 4.0). | |
| - `facebook/wav2vec2-lv-60-espeak-cv-ft` (alinhamento) e Whisper large-v3-turbo (controle de qualidade e avaliação). | |