File size: 15,173 Bytes
e39ad03 4658dd1 f231cbe e39ad03 4658dd1 e39ad03 4658dd1 e39ad03 4658dd1 f231cbe e39ad03 4658dd1 e39ad03 4658dd1 f231cbe 4658dd1 d628558 e39ad03 4658dd1 e39ad03 4658dd1 e39ad03 4658dd1 4422a76 4658dd1 4422a76 4658dd1 4422a76 4658dd1 e39ad03 4658dd1 e39ad03 4658dd1 e39ad03 4658dd1 e39ad03 4658dd1 e39ad03 f231cbe 4658dd1 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 | ---
language:
- pt
license: cc-by-4.0
library_name: pytorch
pipeline_tag: text-to-speech
tags:
- text-to-speech
- tts
- pt-br
- brazilian-portuguese
- onnx
- webgpu
datasets:
- semfence/ptbr-synthetic-speech
- semfence/ptbr-sentences
---
# tiny-voca-ptbr
tiny-voca-ptbr é um modelo pequeno de texto para fala em **português do Brasil**, da **SemFence**, com duas vozes
sintéticas, `F_s4` (feminina) e `M_sm4` (masculina). O modelo completo, com o gerador de onda, tem 4,5 milhões de
parâmetros e foi treinado do zero com 24,7 horas de fala sintética. Roda em CPU, na GPU do Mac (Metal/MPS) e no
navegador (WebGPU ou WASM).
<audio controls src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/semfence_F_s4.wav"></audio>
- Experimente no navegador: https://huggingface.co/spaces/semfence/tiny-voca-ptbr-demo
- Código: https://github.com/SemFence/tiny-voca-ptbr
- Fonemizador: https://github.com/SemFence/dizione-ptbr (Python) e https://github.com/SemFence/dizione-ptbr-js (TypeScript), com saída idêntica
- Datasets: https://huggingface.co/datasets/semfence/ptbr-synthetic-speech e https://huggingface.co/datasets/semfence/ptbr-sentences
> **Só pt-BR.** Não serve para português de Portugal nem para outras línguas.
| | |
|---|---|
| Parâmetros | 4.533.259 |
| Vozes | `F_s4` (feminina), `M_sm4` (masculina), sintéticas, português do Brasil |
| Saída | 24 kHz, mono |
| Entrada | Texto, convertido em fonemas pelo dizione-ptbr (55 símbolos) |
| Pesos pré-treinados no modelo | Nenhum (treinado do zero) |
| Licença | CC BY 4.0 (crédito obrigatório: SemFence, Gustavo Toledo). Código: Apache-2.0 |
Criado pela **SemFence** · pesquisador: **Gustavo Toledo**. É a receita do [tiny-voca](https://huggingface.co/n4ze3m/tiny-voca)
(Muhammed Nazeem) aplicada ao português do Brasil.
## Arquivos
| Arquivo | Tamanho | Conteúdo |
|---|---:|---|
| `tiny-voca-ptbr.pt` | 18,2 MB | Pesos PyTorch, float32, passo 104.000 |
| `onnx/model.onnx` | 21,4 MB | Exportação ONNX, float32, opset 17 |
| `onnx/model.json` | | Símbolos, vozes, taxa de amostragem e limites do modelo |
| `samples/` | | Os áudios desta página |
| `eval/report.json` | | Avaliação completa (WER por clipe e transcrições) |
| `LICENSE`, `NOTICE` | | Texto da CC BY 4.0 e o crédito a ser mantido |
SHA256:
- `tiny-voca-ptbr.pt`: `ae4614b02572f59ea0c60f81fcbc3d0dd995d8f82321cee3d7546c7a6f8627e2`
- `onnx/model.onnx`: `0ac1ffc83e508973513182ed79d4626556e35bcffcccd99ee066dde6d2c77e5b`
## Exemplos
| Texto | F_s4 | M_sm4 |
|---|---|---|
| Olá! Eu sou uma voz em português do Brasil, feita pela SemFence. Estou rodando aqui mesmo, no seu navegador: nada do que você escreve sai do seu aparelho. | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/semfence_F_s4.wav"></audio> | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/semfence_M_sm4.wav"></audio> |
| Oi! Tudo bem? Pode escrever qualquer coisa aqui que eu leio para você. | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/saudacao_F_s4.wav"></audio> | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/saudacao_M_sm4.wav"></audio> |
| A reunião foi marcada para as 15h30 do dia 14/03/2026, e o pagamento de R$ 1.250,50 vence em 3 dias. | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/numeros_F_s4.wav"></audio> | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/numeros_M_sm4.wav"></audio> |
| Você acha mesmo que eu ia esquecer o seu aniversário? Claro que não! | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/pergunta_F_s4.wav"></audio> | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/pergunta_M_sm4.wav"></audio> |
| O outono chega pintando as árvores de tons dourados, alaranjados e avermelhados. As folhas caem, o vento sopra suavemente e a natureza nos ensina que até deixar ir pode ser uma forma de florescer. | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/poesia_F_s4.wav"></audio> | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/poesia_M_sm4.wav"></audio> |
| Ela nunca tinha visto o mar, e por muito tempo ficou parada na beira da água, sem dizer uma palavra. | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/historia_F_s4.wav"></audio> | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/historia_M_sm4.wav"></audio> |
| Este modelo tem só quatro milhões e meio de parâmetros. Foi treinado do zero pela SemFence, e o código, os dados e os pesos estão abertos para qualquer pessoa usar. | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/sobre_F_s4.wav"></audio> | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/sobre_M_sm4.wav"></audio> |
## Uso
### PyTorch
```bash
pip install git+https://github.com/SemFence/dizione-ptbr git+https://github.com/SemFence/tiny-voca-ptbr
hf download semfence/tiny-voca-ptbr --local-dir tiny-voca-ptbr
python -m tiny_voca.infer \
--checkpoint tiny-voca-ptbr/tiny-voca-ptbr.pt \
--voice F_s4 \
--text "Olá! Esta é a voz da SemFence." \
--output ola.wav
```
| Opção | Padrão | O que faz |
|---|---|---|
| `--text-file` | | Lê o texto de um arquivo em vez de `--text` |
| `--voice` | `F_s4` | `F_s4` ou `M_sm4` |
| `--speed` | 1,0 | Velocidade da fala |
| `--pitch-shift` | 0 | Somado ao log de F0; 0,058 é cerca de um semitom |
| `--pitch-range` | 1,0 | Aumenta ou diminui a variação de tom em torno da média |
| `--device` | `cpu` | `cpu`, `mps` (GPU do Mac) ou `cuda` |
Texto de qualquer tamanho funciona: o comando lê uma frase por vez e junta o áudio. Um texto sem pontuação final recebe
um ponto. Uma frase sem nada para ler, como uma em outro alfabeto, é pulada. O áudio salvo nunca passa de 0,99 de pico.
### Mac (GPU Apple, Metal/MPS)
```bash
python -m tiny_voca.infer --checkpoint tiny-voca-ptbr/tiny-voca-ptbr.pt --voice M_sm4 --device mps \
--text "Esta voz roda na GPU do seu Mac." --output mac.wav
```
No Apple M4 isso dá cerca de 165× o tempo real, contra cerca de 113× na CPU, com o mesmo áudio.
### ONNX
O grafo recebe ids de fonemas e acento e devolve a onda. O texto vira ids fora do grafo, com o fonemizador; os ids são as
posições em `symbols` no `onnx/model.json`.
```python
import numpy as np
import onnxruntime as ort
import soundfile as sf
from tiny_voca.text import phonemize # dizione-ptbr + a tokenização do modelo
phones = phonemize("Olá! Esta é a voz da SemFence.")
one = lambda value: np.array([value], dtype=np.float32)
session = ort.InferenceSession("tiny-voca-ptbr/onnx/model.onnx")
audio, durations = session.run(None, {
"tokens": np.array([phones.ids], dtype=np.int64),
"stress": np.array([phones.stress], dtype=np.int64),
"voice": np.array([0], dtype=np.int64), # 0 = F_s4, 1 = M_sm4
"speed": one(1.0),
"pitch_shift": one(0.0),
"pitch_range": one(1.0),
})
audio = audio[0]
audio = audio * min(1.0, 0.99 / np.abs(audio).max()) # o modelo pode passar de 1.0
sf.write("ola.wav", audio, 24000)
```
| Entrada | Tipo | Forma | Significado |
|---|---|---|---|
| `tokens` | int64 | [1, N] | Ids dos fonemas, com os tokens de início e fim |
| `stress` | int64 | [1, N] | 0 sem acento, 1 sílaba tônica |
| `voice` | int64 | [1] | 0 = `F_s4`, 1 = `M_sm4` |
| `speed` | float32 | [1] | 1,0 como previsto; maior é mais rápido |
| `pitch_shift` | float32 | [1] | Somado ao log de F0 |
| `pitch_range` | float32 | [1] | Escala a variação de tom |
| Saída | Tipo | Forma | Significado |
|---|---|---|---|
| `audio` | float32 | [1, amostras] | Onda a 24 kHz |
| `durations` | int64 | [1, N] | Duração de cada token em quadros de 256 amostras |
O modelo lê uma frase por chamada, até 512 tokens e 32 segundos. Divida textos longos em frases
(`tiny_voca.infer.speak_text` faz isso em Python) e termine cada uma com pontuação, senão a última palavra é cortada.
O áudio pode passar um pouco de 1,0, então reduza a escala antes de salvar em 16 bits, como acima. O mesmo arquivo roda no
onnxruntime-web: as durações são idênticas às do PyTorch, e o áudio difere pouco (até 3,6% no pior caso testado), porque
cada runtime sorteia o próprio ruído.
### Navegador
A [demo](https://huggingface.co/spaces/semfence/tiny-voca-ptbr-demo) roda tudo no aparelho de quem usa: o fonemizador em
TypeScript (`@semfence/dizione-ptbr`) e este ONNX no WebGPU, com WASM como reserva. Nada do que é digitado sai do aparelho.
## Modelo
A arquitetura é a do tiny-voca: codificador de texto, preditor de duração e pausas, dois transformers por quadro (tom,
sonoridade e energia, depois o filtro) e um sintetizador por fonte e filtro, em vez de um vocoder neural. Um trem de pulsos
no tom previsto e um ruído passam por filtros que a rede prevê a cada quadro (256 amostras, 10,7 ms). Essa parte tem 25.862
parâmetros. A única diferença de arquitetura é o vocabulário: 55 símbolos do português do Brasil.
## Dados de treino
Toda a fala de treino é **sintética**: [`semfence/ptbr-synthetic-speech`](https://huggingface.co/datasets/semfence/ptbr-synthetic-speech)
(20.442 clipes, 24,7 h, CC BY 4.0), gerada com o Chatterbox Multilingual pt-BR (MIT) a partir de duas vozes de referência
também sintéticas (criadas com Qwen3-TTS VoiceDesign). Nenhuma gravação de pessoa real foi usada. Os textos vêm do
[`semfence/ptbr-sentences`](https://huggingface.co/datasets/semfence/ptbr-sentences) (Common Voice PT, CC0, frases escritas com
Qwen3-8B e modelos de números, datas, valores e horas). Cada clipe passou por Whisper large-v3-turbo (erro de palavras ≤ 15%).
As durações dos fonemas vêm de alinhamento forçado com `facebook/wav2vec2-lv-60-espeak-cv-ft`, usado só para rotular os dados.
## Treino
104.000 passos em uma RTX 5080 alugada (~8 h, cerca de US$ 3 de GPU), com a receita do tiny-voca: 8.000 passos só com
perdas espectrais e depois perda adversarial com discriminadores. As perdas de validação pararam de melhorar de forma
visível por volta do passo 30.000.
## Avaliação
Frases lidas pelo modelo a partir do texto (durações, tom e energia previstos, sem ver a gravação), transcritas pelo Whisper
large-v3-turbo (CPU, int8, `language=pt`). WER em frases **fora do treino**:
| Grupo | Clipes | WER | Clipes sem nenhum erro |
|---|---:|---:|---:|
| Teste do dataset (textos nunca vistos) | 96 | **0,55%** | 93,8% |
| Frases novas, em nenhum conjunto | 32 | **0,0%** | 100% |
Nenhum clipe passou de 20% de erro. Os poucos erros foram de grafia ("pra"/"para", "Matheus"/"Mateus") e de números
escritos em dígitos pelo Whisper, não de palavras trocadas. Para referência, o mesmo Whisper nas gravações do dataset para
os mesmos textos: 0,35% (voz feminina) e 1,63% (voz masculina), pelo controle de qualidade do dataset.
**O que isso não mostra.** São poucos clipes (128 no total, 64 por voz), o avaliador é um modelo automático e não há teste de
audição com pessoas. WER baixo diz que as palavras saem inteligíveis, não que a voz é natural. A qualidade do som é a do
tiny-voca original: o sintetizador por fonte e filtro soa mais sintético do que um vocoder neural.
### Velocidade (Apple M4)
| Onde | Tempo | Vezes o tempo real |
|---|---:|---:|
| PyTorch, CPU | ~95 ms (10,7 s de áudio) | ~113× |
| PyTorch, GPU do Mac (MPS) | ~65 ms (10,7 s de áudio) | ~165× |
| ONNX Runtime, CPU (4 threads) | ~27 ms (4,5 s de áudio) | ~164× |
| Navegador, WebGPU | ~0,23 s (14,9 s de áudio) | ~65× |
| Navegador, WASM (CPU) | ~1,8 s (14,9 s de áudio) | ~8,5× |
## Limitações
- Só português do Brasil. Duas vozes fixas, sem clonagem de voz.
- Sotaques regionais (chiado carioca, "r" caipira) não são modelados: t/d palatalizados antes de "i", "l" final como `w`,
"r" final como `x`.
- O fonemizador não distingue homógrafos ("almoço", "sede"); nomes e palavras estrangeiras são lidos com regras do português
("pix" → "pi-chi"); siglas sem vogal são soletradas. O léxico às vezes diverge da voz (ex.: "ou" átono sai `o w`).
- Números, datas, horas e valores são normalizados por regras; telefones, URLs, algarismos romanos e unidades não.
- Sem fala em fluxo (streaming).
## Uso responsável
As duas vozes são sintéticas e não imitam ninguém. Não use o modelo para se passar por outra pessoa nem para enganar quem
ouve: deixe claro, quando for o caso, que a voz é gerada por computador. O áudio de treino veio do Chatterbox, que embute a
marca d'água Perth no que gera; não verificamos se algo dela sobrevive no áudio deste modelo.
## Licença
**Pesos (este repositório): CC BY 4.0.** Você pode usar, modificar, redistribuir e comercializar, inclusive em produtos
fechados, **desde que dê o crédito**:
> tiny-voca-ptbr, por SemFence (Gustavo Toledo), CC BY 4.0, https://huggingface.co/semfence/tiny-voca-ptbr
Indique se você alterou o modelo (por exemplo, um ajuste fino). Gerar áudio com o modelo não exige crédito sobre o áudio.
Texto da licença em `LICENSE`; o crédito em `NOTICE`.
- **Código** ([`SemFence/tiny-voca-ptbr`](https://github.com/SemFence/tiny-voca-ptbr), `dizione-ptbr`, `dizione-ptbr-js`): Apache-2.0, com arquivo `NOTICE`.
- **Datasets**: CC BY 4.0, com crédito obrigatório a **SemFence (Gustavo Toledo)**.
- **Léxico do fonemizador**: CC BY 4.0, derivado do dicionário MFA de Michael McAuliffe e Morgan Sonderegger, com mudanças.
## Citação
```bibtex
@software{semfence2026tinyvocaptbr,
author = {{SemFence} and Toledo, Gustavo},
title = {tiny-voca-ptbr: a 4.5M-parameter two-voice Brazilian Portuguese text-to-speech model},
year = {2026},
url = {https://huggingface.co/semfence/tiny-voca-ptbr}
}
```
Cite também o [tiny-voca](https://huggingface.co/n4ze3m/tiny-voca) original.
## Agradecimentos
- [tiny-voca](https://github.com/n4ze3m/tiny-voca), de Muhammed Nazeem: a arquitetura e a receita de treino.
- [Chatterbox Multilingual](https://huggingface.co/ResembleAI/chatterbox) (Resemble AI, MIT): gerou a fala de treino.
- [Qwen3-TTS](https://huggingface.co/Qwen/Qwen3-TTS-12Hz-1.7B-VoiceDesign) e [Qwen3-8B](https://huggingface.co/Qwen/Qwen3-8B) (Alibaba Qwen, Apache-2.0): criaram as vozes de referência e parte das frases.
- [Mozilla Common Voice](https://commonvoice.mozilla.org) (CC0): frases em português.
- Dicionário de pronúncia do português do Brasil do [Montreal Forced Aligner](https://montreal-forced-aligner.readthedocs.io) (CC BY 4.0).
- `facebook/wav2vec2-lv-60-espeak-cv-ft` (alinhamento) e Whisper large-v3-turbo (controle de qualidade e avaliação).
|