File size: 15,173 Bytes
e39ad03
4658dd1
 
f231cbe
e39ad03
 
4658dd1
 
 
 
 
 
 
 
 
 
e39ad03
 
 
4658dd1
 
 
 
 
 
 
 
 
 
 
e39ad03
 
 
4658dd1
 
 
 
 
 
 
f231cbe
e39ad03
4658dd1
 
e39ad03
 
 
4658dd1
 
 
 
 
 
 
f231cbe
4658dd1
 
 
 
 
 
 
 
 
 
d628558
 
 
 
 
 
 
e39ad03
 
 
4658dd1
e39ad03
 
4658dd1
 
 
 
 
 
 
 
e39ad03
 
4658dd1
 
 
 
 
 
 
 
4422a76
4658dd1
 
 
 
4422a76
 
4658dd1
4422a76
 
 
4658dd1
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
e39ad03
 
 
 
 
 
 
 
 
 
 
 
4658dd1
 
 
e39ad03
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
4658dd1
e39ad03
 
 
 
 
 
 
 
 
 
 
 
 
4658dd1
 
 
 
 
e39ad03
4658dd1
 
 
 
 
 
 
e39ad03
 
 
f231cbe
 
 
 
 
 
 
 
 
 
 
4658dd1
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
---
language:
- pt
license: cc-by-4.0
library_name: pytorch
pipeline_tag: text-to-speech
tags:
- text-to-speech
- tts
- pt-br
- brazilian-portuguese
- onnx
- webgpu
datasets:
- semfence/ptbr-synthetic-speech
- semfence/ptbr-sentences
---
# tiny-voca-ptbr

tiny-voca-ptbr é um modelo pequeno de texto para fala em **português do Brasil**, da **SemFence**, com duas vozes
sintéticas, `F_s4` (feminina) e `M_sm4` (masculina). O modelo completo, com o gerador de onda, tem 4,5 milhões de
parâmetros e foi treinado do zero com 24,7 horas de fala sintética. Roda em CPU, na GPU do Mac (Metal/MPS) e no
navegador (WebGPU ou WASM).

<audio controls src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/semfence_F_s4.wav"></audio>

- Experimente no navegador: https://huggingface.co/spaces/semfence/tiny-voca-ptbr-demo
- Código: https://github.com/SemFence/tiny-voca-ptbr
- Fonemizador: https://github.com/SemFence/dizione-ptbr (Python) e https://github.com/SemFence/dizione-ptbr-js (TypeScript), com saída idêntica
- Datasets: https://huggingface.co/datasets/semfence/ptbr-synthetic-speech e https://huggingface.co/datasets/semfence/ptbr-sentences

> **Só pt-BR.** Não serve para português de Portugal nem para outras línguas.

| | |
|---|---|
| Parâmetros | 4.533.259 |
| Vozes | `F_s4` (feminina), `M_sm4` (masculina), sintéticas, português do Brasil |
| Saída | 24 kHz, mono |
| Entrada | Texto, convertido em fonemas pelo dizione-ptbr (55 símbolos) |
| Pesos pré-treinados no modelo | Nenhum (treinado do zero) |
| Licença | CC BY 4.0 (crédito obrigatório: SemFence, Gustavo Toledo). Código: Apache-2.0 |

Criado pela **SemFence** · pesquisador: **Gustavo Toledo**. É a receita do [tiny-voca](https://huggingface.co/n4ze3m/tiny-voca)
(Muhammed Nazeem) aplicada ao português do Brasil.

## Arquivos

| Arquivo | Tamanho | Conteúdo |
|---|---:|---|
| `tiny-voca-ptbr.pt` | 18,2 MB | Pesos PyTorch, float32, passo 104.000 |
| `onnx/model.onnx` | 21,4 MB | Exportação ONNX, float32, opset 17 |
| `onnx/model.json` | | Símbolos, vozes, taxa de amostragem e limites do modelo |
| `samples/` | | Os áudios desta página |
| `eval/report.json` | | Avaliação completa (WER por clipe e transcrições) |
| `LICENSE`, `NOTICE` | | Texto da CC BY 4.0 e o crédito a ser mantido |

SHA256:

- `tiny-voca-ptbr.pt`: `ae4614b02572f59ea0c60f81fcbc3d0dd995d8f82321cee3d7546c7a6f8627e2`
- `onnx/model.onnx`: `0ac1ffc83e508973513182ed79d4626556e35bcffcccd99ee066dde6d2c77e5b`

## Exemplos

| Texto | F_s4 | M_sm4 |
|---|---|---|
| Olá! Eu sou uma voz em português do Brasil, feita pela SemFence. Estou rodando aqui mesmo, no seu navegador: nada do que você escreve sai do seu aparelho. | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/semfence_F_s4.wav"></audio> | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/semfence_M_sm4.wav"></audio> |
| Oi! Tudo bem? Pode escrever qualquer coisa aqui que eu leio para você. | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/saudacao_F_s4.wav"></audio> | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/saudacao_M_sm4.wav"></audio> |
| A reunião foi marcada para as 15h30 do dia 14/03/2026, e o pagamento de R$ 1.250,50 vence em 3 dias. | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/numeros_F_s4.wav"></audio> | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/numeros_M_sm4.wav"></audio> |
| Você acha mesmo que eu ia esquecer o seu aniversário? Claro que não! | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/pergunta_F_s4.wav"></audio> | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/pergunta_M_sm4.wav"></audio> |
| O outono chega pintando as árvores de tons dourados, alaranjados e avermelhados. As folhas caem, o vento sopra suavemente e a natureza nos ensina que até deixar ir pode ser uma forma de florescer. | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/poesia_F_s4.wav"></audio> | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/poesia_M_sm4.wav"></audio> |
| Ela nunca tinha visto o mar, e por muito tempo ficou parada na beira da água, sem dizer uma palavra. | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/historia_F_s4.wav"></audio> | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/historia_M_sm4.wav"></audio> |
| Este modelo tem só quatro milhões e meio de parâmetros. Foi treinado do zero pela SemFence, e o código, os dados e os pesos estão abertos para qualquer pessoa usar. | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/sobre_F_s4.wav"></audio> | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/sobre_M_sm4.wav"></audio> |

## Uso

### PyTorch

```bash
pip install git+https://github.com/SemFence/dizione-ptbr git+https://github.com/SemFence/tiny-voca-ptbr
hf download semfence/tiny-voca-ptbr --local-dir tiny-voca-ptbr

python -m tiny_voca.infer \
  --checkpoint tiny-voca-ptbr/tiny-voca-ptbr.pt \
  --voice F_s4 \
  --text "Olá! Esta é a voz da SemFence." \
  --output ola.wav
```

| Opção | Padrão | O que faz |
|---|---|---|
| `--text-file` | | Lê o texto de um arquivo em vez de `--text` |
| `--voice` | `F_s4` | `F_s4` ou `M_sm4` |
| `--speed` | 1,0 | Velocidade da fala |
| `--pitch-shift` | 0 | Somado ao log de F0; 0,058 é cerca de um semitom |
| `--pitch-range` | 1,0 | Aumenta ou diminui a variação de tom em torno da média |
| `--device` | `cpu` | `cpu`, `mps` (GPU do Mac) ou `cuda` |

Texto de qualquer tamanho funciona: o comando lê uma frase por vez e junta o áudio. Um texto sem pontuação final recebe
um ponto. Uma frase sem nada para ler, como uma em outro alfabeto, é pulada. O áudio salvo nunca passa de 0,99 de pico.

### Mac (GPU Apple, Metal/MPS)

```bash
python -m tiny_voca.infer --checkpoint tiny-voca-ptbr/tiny-voca-ptbr.pt --voice M_sm4 --device mps \
  --text "Esta voz roda na GPU do seu Mac." --output mac.wav
```

No Apple M4 isso dá cerca de 165× o tempo real, contra cerca de 113× na CPU, com o mesmo áudio.

### ONNX

O grafo recebe ids de fonemas e acento e devolve a onda. O texto vira ids fora do grafo, com o fonemizador; os ids são as
posições em `symbols` no `onnx/model.json`.

```python
import numpy as np
import onnxruntime as ort
import soundfile as sf
from tiny_voca.text import phonemize   # dizione-ptbr + a tokenização do modelo

phones = phonemize("Olá! Esta é a voz da SemFence.")
one = lambda value: np.array([value], dtype=np.float32)

session = ort.InferenceSession("tiny-voca-ptbr/onnx/model.onnx")
audio, durations = session.run(None, {
    "tokens": np.array([phones.ids], dtype=np.int64),
    "stress": np.array([phones.stress], dtype=np.int64),
    "voice": np.array([0], dtype=np.int64),      # 0 = F_s4, 1 = M_sm4
    "speed": one(1.0),
    "pitch_shift": one(0.0),
    "pitch_range": one(1.0),
})
audio = audio[0]
audio = audio * min(1.0, 0.99 / np.abs(audio).max())    # o modelo pode passar de 1.0
sf.write("ola.wav", audio, 24000)
```

| Entrada | Tipo | Forma | Significado |
|---|---|---|---|
| `tokens` | int64 | [1, N] | Ids dos fonemas, com os tokens de início e fim |
| `stress` | int64 | [1, N] | 0 sem acento, 1 sílaba tônica |
| `voice` | int64 | [1] | 0 = `F_s4`, 1 = `M_sm4` |
| `speed` | float32 | [1] | 1,0 como previsto; maior é mais rápido |
| `pitch_shift` | float32 | [1] | Somado ao log de F0 |
| `pitch_range` | float32 | [1] | Escala a variação de tom |

| Saída | Tipo | Forma | Significado |
|---|---|---|---|
| `audio` | float32 | [1, amostras] | Onda a 24 kHz |
| `durations` | int64 | [1, N] | Duração de cada token em quadros de 256 amostras |

O modelo lê uma frase por chamada, até 512 tokens e 32 segundos. Divida textos longos em frases
(`tiny_voca.infer.speak_text` faz isso em Python) e termine cada uma com pontuação, senão a última palavra é cortada.
O áudio pode passar um pouco de 1,0, então reduza a escala antes de salvar em 16 bits, como acima. O mesmo arquivo roda no
onnxruntime-web: as durações são idênticas às do PyTorch, e o áudio difere pouco (até 3,6% no pior caso testado), porque
cada runtime sorteia o próprio ruído.

### Navegador

A [demo](https://huggingface.co/spaces/semfence/tiny-voca-ptbr-demo) roda tudo no aparelho de quem usa: o fonemizador em
TypeScript (`@semfence/dizione-ptbr`) e este ONNX no WebGPU, com WASM como reserva. Nada do que é digitado sai do aparelho.

## Modelo

A arquitetura é a do tiny-voca: codificador de texto, preditor de duração e pausas, dois transformers por quadro (tom,
sonoridade e energia, depois o filtro) e um sintetizador por fonte e filtro, em vez de um vocoder neural. Um trem de pulsos
no tom previsto e um ruído passam por filtros que a rede prevê a cada quadro (256 amostras, 10,7 ms). Essa parte tem 25.862
parâmetros. A única diferença de arquitetura é o vocabulário: 55 símbolos do português do Brasil.

## Dados de treino

Toda a fala de treino é **sintética**: [`semfence/ptbr-synthetic-speech`](https://huggingface.co/datasets/semfence/ptbr-synthetic-speech)
(20.442 clipes, 24,7 h, CC BY 4.0), gerada com o Chatterbox Multilingual pt-BR (MIT) a partir de duas vozes de referência
também sintéticas (criadas com Qwen3-TTS VoiceDesign). Nenhuma gravação de pessoa real foi usada. Os textos vêm do
[`semfence/ptbr-sentences`](https://huggingface.co/datasets/semfence/ptbr-sentences) (Common Voice PT, CC0, frases escritas com
Qwen3-8B e modelos de números, datas, valores e horas). Cada clipe passou por Whisper large-v3-turbo (erro de palavras ≤ 15%).
As durações dos fonemas vêm de alinhamento forçado com `facebook/wav2vec2-lv-60-espeak-cv-ft`, usado só para rotular os dados.

## Treino

104.000 passos em uma RTX 5080 alugada (~8 h, cerca de US$ 3 de GPU), com a receita do tiny-voca: 8.000 passos só com
perdas espectrais e depois perda adversarial com discriminadores. As perdas de validação pararam de melhorar de forma
visível por volta do passo 30.000.

## Avaliação

Frases lidas pelo modelo a partir do texto (durações, tom e energia previstos, sem ver a gravação), transcritas pelo Whisper
large-v3-turbo (CPU, int8, `language=pt`). WER em frases **fora do treino**:

| Grupo | Clipes | WER | Clipes sem nenhum erro |
|---|---:|---:|---:|
| Teste do dataset (textos nunca vistos) | 96 | **0,55%** | 93,8% |
| Frases novas, em nenhum conjunto | 32 | **0,0%** | 100% |

Nenhum clipe passou de 20% de erro. Os poucos erros foram de grafia ("pra"/"para", "Matheus"/"Mateus") e de números
escritos em dígitos pelo Whisper, não de palavras trocadas. Para referência, o mesmo Whisper nas gravações do dataset para
os mesmos textos: 0,35% (voz feminina) e 1,63% (voz masculina), pelo controle de qualidade do dataset.

**O que isso não mostra.** São poucos clipes (128 no total, 64 por voz), o avaliador é um modelo automático e não há teste de
audição com pessoas. WER baixo diz que as palavras saem inteligíveis, não que a voz é natural. A qualidade do som é a do
tiny-voca original: o sintetizador por fonte e filtro soa mais sintético do que um vocoder neural.

### Velocidade (Apple M4)

| Onde | Tempo | Vezes o tempo real |
|---|---:|---:|
| PyTorch, CPU | ~95 ms (10,7 s de áudio) | ~113× |
| PyTorch, GPU do Mac (MPS) | ~65 ms (10,7 s de áudio) | ~165× |
| ONNX Runtime, CPU (4 threads) | ~27 ms (4,5 s de áudio) | ~164× |
| Navegador, WebGPU | ~0,23 s (14,9 s de áudio) | ~65× |
| Navegador, WASM (CPU) | ~1,8 s (14,9 s de áudio) | ~8,5× |

## Limitações

- Só português do Brasil. Duas vozes fixas, sem clonagem de voz.
- Sotaques regionais (chiado carioca, "r" caipira) não são modelados: t/d palatalizados antes de "i", "l" final como `w`,
  "r" final como `x`.
- O fonemizador não distingue homógrafos ("almoço", "sede"); nomes e palavras estrangeiras são lidos com regras do português
  ("pix" → "pi-chi"); siglas sem vogal são soletradas. O léxico às vezes diverge da voz (ex.: "ou" átono sai `o w`).
- Números, datas, horas e valores são normalizados por regras; telefones, URLs, algarismos romanos e unidades não.
- Sem fala em fluxo (streaming).

## Uso responsável

As duas vozes são sintéticas e não imitam ninguém. Não use o modelo para se passar por outra pessoa nem para enganar quem
ouve: deixe claro, quando for o caso, que a voz é gerada por computador. O áudio de treino veio do Chatterbox, que embute a
marca d'água Perth no que gera; não verificamos se algo dela sobrevive no áudio deste modelo.

## Licença

**Pesos (este repositório): CC BY 4.0.** Você pode usar, modificar, redistribuir e comercializar, inclusive em produtos
fechados, **desde que dê o crédito**:

> tiny-voca-ptbr, por SemFence (Gustavo Toledo), CC BY 4.0, https://huggingface.co/semfence/tiny-voca-ptbr

Indique se você alterou o modelo (por exemplo, um ajuste fino). Gerar áudio com o modelo não exige crédito sobre o áudio.
Texto da licença em `LICENSE`; o crédito em `NOTICE`.

- **Código** ([`SemFence/tiny-voca-ptbr`](https://github.com/SemFence/tiny-voca-ptbr), `dizione-ptbr`, `dizione-ptbr-js`): Apache-2.0, com arquivo `NOTICE`.
- **Datasets**: CC BY 4.0, com crédito obrigatório a **SemFence (Gustavo Toledo)**.
- **Léxico do fonemizador**: CC BY 4.0, derivado do dicionário MFA de Michael McAuliffe e Morgan Sonderegger, com mudanças.

## Citação

```bibtex
@software{semfence2026tinyvocaptbr,
  author = {{SemFence} and Toledo, Gustavo},
  title  = {tiny-voca-ptbr: a 4.5M-parameter two-voice Brazilian Portuguese text-to-speech model},
  year   = {2026},
  url    = {https://huggingface.co/semfence/tiny-voca-ptbr}
}
```

Cite também o [tiny-voca](https://huggingface.co/n4ze3m/tiny-voca) original.

## Agradecimentos

- [tiny-voca](https://github.com/n4ze3m/tiny-voca), de Muhammed Nazeem: a arquitetura e a receita de treino.
- [Chatterbox Multilingual](https://huggingface.co/ResembleAI/chatterbox) (Resemble AI, MIT): gerou a fala de treino.
- [Qwen3-TTS](https://huggingface.co/Qwen/Qwen3-TTS-12Hz-1.7B-VoiceDesign) e [Qwen3-8B](https://huggingface.co/Qwen/Qwen3-8B) (Alibaba Qwen, Apache-2.0): criaram as vozes de referência e parte das frases.
- [Mozilla Common Voice](https://commonvoice.mozilla.org) (CC0): frases em português.
- Dicionário de pronúncia do português do Brasil do [Montreal Forced Aligner](https://montreal-forced-aligner.readthedocs.io) (CC BY 4.0).
- `facebook/wav2vec2-lv-60-espeak-cv-ft` (alinhamento) e Whisper large-v3-turbo (controle de qualidade e avaliação).