Model card no formato usual (exemplos, uso PyTorch/Mac/ONNX, citação); exemplos com os textos da demo
Browse files- .gitattributes +6 -0
- README.md +178 -40
- samples/{demo_semfence_F_s4.wav → historia_F_s4.wav} +2 -2
- samples/{demo_semfence_M_sm4.wav → historia_M_sm4.wav} +2 -2
- samples/numeros_F_s4.wav +2 -2
- samples/numeros_M_sm4.wav +2 -2
- samples/pergunta_F_s4.wav +2 -2
- samples/pergunta_M_sm4.wav +2 -2
- samples/{outono_F_s4.wav → poesia_F_s4.wav} +2 -2
- samples/{outono_M_sm4.wav → poesia_M_sm4.wav} +2 -2
- samples/saudacao_F_s4.wav +2 -2
- samples/saudacao_M_sm4.wav +2 -2
- samples/semfence_F_s4.wav +3 -0
- samples/semfence_M_sm4.wav +3 -0
.gitattributes
CHANGED
|
@@ -43,3 +43,9 @@ samples/pergunta_F_s4.wav filter=lfs diff=lfs merge=lfs -text
|
|
| 43 |
samples/pergunta_M_sm4.wav filter=lfs diff=lfs merge=lfs -text
|
| 44 |
samples/saudacao_F_s4.wav filter=lfs diff=lfs merge=lfs -text
|
| 45 |
samples/saudacao_M_sm4.wav filter=lfs diff=lfs merge=lfs -text
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 43 |
samples/pergunta_M_sm4.wav filter=lfs diff=lfs merge=lfs -text
|
| 44 |
samples/saudacao_F_s4.wav filter=lfs diff=lfs merge=lfs -text
|
| 45 |
samples/saudacao_M_sm4.wav filter=lfs diff=lfs merge=lfs -text
|
| 46 |
+
samples/historia_F_s4.wav filter=lfs diff=lfs merge=lfs -text
|
| 47 |
+
samples/historia_M_sm4.wav filter=lfs diff=lfs merge=lfs -text
|
| 48 |
+
samples/poesia_F_s4.wav filter=lfs diff=lfs merge=lfs -text
|
| 49 |
+
samples/poesia_M_sm4.wav filter=lfs diff=lfs merge=lfs -text
|
| 50 |
+
samples/semfence_F_s4.wav filter=lfs diff=lfs merge=lfs -text
|
| 51 |
+
samples/semfence_M_sm4.wav filter=lfs diff=lfs merge=lfs -text
|
README.md
CHANGED
|
@@ -1,56 +1,169 @@
|
|
| 1 |
---
|
| 2 |
-
language:
|
|
|
|
| 3 |
license: apache-2.0
|
| 4 |
library_name: pytorch
|
| 5 |
pipeline_tag: text-to-speech
|
| 6 |
-
tags:
|
| 7 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 8 |
---
|
| 9 |
-
|
| 10 |
# tiny-voca-ptbr
|
| 11 |
|
| 12 |
-
|
| 13 |
-
sintéticas,
|
| 14 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 15 |
|
| 16 |
> **Só pt-BR.** Não serve para português de Portugal nem para outras línguas.
|
| 17 |
|
| 18 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 19 |
|
| 20 |
-
Criado pela **SemFence** · pesquisador: **Gustavo Toledo**.
|
|
|
|
| 21 |
|
| 22 |
## Arquivos
|
| 23 |
|
| 24 |
-
| Arquivo |
|
| 25 |
-
|---|---|
|
| 26 |
-
| `tiny-voca-ptbr.pt` |
|
| 27 |
-
| `onnx/model.onnx`
|
| 28 |
-
| `
|
| 29 |
-
| `
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 30 |
|
| 31 |
## Uso
|
| 32 |
|
| 33 |
-
|
| 34 |
-
Precisa do fonemizador [`dizione-ptbr`](https://github.com/SemFence/dizione-ptbr) (Python) ou
|
| 35 |
-
[`@semfence/dizione-ptbr`](https://github.com/SemFence/dizione-ptbr-js) (TypeScript), com saída idêntica.
|
| 36 |
|
| 37 |
```bash
|
| 38 |
-
|
| 39 |
-
|
| 40 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 41 |
```
|
| 42 |
|
| 43 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 44 |
|
| 45 |
-
|
|
|
|
|
|
|
|
|
|
| 46 |
|
| 47 |
```bash
|
| 48 |
-
python -m tiny_voca.infer --checkpoint tiny-voca-ptbr.pt --voice M_sm4 --device mps \
|
| 49 |
--text "Esta voz roda na GPU do seu Mac." --output mac.wav
|
| 50 |
```
|
| 51 |
|
| 52 |
-
No Apple M4 isso dá
|
| 53 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 54 |
|
| 55 |
## Dados de treino
|
| 56 |
|
|
@@ -63,8 +176,9 @@ As durações dos fonemas vêm de alinhamento forçado com `facebook/wav2vec2-lv
|
|
| 63 |
|
| 64 |
## Treino
|
| 65 |
|
| 66 |
-
104.000 passos em uma RTX 5080 alugada (~8 h, cerca de US$ 3 de GPU), receita do tiny-voca: 8.000 passos só com
|
| 67 |
-
espectrais e depois perda adversarial com discriminadores.
|
|
|
|
| 68 |
|
| 69 |
## Avaliação
|
| 70 |
|
|
@@ -82,7 +196,7 @@ os mesmos textos: 0,35% (voz feminina) e 1,63% (voz masculina), pelo controle de
|
|
| 82 |
|
| 83 |
**O que isso não mostra.** São poucos clipes (128 no total, 64 por voz), o avaliador é um modelo automático e não há teste de
|
| 84 |
audição com pessoas. WER baixo diz que as palavras saem inteligíveis, não que a voz é natural. A qualidade do som é a do
|
| 85 |
-
tiny-voca original: o sintetizador por
|
| 86 |
|
| 87 |
### Velocidade (Apple M4)
|
| 88 |
|
|
@@ -94,21 +208,45 @@ tiny-voca original: o sintetizador por filtro e pulsos (25 mil parâmetros) soa
|
|
| 94 |
| Navegador, WebGPU | ~0,23 s (14,9 s de áudio) | ~65× |
|
| 95 |
| Navegador, WASM (CPU) | ~1,8 s (14,9 s de áudio) | ~8,5× |
|
| 96 |
|
| 97 |
-
O ONNX tem as mesmas durações do PyTorch e diferença pequena no áudio (até 3,6% no pior caso testado, `scripts/check_onnx.py`).
|
| 98 |
-
O MPS dá o mesmo áudio da CPU (erro relativo < 0,1%). No navegador, o comprimento do áudio é idêntico ao do PyTorch.
|
| 99 |
-
|
| 100 |
## Limitações
|
| 101 |
|
| 102 |
-
- Só
|
| 103 |
-
|
| 104 |
-
|
| 105 |
-
|
| 106 |
-
(ex.: "ou" átono sai `o w`
|
| 107 |
- Números, datas, horas e valores são normalizados por regras; telefones, URLs, algarismos romanos e unidades não.
|
| 108 |
-
-
|
| 109 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 110 |
|
| 111 |
## Licença
|
| 112 |
|
| 113 |
-
Código e pesos: Apache-2.0.
|
| 114 |
fonemizador: CC BY 4.0 (dicionário MFA de Michael McAuliffe e Morgan Sonderegger).
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
---
|
| 2 |
+
language:
|
| 3 |
+
- pt
|
| 4 |
license: apache-2.0
|
| 5 |
library_name: pytorch
|
| 6 |
pipeline_tag: text-to-speech
|
| 7 |
+
tags:
|
| 8 |
+
- text-to-speech
|
| 9 |
+
- tts
|
| 10 |
+
- pt-br
|
| 11 |
+
- brazilian-portuguese
|
| 12 |
+
- onnx
|
| 13 |
+
- webgpu
|
| 14 |
+
datasets:
|
| 15 |
+
- semfence/ptbr-synthetic-speech
|
| 16 |
+
- semfence/ptbr-sentences
|
| 17 |
---
|
|
|
|
| 18 |
# tiny-voca-ptbr
|
| 19 |
|
| 20 |
+
tiny-voca-ptbr é um modelo pequeno de texto para fala em **português do Brasil**, da **SemFence**, com duas vozes
|
| 21 |
+
sintéticas, `F_s4` (feminina) e `M_sm4` (masculina). O modelo completo, com o gerador de onda, tem 4,5 milhões de
|
| 22 |
+
parâmetros e foi treinado do zero com 24,7 horas de fala sintética. Roda em CPU, na GPU do Mac (Metal/MPS) e no
|
| 23 |
+
navegador (WebGPU ou WASM).
|
| 24 |
+
|
| 25 |
+
<audio controls src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/semfence_F_s4.wav"></audio>
|
| 26 |
+
|
| 27 |
+
- Experimente no navegador: https://huggingface.co/spaces/semfence/tiny-voca-ptbr-demo
|
| 28 |
+
- Código: https://github.com/SemFence/tiny-voca-ptbr
|
| 29 |
+
- Fonemizador: https://github.com/SemFence/dizione-ptbr (Python) e https://github.com/SemFence/dizione-ptbr-js (TypeScript), com saída idêntica
|
| 30 |
+
- Datasets: https://huggingface.co/datasets/semfence/ptbr-synthetic-speech e https://huggingface.co/datasets/semfence/ptbr-sentences
|
| 31 |
|
| 32 |
> **Só pt-BR.** Não serve para português de Portugal nem para outras línguas.
|
| 33 |
|
| 34 |
+
| | |
|
| 35 |
+
|---|---|
|
| 36 |
+
| Parâmetros | 4.533.259 |
|
| 37 |
+
| Vozes | `F_s4` (feminina), `M_sm4` (masculina), sintéticas, português do Brasil |
|
| 38 |
+
| Saída | 24 kHz, mono |
|
| 39 |
+
| Entrada | Texto, convertido em fonemas pelo dizione-ptbr (55 símbolos) |
|
| 40 |
+
| Pesos pré-treinados no modelo | Nenhum (treinado do zero) |
|
| 41 |
+
| Licença | Apache-2.0 |
|
| 42 |
|
| 43 |
+
Criado pela **SemFence** · pesquisador: **Gustavo Toledo**. É a receita do [tiny-voca](https://huggingface.co/n4ze3m/tiny-voca)
|
| 44 |
+
(Muhammed Nazeem) aplicada ao português do Brasil.
|
| 45 |
|
| 46 |
## Arquivos
|
| 47 |
|
| 48 |
+
| Arquivo | Tamanho | Conteúdo |
|
| 49 |
+
|---|---:|---|
|
| 50 |
+
| `tiny-voca-ptbr.pt` | 18,2 MB | Pesos PyTorch, float32, passo 104.000 |
|
| 51 |
+
| `onnx/model.onnx` | 21,4 MB | Exportação ONNX, float32, opset 17 |
|
| 52 |
+
| `onnx/model.json` | | Símbolos, vozes, taxa de amostragem e limites do modelo |
|
| 53 |
+
| `samples/` | | Os áudios desta página |
|
| 54 |
+
| `eval/report.json` | | Avaliação completa (WER por clipe e transcrições) |
|
| 55 |
+
|
| 56 |
+
SHA256:
|
| 57 |
+
|
| 58 |
+
- `tiny-voca-ptbr.pt`: `ae4614b02572f59ea0c60f81fcbc3d0dd995d8f82321cee3d7546c7a6f8627e2`
|
| 59 |
+
- `onnx/model.onnx`: `0ac1ffc83e508973513182ed79d4626556e35bcffcccd99ee066dde6d2c77e5b`
|
| 60 |
+
|
| 61 |
+
## Exemplos
|
| 62 |
+
|
| 63 |
+
| Texto | F_s4 | M_sm4 |
|
| 64 |
+
|---|---|---|
|
| 65 |
+
| Olá! Esta voz foi gerada pela SemFence, por um modelo pequeno que roda inteiramente no seu navegador. SemFence: vozes abertas em português do Brasil. | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/semfence_F_s4.wav"></audio> | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/semfence_M_sm4.wav"></audio> |
|
| 66 |
+
| Olá! Aqui é a voz da SemFence, rodando inteiramente no seu navegador. Gostou? Então lembre-se: SemFence. | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/saudacao_F_s4.wav"></audio> | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/saudacao_M_sm4.wav"></audio> |
|
| 67 |
+
| A SemFence marcou a reunião para as 15h30 do dia 14/03/2026, e o pagamento de R$ 1.250,50 vence em 3 dias. | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/numeros_F_s4.wav"></audio> | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/numeros_M_sm4.wav"></audio> |
|
| 68 |
+
| Você já conhecia a SemFence? Pois agora ela fala português do Brasil, e de graça para todo mundo! | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/pergunta_F_s4.wav"></audio> | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/pergunta_M_sm4.wav"></audio> |
|
| 69 |
+
| O outono chega pintando as árvores de tons dourados, alaranjados e avermelhados. As folhas caem, o vento sopra suavemente e a natureza nos ensina que até deixar ir pode ser uma forma de florescer. Esta voz é da SemFence. | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/poesia_F_s4.wav"></audio> | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/poesia_M_sm4.wav"></audio> |
|
| 70 |
+
| Ela nunca tinha visto o mar, e por muito tempo ficou parada na beira da água, sem dizer uma palavra. Uma história contada pela voz da SemFence. | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/historia_F_s4.wav"></audio> | <audio controls preload="none" src="https://huggingface.co/semfence/tiny-voca-ptbr/resolve/main/samples/historia_M_sm4.wav"></audio> |
|
| 71 |
|
| 72 |
## Uso
|
| 73 |
|
| 74 |
+
### PyTorch
|
|
|
|
|
|
|
| 75 |
|
| 76 |
```bash
|
| 77 |
+
pip install git+https://github.com/SemFence/dizione-ptbr git+https://github.com/SemFence/tiny-voca-ptbr
|
| 78 |
+
hf download semfence/tiny-voca-ptbr --local-dir tiny-voca-ptbr
|
| 79 |
+
|
| 80 |
+
python -m tiny_voca.infer \
|
| 81 |
+
--checkpoint tiny-voca-ptbr/tiny-voca-ptbr.pt \
|
| 82 |
+
--voice F_s4 \
|
| 83 |
+
--text "Olá! Esta é a voz da SemFence." \
|
| 84 |
+
--output ola.wav
|
| 85 |
```
|
| 86 |
|
| 87 |
+
| Opção | Padrão | O que faz |
|
| 88 |
+
|---|---|---|
|
| 89 |
+
| `--text-file` | | Lê o texto de um arquivo em vez de `--text` |
|
| 90 |
+
| `--voice` | `F_s4` | `F_s4` ou `M_sm4` |
|
| 91 |
+
| `--speed` | 1,0 | Velocidade da fala |
|
| 92 |
+
| `--pitch-shift` | 0 | Somado ao log de F0; 0,058 é cerca de um semitom |
|
| 93 |
+
| `--pitch-range` | 1,0 | Aumenta ou diminui a variação de tom em torno da média |
|
| 94 |
+
| `--device` | `cpu` | `cpu`, `mps` (GPU do Mac) ou `cuda` |
|
| 95 |
|
| 96 |
+
Texto de qualquer tamanho funciona: o comando lê uma frase por vez e junta o áudio. Um texto sem pontuação final recebe
|
| 97 |
+
um ponto. Uma frase sem nada para ler, como uma em outro alfabeto, é pulada. O áudio salvo nunca passa de 0,99 de pico.
|
| 98 |
+
|
| 99 |
+
### Mac (GPU Apple, Metal/MPS)
|
| 100 |
|
| 101 |
```bash
|
| 102 |
+
python -m tiny_voca.infer --checkpoint tiny-voca-ptbr/tiny-voca-ptbr.pt --voice M_sm4 --device mps \
|
| 103 |
--text "Esta voz roda na GPU do seu Mac." --output mac.wav
|
| 104 |
```
|
| 105 |
|
| 106 |
+
No Apple M4 isso dá cerca de 165× o tempo real, contra cerca de 113× na CPU, com o mesmo áudio.
|
| 107 |
+
|
| 108 |
+
### ONNX
|
| 109 |
+
|
| 110 |
+
O grafo recebe ids de fonemas e acento e devolve a onda. O texto vira ids fora do grafo, com o fonemizador; os ids são as
|
| 111 |
+
posições em `symbols` no `onnx/model.json`.
|
| 112 |
+
|
| 113 |
+
```python
|
| 114 |
+
import numpy as np
|
| 115 |
+
import onnxruntime as ort
|
| 116 |
+
import soundfile as sf
|
| 117 |
+
from tiny_voca.text import phonemize # dizione-ptbr + a tokenização do modelo
|
| 118 |
+
|
| 119 |
+
phones = phonemize("Olá! Esta é a voz da SemFence.")
|
| 120 |
+
one = lambda value: np.array([value], dtype=np.float32)
|
| 121 |
+
|
| 122 |
+
session = ort.InferenceSession("tiny-voca-ptbr/onnx/model.onnx")
|
| 123 |
+
audio, durations = session.run(None, {
|
| 124 |
+
"tokens": np.array([phones.ids], dtype=np.int64),
|
| 125 |
+
"stress": np.array([phones.stress], dtype=np.int64),
|
| 126 |
+
"voice": np.array([0], dtype=np.int64), # 0 = F_s4, 1 = M_sm4
|
| 127 |
+
"speed": one(1.0),
|
| 128 |
+
"pitch_shift": one(0.0),
|
| 129 |
+
"pitch_range": one(1.0),
|
| 130 |
+
})
|
| 131 |
+
audio = audio[0]
|
| 132 |
+
audio = audio * min(1.0, 0.99 / np.abs(audio).max()) # o modelo pode passar de 1.0
|
| 133 |
+
sf.write("ola.wav", audio, 24000)
|
| 134 |
+
```
|
| 135 |
+
|
| 136 |
+
| Entrada | Tipo | Forma | Significado |
|
| 137 |
+
|---|---|---|---|
|
| 138 |
+
| `tokens` | int64 | [1, N] | Ids dos fonemas, com os tokens de início e fim |
|
| 139 |
+
| `stress` | int64 | [1, N] | 0 sem acento, 1 sílaba tônica |
|
| 140 |
+
| `voice` | int64 | [1] | 0 = `F_s4`, 1 = `M_sm4` |
|
| 141 |
+
| `speed` | float32 | [1] | 1,0 como previsto; maior é mais rápido |
|
| 142 |
+
| `pitch_shift` | float32 | [1] | Somado ao log de F0 |
|
| 143 |
+
| `pitch_range` | float32 | [1] | Escala a variação de tom |
|
| 144 |
+
|
| 145 |
+
| Saída | Tipo | Forma | Significado |
|
| 146 |
+
|---|---|---|---|
|
| 147 |
+
| `audio` | float32 | [1, amostras] | Onda a 24 kHz |
|
| 148 |
+
| `durations` | int64 | [1, N] | Duração de cada token em quadros de 256 amostras |
|
| 149 |
+
|
| 150 |
+
O modelo lê uma frase por chamada, até 512 tokens e 32 segundos. Divida textos longos em frases
|
| 151 |
+
(`tiny_voca.infer.speak_text` faz isso em Python) e termine cada uma com pontuação, senão a última palavra é cortada.
|
| 152 |
+
O áudio pode passar um pouco de 1,0, então reduza a escala antes de salvar em 16 bits, como acima. O mesmo arquivo roda no
|
| 153 |
+
onnxruntime-web: as durações são idênticas às do PyTorch, e o áudio difere pouco (até 3,6% no pior caso testado), porque
|
| 154 |
+
cada runtime sorteia o próprio ruído.
|
| 155 |
+
|
| 156 |
+
### Navegador
|
| 157 |
+
|
| 158 |
+
A [demo](https://huggingface.co/spaces/semfence/tiny-voca-ptbr-demo) roda tudo no aparelho de quem usa: o fonemizador em
|
| 159 |
+
TypeScript (`@semfence/dizione-ptbr`) e este ONNX no WebGPU, com WASM como reserva. Nada do que é digitado sai do aparelho.
|
| 160 |
+
|
| 161 |
+
## Modelo
|
| 162 |
+
|
| 163 |
+
A arquitetura é a do tiny-voca: codificador de texto, preditor de duração e pausas, dois transformers por quadro (tom,
|
| 164 |
+
sonoridade e energia, depois o filtro) e um sintetizador por fonte e filtro, em vez de um vocoder neural. Um trem de pulsos
|
| 165 |
+
no tom previsto e um ruído passam por filtros que a rede prevê a cada quadro (256 amostras, 10,7 ms). Essa parte tem 25.862
|
| 166 |
+
parâmetros. A única diferença de arquitetura é o vocabulário: 55 símbolos do português do Brasil.
|
| 167 |
|
| 168 |
## Dados de treino
|
| 169 |
|
|
|
|
| 176 |
|
| 177 |
## Treino
|
| 178 |
|
| 179 |
+
104.000 passos em uma RTX 5080 alugada (~8 h, cerca de US$ 3 de GPU), com a receita do tiny-voca: 8.000 passos só com
|
| 180 |
+
perdas espectrais e depois perda adversarial com discriminadores. As perdas de validação pararam de melhorar de forma
|
| 181 |
+
visível por volta do passo 30.000.
|
| 182 |
|
| 183 |
## Avaliação
|
| 184 |
|
|
|
|
| 196 |
|
| 197 |
**O que isso não mostra.** São poucos clipes (128 no total, 64 por voz), o avaliador é um modelo automático e não há teste de
|
| 198 |
audição com pessoas. WER baixo diz que as palavras saem inteligíveis, não que a voz é natural. A qualidade do som é a do
|
| 199 |
+
tiny-voca original: o sintetizador por fonte e filtro soa mais sintético do que um vocoder neural.
|
| 200 |
|
| 201 |
### Velocidade (Apple M4)
|
| 202 |
|
|
|
|
| 208 |
| Navegador, WebGPU | ~0,23 s (14,9 s de áudio) | ~65× |
|
| 209 |
| Navegador, WASM (CPU) | ~1,8 s (14,9 s de áudio) | ~8,5× |
|
| 210 |
|
|
|
|
|
|
|
|
|
|
| 211 |
## Limitações
|
| 212 |
|
| 213 |
+
- Só português do Brasil. Duas vozes fixas, sem clonagem de voz.
|
| 214 |
+
- Sotaques regionais (chiado carioca, "r" caipira) não são modelados: t/d palatalizados antes de "i", "l" final como `w`,
|
| 215 |
+
"r" final como `x`.
|
| 216 |
+
- O fonemizador não distingue homógrafos ("almoço", "sede"); nomes e palavras estrangeiras são lidos com regras do português
|
| 217 |
+
("pix" → "pi-chi"); siglas sem vogal são soletradas. O léxico às vezes diverge da voz (ex.: "ou" átono sai `o w`).
|
| 218 |
- Números, datas, horas e valores são normalizados por regras; telefones, URLs, algarismos romanos e unidades não.
|
| 219 |
+
- Sem fala em fluxo (streaming).
|
| 220 |
+
|
| 221 |
+
## Uso responsável
|
| 222 |
+
|
| 223 |
+
As duas vozes são sintéticas e não imitam ninguém. Não use o modelo para se passar por outra pessoa nem para enganar quem
|
| 224 |
+
ouve: deixe claro, quando for o caso, que a voz é gerada por computador. O áudio de treino veio do Chatterbox, que embute a
|
| 225 |
+
marca d'água Perth no que gera; não verificamos se algo dela sobrevive no áudio deste modelo.
|
| 226 |
|
| 227 |
## Licença
|
| 228 |
|
| 229 |
+
Código e pesos: Apache-2.0. Datasets: CC BY 4.0, com crédito obrigatório a **SemFence (Gustavo Toledo)**. Léxico do
|
| 230 |
fonemizador: CC BY 4.0 (dicionário MFA de Michael McAuliffe e Morgan Sonderegger).
|
| 231 |
+
|
| 232 |
+
## Citação
|
| 233 |
+
|
| 234 |
+
```bibtex
|
| 235 |
+
@software{semfence2026tinyvocaptbr,
|
| 236 |
+
author = {{SemFence} and Toledo, Gustavo},
|
| 237 |
+
title = {tiny-voca-ptbr: a 4.5M-parameter two-voice Brazilian Portuguese text-to-speech model},
|
| 238 |
+
year = {2026},
|
| 239 |
+
url = {https://huggingface.co/semfence/tiny-voca-ptbr}
|
| 240 |
+
}
|
| 241 |
+
```
|
| 242 |
+
|
| 243 |
+
Cite também o [tiny-voca](https://huggingface.co/n4ze3m/tiny-voca) original.
|
| 244 |
+
|
| 245 |
+
## Agradecimentos
|
| 246 |
+
|
| 247 |
+
- [tiny-voca](https://github.com/n4ze3m/tiny-voca), de Muhammed Nazeem: a arquitetura e a receita de treino.
|
| 248 |
+
- [Chatterbox Multilingual](https://huggingface.co/ResembleAI/chatterbox) (Resemble AI, MIT): gerou a fala de treino.
|
| 249 |
+
- [Qwen3-TTS](https://huggingface.co/Qwen/Qwen3-TTS-12Hz-1.7B-VoiceDesign) e [Qwen3-8B](https://huggingface.co/Qwen/Qwen3-8B) (Alibaba Qwen, Apache-2.0): criaram as vozes de referência e parte das frases.
|
| 250 |
+
- [Mozilla Common Voice](https://commonvoice.mozilla.org) (CC0): frases em português.
|
| 251 |
+
- Dicionário de pronúncia do português do Brasil do [Montreal Forced Aligner](https://montreal-forced-aligner.readthedocs.io) (CC BY 4.0).
|
| 252 |
+
- `facebook/wav2vec2-lv-60-espeak-cv-ft` (alinhamento) e Whisper large-v3-turbo (controle de qualidade e avaliação).
|
samples/{demo_semfence_F_s4.wav → historia_F_s4.wav}
RENAMED
|
@@ -1,3 +1,3 @@
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
-
oid sha256:
|
| 3 |
-
size
|
|
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:4a0e15b1ee011b593532470cf2e9e93c6dc6518c048981fa5fcdc4df070b34f8
|
| 3 |
+
size 525868
|
samples/{demo_semfence_M_sm4.wav → historia_M_sm4.wav}
RENAMED
|
@@ -1,3 +1,3 @@
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
-
oid sha256:
|
| 3 |
-
size
|
|
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:1e8bee60a45d7e898e401e276c06e71723fca5e2edbd0861f711cca63ad79033
|
| 3 |
+
size 494636
|
samples/numeros_F_s4.wav
CHANGED
|
@@ -1,3 +1,3 @@
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
-
oid sha256:
|
| 3 |
-
size
|
|
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:7350bcc1e84651821393178441e275b5961350156bd5902d9bf426bea22a87cb
|
| 3 |
+
size 704044
|
samples/numeros_M_sm4.wav
CHANGED
|
@@ -1,3 +1,3 @@
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
-
oid sha256:
|
| 3 |
-
size
|
|
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:7f08865d304b59f5f17c7e7e9e0a92e193238f7b0d293c29a3a96beb72ac3c88
|
| 3 |
+
size 681004
|
samples/pergunta_F_s4.wav
CHANGED
|
@@ -1,3 +1,3 @@
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
-
oid sha256:
|
| 3 |
-
size
|
|
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:40557a435eb1a356a4dfeb5087071ebd78058195792a2ef1a5832325859ae40c
|
| 3 |
+
size 379436
|
samples/pergunta_M_sm4.wav
CHANGED
|
@@ -1,3 +1,3 @@
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
-
oid sha256:
|
| 3 |
-
size
|
|
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:39babafd58dd7da831ee77c10cc780b292a8447023e3cf288e36f90e5344fb9d
|
| 3 |
+
size 363052
|
samples/{outono_F_s4.wav → poesia_F_s4.wav}
RENAMED
|
@@ -1,3 +1,3 @@
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
-
oid sha256:
|
| 3 |
-
size
|
|
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:0c8c9c36b16486957ae72ec821e840ad879ca3fb120369f0e0fef745b7799ad0
|
| 3 |
+
size 832556
|
samples/{outono_M_sm4.wav → poesia_M_sm4.wav}
RENAMED
|
@@ -1,3 +1,3 @@
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
-
oid sha256:
|
| 3 |
-
size
|
|
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:91b88748d523a5f0ff7a4178c324cf53de3e8490b9a201747332b57d51e76166
|
| 3 |
+
size 805420
|
samples/saudacao_F_s4.wav
CHANGED
|
@@ -1,3 +1,3 @@
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
-
oid sha256:
|
| 3 |
-
size
|
|
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:2d57bf3ff3f44e60ecf6006ec92ea5b0f9235990a7815e958bb163ee5584b081
|
| 3 |
+
size 489516
|
samples/saudacao_M_sm4.wav
CHANGED
|
@@ -1,3 +1,3 @@
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
-
oid sha256:
|
| 3 |
-
size
|
|
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:9ff42d9753d281622cddb540c2df30ed7dc79d85896a9ce73643d05b09a0fed1
|
| 3 |
+
size 469548
|
samples/semfence_F_s4.wav
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:c53d67c806f8891abbaa2aefd37af0a5d39effc0e50977e90c786f1ab6f0d21d
|
| 3 |
+
size 591916
|
samples/semfence_M_sm4.wav
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:67b1d5000939a969e176b4a7d1980e4fd07db40c4de616a17cd6a08244b96540
|
| 3 |
+
size 563756
|