--- language: - pt license: cc-by-4.0 library_name: pytorch pipeline_tag: text-to-speech tags: - text-to-speech - tts - pt-br - brazilian-portuguese - onnx - webgpu datasets: - semfence/ptbr-synthetic-speech - semfence/ptbr-sentences --- # tiny-voca-ptbr tiny-voca-ptbr é um modelo pequeno de texto para fala em **português do Brasil**, da **SemFence**, com duas vozes sintéticas, `F_s4` (feminina) e `M_sm4` (masculina). O modelo completo, com o gerador de onda, tem 4,5 milhões de parâmetros e foi treinado do zero com 24,7 horas de fala sintética. Roda em CPU, na GPU do Mac (Metal/MPS) e no navegador (WebGPU ou WASM). - Experimente no navegador: https://huggingface.co/spaces/semfence/tiny-voca-ptbr-demo - Código: https://github.com/SemFence/tiny-voca-ptbr - Fonemizador: https://github.com/SemFence/dizione-ptbr (Python) e https://github.com/SemFence/dizione-ptbr-js (TypeScript), com saída idêntica - Datasets: https://huggingface.co/datasets/semfence/ptbr-synthetic-speech e https://huggingface.co/datasets/semfence/ptbr-sentences > **Só pt-BR.** Não serve para português de Portugal nem para outras línguas. | | | |---|---| | Parâmetros | 4.533.259 | | Vozes | `F_s4` (feminina), `M_sm4` (masculina), sintéticas, português do Brasil | | Saída | 24 kHz, mono | | Entrada | Texto, convertido em fonemas pelo dizione-ptbr (55 símbolos) | | Pesos pré-treinados no modelo | Nenhum (treinado do zero) | | Licença | CC BY 4.0 (crédito obrigatório: SemFence, Gustavo Toledo). Código: Apache-2.0 | Criado pela **SemFence** · pesquisador: **Gustavo Toledo**. É a receita do [tiny-voca](https://huggingface.co/n4ze3m/tiny-voca) (Muhammed Nazeem) aplicada ao português do Brasil. ## Arquivos | Arquivo | Tamanho | Conteúdo | |---|---:|---| | `tiny-voca-ptbr.pt` | 18,2 MB | Pesos PyTorch, float32, passo 104.000 | | `onnx/model.onnx` | 21,4 MB | Exportação ONNX, float32, opset 17 | | `onnx/model.json` | | Símbolos, vozes, taxa de amostragem e limites do modelo | | `samples/` | | Os áudios desta página | | `eval/report.json` | | Avaliação completa (WER por clipe e transcrições) | | `LICENSE`, `NOTICE` | | Texto da CC BY 4.0 e o crédito a ser mantido | SHA256: - `tiny-voca-ptbr.pt`: `ae4614b02572f59ea0c60f81fcbc3d0dd995d8f82321cee3d7546c7a6f8627e2` - `onnx/model.onnx`: `0ac1ffc83e508973513182ed79d4626556e35bcffcccd99ee066dde6d2c77e5b` ## Exemplos | Texto | F_s4 | M_sm4 | |---|---|---| | Olá! Eu sou uma voz em português do Brasil, feita pela SemFence. Estou rodando aqui mesmo, no seu navegador: nada do que você escreve sai do seu aparelho. | | | | Oi! Tudo bem? Pode escrever qualquer coisa aqui que eu leio para você. | | | | A reunião foi marcada para as 15h30 do dia 14/03/2026, e o pagamento de R$ 1.250,50 vence em 3 dias. | | | | Você acha mesmo que eu ia esquecer o seu aniversário? Claro que não! | | | | O outono chega pintando as árvores de tons dourados, alaranjados e avermelhados. As folhas caem, o vento sopra suavemente e a natureza nos ensina que até deixar ir pode ser uma forma de florescer. | | | | Ela nunca tinha visto o mar, e por muito tempo ficou parada na beira da água, sem dizer uma palavra. | | | | Este modelo tem só quatro milhões e meio de parâmetros. Foi treinado do zero pela SemFence, e o código, os dados e os pesos estão abertos para qualquer pessoa usar. | | | ## Uso ### PyTorch ```bash pip install git+https://github.com/SemFence/dizione-ptbr git+https://github.com/SemFence/tiny-voca-ptbr hf download semfence/tiny-voca-ptbr --local-dir tiny-voca-ptbr python -m tiny_voca.infer \ --checkpoint tiny-voca-ptbr/tiny-voca-ptbr.pt \ --voice F_s4 \ --text "Olá! Esta é a voz da SemFence." \ --output ola.wav ``` | Opção | Padrão | O que faz | |---|---|---| | `--text-file` | | Lê o texto de um arquivo em vez de `--text` | | `--voice` | `F_s4` | `F_s4` ou `M_sm4` | | `--speed` | 1,0 | Velocidade da fala | | `--pitch-shift` | 0 | Somado ao log de F0; 0,058 é cerca de um semitom | | `--pitch-range` | 1,0 | Aumenta ou diminui a variação de tom em torno da média | | `--device` | `cpu` | `cpu`, `mps` (GPU do Mac) ou `cuda` | Texto de qualquer tamanho funciona: o comando lê uma frase por vez e junta o áudio. Um texto sem pontuação final recebe um ponto. Uma frase sem nada para ler, como uma em outro alfabeto, é pulada. O áudio salvo nunca passa de 0,99 de pico. ### Mac (GPU Apple, Metal/MPS) ```bash python -m tiny_voca.infer --checkpoint tiny-voca-ptbr/tiny-voca-ptbr.pt --voice M_sm4 --device mps \ --text "Esta voz roda na GPU do seu Mac." --output mac.wav ``` No Apple M4 isso dá cerca de 165× o tempo real, contra cerca de 113× na CPU, com o mesmo áudio. ### ONNX O grafo recebe ids de fonemas e acento e devolve a onda. O texto vira ids fora do grafo, com o fonemizador; os ids são as posições em `symbols` no `onnx/model.json`. ```python import numpy as np import onnxruntime as ort import soundfile as sf from tiny_voca.text import phonemize # dizione-ptbr + a tokenização do modelo phones = phonemize("Olá! Esta é a voz da SemFence.") one = lambda value: np.array([value], dtype=np.float32) session = ort.InferenceSession("tiny-voca-ptbr/onnx/model.onnx") audio, durations = session.run(None, { "tokens": np.array([phones.ids], dtype=np.int64), "stress": np.array([phones.stress], dtype=np.int64), "voice": np.array([0], dtype=np.int64), # 0 = F_s4, 1 = M_sm4 "speed": one(1.0), "pitch_shift": one(0.0), "pitch_range": one(1.0), }) audio = audio[0] audio = audio * min(1.0, 0.99 / np.abs(audio).max()) # o modelo pode passar de 1.0 sf.write("ola.wav", audio, 24000) ``` | Entrada | Tipo | Forma | Significado | |---|---|---|---| | `tokens` | int64 | [1, N] | Ids dos fonemas, com os tokens de início e fim | | `stress` | int64 | [1, N] | 0 sem acento, 1 sílaba tônica | | `voice` | int64 | [1] | 0 = `F_s4`, 1 = `M_sm4` | | `speed` | float32 | [1] | 1,0 como previsto; maior é mais rápido | | `pitch_shift` | float32 | [1] | Somado ao log de F0 | | `pitch_range` | float32 | [1] | Escala a variação de tom | | Saída | Tipo | Forma | Significado | |---|---|---|---| | `audio` | float32 | [1, amostras] | Onda a 24 kHz | | `durations` | int64 | [1, N] | Duração de cada token em quadros de 256 amostras | O modelo lê uma frase por chamada, até 512 tokens e 32 segundos. Divida textos longos em frases (`tiny_voca.infer.speak_text` faz isso em Python) e termine cada uma com pontuação, senão a última palavra é cortada. O áudio pode passar um pouco de 1,0, então reduza a escala antes de salvar em 16 bits, como acima. O mesmo arquivo roda no onnxruntime-web: as durações são idênticas às do PyTorch, e o áudio difere pouco (até 3,6% no pior caso testado), porque cada runtime sorteia o próprio ruído. ### Navegador A [demo](https://huggingface.co/spaces/semfence/tiny-voca-ptbr-demo) roda tudo no aparelho de quem usa: o fonemizador em TypeScript (`@semfence/dizione-ptbr`) e este ONNX no WebGPU, com WASM como reserva. Nada do que é digitado sai do aparelho. ## Modelo A arquitetura é a do tiny-voca: codificador de texto, preditor de duração e pausas, dois transformers por quadro (tom, sonoridade e energia, depois o filtro) e um sintetizador por fonte e filtro, em vez de um vocoder neural. Um trem de pulsos no tom previsto e um ruído passam por filtros que a rede prevê a cada quadro (256 amostras, 10,7 ms). Essa parte tem 25.862 parâmetros. A única diferença de arquitetura é o vocabulário: 55 símbolos do português do Brasil. ## Dados de treino Toda a fala de treino é **sintética**: [`semfence/ptbr-synthetic-speech`](https://huggingface.co/datasets/semfence/ptbr-synthetic-speech) (20.442 clipes, 24,7 h, CC BY 4.0), gerada com o Chatterbox Multilingual pt-BR (MIT) a partir de duas vozes de referência também sintéticas (criadas com Qwen3-TTS VoiceDesign). Nenhuma gravação de pessoa real foi usada. Os textos vêm do [`semfence/ptbr-sentences`](https://huggingface.co/datasets/semfence/ptbr-sentences) (Common Voice PT, CC0, frases escritas com Qwen3-8B e modelos de números, datas, valores e horas). Cada clipe passou por Whisper large-v3-turbo (erro de palavras ≤ 15%). As durações dos fonemas vêm de alinhamento forçado com `facebook/wav2vec2-lv-60-espeak-cv-ft`, usado só para rotular os dados. ## Treino 104.000 passos em uma RTX 5080 alugada (~8 h, cerca de US$ 3 de GPU), com a receita do tiny-voca: 8.000 passos só com perdas espectrais e depois perda adversarial com discriminadores. As perdas de validação pararam de melhorar de forma visível por volta do passo 30.000. ## Avaliação Frases lidas pelo modelo a partir do texto (durações, tom e energia previstos, sem ver a gravação), transcritas pelo Whisper large-v3-turbo (CPU, int8, `language=pt`). WER em frases **fora do treino**: | Grupo | Clipes | WER | Clipes sem nenhum erro | |---|---:|---:|---:| | Teste do dataset (textos nunca vistos) | 96 | **0,55%** | 93,8% | | Frases novas, em nenhum conjunto | 32 | **0,0%** | 100% | Nenhum clipe passou de 20% de erro. Os poucos erros foram de grafia ("pra"/"para", "Matheus"/"Mateus") e de números escritos em dígitos pelo Whisper, não de palavras trocadas. Para referência, o mesmo Whisper nas gravações do dataset para os mesmos textos: 0,35% (voz feminina) e 1,63% (voz masculina), pelo controle de qualidade do dataset. **O que isso não mostra.** São poucos clipes (128 no total, 64 por voz), o avaliador é um modelo automático e não há teste de audição com pessoas. WER baixo diz que as palavras saem inteligíveis, não que a voz é natural. A qualidade do som é a do tiny-voca original: o sintetizador por fonte e filtro soa mais sintético do que um vocoder neural. ### Velocidade (Apple M4) | Onde | Tempo | Vezes o tempo real | |---|---:|---:| | PyTorch, CPU | ~95 ms (10,7 s de áudio) | ~113× | | PyTorch, GPU do Mac (MPS) | ~65 ms (10,7 s de áudio) | ~165× | | ONNX Runtime, CPU (4 threads) | ~27 ms (4,5 s de áudio) | ~164× | | Navegador, WebGPU | ~0,23 s (14,9 s de áudio) | ~65× | | Navegador, WASM (CPU) | ~1,8 s (14,9 s de áudio) | ~8,5× | ## Limitações - Só português do Brasil. Duas vozes fixas, sem clonagem de voz. - Sotaques regionais (chiado carioca, "r" caipira) não são modelados: t/d palatalizados antes de "i", "l" final como `w`, "r" final como `x`. - O fonemizador não distingue homógrafos ("almoço", "sede"); nomes e palavras estrangeiras são lidos com regras do português ("pix" → "pi-chi"); siglas sem vogal são soletradas. O léxico às vezes diverge da voz (ex.: "ou" átono sai `o w`). - Números, datas, horas e valores são normalizados por regras; telefones, URLs, algarismos romanos e unidades não. - Sem fala em fluxo (streaming). ## Uso responsável As duas vozes são sintéticas e não imitam ninguém. Não use o modelo para se passar por outra pessoa nem para enganar quem ouve: deixe claro, quando for o caso, que a voz é gerada por computador. O áudio de treino veio do Chatterbox, que embute a marca d'água Perth no que gera; não verificamos se algo dela sobrevive no áudio deste modelo. ## Licença **Pesos (este repositório): CC BY 4.0.** Você pode usar, modificar, redistribuir e comercializar, inclusive em produtos fechados, **desde que dê o crédito**: > tiny-voca-ptbr, por SemFence (Gustavo Toledo), CC BY 4.0, https://huggingface.co/semfence/tiny-voca-ptbr Indique se você alterou o modelo (por exemplo, um ajuste fino). Gerar áudio com o modelo não exige crédito sobre o áudio. Texto da licença em `LICENSE`; o crédito em `NOTICE`. - **Código** ([`SemFence/tiny-voca-ptbr`](https://github.com/SemFence/tiny-voca-ptbr), `dizione-ptbr`, `dizione-ptbr-js`): Apache-2.0, com arquivo `NOTICE`. - **Datasets**: CC BY 4.0, com crédito obrigatório a **SemFence (Gustavo Toledo)**. - **Léxico do fonemizador**: CC BY 4.0, derivado do dicionário MFA de Michael McAuliffe e Morgan Sonderegger, com mudanças. ## Citação ```bibtex @software{semfence2026tinyvocaptbr, author = {{SemFence} and Toledo, Gustavo}, title = {tiny-voca-ptbr: a 4.5M-parameter two-voice Brazilian Portuguese text-to-speech model}, year = {2026}, url = {https://huggingface.co/semfence/tiny-voca-ptbr} } ``` Cite também o [tiny-voca](https://huggingface.co/n4ze3m/tiny-voca) original. ## Agradecimentos - [tiny-voca](https://github.com/n4ze3m/tiny-voca), de Muhammed Nazeem: a arquitetura e a receita de treino. - [Chatterbox Multilingual](https://huggingface.co/ResembleAI/chatterbox) (Resemble AI, MIT): gerou a fala de treino. - [Qwen3-TTS](https://huggingface.co/Qwen/Qwen3-TTS-12Hz-1.7B-VoiceDesign) e [Qwen3-8B](https://huggingface.co/Qwen/Qwen3-8B) (Alibaba Qwen, Apache-2.0): criaram as vozes de referência e parte das frases. - [Mozilla Common Voice](https://commonvoice.mozilla.org) (CC0): frases em português. - Dicionário de pronúncia do português do Brasil do [Montreal Forced Aligner](https://montreal-forced-aligner.readthedocs.io) (CC BY 4.0). - `facebook/wav2vec2-lv-60-espeak-cv-ft` (alinhamento) e Whisper large-v3-turbo (controle de qualidade e avaliação).