Instructions to use semfence/pivo-ptbr with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- MLX
How to use semfence/pivo-ptbr with MLX:
# Download the model from the Hub pip install huggingface_hub[hf_xet] hf download semfence/pivo-ptbr --local-dir pivo-ptbr
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- LM Studio
- Atomic Chat
pivo-ptbr
pivo-ptbr é um modelo minúsculo de texto para fala em português do Brasil, da SemFence, com duas vozes
sintéticas, F_s4 (feminina) e M_sm4 (masculina). Tem 1,4 milhão de parâmetros e 5,8 MB em ONNX
(o acústico, treinado do zero por nós, tem 585 mil; o vocoder FARGAN, 817 mil, vem pronto do PiVo e não foi treinado).
Roda em CPU, no MLX (Mac com Apple Silicon) e no navegador (WASM), a 20 a 40 vezes o tempo real.
- Experimente no navegador: https://huggingface.co/spaces/semfence/pivo-ptbr-demo
- Irmão maior, de 4,5M, com saída de 24 kHz: https://huggingface.co/semfence/tiny-voca-ptbr
- Fonemizador: https://github.com/SemFence/dizione-ptbr (Python) e https://github.com/SemFence/dizione-ptbr-js (TypeScript)
- Datasets: https://huggingface.co/datasets/semfence/ptbr-synthetic-speech e https://huggingface.co/datasets/semfence/ptbr-sentences
Só pt-BR. Não serve para português de Portugal nem para outras línguas.
| Parâmetros | 1.401.494 (acústico 584.897 + vocoder 816.597) |
| Vozes | F_s4 (feminina), M_sm4 (masculina), sintéticas, português do Brasil |
| Saída | 16 kHz, mono |
| Entrada | Texto, convertido em fonemas pelo dizione-ptbr (55 símbolos) |
| Formatos | MLX (safetensors), ONNX (4 grafos), PyTorch |
| Pesos pré-treinados no acústico | Nenhum (treinado do zero). O vocoder é o do PiVo, congelado |
| Licença | Acústico: CC BY 4.0 (crédito obrigatório: SemFence, Gustavo Toledo). Vocoder: BSD-3-Clause. Código: Apache-2.0 |
Criado pela SemFence · pesquisador: Gustavo Toledo. A receita é a do PiVo-1.4M (Leon Lehmann, Empero Research) aplicada ao português do Brasil.
Arquivos
| Arquivo | Tamanho | Conteúdo |
|---|---|---|
mlx/acoustic.safetensors |
2,3 MB | Acústico para MLX, float32 |
mlx/vocoder.safetensors |
3,3 MB | Vocoder FARGAN reescrito em MLX |
mlx/config.json |
Configuração, vozes e símbolos | |
onnx/encoder.onnx |
1,8 MB | Texto -> codificação por fonema e duração |
onnx/decoder.onnx |
0,7 MB | Decoder causal com cache -> 20 features por quadro de 10 ms |
onnx/conditioning.onnx |
0,3 MB | Condicionamento do vocoder (do PiVo, sem mudança) |
onnx/vocoder_step.onnx |
3,0 MB | Um passo do vocoder, 40 amostras (do PiVo, sem mudança) |
onnx/metadata.json |
Símbolos, vozes e dimensões | |
pivo-ptbr.pt |
2,4 MB | Pesos PyTorch do acústico, passo 20.000 |
code/ |
speak.py (MLX e ONNX), pivo_mlx.py, e o código de preparo, treino e exportação |
|
samples/ |
Os áudios desta página | |
eval/ |
WER por clipe e transcrições | |
LICENSE, NOTICE, vocoder/ |
CC BY 4.0, créditos e licenças do vocoder (BSD-3) |
SHA256:
pivo-ptbr.pt:03ece5275cc29a67a154ef5ebdce99f36fb31cdb1fc80302938cf4452621655eonnx/encoder.onnx:241ecad920e893dd84852a5b6f0db18e31c87a909d348a1bbfcacd5e98229f8eonnx/decoder.onnx:3f6fd356d600d6f8f050608b955b9bb03c420bb8c8d8a21576e7515b604e34e4onnx/conditioning.onnx:b184d45ce06e6d9caec94430b6e07e5f7315ecd584c5c3980290a9b5286d2998onnx/vocoder_step.onnx:6f8ea48ebadbc7b737e5999ce7393619d7aa33b5b643ff48c5ebbcc3bc62b611mlx/acoustic.safetensors:5bdc980e829c04390c38357025e4ae618e540e00bb9e491c44fe34d0eedd4597mlx/vocoder.safetensors:429727947e5d87b8363bf7801888c96dbe8e8aa971b70a8c02ac9200961942bd
Exemplos
| Texto | F_s4 | M_sm4 |
|---|---|---|
| Olá! Eu sou uma voz em português do Brasil, feita pela SemFence. Estou rodando aqui mesmo, no seu navegador: nada do que você escreve sai do seu aparelho. | ||
| Oi! Tudo bem? Pode escrever qualquer coisa aqui que eu leio para você. | ||
| A reunião foi marcada para as 15h30 do dia 14/03/2026, e o pagamento de R$ 1.250,50 vence em 3 dias. | ||
| Você acha mesmo que eu ia esquecer o seu aniversário? Claro que não! | ||
| O outono chega pintando as árvores de tons dourados, alaranjados e avermelhados. As folhas caem, o vento sopra suavemente e a natureza nos ensina que até deixar ir pode ser uma forma de florescer. | ||
| Ela nunca tinha visto o mar, e por muito tempo ficou parada na beira da água, sem dizer uma palavra. | ||
| Este modelo tem só um milhão e meio de parâmetros e cabe em menos de seis megabytes. Foi treinado do zero pela SemFence, com dados abertos para qualquer pessoa usar. |
Uso
Os caminhos abaixo usam o mesmo fonemizador e a mesma divisão em frases do tiny-voca-ptbr:
pip install git+https://github.com/SemFence/dizione-ptbr git+https://github.com/SemFence/tiny-voca-ptbr soundfile scipy
hf download semfence/pivo-ptbr --local-dir pivo-ptbr
cd pivo-ptbr
MLX (Mac com Apple Silicon)
pip install mlx
python code/speak.py --backend mlx --voice F_s4 --text "Olá! Esta é a voz da SemFence." -o ola.wav
No Apple M4 isso dá cerca de 20× o tempo real. O acústico e o vocoder rodam só em MLX, sem PyTorch nem ONNX (o PyTorch só entra por causa do fonemizador). Use a CPU: o modelo é pequeno demais para a GPU compensar, e o vocoder dá passos de 40 amostras em série. A primeira frase compila o vocoder e leva alguns segundos a mais.
import sys; sys.path.insert(0, "code")
import mlx.core as mx; mx.set_default_device(mx.cpu)
import speak, soundfile as sf
audio = speak.speak(speak.MLXBackend(), "Olá! Esta é a voz da SemFence.", voice="M_sm4", speed=1.0)
sf.write("ola.wav", audio, 16000)
ONNX
pip install onnxruntime
python code/speak.py --backend onnx --voice M_sm4 --speed 1.1 --text-file texto.txt -o ola.wav
São 4 grafos, executados em sequência por code/speak.py:
encoder.onnx:tokens,stress,voice,lengths(int64) ->encoded[1,N,96] elog_durations[1,N] (log1p dos quadros).- Fora do grafo: duração em quadros de 10 ms =
rint(expm1(clip(log_durations, 0, log1p(200))) / speed), no mínimo 1 para fonemas; cada fonema é repetido pela duração e recebe 4 sinais de fase[2f−1, sen(πf), cos(πf), log1p(n)/log1p(200)]. decoder.onnx: em pedaços de 64 quadros, compositione o cachekey0, value0, key1, value1-> 20 features por quadro.conditioning.onnx(quadros vizinhos) evocoder_step.onnx(4 passos de 40 amostras por quadro, com estado recorrente); no fim, de-ênfasey[n] = x[n] + 0,85·y[n−1].
Os ids dos fonemas são as posições em symbols (onnx/metadata.json). Os 4 grafos são compatíveis com o runtime do
PiVo trocando só encoder.onnx, decoder.onnx e metadata.json.
Navegador
A demo roda tudo no aparelho de quem usa, com onnxruntime-web (WASM) e o fonemizador em TypeScript. Nada do que é digitado sai do aparelho. A primeira visita baixa cerca de 7 MB.
Modelo
O acústico é o do PiVo: um codificador de 6 blocos, que alternam atenção (GQA com 4 cabeças e 2 de chave/valor, RoPE, RMSNorm, FFN com porta SiLU) e convolução dilatada; um preditor de duração; e um decoder causal de 2 blocos com janela de 64 quadros, que gera 20 features por quadro de 10 ms (18 cepstros, tom e correlação de tom). Acrescentamos um embedding de acento (sílaba tônica). O vocoder é o FARGAN do Xiph/Opus, que o PiVo converteu para ONNX: ele não foi retreinado nem adaptado, e como não depende do idioma, serve ao português do jeito que está. O modelo cabe nesta frase: texto vira fonemas, fonemas viram features de voz, e um vocoder pequeno e rápido transforma as features em onda.
Dados de treino
Toda a fala de treino é sintética: semfence/ptbr-synthetic-speech
(24,7 h, CC BY 4.0), gerada com o Chatterbox Multilingual pt-BR (MIT) a partir de duas vozes de referência também sintéticas.
Nenhuma gravação de pessoa real foi usada. Os textos vêm do semfence/ptbr-sentences.
Entraram 19.024 clipes de treino e 818 de validação (clipes com erro de palavras acima de 15% no controle de qualidade do
dataset foram descartados). Os clipes foram reamostrados de 24 para 16 kHz; as features vêm do extrator nativo do Opus
(fargan_demo -features, rev bafd40d); as durações dos fonemas vêm de alinhamento forçado com
facebook/wav2vec2-lv-60-espeak-cv-ft, usado só para rotular os dados.
Treino
Perda smooth-L1 nas features normalizadas mais 0,1 × erro quadrático do log1p da duração; AdamW, lote de 16, taxa 3e-4 com
aquecimento de 200 passos e decaimento em cosseno. Uma RTX 3090 alugada, ~97 passos por segundo. A melhor validação foi no
passo 20.000 (0,1682); depois o modelo sobreajusta (0,1807 aos 120.000), então publicamos o passo 20.000. Treinamos também uma
largura de 128 (1M de parâmetros no acústico), que não melhorou o suficiente para valer o tamanho (0,1674). O treino todo,
das duas larguras, custou cerca de US$ 0,40 de GPU. O código de treino do PiVo não é público; o nosso foi escrito a partir do
relatório técnico deles e dos formatos dos grafos ONNX, e está em code/pivo_ptbr/.
Avaliação
Frases do conjunto pt do MiniMax (100 frases, usado no open-tts-leaderboard),
lidas pelo modelo e transcritas pelo Qwen3-ASR, com o normalizador do leaderboard. O conjunto é escrito em português de Portugal
(grafias como "cerimónia"), o que pesa contra os dois modelos.
| Modelo | F_s4 | M_sm4 |
|---|---|---|
| pivo-ptbr (1,4M) | 0,95% | 0,81% |
| tiny-voca-ptbr (4,5M) | 0,90% | 0,86% |
Os transcritos estão em eval/. O MLX e o ONNX geram a mesma onda: nas 14 amostras desta página a diferença máxima é de 0,006 em uma escala de −1 a 1, e as durações são idênticas (o MLX reproduz as features do PyTorch com erro de 1e-5).
O que isso não mostra. O avaliador é um modelo automático e não há teste de audição com pessoas. WER baixo diz que as palavras
saem inteligíveis, não que a voz é natural. O vocoder trabalha a 16 kHz e dá à voz um timbre metálico, mais sintético que o do
tiny-voca-ptbr (24 kHz). A voz feminina pode passar um pouco de 1,0 de pico; o speak.py reduz a escala.
Velocidade e memória (Apple M4)
| Onde | Vezes o tempo real |
|---|---|
| MLX, CPU | ~20× |
| ONNX Runtime, CPU (1 thread) | ~39× |
| Navegador, WASM (1 thread) | ~21 a 28× |
Carregar o modelo ocupa cerca de 22 MB de RAM acima do próprio onnxruntime (o processo todo fica em ~69 MB).
Limitações
- Só português do Brasil. Duas vozes fixas, sem clonagem de voz.
- Sotaques regionais não são modelados.
- O fonemizador não distingue homógrafos; nomes e palavras estrangeiras são lidos com regras do português; siglas sem vogal são soletradas. Números, datas, horas e valores são normalizados por regras; telefones, URLs e unidades não.
- Um clipe de até 3.000 quadros (30 s) por chamada; textos longos são divididos em frases.
- Sem fala em fluxo (o decoder aceita cache, mas o vocoder e o código de exemplo geram a frase inteira).
- Sem controle de tom nem de emoção; só voz e velocidade.
Uso responsável
As duas vozes são sintéticas e não imitam ninguém. Não use o modelo para se passar por outra pessoa nem para enganar quem ouve: deixe claro, quando for o caso, que a voz é gerada por computador. O áudio de treino veio do Chatterbox, que embute a marca d'água Perth; não verificamos se algo dela sobrevive no áudio deste modelo.
Licença
Pesos do acústico (este repositório): CC BY 4.0. Você pode usar, modificar, redistribuir e comercializar, inclusive em produtos fechados, desde que dê o crédito:
pivo-ptbr, por SemFence (Gustavo Toledo), CC BY 4.0, https://huggingface.co/semfence/pivo-ptbr
Indique se você alterou o modelo. Gerar áudio com o modelo não exige crédito sobre o áudio. Texto da licença em LICENSE; o
crédito em NOTICE.
- Vocoder (
onnx/conditioning.onnx,onnx/vocoder_step.onnx,mlx/vocoder.safetensors): FARGAN do Xiph/Opus, BSD-3-Clause, copiado do PiVo-1.4M (Empero Research, Apache-2.0). Avisos emvocoder/; mantenha-os ao redistribuir. - Código (
code/): Apache-2.0. - Datasets: CC BY 4.0, com crédito obrigatório a SemFence (Gustavo Toledo).
- Léxico do fonemizador: CC BY 4.0, derivado do dicionário MFA de Michael McAuliffe e Morgan Sonderegger, com mudanças.
Citação
@software{semfence2026pivoptbr,
author = {{SemFence} and Toledo, Gustavo},
title = {pivo-ptbr: a 1.4M-parameter two-voice Brazilian Portuguese text-to-speech model},
year = {2026},
url = {https://huggingface.co/semfence/pivo-ptbr}
}
Cite também o PiVo original.
Agradecimentos
- PiVo-1.4M, de Leon Lehmann (Empero Research): a arquitetura, a receita e o vocoder.
- Opus / FARGAN, do Xiph.Org: o vocoder e o extrator de features (BSD-3-Clause).
- tiny-voca, de Muhammed Nazeem: a base do nosso irmão tiny-voca-ptbr, cujo front end e alinhador usamos para rotular os dados.
- Chatterbox Multilingual (Resemble AI, MIT): gerou a fala de treino.
- Mozilla Common Voice (CC0): frases em português.
- Dicionário de pronúncia do português do Brasil do Montreal Forced Aligner (CC BY 4.0).
facebook/wav2vec2-lv-60-espeak-cv-ft(alinhamento) e Qwen3-ASR (avaliação).
Quantized