Text-to-Speech
MLX
ONNX
PyTorch
Portuguese
tts
pt-br
brazilian-portuguese
apple-silicon

pivo-ptbr

pivo-ptbr é um modelo minúsculo de texto para fala em português do Brasil, da SemFence, com duas vozes sintéticas, F_s4 (feminina) e M_sm4 (masculina). Tem 1,4 milhão de parâmetros e 5,8 MB em ONNX (o acústico, treinado do zero por nós, tem 585 mil; o vocoder FARGAN, 817 mil, vem pronto do PiVo e não foi treinado). Roda em CPU, no MLX (Mac com Apple Silicon) e no navegador (WASM), a 20 a 40 vezes o tempo real.

Só pt-BR. Não serve para português de Portugal nem para outras línguas.

Parâmetros 1.401.494 (acústico 584.897 + vocoder 816.597)
Vozes F_s4 (feminina), M_sm4 (masculina), sintéticas, português do Brasil
Saída 16 kHz, mono
Entrada Texto, convertido em fonemas pelo dizione-ptbr (55 símbolos)
Formatos MLX (safetensors), ONNX (4 grafos), PyTorch
Pesos pré-treinados no acústico Nenhum (treinado do zero). O vocoder é o do PiVo, congelado
Licença Acústico: CC BY 4.0 (crédito obrigatório: SemFence, Gustavo Toledo). Vocoder: BSD-3-Clause. Código: Apache-2.0

Criado pela SemFence · pesquisador: Gustavo Toledo. A receita é a do PiVo-1.4M (Leon Lehmann, Empero Research) aplicada ao português do Brasil.

Arquivos

Arquivo Tamanho Conteúdo
mlx/acoustic.safetensors 2,3 MB Acústico para MLX, float32
mlx/vocoder.safetensors 3,3 MB Vocoder FARGAN reescrito em MLX
mlx/config.json Configuração, vozes e símbolos
onnx/encoder.onnx 1,8 MB Texto -> codificação por fonema e duração
onnx/decoder.onnx 0,7 MB Decoder causal com cache -> 20 features por quadro de 10 ms
onnx/conditioning.onnx 0,3 MB Condicionamento do vocoder (do PiVo, sem mudança)
onnx/vocoder_step.onnx 3,0 MB Um passo do vocoder, 40 amostras (do PiVo, sem mudança)
onnx/metadata.json Símbolos, vozes e dimensões
pivo-ptbr.pt 2,4 MB Pesos PyTorch do acústico, passo 20.000
code/ speak.py (MLX e ONNX), pivo_mlx.py, e o código de preparo, treino e exportação
samples/ Os áudios desta página
eval/ WER por clipe e transcrições
LICENSE, NOTICE, vocoder/ CC BY 4.0, créditos e licenças do vocoder (BSD-3)

SHA256:

  • pivo-ptbr.pt: 03ece5275cc29a67a154ef5ebdce99f36fb31cdb1fc80302938cf4452621655e
  • onnx/encoder.onnx: 241ecad920e893dd84852a5b6f0db18e31c87a909d348a1bbfcacd5e98229f8e
  • onnx/decoder.onnx: 3f6fd356d600d6f8f050608b955b9bb03c420bb8c8d8a21576e7515b604e34e4
  • onnx/conditioning.onnx: b184d45ce06e6d9caec94430b6e07e5f7315ecd584c5c3980290a9b5286d2998
  • onnx/vocoder_step.onnx: 6f8ea48ebadbc7b737e5999ce7393619d7aa33b5b643ff48c5ebbcc3bc62b611
  • mlx/acoustic.safetensors: 5bdc980e829c04390c38357025e4ae618e540e00bb9e491c44fe34d0eedd4597
  • mlx/vocoder.safetensors: 429727947e5d87b8363bf7801888c96dbe8e8aa971b70a8c02ac9200961942bd

Exemplos

Texto F_s4 M_sm4
Olá! Eu sou uma voz em português do Brasil, feita pela SemFence. Estou rodando aqui mesmo, no seu navegador: nada do que você escreve sai do seu aparelho.
Oi! Tudo bem? Pode escrever qualquer coisa aqui que eu leio para você.
A reunião foi marcada para as 15h30 do dia 14/03/2026, e o pagamento de R$ 1.250,50 vence em 3 dias.
Você acha mesmo que eu ia esquecer o seu aniversário? Claro que não!
O outono chega pintando as árvores de tons dourados, alaranjados e avermelhados. As folhas caem, o vento sopra suavemente e a natureza nos ensina que até deixar ir pode ser uma forma de florescer.
Ela nunca tinha visto o mar, e por muito tempo ficou parada na beira da água, sem dizer uma palavra.
Este modelo tem só um milhão e meio de parâmetros e cabe em menos de seis megabytes. Foi treinado do zero pela SemFence, com dados abertos para qualquer pessoa usar.

Uso

Os caminhos abaixo usam o mesmo fonemizador e a mesma divisão em frases do tiny-voca-ptbr:

pip install git+https://github.com/SemFence/dizione-ptbr git+https://github.com/SemFence/tiny-voca-ptbr soundfile scipy
hf download semfence/pivo-ptbr --local-dir pivo-ptbr
cd pivo-ptbr

MLX (Mac com Apple Silicon)

pip install mlx
python code/speak.py --backend mlx --voice F_s4 --text "Olá! Esta é a voz da SemFence." -o ola.wav

No Apple M4 isso dá cerca de 20× o tempo real. O acústico e o vocoder rodam só em MLX, sem PyTorch nem ONNX (o PyTorch só entra por causa do fonemizador). Use a CPU: o modelo é pequeno demais para a GPU compensar, e o vocoder dá passos de 40 amostras em série. A primeira frase compila o vocoder e leva alguns segundos a mais.

import sys; sys.path.insert(0, "code")
import mlx.core as mx; mx.set_default_device(mx.cpu)
import speak, soundfile as sf

audio = speak.speak(speak.MLXBackend(), "Olá! Esta é a voz da SemFence.", voice="M_sm4", speed=1.0)
sf.write("ola.wav", audio, 16000)

ONNX

pip install onnxruntime
python code/speak.py --backend onnx --voice M_sm4 --speed 1.1 --text-file texto.txt -o ola.wav

São 4 grafos, executados em sequência por code/speak.py:

  1. encoder.onnx: tokens, stress, voice, lengths (int64) -> encoded [1,N,96] e log_durations [1,N] (log1p dos quadros).
  2. Fora do grafo: duração em quadros de 10 ms = rint(expm1(clip(log_durations, 0, log1p(200))) / speed), no mínimo 1 para fonemas; cada fonema é repetido pela duração e recebe 4 sinais de fase [2f−1, sen(πf), cos(πf), log1p(n)/log1p(200)].
  3. decoder.onnx: em pedaços de 64 quadros, com position e o cache key0, value0, key1, value1 -> 20 features por quadro.
  4. conditioning.onnx (quadros vizinhos) e vocoder_step.onnx (4 passos de 40 amostras por quadro, com estado recorrente); no fim, de-ênfase y[n] = x[n] + 0,85·y[n−1].

Os ids dos fonemas são as posições em symbols (onnx/metadata.json). Os 4 grafos são compatíveis com o runtime do PiVo trocando só encoder.onnx, decoder.onnx e metadata.json.

Navegador

A demo roda tudo no aparelho de quem usa, com onnxruntime-web (WASM) e o fonemizador em TypeScript. Nada do que é digitado sai do aparelho. A primeira visita baixa cerca de 7 MB.

Modelo

O acústico é o do PiVo: um codificador de 6 blocos, que alternam atenção (GQA com 4 cabeças e 2 de chave/valor, RoPE, RMSNorm, FFN com porta SiLU) e convolução dilatada; um preditor de duração; e um decoder causal de 2 blocos com janela de 64 quadros, que gera 20 features por quadro de 10 ms (18 cepstros, tom e correlação de tom). Acrescentamos um embedding de acento (sílaba tônica). O vocoder é o FARGAN do Xiph/Opus, que o PiVo converteu para ONNX: ele não foi retreinado nem adaptado, e como não depende do idioma, serve ao português do jeito que está. O modelo cabe nesta frase: texto vira fonemas, fonemas viram features de voz, e um vocoder pequeno e rápido transforma as features em onda.

Dados de treino

Toda a fala de treino é sintética: semfence/ptbr-synthetic-speech (24,7 h, CC BY 4.0), gerada com o Chatterbox Multilingual pt-BR (MIT) a partir de duas vozes de referência também sintéticas. Nenhuma gravação de pessoa real foi usada. Os textos vêm do semfence/ptbr-sentences. Entraram 19.024 clipes de treino e 818 de validação (clipes com erro de palavras acima de 15% no controle de qualidade do dataset foram descartados). Os clipes foram reamostrados de 24 para 16 kHz; as features vêm do extrator nativo do Opus (fargan_demo -features, rev bafd40d); as durações dos fonemas vêm de alinhamento forçado com facebook/wav2vec2-lv-60-espeak-cv-ft, usado só para rotular os dados.

Treino

Perda smooth-L1 nas features normalizadas mais 0,1 × erro quadrático do log1p da duração; AdamW, lote de 16, taxa 3e-4 com aquecimento de 200 passos e decaimento em cosseno. Uma RTX 3090 alugada, ~97 passos por segundo. A melhor validação foi no passo 20.000 (0,1682); depois o modelo sobreajusta (0,1807 aos 120.000), então publicamos o passo 20.000. Treinamos também uma largura de 128 (1M de parâmetros no acústico), que não melhorou o suficiente para valer o tamanho (0,1674). O treino todo, das duas larguras, custou cerca de US$ 0,40 de GPU. O código de treino do PiVo não é público; o nosso foi escrito a partir do relatório técnico deles e dos formatos dos grafos ONNX, e está em code/pivo_ptbr/.

Avaliação

Frases do conjunto pt do MiniMax (100 frases, usado no open-tts-leaderboard), lidas pelo modelo e transcritas pelo Qwen3-ASR, com o normalizador do leaderboard. O conjunto é escrito em português de Portugal (grafias como "cerimónia"), o que pesa contra os dois modelos.

Modelo F_s4 M_sm4
pivo-ptbr (1,4M) 0,95% 0,81%
tiny-voca-ptbr (4,5M) 0,90% 0,86%

Os transcritos estão em eval/. O MLX e o ONNX geram a mesma onda: nas 14 amostras desta página a diferença máxima é de 0,006 em uma escala de −1 a 1, e as durações são idênticas (o MLX reproduz as features do PyTorch com erro de 1e-5).

O que isso não mostra. O avaliador é um modelo automático e não há teste de audição com pessoas. WER baixo diz que as palavras saem inteligíveis, não que a voz é natural. O vocoder trabalha a 16 kHz e dá à voz um timbre metálico, mais sintético que o do tiny-voca-ptbr (24 kHz). A voz feminina pode passar um pouco de 1,0 de pico; o speak.py reduz a escala.

Velocidade e memória (Apple M4)

Onde Vezes o tempo real
MLX, CPU ~20×
ONNX Runtime, CPU (1 thread) ~39×
Navegador, WASM (1 thread) ~21 a 28×

Carregar o modelo ocupa cerca de 22 MB de RAM acima do próprio onnxruntime (o processo todo fica em ~69 MB).

Limitações

  • Só português do Brasil. Duas vozes fixas, sem clonagem de voz.
  • Sotaques regionais não são modelados.
  • O fonemizador não distingue homógrafos; nomes e palavras estrangeiras são lidos com regras do português; siglas sem vogal são soletradas. Números, datas, horas e valores são normalizados por regras; telefones, URLs e unidades não.
  • Um clipe de até 3.000 quadros (30 s) por chamada; textos longos são divididos em frases.
  • Sem fala em fluxo (o decoder aceita cache, mas o vocoder e o código de exemplo geram a frase inteira).
  • Sem controle de tom nem de emoção; só voz e velocidade.

Uso responsável

As duas vozes são sintéticas e não imitam ninguém. Não use o modelo para se passar por outra pessoa nem para enganar quem ouve: deixe claro, quando for o caso, que a voz é gerada por computador. O áudio de treino veio do Chatterbox, que embute a marca d'água Perth; não verificamos se algo dela sobrevive no áudio deste modelo.

Licença

Pesos do acústico (este repositório): CC BY 4.0. Você pode usar, modificar, redistribuir e comercializar, inclusive em produtos fechados, desde que dê o crédito:

pivo-ptbr, por SemFence (Gustavo Toledo), CC BY 4.0, https://huggingface.co/semfence/pivo-ptbr

Indique se você alterou o modelo. Gerar áudio com o modelo não exige crédito sobre o áudio. Texto da licença em LICENSE; o crédito em NOTICE.

  • Vocoder (onnx/conditioning.onnx, onnx/vocoder_step.onnx, mlx/vocoder.safetensors): FARGAN do Xiph/Opus, BSD-3-Clause, copiado do PiVo-1.4M (Empero Research, Apache-2.0). Avisos em vocoder/; mantenha-os ao redistribuir.
  • Código (code/): Apache-2.0.
  • Datasets: CC BY 4.0, com crédito obrigatório a SemFence (Gustavo Toledo).
  • Léxico do fonemizador: CC BY 4.0, derivado do dicionário MFA de Michael McAuliffe e Morgan Sonderegger, com mudanças.

Citação

@software{semfence2026pivoptbr,
  author = {{SemFence} and Toledo, Gustavo},
  title  = {pivo-ptbr: a 1.4M-parameter two-voice Brazilian Portuguese text-to-speech model},
  year   = {2026},
  url    = {https://huggingface.co/semfence/pivo-ptbr}
}

Cite também o PiVo original.

Agradecimentos

  • PiVo-1.4M, de Leon Lehmann (Empero Research): a arquitetura, a receita e o vocoder.
  • Opus / FARGAN, do Xiph.Org: o vocoder e o extrator de features (BSD-3-Clause).
  • tiny-voca, de Muhammed Nazeem: a base do nosso irmão tiny-voca-ptbr, cujo front end e alinhador usamos para rotular os dados.
  • Chatterbox Multilingual (Resemble AI, MIT): gerou a fala de treino.
  • Mozilla Common Voice (CC0): frases em português.
  • Dicionário de pronúncia do português do Brasil do Montreal Forced Aligner (CC BY 4.0).
  • facebook/wav2vec2-lv-60-espeak-cv-ft (alinhamento) e Qwen3-ASR (avaliação).
Downloads last month

-

Downloads are not tracked for this model. How to track
MLX
Hardware compatibility
Log In to add your hardware

Quantized

Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Datasets used to train semfence/pivo-ptbr

Space using semfence/pivo-ptbr 1