Instructions to use amirzandi/Chatterbox-Persian-TTS with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Chatterbox
How to use amirzandi/Chatterbox-Persian-TTS with Chatterbox:
# pip install chatterbox-tts import torchaudio as ta from chatterbox.tts import ChatterboxTTS model = ChatterboxTTS.from_pretrained(device="cuda") text = "Ezreal and Jinx teamed up with Ahri, Yasuo, and Teemo to take down the enemy's Nexus in an epic late-game pentakill." wav = model.generate(text) ta.save("test-1.wav", wav, model.sr) # If you want to synthesize with a different voice, specify the audio prompt AUDIO_PROMPT_PATH="YOUR_FILE.wav" wav = model.generate(text, audio_prompt_path=AUDIO_PROMPT_PATH) ta.save("test-2.wav", wav, model.sr) - Notebooks
- Google Colab
- Kaggle
Chatterbox TTS — Persian / فارسی
English below — فارسی در پایین · Full fine-tune of the Chatterbox T3 backbone on 417 hours of Persian speech. متن فارسی خام بدهید، گفتار بگیرید — بدون G2P.
🇮🇷 فارسی
این مدل چیست؟
یک فاینتیو کامل (FFT) از Chatterbox Multilingual رسمی روی دیتاست عمومی Thomcles/Persian-Farsi-Speech (~۱۰۹ هزار کلیپ / ۴۱۷ ساعت / 16kHz). ورودی مدل متن خام فارسی است — بدون نیاز به G2P یا فونِمسازی. این کارت مدل عمداً با همهی کموکاستیها نوشته شده تا دقیقاً بدانید چه چیزی تحویل میگیرید.
🔊 صداهای آماده — و بعد، صدای خودت
| نمونه | متن |
|---|---|
| «سلام! به آزمایش تبدیل متن به گفتار خوش آمدید.» | |
| «صبح زود، وقتی از خانه بیرون آمدم، متوجه شدم هوای شهر برخلاف روزهای گذشته آرام و دلپذیر است.» |
هر متن دیگری؟ خودت تولیدش کن — نوتبوک آمادهی Colab (بدون هیچ کانفیگی، ریترای خودکار، تأیید Whisper):
→ اجرای نوتبوک اینفرنس روی Colab
📦 فایلها
| فایل | توضیح |
|---|---|
t3_persian_v1.safetensors |
وزنهای T3 فاینتیوشده (~2.14GB). اثر انگشت یکپارچگی (sha256 روی ۴MB اول فایل): ccc3290937380523 |
ve، s3gen و توکنایزر بهصورت خودکار از پایهی رسمی ResembleAI/chatterbox بارگذاری میشوند — نیازی به دانلود جداگانه نیست.
🚀 کد اینفرنس
pip install git+https://github.com/resemble-ai/chatterbox.git
pip install transformers==4.46.3 safetensors soundfile
نکتهی محیطی (Kaggle/Colab با Python 3.13): برای خطای ABI مربوط به scipy/numpy،
numpy==2.1.3را بدون وابستگی نصب کنید وUSE_TF=0وTRANSFORMERS_NO_TF=1را ست کنید.
import torch
from chatterbox.mtl_tts import ChatterboxMultilingualTTS, punc_norm
from safetensors.torch import load_file
model = ChatterboxMultilingualTTS.from_pretrained(device="cuda")
sd = load_file("t3_persian_v1.safetensors") # همین فایلِ این ریپو
model.t3.load_state_dict(
{k[3:] if k.startswith("t3.") else k: v for k, v in sd.items()},
strict=False,
)
model.t3.to("cuda").eval()
wav = model.generate(
punc_norm("سلام، امروز هوا خوب است."),
language_id=None, # متن خام گرافیمی، بدون تگ زبان
audio_prompt_path="ref.wav", # هر ووی فارسی تمیزِ ۵ تا ۱۰ ثانیه
temperature=0.6,
repetition_penalty=1.5,
)
import torchaudio
torchaudio.save("out.wav", wav.squeeze(0).cpu(), model.sr)
پارامترهای پیشنهادی: temperature=0.6 و repetition_penalty=1.5 (بهجای پیشفرضهای کتابخانه). برای متنهای مهم ۲ تا ۳ بار تولید و انتخاب بهترین خروجی توصیه میشود — hallucination گاهی در یک take اتفاق میافتد و در take بعدی نیست.
📊 ارزیابی (Whisper large-v3-turbo → CER)
- متنهای طبیعی فارسی (حتی پاراگراف بلند): CER ≈ 0.01–0.09
- مجموعهی ۲۲ جملهای شامل موارد سخت (اعداد بزرگ، ساعت، کلمات خارجی، جملقفلی): CER میانگین 0.038–0.062
- جملقفلیهای مصنوعی: حتی بعد از ۸ تلاش گاهی CER ≈ 0.3 — ضعیفترین نقطهی مدل
نسخهی منتشرشده، پایدارترین نقطهی ران آموزش است؛ ادامهی آموزش فقط باعث اورفیت شد (CER بالا رفت در حالی که loss آموزش همچنان پایین میآمد).
⚠️ محدودیتها
- خروجی 16kHz است و کیفیت کلون صدا کاملاً به ووی مرجع وابسته است (تمیز، مونو، ۵–۱۰ ثانیه).
- hallucination پراکنده: گاهی تکرار کلمه یا cut غیرعادی؛ retry معمولاً حل میکند.
- اعداد عمدتاً درست خوانده میشوند ولی تضمینی نیست؛ برای متن حساس، اعداد را حروفی بنویسید.
- کلمات لاتین خوانده میشوند ولی تلفظ انگلیسیِ روان ندارند.
- با ~۱۰۹ ساعت گفتار عمومی آموزش دیده؛ صدای یک گویندهی خاص را بازسازی نمیکند — قابلیت voice-cloning پایه را برای فارسی بهتر کرده است.
📄 لایسنس و اعتبار
- وزنهای این مدل: MIT — هر نوع استفادهای آزاد است، با ذکر منبع
- مدل پایه: ResembleAI/chatterbox — MIT
- دیتاست آموزش: Thomcles/Persian-Farsi-Speech — Apache-2.0
سپاس از Thomcles بابت انتشار ۴۱۷ ساعت گفتار فارسی و از Resemble AI بابت وزنباز کردن Chatterbox.
ارجاع
اگر از این مدل در پژوهش یا محصولی استفاده میکنید، این قالب استاندارد ارجاع است:
@misc{chatterbox_persian_tts,
title = {Chatterbox TTS Persian Fine-tune},
author = {Zandi, Amirhossein},
year = {2026},
url = {https://huggingface.co/amirzandi/Chatterbox-Persian-TTS}
}
🇬🇧 English
What is this?
A full fine-tune (FFT) of the official Chatterbox Multilingual T3 backbone on the open Thomcles/Persian-Farsi-Speech dataset (~109k clips / 417 hours / 16kHz). Input is raw Persian text — no G2P, no phonemes. This model card is intentionally honest about the model's weaknesses.
🔊 Demo voices
| Sample | Text |
|---|---|
| "Hello! Welcome to the text-to-speech experiment." (Persian) | |
| A longer natural sentence describing morning weather (Persian) |
Generate anything else yourself in the ready Colab notebook (zero config, automatic retry, Whisper verification): Open in Colab
📦 Files
t3_persian_v1.safetensors — fine-tuned T3 weights (~2.14GB). Integrity fingerprint (sha256 of the first 4MB): ccc3290937380523. The ve, s3gen modules and tokenizer load automatically from the official base repo.
🚀 Usage
See the Persian section above for the full snippet — in short:
model = ChatterboxMultilingualTTS.from_pretrained(device="cuda")
sd = load_file("t3_persian_v1.safetensors")
model.t3.load_state_dict({k[3:] if k.startswith("t3.") else k: v for k, v in sd.items()}, strict=False)
model.t3.to("cuda").eval()
wav = model.generate(punc_norm(text), language_id=None,
audio_prompt_path="ref.wav",
temperature=0.6, repetition_penalty=1.5)
Recommended: temperature=0.6, repetition_penalty=1.5, and 2–3 takes per sentence (occasional hallucination is inherent to the base architecture; a retry usually fixes it).
📊 Evaluation (Whisper large-v3-turbo CER)
- Natural Persian text (incl. long paragraphs): CER 0.01–0.09
- 22-sentence stress set (big numbers, clock times, foreign words, tongue twisters): mean CER 0.038–0.062
- Known weak spot: artificial tongue-twisters can slide (CER ≈ 0.3 after 8 tries)
The released checkpoint is the most stable point of the training run; further training only overfit (CER rose while train loss kept dropping).
⚠️ Limitations
16kHz output · output quality depends on the reference voice · occasional hallucination (retry) · numbers mostly work but are not guaranteed · foreign words are read but not natively pronounced · trained on 109h of general speech — it improves Persian voice cloning, it does not reproduce one specific speaker.
📄 License & credits
Fine-tuned weights: MIT. Base model: ResembleAI/chatterbox (MIT). Training data: Thomcles/Persian-Farsi-Speech (Apache-2.0) — special thanks to Thomcles for releasing 417h of Persian speech and to Resemble AI for open-weights Chatterbox.
Citation
If you use this model in research or a product, cite it with the BibTeX block in the Persian section above.
- Downloads last month
- -
Model tree for amirzandi/Chatterbox-Persian-TTS
Base model
ResembleAI/chatterbox