Chatterbox TTS — Persian / فارسی

English below — فارسی در پایین · Full fine-tune of the Chatterbox T3 backbone on 417 hours of Persian speech. متن فارسی خام بدهید، گفتار بگیرید — بدون G2P.


🇮🇷 فارسی

این مدل چیست؟

یک فاین‌تیو کامل (FFT) از Chatterbox Multilingual رسمی روی دیتاست عمومی Thomcles/Persian-Farsi-Speech (~۱۰۹ هزار کلیپ / ۴۱۷ ساعت / 16kHz). ورودی مدل متن خام فارسی است — بدون نیاز به G2P یا فونِم‌سازی. این کارت مدل عمداً با همه‌ی کم‌وکاستی‌ها نوشته شده تا دقیقاً بدانید چه چیزی تحویل می‌گیرید.

🔊 صداهای آماده — و بعد، صدای خودت

نمونه متن
«سلام! به آزمایش تبدیل متن به گفتار خوش آمدید.»
«صبح زود، وقتی از خانه بیرون آمدم، متوجه شدم هوای شهر برخلاف روزهای گذشته آرام و دل‌پذیر است.»

هر متن دیگری؟ خودت تولیدش کن — نوت‌بوک آماده‌ی Colab (بدون هیچ کانفیگی، ریترای خودکار، تأیید Whisper):

→ اجرای نوت‌بوک اینفرنس روی Colab

📦 فایل‌ها

فایل توضیح
t3_persian_v1.safetensors وزن‌های T3 فاین‌تیوشده (~2.14GB). اثر انگشت یکپارچگی (sha256 روی ۴MB اول فایل): ccc3290937380523

ve، s3gen و توکنایزر به‌صورت خودکار از پایه‌ی رسمی ResembleAI/chatterbox بارگذاری می‌شوند — نیازی به دانلود جداگانه نیست.

🚀 کد اینفرنس

pip install git+https://github.com/resemble-ai/chatterbox.git
pip install transformers==4.46.3 safetensors soundfile

نکته‌ی محیطی (Kaggle/Colab با Python 3.13): برای خطای ABI مربوط به scipy/numpy، numpy==2.1.3 را بدون وابستگی نصب کنید و USE_TF=0 و TRANSFORMERS_NO_TF=1 را ست کنید.

import torch
from chatterbox.mtl_tts import ChatterboxMultilingualTTS, punc_norm
from safetensors.torch import load_file

model = ChatterboxMultilingualTTS.from_pretrained(device="cuda")

sd = load_file("t3_persian_v1.safetensors")   # همین فایلِ این ریپو
model.t3.load_state_dict(
    {k[3:] if k.startswith("t3.") else k: v for k, v in sd.items()},
    strict=False,
)
model.t3.to("cuda").eval()

wav = model.generate(
    punc_norm("سلام، امروز هوا خوب است."),
    language_id=None,                      # متن خام گرافیمی، بدون تگ زبان
    audio_prompt_path="ref.wav",           # هر ووی فارسی تمیزِ ۵ تا ۱۰ ثانیه
    temperature=0.6,
    repetition_penalty=1.5,
)

import torchaudio
torchaudio.save("out.wav", wav.squeeze(0).cpu(), model.sr)

پارامترهای پیشنهادی: temperature=0.6 و repetition_penalty=1.5 (به‌جای پیش‌فرض‌های کتابخانه). برای متن‌های مهم ۲ تا ۳ بار تولید و انتخاب بهترین خروجی توصیه می‌شود — hallucination گاهی در یک take اتفاق می‌افتد و در take بعدی نیست.

📊 ارزیابی (Whisper large-v3-turbo → CER)

  • متن‌های طبیعی فارسی (حتی پاراگراف بلند): CER ≈ 0.01–0.09
  • مجموعه‌ی ۲۲ جمله‌ای شامل موارد سخت (اعداد بزرگ، ساعت، کلمات خارجی، جمل‌قفلی): CER میانگین 0.038–0.062
  • جمل‌قفلی‌های مصنوعی: حتی بعد از ۸ تلاش گاهی CER ≈ 0.3 — ضعیف‌ترین نقطه‌ی مدل

نسخه‌ی منتشرشده، پایدارترین نقطه‌ی ران آموزش است؛ ادامه‌ی آموزش فقط باعث اورفیت شد (CER بالا رفت در حالی که loss آموزش همچنان پایین می‌آمد).

⚠️ محدودیت‌ها

  1. خروجی 16kHz است و کیفیت کلون صدا کاملاً به ووی مرجع وابسته است (تمیز، مونو، ۵–۱۰ ثانیه).
  2. hallucination پراکنده: گاهی تکرار کلمه یا cut غیرعادی؛ retry معمولاً حل می‌کند.
  3. اعداد عمدتاً درست خوانده می‌شوند ولی تضمینی نیست؛ برای متن حساس، اعداد را حروفی بنویسید.
  4. کلمات لاتین خوانده می‌شوند ولی تلفظ انگلیسیِ روان ندارند.
  5. با ~۱۰۹ ساعت گفتار عمومی آموزش دیده؛ صدای یک گوینده‌ی خاص را بازسازی نمی‌کند — قابلیت voice-cloning پایه را برای فارسی بهتر کرده است.

📄 لایسنس و اعتبار

سپاس از Thomcles بابت انتشار ۴۱۷ ساعت گفتار فارسی و از Resemble AI بابت وزن‌باز کردن Chatterbox.

ارجاع

اگر از این مدل در پژوهش یا محصولی استفاده می‌کنید، این قالب استاندارد ارجاع است:

@misc{chatterbox_persian_tts,
  title  = {Chatterbox TTS Persian Fine-tune},
  author = {Zandi, Amirhossein},
  year   = {2026},
  url    = {https://huggingface.co/amirzandi/Chatterbox-Persian-TTS}
}

🇬🇧 English

What is this?

A full fine-tune (FFT) of the official Chatterbox Multilingual T3 backbone on the open Thomcles/Persian-Farsi-Speech dataset (~109k clips / 417 hours / 16kHz). Input is raw Persian text — no G2P, no phonemes. This model card is intentionally honest about the model's weaknesses.

🔊 Demo voices

Sample Text
"Hello! Welcome to the text-to-speech experiment." (Persian)
A longer natural sentence describing morning weather (Persian)

Generate anything else yourself in the ready Colab notebook (zero config, automatic retry, Whisper verification): Open in Colab

📦 Files

t3_persian_v1.safetensors — fine-tuned T3 weights (~2.14GB). Integrity fingerprint (sha256 of the first 4MB): ccc3290937380523. The ve, s3gen modules and tokenizer load automatically from the official base repo.

🚀 Usage

See the Persian section above for the full snippet — in short:

model = ChatterboxMultilingualTTS.from_pretrained(device="cuda")
sd = load_file("t3_persian_v1.safetensors")
model.t3.load_state_dict({k[3:] if k.startswith("t3.") else k: v for k, v in sd.items()}, strict=False)
model.t3.to("cuda").eval()

wav = model.generate(punc_norm(text), language_id=None,
                     audio_prompt_path="ref.wav",
                     temperature=0.6, repetition_penalty=1.5)

Recommended: temperature=0.6, repetition_penalty=1.5, and 2–3 takes per sentence (occasional hallucination is inherent to the base architecture; a retry usually fixes it).

📊 Evaluation (Whisper large-v3-turbo CER)

  • Natural Persian text (incl. long paragraphs): CER 0.01–0.09
  • 22-sentence stress set (big numbers, clock times, foreign words, tongue twisters): mean CER 0.038–0.062
  • Known weak spot: artificial tongue-twisters can slide (CER ≈ 0.3 after 8 tries)

The released checkpoint is the most stable point of the training run; further training only overfit (CER rose while train loss kept dropping).

⚠️ Limitations

16kHz output · output quality depends on the reference voice · occasional hallucination (retry) · numbers mostly work but are not guaranteed · foreign words are read but not natively pronounced · trained on 109h of general speech — it improves Persian voice cloning, it does not reproduce one specific speaker.

📄 License & credits

Fine-tuned weights: MIT. Base model: ResembleAI/chatterbox (MIT). Training data: Thomcles/Persian-Farsi-Speech (Apache-2.0) — special thanks to Thomcles for releasing 417h of Persian speech and to Resemble AI for open-weights Chatterbox.

Citation

If you use this model in research or a product, cite it with the BibTeX block in the Persian section above.

Downloads last month
-
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for amirzandi/Chatterbox-Persian-TTS

Finetuned
(97)
this model

Dataset used to train amirzandi/Chatterbox-Persian-TTS