diffusers/v0.43.0/ar/api/models/autoencoder_kl_kvae_audio.md

AutoencoderKLKVAEAudio

تشفير-فك تشفير تبايني (VAE) تلافيفي أحادي البعد مع خسارة KL للصوت، قدمه فريق مختبر كاندينسكي في KVAE-Audio. يقوم هذا النموذج بضغط الموجات الخام ذات النطاق الكامل (48 كيلو هرتز) إلى كامنات مستمرة مدمجة، ثم يعيد بناءها بدقة عالية عبر الكلام والموسيقى والصوت العام.

يمكن تحميل النموذج باستخدام مقتطف الشيفرة التالي.

import torch
from diffusers import AutoencoderKLKVAEAudio

vae = AutoencoderKLKVAEAudio.from_pretrained("kandinskylab/KVAE-Audio", subfolder="diffusers", dtype=torch.float32)

AutoencoderKLKVAEAudio[[diffusers.AutoencoderKLKVAEAudio]]

diffusers.AutoencoderKLKVAEAudio[[diffusers.AutoencoderKLKVAEAudio]]

diffusers.AutoencoderKLKVAEAudio(encoder_dim: int = 64, encoder_rates: list[int] = [2, 3, 4, 5, 8], latent_dim: int = 2048, codebook_dim: int = 64, decoder_dim: int = 1536, decoder_rates: list[int] = [8, 5, 4, 3, 2], sample_rate: int = 48000, num_channels: int = 1, attn_num_heads: int = 8)

المصدر

المعاملات:

encoder_dim (int، اختياري، القيمة الافتراضية 64) : بُعد القناة الأساسي للمُشفِّر؛ يُضاعف في كل مرحلة من مراحل تقليل الحجم.

encoder_rates (list[int]، اختياري، القيمة الافتراضية [2, 3, 4, 5, 8]) : خطوات تقليل الحجم في المُشفِّر.

latent_dim (int، اختياري، القيمة الافتراضية 2048) : بُعد القناة في مخرج المُشفِّر (قبل عنق الزجاجة in_proj).

codebook_dim (int، اختياري، القيمة الافتراضية 64) : بُعد القناة في الفضاء الكامن لتوزيع الاحتمال اللاحق (بعد عنق الزجاجة in_proj).

decoder_dim (int، اختياري، القيمة الافتراضية 1536) : بُعد القناة الأساسي للمفكّك؛ يُنصَّف في كل مرحلة من مراحل إعادة التصغير.

decoder_rates (list[int]، اختياري، القيمة الافتراضية [8, 5, 4, 3, 2]) : خطوات التوسيع (Strides) في فك الترميز.

sample_rate (int، اختياري، القيمة الافتراضية 48000) : معدل أخذ العينات، بالهرتز، الذي تم تدريب النموذج عليه.

num_channels (int، اختياري، القيمة الافتراضية 1) : عدد القنوات في بيانات الصوت (1 للقناة الأحادية).

attn_num_heads (int، اختياري، القيمة الافتراضية 8) : عدد الرؤوس في كتلة الانتباه الذاتي المطبقة على مخرج المُشفِّر.

شيفر-فك شيفر تلافيفي أحادي البعد لتشفير موجات الصوت الخام إلى كامنات مستمرة وفك تشفيرها مرة أخرى إلى موجات. تم تقديمه في KVAE-Audio.

يرث هذا النموذج من ModelMixin. راجع توثيق الفئة الأصلية لمعرفة طرقه العامة المُنفَّذة لجميع النماذج (مثل التنزيل أو الحفظ).

فك الترميز[[diffusers.AutoencoderKLKVAEAudio.decode]]

decode(z: Tensor, return_dict: bool = True)

المصدر

المعاملات:

z (torch.Tensor) : دفعة إدخال من المتجهات الكامنة.

return_dict (bool، اختياري، القيمة الافتراضية True) : ما إذا كان يجب إرجاع DecoderOutput بدلاً من tuple عادي.

يعيد: DecoderOutput أو tuple

إذا كانت return_dict تساوي True، يُعاد DecoderOutput، وإلا يُعاد tuple عادي.

فكّ تشفير دفعة من الكمونيات إلى موجات صوتية.

ترميز[[diffusers.AutoencoderKLKVAEAudio.encode]]

encode(audio_data: Tensor, return_dict: bool = True)

المصدر

المعاملات:

audio_data (torch.Tensor من الشكل (batch_size, num_channels, num_samples)) : دفعة إدخال من موجات الصوت الخام.

return_dict (bool، اختياري، الافتراضي True) : ما إذا كان يجب إرجاع ~models.autoencoder_kl.AutoencoderKLOutput بدلاً من tuple عادي.

يعيد:

تمثيلات الكامنة للصوت المُرمَّز. إذا كان return_dict صحيحًا، يُعاد ~models.autoencoder_kl.AutoencoderKLOutput، وإلا يُعاد tuple عادي.

ترميز دفعة من الموجات الصوتية إلى كامنات.

forward[[diffusers.AutoencoderKLKVAEAudio.forward]]

forward(sample: Tensor, sample_posterior: bool = False, return_dict: bool = True, generator: typing.Optional[torch.Generator] = None)

المصدر

المعاملات:

sample (torch.Tensor من الشكل (batch_size, num_channels, num_samples)) : دفعة إدخال من موجات الصوت الخام.

sample_posterior (bool، اختياري، الافتراضي False) : ما إذا كان سيتم أخذ عينة من التوزيع اللاحق.

return_dict (bool، اختياري، الافتراضي True) : ما إذا كان يجب إرجاع DecoderOutput بدلاً من tuple عادي.

generator (torch.Generator، اختياري) : torch.Generator لجعل عملية أخذ العينات حتمية.

يعيد: DecoderOutput أو tuple

إذا كان return_dict صحيحًا، يُعاد DecoderOutput، وإلا يُعاد tuple عادي.