diffusers/main/ar/api/models/autoencoder_oobleck.md

AutoencoderOobleck

طُرِح نموذج الترميز التلقائي التبايني (VAE) Oobleck مع خسارة KL في Stability-AI/stable-audio-tools و Stable Audio Open من Stability AI. يُستخدم النموذج في 🤗 Diffusers لتشفير الموجات الصوتية إلى تمثيلات كامنة (latents) وفك تشفير التمثيلات الكمية إلى موجات صوتية.

ملخص الورقة البحثية هو:

تُعدّ النماذج التوليدية المفتوحة ذات أهمية حيوية للمجتمع، إذ تتيح إجراء الضبط الدقيق وتعمل كخطوط أساس عند تقديم نماذج جديدة. ومع ذلك، فإن معظم نماذج النص إلى الصوت الحالية خاصة وغير متاحة للفنانين والباحثين لبناء أعمالهم عليها. في هذا النص، نوصف بنية النموذج الجديد المفتوح الأوزان لتحويل النص إلى صوت، الذي تم تدريبه باستخدام بيانات مرخصة بموجب المشاع الإبداعي. تُظهر تقييماتنا أن أداء النموذج تنافسي مع أحدث التقنيات عبر مقاييس متنوعة. ومن اللافت للنظر أن نتائج FDopenl3 المُبلَّغ عنها (والتي تقيس واقعية المخرجات) تُبرز إمكاناته في توليد صوت ستيريو عالي الجودة بمعدل عينة 44.1kHz.

AutoencoderOobleck[[diffusers.AutoencoderOobleck]]

diffusers.AutoencoderOobleck[[diffusers.AutoencoderOobleck]]

diffusers.AutoencoderOobleck(encoder_hidden_size = 128, downsampling_ratios = [2, 4, 4, 8, 8], channel_multiples = [1, 2, 4, 8, 16], decoder_channels = 128, decoder_input_channels = 64, audio_channels = 2, sampling_rate = 44100)

المصدر

المعاملات:

encoder_hidden_size (int، اختياري، القيمة الافتراضية 128) : بُعد التمثيل الوسيط للمُشفِّر.

downsampling_ratios (list[int]، اختياري، القيمة الافتراضية [2, 4, 4, 8, 8]) : النسب المستخدمة في عملية تقليل العينات (downsampling) داخل المُشفِّر. تُستخدم هذه النسب بالترتيب العكسي في عملية زيادة العينات (upsampling) داخل المُفكِّك.

channel_multiples (list[int]، اختياري، القيمة الافتراضية [1, 2, 4, 8, 16]) : مضاعفات تُستخدم لتحديد أحجام الطبقات المخفية.

decoder_channels (int، اختياري، القيمة الافتراضية 128) : بُعد التمثيل الوسيط لمفك الترميز.

decoder_input_channels (int، اختياري، القيمة الافتراضية 64) : بُعد الإدخال لفك الترميز. يتوافق مع بُعد الكمون.

audio_channels (int، اختياري، القيمة الافتراضية 2) : عدد القنوات في بيانات الصوت. إما 1 للمونو أو 2 للستيريو.

sampling_rate (int، اختياري، القيمة الافتراضية 44100) : معدل أخذ العينات الذي يجب من خلاله تحويل الموجة الصوتية إلى شكل رقمي، ويُعبَّر عنه بالهرتز (Hz).

مشفر-فك تشفير تلقائي لتشفير الموجات الصوتية إلى تمثيلات كامنة وفك تشفير التمثيلات الكامنة إلى موجات صوتية. تم تقديمه لأول مرة في Stable Audio.

يرث هذا النموذج من ModelMixin. راجع توثيق الفئة الأصلية لمعرفة طرقه العامة المُنفَّذة لجميع النماذج (مثل التنزيل أو الحفظ).

فك الترميز[[diffusers.AutoencoderOobleck.decode]]

decode(z: FloatTensor, return_dict: bool = True, generator = None)

المصدر

المعاملات:

z (torch.Tensor) : دفعة إدخال من المتجهات الكامنة.

return_dict (bool، اختياري، الافتراضي True) : ما إذا كان يجب إرجاع ~models.vae.OobleckDecoderOutput بدلاً من tuple عادي.

يعيد: ~models.vae.OobleckDecoderOutput أو tuple

If return_dict is True, a ~models.vae.OobleckDecoderOutput is returned, otherwise a plain tuple is returned.

فكّ تشفير دفعة من الصور.

ترميز[[diffusers.AutoencoderOobleck.encode]]

encode(x: Tensor, return_dict: bool = True)

المصدر

المعاملات:

x (torch.Tensor) : دفعة من الصور المدخلة.

return_dict (bool، اختياري، الافتراضي True) : ما إذا كان يجب إرجاع ~models.autoencoder_kl.AutoencoderKLOutput بدلاً من tuple عادي.

يعيد:

تمثيلات الكامنة للصور المُرمّزة. إذا كان return_dict صحيحًا (True)، يُعاد ~models.autoencoder_kl.AutoencoderKLOutput، وإلا يُعاد tuple عادي.

ترميز دفعة من الصور إلى كامنات.

forward[[diffusers.AutoencoderOobleck.forward]]

forward(sample: Tensor, sample_posterior: bool = False, return_dict: bool = True, generator: typing.Optional[torch.Generator] = None)

المصدر

المعاملات:

sample (torch.Tensor) : عينة الإدخال.

sample_posterior (bool، اختياري، الافتراضي False) : ما إذا كان سيتم أخذ عينة من التوزيع اللاحق.

return_dict (bool، اختياري، الافتراضي True) : ما إذا كان يجب إرجاع OobleckDecoderOutput بدلاً من tuple بسيط.

generator (torch.Generator، اختياري) : torch.Generator لجعل عملية أخذ العينات حتمية.

يعيد: ~models.vae.OobleckDecoderOutput أو tuple

إذا كان return_dict صحيحًا، يُعاد ~models.vae.OobleckDecoderOutput، وإلا يُعاد tuple عادي.

OobleckDecoderOutput[[diffusers.models.autoencoders.autoencoder_oobleck.OobleckDecoderOutput]]

diffusers.models.autoencoders.autoencoder_oobleck.OobleckDecoderOutput[[diffusers.models.autoencoders.autoencoder_oobleck.OobleckDecoderOutput]]

diffusers.models.autoencoders.autoencoder_oobleck.OobleckDecoderOutput(sample: Tensor)

المصدر

المعاملات:

sample (torch.Tensor من الشكل (batch_size, audio_channels, sequence_length)) : عينة الإخراج المُفكَّكة من الطبقة الأخيرة للنموذج.

مخرجات طريقة فك الترميز.

AutoencoderOobleckOutput[[diffusers.models.autoencoders.autoencoder_oobleck.AutoencoderOobleckOutput]]

diffusers.models.autoencoders.autoencoder_oobleck.AutoencoderOobleckOutput[[diffusers.models.autoencoders.autoencoder_oobleck.AutoencoderOobleckOutput]]

diffusers.models.autoencoders.autoencoder_oobleck.AutoencoderOobleckOutput(latent_dist: OobleckDiagonalGaussianDistribution)

المصدر

المعاملات:

latent_dist (OobleckDiagonalGaussianDistribution) : المخرجات المُرمّزة لـEncoder ممثّلةً بمتوسط OobleckDiagonalGaussianDistribution وانحرافه المعياري. يتيح OobleckDiagonalGaussianDistribution أخذ عينات من المتغيّرات الكامنة (latents) من هذا التوزيع.

مخرجات طريقة الترميز في AutoencoderOobleck.