diffusers/main/tr/api/models/kandinsky6_vae.md

Kandinsky 6 VAE'leri

Kandinsky 6, video süper çözünürlüğü için nedensel 3D K-VAE'yi ve senkronize ses üretimi için ayrı bir BigVGAN MMAudioVocoder ile eşleştirilmiş MMAudio mel-spektrogram VAE'sini kullanır.

Kandinsky6SRVAE[[diffusers.Kandinsky6SRVAE]]

Kandinsky6SRPipeline tarafından kullanılan nedensel 3D K-VAE. Sınırlı bellekli segmentlerde keyfi uzunluktaki videoları işlerken tek, segmentlenmemiş geçişin tam çıktısını yeniden üretir.

import torch
from diffusers import Kandinsky6SRVAE

vae = Kandinsky6SRVAE.from_pretrained(
    "kandinskylab/Kandinsky-6.0-VSR-5s-Diffusers", subfolder="vae", torch_dtype=torch.bfloat16
)

diffusers.Kandinsky6SRVAE[[diffusers.Kandinsky6SRVAE]]

diffusers.Kandinsky6SRVAE(in_channels: int = 3, out_channels: int = 3, latent_channels: int = 64, encoder_block_out_channels: tuple[int, ...] = (16, 128, 256, 512, 1024), decoder_block_out_channels: tuple[int, ...] = (16, 256, 512, 1024, 2048), layers_per_block: int = 2, temporal_compression_ratio: int = 4, temporal_compression_start_level: int = 1, scaling_factor: float = 0.910344004631042)

Kaynak

Parametreler:

in_channels (int, varsayılan 3) : Piksel kanal sayısı.

out_channels (int, varsayılan 3) : Yeniden oluşturulan piksel kanal sayısı.

latent_channels (int, varsayılan 64) : Gizli kanal sayısı.

encoder_block_out_channels (tuple[int, ...], varsayılan (16, 128, 256, 512, 1024)) : Her kodlayıcı seviyesindeki artımsal blokların çıktı genişliği; son seviye hariç her seviye, bir sonraki seviyeye geçerken uzamsal boyutu yarıya indirir ve genişliği ikiye katlar.

decoder_block_out_channels (tuple[int, ...], varsayılan (16, 256, 512, 1024, 2048)) : Her çözücü seviyesinde artımsal blokların çıktı genişliği.

layers_per_block (int, varsayılan 2) : Her kodlayıcı seviyesi başına kalan blok sayısı; kodlayıcı her seviyede bir fazlasını kullanır.

temporal_compression_ratio (int, varsayılan 4) : Zamsal sıkıştırma faktörü; ardışık log2 seviyesi de zamanı sıkıştırır.

temporal_compression_start_level (int, varsayılan 1) : Zamanı sıkıştıran ilk seviye.

scaling_factor (float, varsayılan 0.910344) : Difüzyon dönüştürücüsüne girmeden önce latentlere uygulanan ölçek.

Kandinsky6SRPipeline tarafından videoyu kodlamak ve çözmek için kullanılan Nedenli 3D K-VAE.

Videolar, 16 piksel karesi (başlangıç karesi hariç) uzunluğunda zaman dilimlerinde işlenir. Neden-sonuç konvolüsyonlar, yastıklama durumlarını dilimler arasında taşır; bu nedenle segmentasyon yalnızca tepe bellek kullanımını sınırlar, sonucu değiştirmez.

encode[[diffusers.Kandinsky6SRVAE.encode]]

encode(x: torch.Tensor, return_dict: bool = True)

Kaynak

Parametreler:

x (torch.Tensor, şekli (batch_size, channels, num_frames, height, width)) : [-1, 1] aralığında piksel video. num_frames değeri 1 + k * temporal_compression_ratio olmalıdır.

return_dict (bool, varsayılan True) : Düz bir tuple yerine AutoencoderKLOutput döndürülüp döndürülmemesi.

Bir videoyu gizli dağılımına kodlayın.

decode[[diffusers.Kandinsky6SRVAE.decode]]

decode(z: torch.Tensor, return_dict: bool = True)

Kaynak

Parametreler:

z (torch.Tensor, şekli (batch_size, latent_channels, num_latent_frames, height, width)) : scaling_factor değerine bölünmüş latentler.

return_dict (bool, varsayılan True) : Düz bir tuple yerine ~models.autoencoder_kl.DecoderOutput döndürülüp döndürülmemesi.

Latentleri bir videoya dönüştürün.

forward[[diffusers.Kandinsky6SRVAE.forward]]

forward(sample: torch.Tensor, sample_posterior: bool = False, return_dict: bool = True, generator: torch.Generator | None = None)

Kaynak

Parametreler:

sample (torch.Tensor, şekli (batch_size, channels, num_frames, height, width)) : [-1, 1] aralığında piksel video. num_frames değeri 1 + k * temporal_compression_ratio olmalıdır.

sample_posterior (bool, isteğe bağlı, varsayılan False) : Modu kullanmak yerine latent posterior'dan örneklem alınıp alınmayacağı.

return_dict (bool, isteğe bağlı, varsayılan True) : Düz bir tuple yerine ~models.autoencoder_kl.DecoderOutput döndürülüp döndürülmediğini belirtir.

generator (torch.Generator, isteğe bağlı) : Örnekleme işlemini deterministik hale getirmek için kullanılan bir torch.Generator.

Dönüş: ~models.autoencoder_kl.DecoderOutput veya tuple

return_dict True ise, ~models.autoencoder_kl.DecoderOutput döndürülür, aksi takdirde düz bir tuple döndürülür. sample alanı, yeniden oluşturulan videoya karşılık gelir.

MMAudioVAE[[diffusers.MMAudioVAE]]

sample_audio=True olduğunda Kandinsky6TI2VAPipeline'ın kullandığı mel-spektrogram VAE. decode çıktısı bir mel spektrogramdır; dalga formu almak için bunu MMAudioVocoder üzerinden geçirin.

Referans uygulama hkchengrex/MMAudio adresinde bulunabilir (MIT lisansı).

import torch
from diffusers import MMAudioVAE

audio_vae = MMAudioVAE.from_pretrained(
    "kandinskylab/Kandinsky-6.0-Pro-distill-5s-Diffusers", subfolder="audio_vae", torch_dtype=torch.bfloat16
)

diffusers.MMAudioVAE[[diffusers.MMAudioVAE]]

diffusers.MMAudioVAE(mel_bins: int = 128, latent_channels: int = 40, hidden_channels: int = 512, channel_multipliers: tuple[int, ...] = (1, 2, 4), layers_per_block: int = 2, sample_rate: int = 44100, n_fft: int = 2048, hop_length: int = 512, scaling_factor: float = 0.417)

Kaynak

Parametreler:

mel_bins (int, varsayılan 128) : Mel kutu sayısı.

latent_channels (int, varsayılan 40) : Gizli kanal sayısı.

hidden_channels (int, varsayılan 512) : Otoenkoderin taban genişliği.

channel_multipliers (tuple[int, ...], varsayılan (1, 2, 4)) : Otoenkoder seviyelerinin genişlik çarpanları.

layers_per_block (int, varsayılan 2) : Her kodlayıcı seviyesi için artımsal blok sayısı; çözücü her seviye için bir fazlasını kullanır.

sample_rate (int, varsayılan 44100) : Dalga formu örneklem hızı.

n_fft (int, varsayılan 2048) : mel ön ucunun FFT boyutu.

hop_length (int, varsayılan 512) : Mel ön ucunun atlama uzunluğu. Bu VAE ile eşleştirilen MMAudioVocoder'nin toplam örnekleme artırma katsayısıyla eşleşmelidir.

scaling_factor (float, varsayılan 0.417) : Difüzyon dönüştürücüsüne girmeden önce latentlere uygulanan ölçek.

Kandinsky6TI2VAPipeline'in ses VAE'si: log-mel spektrogramları üzerinde büyüklük koruyucu bir otoenkoder (MMAudio, https://arxiv.org/abs/2412.15322).

encode, bir dalga formunu gizli bir dağıtıma dönüştürür; decode, gizli değerleri tekrar bir mel spektrograma dönüştürür ve MMAudioVocoder bunu bir dalga formuna çevirir. Bir gizli çerçeve hop_length * 2 örneklemi kapsar.

encode[[diffusers.MMAudioVAE.encode]]

encode(audio: torch.Tensor, return_dict: bool = True)

Kaynak

Parametreler:

audio (torch.Tensor, şekli (batch_size, num_samples)) : sample_rate örnekleme hızında, [-1, 1] aralığında mono dalga formu.

return_dict (bool, varsayılan True) : Düz bir tuple yerine AutoencoderKLOutput döndürülüp döndürülmemesi.

Bir dalga formunu gizli dağılımına kodlayın.

decode[[diffusers.MMAudioVAE.decode]]

decode(z: torch.Tensor, return_dict: bool = True)

Kaynak

Parametreler:

z (torch.Tensor, şekli (batch_size, latent_channels, num_latent_frames)) : scaling_factor değerine bölünmüş latentler.

return_dict (bool, varsayılan True) : Düz bir tuple yerine ~models.autoencoder_kl.DecoderOutput döndürülüp döndürülmemesi.

Dönüş:

MMAudioVocoder için hazır, (batch_size, mel_bins, num_mel_frames) boyutlu mel spektrogramı.

Latentleri mel spektrograma çözümlen.

forward[[diffusers.MMAudioVAE.forward]]

forward(sample: torch.Tensor, sample_posterior: bool = False, return_dict: bool = True, generator: torch.Generator | None = None)

Kaynak

Parametreler:

sample (torch.Tensor, şekli (batch_size, num_samples)) : Mel spektrogram olarak kodlanacak ve yeniden oluşturulacak, sample_rate örnekleme hızında [-1, 1] aralığında mono dalga formu.

sample_posterior (bool, isteğe bağlı, varsayılan False) : Modu kullanmak yerine latent posterior'dan örneklem alınıp alınmayacağı.

return_dict (bool, isteğe bağlı, varsayılan True) : Düz bir tuple yerine ~models.autoencoder_kl.DecoderOutput döndürülüp döndürülmediğini belirtir.

generator (torch.Generator, isteğe bağlı) : Örnekleme işlemini deterministik hale getirmek için kullanılan bir torch.Generator.

Dönüş: ~models.autoencoder_kl.DecoderOutput veya tuple

return_dict True ise, ~models.autoencoder_kl.DecoderOutput döndürülür, aksi takdirde düz bir tuple döndürülür. sample alanı, (batch_size, mel_bins, num_mel_frames) biçiminde yeniden oluşturulmuş mel spektrumudur.

MMAudioVocoder[[diffusers.MMAudioVocoder]]

MMAudio demetleri, BigVGAN-v2 vokalizerinden uyarlanmıştır; bu demetler de NVIDIA/BigVGAN (MIT lisansı) kaynaklıdır ve alias-free-torch'ün (Apache Lisansı 2.0) anti-aliased Snake aktivasyonlarını içerir.

diffusers.MMAudioVocoder[[diffusers.MMAudioVocoder]]

diffusers.MMAudioVocoder(num_mels: int = 128, upsample_initial_channel: int = 1536, upsample_rates: tuple[int, ...] = (8, 4, 2, 2, 2, 2), upsample_kernel_sizes: tuple[int, ...] = (16, 8, 4, 4, 4, 4), resblock_kernel_sizes: tuple[int, ...] = (3, 7, 11), resblock_dilation_sizes: tuple[tuple[int, ...], ...] = ((1, 3, 5), (1, 3, 5), (1, 3, 5)))

Kaynak

Parametreler:

num_mels (int, varsayılan 128) : Girdi spektrogramının mel kutu sayısı. Eşleşen MMAudioVAE'nin mel_bins değeriyle aynı olmalıdır.

upsample_initial_channel (int, varsayılan 1536) : İlk katmanın genişliği.

upsample_rates (tuple[int, ...], varsayılan (8, 4, 2, 2, 2, 2)) : Vokoder aşamalarının örnekleme artırma (upsampling) çarpanları. Bunların çarpımı toplam örnekleme artırma çarpanını verir ve eşleşen MMAudioVAE'nin hop_length değeriyle aynı olmalıdır.

upsample_kernel_sizes (tuple[int, ...], varsayılan (16, 8, 4, 4, 4, 4)) : Vokoder aşamalarının transpoze-konvolüsyon çekirdek boyutları.

resblock_kernel_sizes (tuple[int, ...], varsayılan (3, 7, 11)) : Kalıntı bloklarının çekirdek boyutları.

resblock_dilation_sizes (tuple[tuple[int, ...], ...], varsayılan ((1, 3, 5), (1, 3, 5), (1, 3, 5))) : Kalıntı bloklarının dilasyonları.

Anti-aliased Snake aktivasyonlarına sahip (https://github.com/junjun3518/alias-free-torch, Apache 2.0) BigVGAN-v2 vokoderi (https://github.com/NVIDIA/BigVGAN, MIT lisansı), MMAudioVAE'nin çözdüğü mel spektrogramlarını Kandinsky6TI2VAPipeline için dalga formlarına dönüştürür.

forward[[diffusers.MMAudioVocoder.forward]]

forward(mel: torch.Tensor, return_dict: bool = True)

Kaynak

Parametreler:

mel (torch.Tensor, şekli (batch_size, num_mels, num_mel_frames)) : MMAudioVAE tarafından çözülen mel spektrogramı.

return_dict (bool, varsayılan True) : Düz bir tuple yerine ~models.autoencoder_kl.DecoderOutput döndürülüp döndürülmemesi.

Dönüş:

[-1, 1] aralığında, (batch_size, 1, num_samples) biçimindeki dalga formu.