AutoencoderKLAllegro

Allegro'da kullanılan KL kaybına sahip 3D varyasyonel otoenkoder (VAE) modeli, RhymesAI tarafından Allegro: Open the Black Box of Commercial-Level Video Generation Model makalesinde tanıtılmıştır.

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import AutoencoderKLAllegro

vae = AutoencoderKLAllegro.from_pretrained("rhymes-ai/Allegro", subfolder="vae", dtype=torch.float32).to("cuda")  # or "mps", "xpu", "cpu"

AutoencoderKLAllegro

sınıf diffusers.AutoencoderKLAllegro

< source >

( in_channels: int = 3out_channels: int = 3down_block_types: tuple = ('AllegroDownBlock3D', 'AllegroDownBlock3D', 'AllegroDownBlock3D', 'AllegroDownBlock3D')up_block_types: tuple = ('AllegroUpBlock3D', 'AllegroUpBlock3D', 'AllegroUpBlock3D', 'AllegroUpBlock3D')block_out_channels: tuple = (128, 256, 512, 512)temporal_downsample_blocks: tuple = (True, True, False, False)temporal_upsample_blocks: tuple = (False, True, True, False)latent_channels: int = 4layers_per_block: int = 2act_fn: str = 'silu'norm_num_groups: int = 32temporal_compression_ratio: float = 4sample_size: int = 320scaling_factor: float = 0.13force_upcast: bool = True )

Parametreler

in_channels (int, varsayılan 3) — Girdi görüntüsündeki kanal sayısı.
out_channels (int, varsayılan 3) — Çıktıdaki kanal sayısı.
down_block_types (tuple[str, ...], varsayılan ("AllegroDownBlock3D", "AllegroDownBlock3D", "AllegroDownBlock3D", "AllegroDownBlock3D")) — Hangi tür down block'ların kullanılacağını belirten string tuple'ı.
up_block_types (tuple[str, ...], varsayılan ("AllegroUpBlock3D", "AllegroUpBlock3D", "AllegroUpBlock3D", "AllegroUpBlock3D")) — Hangi up block türlerinin kullanılacağını belirten string tuple'ı.
block_out_channels (tuple[int, ...], varsayılan (128, 256, 512, 512)) — Her blokta çıktı kanal sayısını belirten tamsayılar tuple'ı.
temporal_downsample_blocks (tuple[bool, ...], varsayılan (True, True, False, False)) — Zamansal indirgeme (temporal downsampling) etkinleştirilecek blokları belirleyen boole değerleri tuple'ı.
latent_channels (int, varsayılan 4) — Latentlerdeki kanal sayısı.
layers_per_block (int, varsayılan 2) — Her aşağı/aşağı blok başına resnet veya dikkat veya zamansal konvolüsyon katmanı sayısı.
act_fn (str, varsayılan "silu") — Kullanılacak aktivasyon fonksiyonu.
norm_num_groups (int, varsayılan 32) — Normalizasyon katmanlarında kullanılacak grup sayısı.
temporal_compression_ratio (int, varsayılan 4) — Örneklerin zaman boyutunun sıkıştırılma oranı.
sample_size (int, varsayılan 320) — Varsayılan gizli (latent) boyutu.
scaling_factor (float, varsayılan 0.13235) — Eğitim setinin ilk partisi kullanılarak hesaplanan, eğitilmiş gizli uzayın bileşen bazlı standart sapması. Bu değer, difüzyon modelinin eğitimi sırasında gizli uzayın birim varyansa sahip olacak şekilde ölçeklendirilmesinde kullanılır. Gizli değişkenler, difüzyon modeline aktarılmadan önce z = z * scaling_factor formülüyle ölçeklenir. Kod çözme sırasında ise gizli değişkenler, z = 1 / scaling_factor * z formülüyle orijinal ölçeğe geri getirilir. Daha fazla ayrıntı için High-Resolution Image Synthesis with Latent Diffusion Models makalesinin 4.3.2 ve D.1 bölümlerine bakınız.
force_upcast (bool, varsayılan True) — Etkinleştirilirse, SD-XL gibi yüksek görüntü çözünürlüğü pipeline'larında VAE'nin float32'de çalışmasını zorlar. VAE, çok fazla hassasiyet kaybı olmadan daha düşük bir aralıkta ince ayarlanabilir / eğitilebilir; bu durumda force_upcast False olarak ayarlanabilir - bkz: https://huggingface.co/madebyollin/sdxl-vae-fp16-fix

KL kaybı ile videoları latentlere kodlamak ve latent temsilleri videolara çözmek için kullanılan bir VAE modeli. Allegro'da kullanılır.

Bu model ModelMixin sınıfından devralır. Tüm modeller için uygulanan genel yöntemleri (indirme veya kaydetme gibi) görmek için üst sınıfın belgelendirmesine bakın.

decode

< source >

( z: Tensorreturn_dict: bool = True ) → ~models.vae.DecoderOutput or tuple

Parametreler

z (torch.Tensor) — Gizil vektörlerin giriş partisi.
return_dict (bool, varsayılan True) — Düz bir tuple yerine ~models.vae.DecoderOutput döndürülüp döndürülmemesi.

Dönüş değeri

~models.vae.DecoderOutput veya tuple

return_dict True ise, ~models.vae.DecoderOutput döndürülür, aksi takdirde düz bir tuple döndürülür.

Bir video grubunu çözümlen.

encode

< source >

( x: Tensorreturn_dict: bool = True )

Parametreler

x (torch.Tensor) — Girdi video partisi.
return_dict (bool, varsayılan True) — Düz bir tuple yerine ~models.autoencoder_kl.AutoencoderKLOutput döndürülüp döndürülmediğini belirtir.

Bir video grubunu latentlere kodlayın.

forward

< source >

( sample: Tensorsample_posterior: bool = Falsereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → ~models.vae.DecoderOutput or tuple

Parametreler

sample (torch.Tensor) — Girdi örneği.
sample_posterior (bool, isteğe bağlı, varsayılan False) — Posterior'dan örneklemeye alınıp alınmayacağı.
return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine DecoderOutput döndürülüp döndürülmemesi.
generator (torch.Generator, isteğe bağlı) — PyTorch rastgele sayı üreteci.

Dönüş değeri

~models.vae.DecoderOutput veya tuple

return_dict True ise, ~models.vae.DecoderOutput döndürülür, aksi takdirde düz bir tuple döndürülür.

AutoencoderKLOutput

sınıf diffusers.models.modeling_outputs.AutoencoderKLOutput

< source >

( latent_dist: DiagonalGaussianDistribution )

Parametreler

latent_dist (DiagonalGaussianDistribution) — Encoder'ın, DiagonalGaussianDistribution'un ortalaması ve logvar'ı olarak temsil edilen kodlanmış çıktıları. DiagonalGaussianDistribution, dağılımdan latent örneklemeye olanak tanır.

AutoencoderKL kodlama yönteminin çıktısı.

DecoderOutput

sınıf diffusers.models.autoencoders.vae.DecoderOutput

< source >

( sample: Tensorcommit_loss: typing.Optional[torch.FloatTensor] = None )

Parametreler

sample (torch.Tensor, şekli (batch_size, num_channels, height, width)) — Modelin son katmanından gelen çözümlenmiş çıktı örneği.

Çözümleme yönteminin çıktısı.

Update on GitHub

Diffusers

AutoencoderKLAllegro