Hugging Face's logo

Diffusers documentation

AutoencoderKLCogVideoX

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

AutoencoderKLCogVideoX

CogVideoX'de kullanılan KL kaybına sahip 3D varyasyonel otoenkoder (VAE) modeli, Tsinghua Üniversitesi & ZhipuAI tarafından CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer makalesinde tanıtılmıştır.

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import AutoencoderKLCogVideoX

vae = AutoencoderKLCogVideoX.from_pretrained("THUDM/CogVideoX-2b", subfolder="vae", dtype=torch.float16).to("cuda")  # or "mps", "xpu", "cpu"

AutoencoderKLCogVideoX

sınıf diffusers.AutoencoderKLCogVideoX

< >

( in_channels: int = 3out_channels: int = 3down_block_types: tuple = ('CogVideoXDownBlock3D', 'CogVideoXDownBlock3D', 'CogVideoXDownBlock3D', 'CogVideoXDownBlock3D')up_block_types: tuple = ('CogVideoXUpBlock3D', 'CogVideoXUpBlock3D', 'CogVideoXUpBlock3D', 'CogVideoXUpBlock3D')block_out_channels: tuple = (128, 256, 256, 512)latent_channels: int = 16layers_per_block: int = 3act_fn: str = 'silu'norm_eps: float = 1e-06norm_num_groups: int = 32temporal_compression_ratio: float = 4sample_height: int = 480sample_width: int = 720scaling_factor: float = 1.15258426shift_factor: float | None = Nonelatents_mean: tuple[float] | None = Nonelatents_std: tuple[float] | None = Noneforce_upcast: float = Trueuse_quant_conv: bool = Falseuse_post_quant_conv: bool = Falseinvert_scale_latents: bool = False )

Parametreler

  • in_channels (int, isteğe bağlı, varsayılan 3) — Girdi görüntüsündeki kanal sayısı.
  • out_channels (int, isteğe bağlı, varsayılan 3) — Çıktıdaki kanal sayısı.
  • down_block_types (tuple[str], isteğe bağlı, varsayılan ("DownEncoderBlock2D",)) — örnekleme azaltma blok türlerinin tuple'ı.
  • up_block_types (tuple[str], isteğe bağlı, varsayılan ("UpDecoderBlock2D",)) — Yukarı örneklem bloğu türlerinin tuple'ı.
  • block_out_channels (tuple[int], isteğe bağlı, varsayılan (64,)) — Blok çıktı kanallarının tuple'ı.
  • act_fn (str, isteğe bağlı, varsayılan "silu") — Kullanılacak aktivasyon fonksiyonu.
  • sample_size (int, isteğe bağlı, varsayılan 32) — Örnek giriş boyutu.
  • scaling_factor (float, isteğe bağlı, varsayılan 1.15258426) — Eğitim setinin ilk partisi kullanılarak hesaplanan, eğitilmiş gizli uzayın bileşen bazlı standart sapması. Bu değer, difüzyon modelinin eğitimi sırasında gizli uzayın birim varyansa sahip olacak şekilde ölçeklendirilmesinde kullanılır. Gizli değişkenler, difüzyon modeline aktarılmadan önce z = z * scaling_factor formülüyle ölçeklenir. Kod çözme sırasında ise gizli değişkenler, z = 1 / scaling_factor * z formülüyle orijinal ölçeğe geri getirilir. Daha fazla ayrıntı için High-Resolution Image Synthesis with Latent Diffusion Models makalesinin 4.3.2 ve D.1 bölümlerine bakınız.
  • force_upcast (bool, isteğe bağlı, varsayılan True) — Etkinleştirilirse, SD-XL gibi yüksek görüntü çözünürlüğü pipeline'larında VAE'nin float32'de çalışmasını zorlar. VAE, çok fazla hassasiyet kaybı olmadan daha düşük bir aralıkta ince ayarlanabilir / eğitilebilir; bu durumda force_upcast False olarak ayarlanabilir - bkz: https://huggingface.co/madebyollin/sdxl-vae-fp16-fix

Görselleri latentlere kodlamak ve latent temsilleri görsellere çözmek için KL kaybı kullanan bir VAE modeli. CogVideoX içinde kullanılır.

Bu model ModelMixin sınıfından devralır. Tüm modeller için uygulanan genel yöntemleri (indirme veya kaydetme gibi) görmek için üst sınıfın belgelendirmesine bakın.

decode

< >

( z: Tensorreturn_dict: bool = True ) → ~models.vae.DecoderOutput or tuple

Parametreler

  • z (torch.Tensor) — Girdi partisi latent vektörleri.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.vae.DecoderOutput döndürülüp döndürülmemesi.

Dönüş değeri

~models.vae.DecoderOutput veya tuple

return_dict True ise, ~models.vae.DecoderOutput döndürülür, aksi takdirde düz bir tuple döndürülür.

Bir görüntü grubunu çözümlen.

encode

< >

( x: Tensorreturn_dict: bool = True )

Parametreler

  • x (torch.Tensor) — Görsellerin giriş partisi.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.autoencoder_kl.AutoencoderKLOutput döndürülüp döndürülmediğini belirtir.

Bir görüntü grubunu latentlere kodlayın.

enable_tiling

< >

( tile_sample_min_height: int | None = Nonetile_sample_min_width: int | None = Nonetile_overlap_factor_height: float | None = Nonetile_overlap_factor_width: float | None = None )

Parametreler

  • tile_sample_min_height (int, isteğe bağlı) — Bir örneğin yükseklik boyutu boyunca karolalara ayrılabilmesi için gereken minimum yükseklik.
  • tile_sample_min_width (int, isteğe bağlı) — Bir örneğin genişlik boyutu boyunca karolalara ayrılabilmesi için gereken minimum genişlik.
  • tile_overlap_factor_height (int, isteğe bağlı) — İki ardışık dikey karoyu arasındaki minimum örtüşme miktarı. Bu, yükseklik boyutu boyunca karo artefaktlarının oluşmamasını sağlamak içindir. 0 ile 1 arasında olmalıdır. Daha yüksek bir değer ayarlamak, daha fazla karonun işlenmesine neden olarak çözümleme sürecini yavaşlatabilir.
  • tile_overlap_factor_width (int, isteğe bağlı) — İki ardışık yatay karoyu arasındaki minimum örtüşme miktarı. Bu, genişlik boyutu boyunca karo artefaktlarının oluşmamasını sağlamak içindir. 0 ile 1 arasında olmalıdır. Daha yüksek bir değer ayarlamak, daha fazla karonun işlenmesine neden olarak çözümleme sürecini yavaşlatabilir.

Döşemeli VAE çözümlemesini etkinleştirir. Bu seçenek etkinleştirildiğinde, VAE girdi tensörünü çözümleme ve kodlamayı birden fazla adımda hesaplamak için döşemelere böler. Bu, büyük miktarda bellek tasarrufu sağlamak ve daha büyük görüntülerin işlenmesine izin vermek için kullanışlıdır.

forward

< >

( sample: Tensorsample_posterior: bool = Falsereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → ~models.vae.DecoderOutput or tuple

Parametreler

  • sample (torch.Tensor) — Girdi örneği.
  • sample_posterior (bool, isteğe bağlı, varsayılan False) — Posterior'dan örneklemeye alınıp alınmayacağı.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine DecoderOutput döndürülüp döndürülmemesi.
  • generator (torch.Generator, isteğe bağlı) — Örnekleme işlemini deterministik hale getirmek için kullanılan bir torch.Generator.

Dönüş değeri

~models.vae.DecoderOutput veya tuple

return_dict True ise, ~models.vae.DecoderOutput döndürülür, aksi takdirde düz bir tuple döndürülür.

tiled_decode

< >

( z: Tensorreturn_dict: bool = True ) → ~models.vae.DecoderOutput or tuple

Parametreler

  • z (torch.Tensor) — Girdi partisi latent vektörleri.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.vae.DecoderOutput döndürülüp döndürülmemesi.

Dönüş değeri

~models.vae.DecoderOutput veya tuple

return_dict True ise, ~models.vae.DecoderOutput döndürülür, aksi takdirde düz bir tuple döndürülür.

Bir görüntü grubunu karolarlı bir çözücü kullanarak çözümlen.

tiled_encode

< >

( x: Tensor ) → torch.Tensor

Parametreler

  • x (torch.Tensor) — Video giriş partisi.

Dönüş değeri

torch.Tensor

Kodlanmış videoların gizil (latent) temsili.

Bir görüntü grubunu, karolalı bir kodlayıcı kullanarak kodlayın.

Bu seçenek etkinleştirildiğinde, VAE, kodlamayı birkaç adımda hesaplamak için girdi tensörünü karolara böler. Bu, bellek kullanımının görüntü boyutundan bağımsız olarak sabit kalmasını sağlamak için faydalıdır. Karolarla kodlamanın nihai sonucu, her karonun farklı bir kodlayıcı kullandığı için karolasız kodlamadan farklıdır. Karola artefaktlarını önlemek için karolar üst üste biner ve pürüzsüz bir çıktı oluşturmak üzere birleştirilir. Çıktıda hâlâ karola boyutunda değişimler görebilirsiniz, ancak bunlar çok daha az belirgin olmalıdır.

AutoencoderKLOutput

sınıf diffusers.models.modeling_outputs.AutoencoderKLOutput

< >

( latent_dist: DiagonalGaussianDistribution )

Parametreler

  • latent_dist (DiagonalGaussianDistribution) — Encoder'ın, DiagonalGaussianDistribution'un ortalaması ve logvar'ı olarak temsil edilen kodlanmış çıktıları. DiagonalGaussianDistribution, dağılımdan latent örneklemeye olanak tanır.

AutoencoderKL kodlama yönteminin çıktısı.

DecoderOutput

sınıf diffusers.models.autoencoders.vae.DecoderOutput

< >

( sample: Tensorcommit_loss: typing.Optional[torch.FloatTensor] = None )

Parametreler

  • sample (torch.Tensor, şekli (batch_size, num_channels, height, width)) — Modelin son katmanından gelen çözümlenmiş çıktı örneği.

Çözümleme yönteminin çıktısı.

Update on GitHub

←AutoencoderKLAllegro AutoencoderKLCosmos→