Hugging Face's logo

Diffusers documentation

AutoencoderKLHunyuanVideo

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

AutoencoderKLHunyuanVideo

Tencent tarafından HunyuanVideo: A Systematic Framework For Large Video Generative Models makalesinde tanıtılan HunyuanVideo'da kullanılan, KL kaybına sahip 3D varyasyonel otoenkoder (VAE) modeli.

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import AutoencoderKLHunyuanVideo

vae = AutoencoderKLHunyuanVideo.from_pretrained("hunyuanvideo-community/HunyuanVideo", subfolder="vae", dtype=torch.float16)

AutoencoderKLHunyuanVideo

sınıf diffusers.AutoencoderKLHunyuanVideo

< >

( in_channels: int = 3out_channels: int = 3latent_channels: int = 16down_block_types: tuple = ('HunyuanVideoDownBlock3D', 'HunyuanVideoDownBlock3D', 'HunyuanVideoDownBlock3D', 'HunyuanVideoDownBlock3D')up_block_types: tuple = ('HunyuanVideoUpBlock3D', 'HunyuanVideoUpBlock3D', 'HunyuanVideoUpBlock3D', 'HunyuanVideoUpBlock3D')block_out_channels: tuple = (128, 256, 512, 512)layers_per_block: int = 2act_fn: str = 'silu'norm_num_groups: int = 32scaling_factor: float = 0.476986spatial_compression_ratio: int = 8temporal_compression_ratio: int = 4mid_block_add_attention: bool = True )

KL kaybı ile videoları latentlere kodlamak ve latent temsilleri videolara çözmek için kullanılan bir VAE modeli. HunyuanVideo'da tanıtıldı.

Bu model ModelMixin sınıfından devralır. Tüm modeller için uygulanan genel yöntemleri (indirme veya kaydetme gibi) görmek için üst sınıfın belgelendirmesine bakın.

decode

< >

( z: Tensorreturn_dict: bool = True ) → ~models.vae.DecoderOutput or tuple

Parametreler

  • z (torch.Tensor) — Girdi partisi latent vektörleri.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.vae.DecoderOutput döndürülüp döndürülmemesi.

Dönüş değeri

~models.vae.DecoderOutput veya tuple

return_dict True ise, ~models.vae.DecoderOutput döndürülür, aksi takdirde düz bir tuple döndürülür.

Bir görüntü grubunu çözümlen.

enable_tiling

< >

( tile_sample_min_height: int | None = Nonetile_sample_min_width: int | None = Nonetile_sample_min_num_frames: int | None = Nonetile_sample_stride_height: float | None = Nonetile_sample_stride_width: float | None = Nonetile_sample_stride_num_frames: float | None = None )

Parametreler

  • tile_sample_min_height (int, isteğe bağlı) — Bir örneğin yükseklik boyutu boyunca karolalara ayrılabilmesi için gereken minimum yükseklik.
  • tile_sample_min_width (int, isteğe bağlı) — Bir örneğin genişlik boyutu boyunca karolalara ayrılabilmesi için gereken minimum genişlik.
  • tile_sample_min_num_frames (int, isteğe bağlı) — Bir örneğin kare boyutu boyunca karolalara (tile) ayrılabilmesi için gereken minimum kare sayısı.
  • tile_sample_stride_height (int, isteğe bağlı) — İki ardışık dikey karo arasındaki minimum örtüşme miktarı. Bu, yükseklik boyutu boyunca karo artefaktlarının oluşmamasını sağlamak içindir.
  • tile_sample_stride_width (int, isteğe bağlı) — İki ardışık yatay karoyu arasındaki adım. Bu, genişlik boyutu boyunca karo artefaktlarının oluşmamasını sağlamak içindir.
  • tile_sample_stride_num_frames (int, isteğe bağlı) — İki ardışık kare karoseli arasındaki adım. Bu, kare boyutu boyunca karolama artefaktlarının oluşmamasını sağlamak içindir.

Döşemeli VAE çözümlemesini etkinleştirir. Bu seçenek etkinleştirildiğinde, VAE girdi tensörünü çözümleme ve kodlamayı birden fazla adımda hesaplamak için döşemelere böler. Bu, büyük miktarda bellek tasarrufu sağlamak ve daha büyük görüntülerin işlenmesine izin vermek için kullanışlıdır.

encode

< >

( x: Tensorreturn_dict: bool = True )

Parametreler

  • x (torch.Tensor) — Görsellerin giriş partisi.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.autoencoder_kl.AutoencoderKLOutput döndürülüp döndürülmediğini belirtir.

Bir görüntü grubunu latentlere kodlayın.

forward

< >

( sample: Tensorsample_posterior: bool = Falsereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → ~models.vae.DecoderOutput or tuple

Parametreler

  • sample (torch.Tensor) — Girdi örneği.
  • sample_posterior (bool, isteğe bağlı, varsayılan False) — Posterior'dan örneklemeye alınıp alınmayacağı.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine DecoderOutput döndürülüp döndürülmemesi.
  • generator (torch.Generator, isteğe bağlı) — Örnekleme işlemini deterministik hale getirmek için kullanılan bir torch.Generator.

Dönüş değeri

~models.vae.DecoderOutput veya tuple

return_dict True ise, ~models.vae.DecoderOutput döndürülür, aksi takdirde düz bir tuple döndürülür.

tiled_decode

< >

( z: Tensorreturn_dict: bool = True ) → ~models.vae.DecoderOutput or tuple

Parametreler

  • z (torch.Tensor) — Girdi partisi latent vektörleri.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.vae.DecoderOutput döndürülüp döndürülmemesi.

Dönüş değeri

~models.vae.DecoderOutput veya tuple

return_dict True ise, ~models.vae.DecoderOutput döndürülür, aksi takdirde düz bir tuple döndürülür.

Bir görüntü grubunu karolarlı bir çözücü kullanarak çözümlen.

tiled_encode

< >

( x: Tensor ) → torch.Tensor

Parametreler

  • x (torch.Tensor) — Video giriş partisi.

Dönüş değeri

torch.Tensor

Kodlanmış videoların gizil (latent) temsili.

Bir görüntü grubunu, karolalı bir kodlayıcı kullanarak kodlayın.

DecoderOutput

sınıf diffusers.models.autoencoders.vae.DecoderOutput

< >

( sample: Tensorcommit_loss: typing.Optional[torch.FloatTensor] = None )

Parametreler

  • sample (torch.Tensor, şekli (batch_size, num_channels, height, width)) — Modelin son katmanından gelen çözümlenmiş çıktı örneği.

Çözümleme yönteminin çıktısı.

Update on GitHub

←AutoencoderKLHunyuanImageRefiner AutoencoderKLHunyuanVideo15→