Buckets:
| # AutoencoderKLMagvit | |
| Model 3D variational autoencoder (VAE) dengan KL loss yang digunakan dalam [EasyAnimate](https://github.com/aigc-apps/EasyAnimate) diperkenalkan oleh Alibaba PAI. | |
| Model dapat dimuat dengan potongan kode berikut. | |
| ```python | |
| from diffusers import AutoencoderKLMagvit | |
| vae = AutoencoderKLMagvit.from_pretrained("alibaba-pai/EasyAnimateV5.1-12b-zh", subfolder="vae", dtype=torch.float16).to("cuda") # or "mps", "xpu", "cpu" | |
| ``` | |
| ## AutoencoderKLMagvit[[diffusers.AutoencoderKLMagvit]] | |
| #### diffusers.AutoencoderKLMagvit[[diffusers.AutoencoderKLMagvit]] | |
| ```python | |
| diffusers.AutoencoderKLMagvit(in_channels: int = 3, latent_channels: int = 16, out_channels: int = 3, block_out_channels: tuple[int, ...] = [128, 256, 512, 512], down_block_types: tuple[str, ...] = ['SpatialDownBlock3D', 'SpatialTemporalDownBlock3D', 'SpatialTemporalDownBlock3D', 'SpatialTemporalDownBlock3D'], up_block_types: tuple[str, ...] = ['SpatialUpBlock3D', 'SpatialTemporalUpBlock3D', 'SpatialTemporalUpBlock3D', 'SpatialTemporalUpBlock3D'], layers_per_block: int = 2, act_fn: str = 'silu', norm_num_groups: int = 32, scaling_factor: float = 0.7125, spatial_group_norm: bool = True) | |
| ``` | |
| [Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_magvit.py#L665) | |
| Model VAE dengan kerugian KL untuk mengkodekan gambar menjadi latens dan mendekodekan representasi latens menjadi gambar. Model ini digunakan dalam [EasyAnimate](https://huggingface.co/papers/2405.18991). | |
| Model ini mewarisi dari [ModelMixin](/docs/diffusers/main/id/api/models/overview#diffusers.ModelMixin). Periksa dokumentasi kelas induk untuk metode generiknya yang diimplementasikan untuk semua model (seperti mengunduh atau menyimpan). | |
| #### decode[[diffusers.AutoencoderKLMagvit.decode]] | |
| ```python | |
| decode(z: Tensor, return_dict: bool = True) | |
| ``` | |
| [Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_magvit.py#L891) | |
| **Parameter:** | |
| z (`torch.Tensor`) : Batch input dari vektor laten. | |
| return_dict (`bool`, *opsional*, defaultnya `True`) : Apakah akan mengembalikan `~models.vae.DecoderOutput` alih-alih tuple biasa. | |
| **Mengembalikan:** `~models.vae.DecoderOutput` atau `tuple` | |
| Jika return_dict adalah True, sebuah `~models.vae.DecoderOutput` dikembalikan, selain itu sebuah `tuple` biasa dikembalikan. | |
| Decode sekelompok gambar. | |
| #### encode[[diffusers.AutoencoderKLMagvit.encode]] | |
| ```python | |
| encode(x: Tensor, return_dict: bool = True) | |
| ``` | |
| [Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_magvit.py#L837) | |
| **Parameter:** | |
| x (`torch.Tensor`) : Batch input gambar. | |
| return_dict (`bool`, *opsional*, defaultnya `True`) : Apakah akan mengembalikan `~models.autoencoder_kl.AutoencoderKLOutput` alih-alih tuple biasa. | |
| **Mengembalikan:** | |
| Representasi laten dari video yang dikodekan. Jika `return_dict` bernilai True, sebuah `~models.autoencoder_kl.AutoencoderKLOutput` dikembalikan, selain itu sebuah `tuple` polos yang dikembalikan. | |
| Enkodekan batch gambar menjadi latents. | |
| #### enable_tiling[[diffusers.AutoencoderKLMagvit.enable_tiling]] | |
| ```python | |
| enable_tiling(tile_sample_min_height: int | None = None, tile_sample_min_width: int | None = None, tile_sample_min_num_frames: int | None = None, tile_sample_stride_height: float | None = None, tile_sample_stride_width: float | None = None, tile_sample_stride_num_frames: float | None = None) | |
| ``` | |
| [Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_magvit.py#L771) | |
| **Parameter:** | |
| tile_sample_min_height (`int`, *opsional*) : Tinggi minimum yang diperlukan agar sampel dipisahkan menjadi ubin di sepanjang dimensi tinggi. | |
| tile_sample_min_width (`int`, *opsional*) : Lebar minimum yang diperlukan agar sampel dipisahkan menjadi ubin di sepanjang dimensi lebar. | |
| tile_sample_stride_height (`int`, *opsional*) : Jumlah minimum tumpang tindih antara dua ubin vertikal yang berurutan. Hal ini untuk memastikan tidak ada artefak penataan ubin yang dihasilkan di sepanjang dimensi tinggi. | |
| tile_sample_stride_width (`int`, *opsional*) : Jarak (stride) antara dua tile horizontal yang berurutan. Hal ini untuk memastikan tidak ada artefak tiling yang dihasilkan di sepanjang dimensi lebar. | |
| Aktifkan decoding VAE bertile. Ketika opsi ini diaktifkan, VAE akan membagi tensor input menjadi beberapa tile untuk menghitung decoding dan encoding dalam beberapa langkah. Hal ini berguna untuk menghemat memori dalam jumlah besar dan memungkinkan pemrosesan gambar yang lebih besar. | |
| #### forward[[diffusers.AutoencoderKLMagvit.forward]] | |
| ```python | |
| forward(sample: Tensor, sample_posterior: bool = False, return_dict: bool = True, generator: typing.Optional[torch.Generator] = None) | |
| ``` | |
| [Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_magvit.py#L1046) | |
| **Parameter:** | |
| sample (`torch.Tensor`) : Sampel input. | |
| sample_posterior (`bool`, *opsional*, defaultnya `False`) : Apakah akan melakukan sampling dari posterior. | |
| return_dict (`bool`, *opsional*, defaultnya `True`) : Apakah akan mengembalikan `DecoderOutput` alih-alih tuple biasa. | |
| generator (`torch.Generator`, *opsional*) : Sebuah [`torch.Generator`](https://pytorch.org/docs/stable/generated/torch.Generator.html) untuk membuat sampling menjadi deterministik. | |
| **Mengembalikan:** `~models.vae.DecoderOutput` atau `tuple` | |
| Jika `return_dict` bernilai True, sebuah `~models.vae.DecoderOutput` akan dikembalikan, selain itu sebuah `tuple` biasa akan dikembalikan. | |
| ## AutoencoderKLOutput[[diffusers.models.modeling_outputs.AutoencoderKLOutput]] | |
| #### diffusers.models.modeling_outputs.AutoencoderKLOutput[[diffusers.models.modeling_outputs.AutoencoderKLOutput]] | |
| ```python | |
| diffusers.models.modeling_outputs.AutoencoderKLOutput(latent_dist: DiagonalGaussianDistribution) | |
| ``` | |
| [Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/modeling_outputs.py#L7) | |
| **Parameter:** | |
| latent_dist (`DiagonalGaussianDistribution`) : Output hasil enkripsi dari `Encoder` yang direpresentasikan sebagai mean dan logvar dari `DiagonalGaussianDistribution`. `DiagonalGaussianDistribution` memungkinkan pengambilan sampel latents dari distribusi tersebut. | |
| Output dari metode encoding AutoencoderKL. | |
| ## DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]] | |
| #### diffusers.models.autoencoders.vae.DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]] | |
| ```python | |
| diffusers.models.autoencoders.vae.DecoderOutput(sample: Tensor, commit_loss: typing.Optional[torch.FloatTensor] = None) | |
| ``` | |
| [Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/vae.py#L49) | |
| **Parameter:** | |
| sample (`torch.Tensor` dengan bentuk `(batch_size, num_channels, height, width)`) : Sampel output yang didekodekan dari lapisan terakhir model. | |
| Output dari metode decoding. | |
Xet Storage Details
- Size:
- 6.97 kB
- Xet hash:
- 424de124798ebd8771fb9c3daf080bc7df7f20a25732d08915afe375d621a1e8
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.