Buckets:

hf-doc-build
/

doc

Files

xet

hf-doc-build/doc / diffusers /main /id /api /models /autoencoderkl_allegro.md

mishig

3 days ago

preview code

download

raw

8.06 kB

# AutoencoderKLAllegro

Model 3D variational autoencoder (VAE) dengan KL loss yang digunakan dalam [Allegro](https://github.com/rhymes-ai/Allegro) diperkenalkan dalam [Allegro: Open the Black Box of Commercial-Level Video Generation Model](https://huggingface.co/papers/2410.15458) oleh RhymesAI.

Model dapat dimuat dengan potongan kode berikut.

```python
from diffusers import AutoencoderKLAllegro
vae = AutoencoderKLAllegro.from_pretrained("rhymes-ai/Allegro", subfolder="vae", dtype=torch.float32).to("cuda")  # or "mps", "xpu", "cpu"
```

## AutoencoderKLAllegro[[diffusers.AutoencoderKLAllegro]]

#### diffusers.AutoencoderKLAllegro[[diffusers.AutoencoderKLAllegro]]

```python
diffusers.AutoencoderKLAllegro(in_channels: int = 3, out_channels: int = 3, down_block_types: tuple[str, ...] = ('AllegroDownBlock3D', 'AllegroDownBlock3D', 'AllegroDownBlock3D', 'AllegroDownBlock3D'), up_block_types: tuple[str, ...] = ('AllegroUpBlock3D', 'AllegroUpBlock3D', 'AllegroUpBlock3D', 'AllegroUpBlock3D'), block_out_channels: tuple[int, ...] = (128, 256, 512, 512), temporal_downsample_blocks: tuple[bool, ...] = (True, True, False, False), temporal_upsample_blocks: tuple[bool, ...] = (False, True, True, False), latent_channels: int = 4, layers_per_block: int = 2, act_fn: str = 'silu', norm_num_groups: int = 32, temporal_compression_ratio: float = 4, sample_size: int = 320, scaling_factor: float = 0.13, force_upcast: bool = True)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_allegro.py#L676)

**Parameter:**

in_channels (int, defaultnya `3`) : Jumlah channel pada gambar input.
out_channels (int, defaultnya `3`) : Jumlah channel pada output.

down_block_types (`tuple[str, ...]`, defaultnya `("AllegroDownBlock3D", "AllegroDownBlock3D", "AllegroDownBlock3D", "AllegroDownBlock3D")`) : tuple dari string yang menunjukkan jenis down block mana yang akan digunakan.

up_block_types (`tuple[str, ...]`, defaultnya `("AllegroUpBlock3D", "AllegroUpBlock3D", "AllegroUpBlock3D", "AllegroUpBlock3D")`) : tuple dari string yang menunjukkan jenis up block mana yang akan digunakan.

block_out_channels (`tuple[int, ...]`, defaultnya `(128, 256, 512, 512)`) : tuple dari bilangan bulat yang menyatakan jumlah saluran output di setiap blok.

temporal_downsample_blocks (`tuple[bool, ...]`, defaultnya `(True, True, False, False)`) : tuple dari boolean yang menunjukkan blok mana yang akan diaktifkan untuk downsampling temporal.

latent_channels (`int`, defaultnya `4`) : Jumlah channel pada latents.
layers_per_block (`int`, defaultnya `2`) : Jumlah lapisan resnet atau attention atau konvolusi temporal per blok down/up.
act_fn (`str`, defaultnya `"silu"`) : Fungsi aktivasi yang akan digunakan.

norm_num_groups (`int`, defaultnya `32`) : Jumlah grup yang digunakan dalam lapisan normalisasi.

temporal_compression_ratio (`int`, defaultnya `4`) : Rasio kompresi dimensi temporal dari sampel.

sample_size (`int`, defaultnya `320`) : Ukuran laten default.
scaling_factor (`float`, defaultnya `0.13235`) : Deviasi standar per komponen dari ruang laten yang dilatih, dihitung menggunakan batch pertama dari set pelatihan. Ini digunakan untuk menskalakan ruang laten agar memiliki varians satuan saat melatih model difusi. Laten diskalakan dengan rumus `z = z * scaling_factor` sebelum diteruskan ke model difusi. Saat decoding, laten diskalakan kembali ke skala aslinya dengan rumus: `z = 1 / scaling_factor * z`. Untuk detail lebih lanjut, lihat bagian 4.3.2 dan D.1 dari paper [High-Resolution Image Synthesis with Latent Diffusion Models](https://huggingface.co/papers/2112.10752).

force_upcast (`bool`, default `True`) : Jika diaktifkan, parameter ini akan memaksa VAE untuk berjalan dalam float32 pada pipeline resolusi gambar tinggi, seperti SD-XL. VAE dapat dihaluskan / dilatih ke rentang yang lebih rendah tanpa kehilangan terlalu banyak presisi, di mana dalam kasus tersebut `force_upcast` dapat diatur ke `False` - lihat: https://huggingface.co/madebyollin/sdxl-vae-fp16-fix

Model VAE dengan kerugian KL untuk mengkodekan video menjadi latens dan mendekodekan representasi latens menjadi video. Digunakan dalam [Allegro](https://github.com/rhymes-ai/Allegro).

Model ini mewarisi dari [ModelMixin](/docs/diffusers/main/id/api/models/overview#diffusers.ModelMixin). Periksa dokumentasi kelas induk untuk metode generiknya yang diimplementasikan untuk semua model (seperti mengunduh atau menyimpan).

#### decode[[diffusers.AutoencoderKLAllegro.decode]]

```python
decode(z: Tensor, return_dict: bool = True)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_allegro.py#L843)

**Parameter:**

z (`torch.Tensor`) : Batch input dari vektor laten.

return_dict (`bool`, defaultnya `True`) : Apakah akan mengembalikan `~models.vae.DecoderOutput` alih-alih tuple biasa.
**Mengembalikan:** `~models.vae.DecoderOutput` atau `tuple`
Jika return_dict adalah True, sebuah `~models.vae.DecoderOutput` dikembalikan, selain itu sebuah `tuple` biasa dikembalikan.

Decode sekelompok video.

#### encode[[diffusers.AutoencoderKLAllegro.encode]]

```python
encode(x: Tensor, return_dict: bool = True)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_allegro.py#L806)

**Parameter:**

x (`torch.Tensor`) : Batch input video.

return_dict (`bool`, defaultnya `True`) : Apakah akan mengembalikan `~models.autoencoder_kl.AutoencoderKLOutput` alih-alih tuple biasa.

**Mengembalikan:**

Representasi laten dari video yang dikodekan. Jika `return_dict` bernilai True, sebuah `~models.autoencoder_kl.AutoencoderKLOutput` dikembalikan, selain itu sebuah `tuple` polos yang dikembalikan.

Enkodekan batch video menjadi latents.

#### forward[[diffusers.AutoencoderKLAllegro.forward]]

```python
forward(sample: Tensor, sample_posterior: bool = False, return_dict: bool = True, generator: typing.Optional[torch.Generator] = None)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_allegro.py#L1041)

**Parameter:**

sample (`torch.Tensor`) : Sampel input.

sample_posterior (`bool`, *opsional*, defaultnya `False`) : Apakah akan melakukan sampling dari posterior.
return_dict (`bool`, *opsional*, defaultnya `True`) : Apakah akan mengembalikan `DecoderOutput` alih-alih tuple biasa.

generator (`torch.Generator`, *opsional*) : generator angka acak PyTorch.

**Mengembalikan:** `~models.vae.DecoderOutput` atau `tuple`

Jika `return_dict` bernilai True, sebuah `~models.vae.DecoderOutput` akan dikembalikan, selain itu sebuah `tuple` biasa akan dikembalikan.

## AutoencoderKLOutput[[diffusers.models.modeling_outputs.AutoencoderKLOutput]]
#### diffusers.models.modeling_outputs.AutoencoderKLOutput[[diffusers.models.modeling_outputs.AutoencoderKLOutput]]
```python
diffusers.models.modeling_outputs.AutoencoderKLOutput(latent_dist: DiagonalGaussianDistribution)
```
[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/modeling_outputs.py#L7)
**Parameter:**
latent_dist (`DiagonalGaussianDistribution`) : Output hasil enkripsi dari `Encoder` yang direpresentasikan sebagai mean dan logvar dari `DiagonalGaussianDistribution`. `DiagonalGaussianDistribution` memungkinkan pengambilan sampel latents dari distribusi tersebut.

Output dari metode encoding AutoencoderKL.

## DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]]

#### diffusers.models.autoencoders.vae.DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]]

```python
diffusers.models.autoencoders.vae.DecoderOutput(sample: Tensor, commit_loss: typing.Optional[torch.FloatTensor] = None)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/vae.py#L49)

**Parameter:**

sample (`torch.Tensor` dengan bentuk `(batch_size, num_channels, height, width)`) : Sampel output yang didekodekan dari lapisan terakhir model.

Output dari metode decoding.

Xet Storage Details

Size:: 8.06 kB
Xet hash:: 760a2a6091f05256948d9eb9f86455cc646dae48d9e680045548e6777d5ff93d

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.

	# AutoencoderKLAllegro

	Model 3D variational autoencoder (VAE) dengan KL loss yang digunakan dalam [Allegro](https://github.com/rhymes-ai/Allegro) diperkenalkan dalam [Allegro: Open the Black Box of Commercial-Level Video Generation Model](https://huggingface.co/papers/2410.15458) oleh RhymesAI.

	Model dapat dimuat dengan potongan kode berikut.

	```python
	from diffusers import AutoencoderKLAllegro

	vae = AutoencoderKLAllegro.from_pretrained("rhymes-ai/Allegro", subfolder="vae", dtype=torch.float32).to("cuda") # or "mps", "xpu", "cpu"
	```

	## AutoencoderKLAllegro[[diffusers.AutoencoderKLAllegro]]

	#### diffusers.AutoencoderKLAllegro[[diffusers.AutoencoderKLAllegro]]

	```python
	diffusers.AutoencoderKLAllegro(in_channels: int = 3, out_channels: int = 3, down_block_types: tuple[str, ...] = ('AllegroDownBlock3D', 'AllegroDownBlock3D', 'AllegroDownBlock3D', 'AllegroDownBlock3D'), up_block_types: tuple[str, ...] = ('AllegroUpBlock3D', 'AllegroUpBlock3D', 'AllegroUpBlock3D', 'AllegroUpBlock3D'), block_out_channels: tuple[int, ...] = (128, 256, 512, 512), temporal_downsample_blocks: tuple[bool, ...] = (True, True, False, False), temporal_upsample_blocks: tuple[bool, ...] = (False, True, True, False), latent_channels: int = 4, layers_per_block: int = 2, act_fn: str = 'silu', norm_num_groups: int = 32, temporal_compression_ratio: float = 4, sample_size: int = 320, scaling_factor: float = 0.13, force_upcast: bool = True)
	```

	[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_allegro.py#L676)

	Parameter:

	in_channels (int, defaultnya `3`) : Jumlah channel pada gambar input.

	out_channels (int, defaultnya `3`) : Jumlah channel pada output.

	down_block_types (`tuple[str, ...]`, defaultnya `("AllegroDownBlock3D", "AllegroDownBlock3D", "AllegroDownBlock3D", "AllegroDownBlock3D")`) : tuple dari string yang menunjukkan jenis down block mana yang akan digunakan.

	up_block_types (`tuple[str, ...]`, defaultnya `("AllegroUpBlock3D", "AllegroUpBlock3D", "AllegroUpBlock3D", "AllegroUpBlock3D")`) : tuple dari string yang menunjukkan jenis up block mana yang akan digunakan.

	block_out_channels (`tuple[int, ...]`, defaultnya `(128, 256, 512, 512)`) : tuple dari bilangan bulat yang menyatakan jumlah saluran output di setiap blok.

	temporal_downsample_blocks (`tuple[bool, ...]`, defaultnya `(True, True, False, False)`) : tuple dari boolean yang menunjukkan blok mana yang akan diaktifkan untuk downsampling temporal.

	latent_channels (`int`, defaultnya `4`) : Jumlah channel pada latents.

	layers_per_block (`int`, defaultnya `2`) : Jumlah lapisan resnet atau attention atau konvolusi temporal per blok down/up.

	act_fn (`str`, defaultnya `"silu"`) : Fungsi aktivasi yang akan digunakan.

	norm_num_groups (`int`, defaultnya `32`) : Jumlah grup yang digunakan dalam lapisan normalisasi.

	temporal_compression_ratio (`int`, defaultnya `4`) : Rasio kompresi dimensi temporal dari sampel.

	sample_size (`int`, defaultnya `320`) : Ukuran laten default.

	scaling_factor (`float`, defaultnya `0.13235`) : Deviasi standar per komponen dari ruang laten yang dilatih, dihitung menggunakan batch pertama dari set pelatihan. Ini digunakan untuk menskalakan ruang laten agar memiliki varians satuan saat melatih model difusi. Laten diskalakan dengan rumus `z = z * scaling_factor` sebelum diteruskan ke model difusi. Saat decoding, laten diskalakan kembali ke skala aslinya dengan rumus: `z = 1 / scaling_factor * z`. Untuk detail lebih lanjut, lihat bagian 4.3.2 dan D.1 dari paper [High-Resolution Image Synthesis with Latent Diffusion Models](https://huggingface.co/papers/2112.10752).

	force_upcast (`bool`, default `True`) : Jika diaktifkan, parameter ini akan memaksa VAE untuk berjalan dalam float32 pada pipeline resolusi gambar tinggi, seperti SD-XL. VAE dapat dihaluskan / dilatih ke rentang yang lebih rendah tanpa kehilangan terlalu banyak presisi, di mana dalam kasus tersebut `force_upcast` dapat diatur ke `False` - lihat: https://huggingface.co/madebyollin/sdxl-vae-fp16-fix

	Model VAE dengan kerugian KL untuk mengkodekan video menjadi latens dan mendekodekan representasi latens menjadi video. Digunakan dalam [Allegro](https://github.com/rhymes-ai/Allegro).

	Model ini mewarisi dari [ModelMixin](/docs/diffusers/main/id/api/models/overview#diffusers.ModelMixin). Periksa dokumentasi kelas induk untuk metode generiknya yang diimplementasikan untuk semua model (seperti mengunduh atau menyimpan).

	#### decode[[diffusers.AutoencoderKLAllegro.decode]]

	```python
	decode(z: Tensor, return_dict: bool = True)
	```

	[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_allegro.py#L843)

	Parameter:

	z (`torch.Tensor`) : Batch input dari vektor laten.

	return_dict (`bool`, defaultnya `True`) : Apakah akan mengembalikan `~models.vae.DecoderOutput` alih-alih tuple biasa.

	Mengembalikan: `~models.vae.DecoderOutput` atau `tuple`

	Jika return_dict adalah True, sebuah `~models.vae.DecoderOutput` dikembalikan, selain itu sebuah `tuple` biasa dikembalikan.

	Decode sekelompok video.

	#### encode[[diffusers.AutoencoderKLAllegro.encode]]

	```python
	encode(x: Tensor, return_dict: bool = True)
	```

	[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_allegro.py#L806)

	Parameter:

	x (`torch.Tensor`) : Batch input video.

	return_dict (`bool`, defaultnya `True`) : Apakah akan mengembalikan `~models.autoencoder_kl.AutoencoderKLOutput` alih-alih tuple biasa.

	Mengembalikan:

	Representasi laten dari video yang dikodekan. Jika `return_dict` bernilai True, sebuah `~models.autoencoder_kl.AutoencoderKLOutput` dikembalikan, selain itu sebuah `tuple` polos yang dikembalikan.

	Enkodekan batch video menjadi latents.

	#### forward[[diffusers.AutoencoderKLAllegro.forward]]

	```python
	forward(sample: Tensor, sample_posterior: bool = False, return_dict: bool = True, generator: typing.Optional[torch.Generator] = None)
	```

	[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_allegro.py#L1041)

	Parameter:

	sample (`torch.Tensor`) : Sampel input.

	sample_posterior (`bool`, opsional, defaultnya `False`) : Apakah akan melakukan sampling dari posterior.

	return_dict (`bool`, opsional, defaultnya `True`) : Apakah akan mengembalikan `DecoderOutput` alih-alih tuple biasa.

	generator (`torch.Generator`, opsional) : generator angka acak PyTorch.

	Mengembalikan: `~models.vae.DecoderOutput` atau `tuple`

	Jika `return_dict` bernilai True, sebuah `~models.vae.DecoderOutput` akan dikembalikan, selain itu sebuah `tuple` biasa akan dikembalikan.

	## AutoencoderKLOutput[[diffusers.models.modeling_outputs.AutoencoderKLOutput]]

	#### diffusers.models.modeling_outputs.AutoencoderKLOutput[[diffusers.models.modeling_outputs.AutoencoderKLOutput]]

	```python
	diffusers.models.modeling_outputs.AutoencoderKLOutput(latent_dist: DiagonalGaussianDistribution)
	```

	[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/modeling_outputs.py#L7)

	Parameter:

	latent_dist (`DiagonalGaussianDistribution`) : Output hasil enkripsi dari `Encoder` yang direpresentasikan sebagai mean dan logvar dari `DiagonalGaussianDistribution`. `DiagonalGaussianDistribution` memungkinkan pengambilan sampel latents dari distribusi tersebut.

	Output dari metode encoding AutoencoderKL.

	## DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]]

	#### diffusers.models.autoencoders.vae.DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]]

	```python
	diffusers.models.autoencoders.vae.DecoderOutput(sample: Tensor, commit_loss: typing.Optional[torch.FloatTensor] = None)
	```

	[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/vae.py#L49)

	Parameter:

	sample (`torch.Tensor` dengan bentuk `(batch_size, num_channels, height, width)`) : Sampel output yang didekodekan dari lapisan terakhir model.

	Output dari metode decoding.