Buckets:

hf-doc-build
/

doc

Files

xet

hf-doc-build/doc / diffusers /main /pt /api /models /autoencoderkl_cogvideox.md

mishig

2 days ago

preview code

download

raw

11.1 kB

# AutoencoderKLCogVideoX

O modelo de autoencoder variacional 3D (VAE) com perda KL usado em [CogVideoX](https://github.com/THUDM/CogVideo) foi introduzido em [CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer](https://huggingface.co/papers/2408.06072) pela Universidade de Tsinghua & ZhipuAI.

O modelo pode ser carregado com o seguinte trecho de código.

```python
from diffusers import AutoencoderKLCogVideoX
vae = AutoencoderKLCogVideoX.from_pretrained("THUDM/CogVideoX-2b", subfolder="vae", dtype=torch.float16).to("cuda")  # or "mps", "xpu", "cpu"
```

## AutoencoderKLCogVideoX[[diffusers.AutoencoderKLCogVideoX]]

#### diffusers.AutoencoderKLCogVideoX[[diffusers.AutoencoderKLCogVideoX]]

```python
diffusers.AutoencoderKLCogVideoX(in_channels: int = 3, out_channels: int = 3, down_block_types: tuple[str] = ('CogVideoXDownBlock3D', 'CogVideoXDownBlock3D', 'CogVideoXDownBlock3D', 'CogVideoXDownBlock3D'), up_block_types: tuple[str] = ('CogVideoXUpBlock3D', 'CogVideoXUpBlock3D', 'CogVideoXUpBlock3D', 'CogVideoXUpBlock3D'), block_out_channels: tuple[int] = (128, 256, 256, 512), latent_channels: int = 16, layers_per_block: int = 3, act_fn: str = 'silu', norm_eps: float = 1e-06, norm_num_groups: int = 32, temporal_compression_ratio: float = 4, sample_height: int = 480, sample_width: int = 720, scaling_factor: float = 1.15258426, shift_factor: float | None = None, latents_mean: tuple[float] | None = None, latents_std: tuple[float] | None = None, force_upcast: float = True, use_quant_conv: bool = False, use_post_quant_conv: bool = False, invert_scale_latents: bool = False)
```

[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_cogvideox.py#L958)

**Parâmetros:**

in_channels (int, *opcional*, padrão 3) : Número de canais na imagem de entrada.
out_channels (int,  *opcional*, padrão 3) : Número de canais na saída.

down_block_types (`tuple[str]`, *opcional*, padrão `("DownEncoderBlock2D",)`) : tupla de tipos de blocos de downsampling.

up_block_types (`tuple[str]`, *opcional*, padrão `("UpDecoderBlock2D",)`) : tupla de tipos de blocos de upsample.

block_out_channels (`tuple[int]`, *opcional*, padrão `(64,)`) : tupla de canais de saída dos blocos.

act_fn (`str`, *opcional*, padrão `"silu"`) : A função de ativação a ser utilizada.
sample_size (`int`, *opcional*, padrão `32`) : Tamanho da entrada de amostragem.

scaling_factor (`float`, *opcional*, padrão `1.15258426`) : O desvio padrão componente a componente do espaço latente treinado, calculado usando o primeiro lote do conjunto de treinamento. Isso é usado para escalar o espaço latente para ter variância unitária ao treinar o modelo de difusão. Os latentes são escalados com a fórmula `z = z * scaling_factor` antes de serem passados para o modelo de difusão. Ao decodificar, os latentes são escalados de volta para a escala original com a fórmula: `z = 1 / scaling_factor * z`. Para mais detalhes, consulte as seções 4.3.2 e D.1 do artigo [High-Resolution Image Synthesis with Latent Diffusion Models](https://huggingface.co/papers/2112.10752).
force_upcast (`bool`, *opcional*, padrão `True`) : Se habilitado, forçará o VAE a executar em float32 para pipelines de alta resolução de imagem, como o SD-XL. O VAE pode ser ajustado / treinado para uma faixa menor sem perder muita precisão, caso em que `force_upcast` pode ser definido como `False` - veja: https://huggingface.co/madebyollin/sdxl-vae-fp16-fix

Um modelo VAE com perda KL para codificar imagens em latentes e decodificar representações latentes em imagens. Usado no [CogVideoX](https://github.com/THUDM/CogVideo).

Este modelo herda de [ModelMixin](/docs/diffusers/main/pt/api/models/overview#diffusers.ModelMixin). Consulte a documentação da superclasse para seus métodos genéricos implementados para todos os modelos (como download ou salvamento).

#### decode[[diffusers.AutoencoderKLCogVideoX.decode]]

```python
decode(z: Tensor, return_dict: bool = True)
```

[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_cogvideox.py#L1209)

**Parâmetros:**

z (`torch.Tensor`) : Lote de entrada de vetores latentes.

return_dict (`bool`, *opcional*, padrão `True`) : Se deve retornar um `~models.vae.DecoderOutput` em vez de uma tupla simples.
**Retorna:** `~models.vae.DecoderOutput` ou `tuple`
Se return_dict for True, um `~models.vae.DecoderOutput` é retornado; caso contrário, uma `tuple` simples é retornada.

Decodifique um lote de imagens.

#### encode[[diffusers.AutoencoderKLCogVideoX.encode]]

```python
encode(x: Tensor, return_dict: bool = True)
```

[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_cogvideox.py#L1153)

**Parâmetros:**

x (`torch.Tensor`) : Lote de entrada de imagens.

return_dict (`bool`, *opcional*, padrão `True`) : Se deve retornar um `~models.autoencoder_kl.AutoencoderKLOutput` em vez de uma tupla simples.

**Retorna:**

As representações latentes dos vídeos codificados. Se `return_dict` for True, um `~models.autoencoder_kl.AutoencoderKLOutput` é retornado; caso contrário, uma `tuple` simples é retornada.

Codifica um lote de imagens em latentes.

#### enable_tiling[[diffusers.AutoencoderKLCogVideoX.enable_tiling]]

```python
enable_tiling(tile_sample_min_height: int | None = None, tile_sample_min_width: int | None = None, tile_overlap_factor_height: float | None = None, tile_overlap_factor_width: float | None = None)
```

[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_cogvideox.py#L1091)

**Parâmetros:**

tile_sample_min_height (`int`, *opcional*) : A altura mínima necessária para que uma amostra seja separada em tiles ao longo da dimensão de altura.
tile_sample_min_width (`int`, *opcional*) : A largura mínima necessária para que uma amostra seja separada em tiles ao longo da dimensão de largura.

tile_overlap_factor_height (`int`, *opcional*) : A quantidade mínima de sobreposição entre duas tiles verticais consecutivas. Isso garante que não haja artefatos de tiling produzidos ao longo da dimensão de altura. Deve estar entre 0 e 1. Definir um valor maior pode fazer com que mais tiles sejam processadas, levando a um atraso no processo de decodificação.
tile_overlap_factor_width (`int`, *opcional*) : A quantidade mínima de sobreposição entre duas tiles horizontais consecutivas. Isso garante que não haja artefatos de tiling produzidos ao longo da dimensão de largura. Deve estar entre 0 e 1. Definir um valor maior pode fazer com que mais tiles sejam processadas, levando a um atraso no processo de decodificação.

Ativa a decodificação do VAE em blocos (tiled). Quando essa opção está ativada, o VAE divide o tensor de entrada em blocos para calcular a decodificação e a codificação em várias etapas. Isso é útil para economizar uma grande quantidade de memória e permitir o processamento de imagens maiores.

#### forward[[diffusers.AutoencoderKLCogVideoX.forward]]

```python
forward(sample: Tensor, sample_posterior: bool = False, return_dict: bool = True, generator: typing.Optional[torch.Generator] = None)
```

[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_cogvideox.py#L1407)

**Parâmetros:**

sample (`torch.Tensor`) : Amostra de entrada.

sample_posterior (`bool`, *opcional*, padrão `False`) : Se deve amostrar da posterior.
return_dict (`bool`, *opcional*, padrão `True`) : Se deve ou não retornar um `DecoderOutput` em vez de uma tupla simples.

generator (`torch.Generator`, *opcional*) : Um [`torch.Generator`](https://pytorch.org/docs/stable/generated/torch.Generator.html) para tornar a amostragem determinística.

**Retorna:** `~models.vae.DecoderOutput` ou `tuple`

Se `return_dict` for True, um `~models.vae.DecoderOutput` é retornado; caso contrário, uma `tuple` simples é retornada.

#### tiled_decode[[diffusers.AutoencoderKLCogVideoX.tiled_decode]]

```python
tiled_decode(z: Tensor, return_dict: bool = True)
```

[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_cogvideox.py#L1324)

**Parâmetros:**

z (`torch.Tensor`) : Lote de entrada de vetores latentes.

return_dict (`bool`, *opcional*, padrão `True`) : Se deve ou não retornar um `~models.vae.DecoderOutput` em vez de uma tupla simples.
**Retorna:** `~models.vae.DecoderOutput` ou `tuple`
Se return_dict for True, um `~models.vae.DecoderOutput` é retornado; caso contrário, uma `tuple` simples é retornada.

Decodifique um lote de imagens usando um decodificador em mosaico.

#### tiled_encode[[diffusers.AutoencoderKLCogVideoX.tiled_encode]]

```python
tiled_encode(x: Tensor)
```

[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_cogvideox.py#L1250)

**Parâmetros:**

x (`torch.Tensor`) : Lote de entrada de vídeos.

**Retorna:** `torch.Tensor`

A representação latente dos vídeos codificados.

Codifique um lote de imagens usando um codificador em mosaico.

Quando esta opção está habilitada, o VAE divide o tensor de entrada em blocos para calcular a codificação em várias etapas. Isso é útil para manter o uso de memória constante, independentemente do tamanho da imagem. O resultado final da codificação em blocos é diferente da codificação sem blocos, pois cada bloco utiliza um codificador diferente. Para evitar artefatos de blocos, os blocos se sobrepõem e são mesclados para formar uma saída suave. Você ainda pode observar variações do tamanho do bloco na saída, mas elas devem ser muito menos perceptíveis.

## AutoencoderKLOutput[[diffusers.models.modeling_outputs.AutoencoderKLOutput]]
#### diffusers.models.modeling_outputs.AutoencoderKLOutput[[diffusers.models.modeling_outputs.AutoencoderKLOutput]]
```python
diffusers.models.modeling_outputs.AutoencoderKLOutput(latent_dist: DiagonalGaussianDistribution)
```
[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/modeling_outputs.py#L7)
**Parâmetros:**
latent_dist (`DiagonalGaussianDistribution`) : Saídas codificadas do `Encoder` representadas como a média e o logvar do `DiagonalGaussianDistribution`. O `DiagonalGaussianDistribution` permite amostrar latentes da distribuição.

Saída do método de codificação do AutoencoderKL.

## DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]]

#### diffusers.models.autoencoders.vae.DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]]

```python
diffusers.models.autoencoders.vae.DecoderOutput(sample: Tensor, commit_loss: typing.Optional[torch.FloatTensor] = None)
```

[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/vae.py#L49)

**Parâmetros:**

sample (`torch.Tensor` de forma `(batch_size, num_channels, height, width)`) : A amostra de saída decodificada da última camada do modelo.

Saída do método de decodificação.

Xet Storage Details

Size:: 11.1 kB
Xet hash:: 592f3f2c1e7bdf4526fc3a9cdc79b6c489b85548008862ec3e4962f6240675c8

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.

	# AutoencoderKLCogVideoX

	O modelo de autoencoder variacional 3D (VAE) com perda KL usado em [CogVideoX](https://github.com/THUDM/CogVideo) foi introduzido em [CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer](https://huggingface.co/papers/2408.06072) pela Universidade de Tsinghua & ZhipuAI.

	O modelo pode ser carregado com o seguinte trecho de código.

	```python
	from diffusers import AutoencoderKLCogVideoX

	vae = AutoencoderKLCogVideoX.from_pretrained("THUDM/CogVideoX-2b", subfolder="vae", dtype=torch.float16).to("cuda") # or "mps", "xpu", "cpu"
	```

	## AutoencoderKLCogVideoX[[diffusers.AutoencoderKLCogVideoX]]

	#### diffusers.AutoencoderKLCogVideoX[[diffusers.AutoencoderKLCogVideoX]]

	```python
	diffusers.AutoencoderKLCogVideoX(in_channels: int = 3, out_channels: int = 3, down_block_types: tuple[str] = ('CogVideoXDownBlock3D', 'CogVideoXDownBlock3D', 'CogVideoXDownBlock3D', 'CogVideoXDownBlock3D'), up_block_types: tuple[str] = ('CogVideoXUpBlock3D', 'CogVideoXUpBlock3D', 'CogVideoXUpBlock3D', 'CogVideoXUpBlock3D'), block_out_channels: tuple[int] = (128, 256, 256, 512), latent_channels: int = 16, layers_per_block: int = 3, act_fn: str = 'silu', norm_eps: float = 1e-06, norm_num_groups: int = 32, temporal_compression_ratio: float = 4, sample_height: int = 480, sample_width: int = 720, scaling_factor: float = 1.15258426, shift_factor: float \| None = None, latents_mean: tuple[float] \| None = None, latents_std: tuple[float] \| None = None, force_upcast: float = True, use_quant_conv: bool = False, use_post_quant_conv: bool = False, invert_scale_latents: bool = False)
	```

	[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_cogvideox.py#L958)

	Parâmetros:

	in_channels (int, opcional, padrão 3) : Número de canais na imagem de entrada.

	out_channels (int, opcional, padrão 3) : Número de canais na saída.

	down_block_types (`tuple[str]`, opcional, padrão `("DownEncoderBlock2D",)`) : tupla de tipos de blocos de downsampling.

	up_block_types (`tuple[str]`, opcional, padrão `("UpDecoderBlock2D",)`) : tupla de tipos de blocos de upsample.

	block_out_channels (`tuple[int]`, opcional, padrão `(64,)`) : tupla de canais de saída dos blocos.

	act_fn (`str`, opcional, padrão `"silu"`) : A função de ativação a ser utilizada.

	sample_size (`int`, opcional, padrão `32`) : Tamanho da entrada de amostragem.

	scaling_factor (`float`, opcional, padrão `1.15258426`) : O desvio padrão componente a componente do espaço latente treinado, calculado usando o primeiro lote do conjunto de treinamento. Isso é usado para escalar o espaço latente para ter variância unitária ao treinar o modelo de difusão. Os latentes são escalados com a fórmula `z = z * scaling_factor` antes de serem passados para o modelo de difusão. Ao decodificar, os latentes são escalados de volta para a escala original com a fórmula: `z = 1 / scaling_factor * z`. Para mais detalhes, consulte as seções 4.3.2 e D.1 do artigo [High-Resolution Image Synthesis with Latent Diffusion Models](https://huggingface.co/papers/2112.10752).

	force_upcast (`bool`, opcional, padrão `True`) : Se habilitado, forçará o VAE a executar em float32 para pipelines de alta resolução de imagem, como o SD-XL. O VAE pode ser ajustado / treinado para uma faixa menor sem perder muita precisão, caso em que `force_upcast` pode ser definido como `False` - veja: https://huggingface.co/madebyollin/sdxl-vae-fp16-fix

	Um modelo VAE com perda KL para codificar imagens em latentes e decodificar representações latentes em imagens. Usado no [CogVideoX](https://github.com/THUDM/CogVideo).

	Este modelo herda de [ModelMixin](/docs/diffusers/main/pt/api/models/overview#diffusers.ModelMixin). Consulte a documentação da superclasse para seus métodos genéricos implementados para todos os modelos (como download ou salvamento).

	#### decode[[diffusers.AutoencoderKLCogVideoX.decode]]

	```python
	decode(z: Tensor, return_dict: bool = True)
	```

	[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_cogvideox.py#L1209)

	Parâmetros:

	z (`torch.Tensor`) : Lote de entrada de vetores latentes.

	return_dict (`bool`, opcional, padrão `True`) : Se deve retornar um `~models.vae.DecoderOutput` em vez de uma tupla simples.

	Retorna: `~models.vae.DecoderOutput` ou `tuple`

	Se return_dict for True, um `~models.vae.DecoderOutput` é retornado; caso contrário, uma `tuple` simples é retornada.

	Decodifique um lote de imagens.

	#### encode[[diffusers.AutoencoderKLCogVideoX.encode]]

	```python
	encode(x: Tensor, return_dict: bool = True)
	```

	[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_cogvideox.py#L1153)

	Parâmetros:

	x (`torch.Tensor`) : Lote de entrada de imagens.

	return_dict (`bool`, opcional, padrão `True`) : Se deve retornar um `~models.autoencoder_kl.AutoencoderKLOutput` em vez de uma tupla simples.

	Retorna:

	As representações latentes dos vídeos codificados. Se `return_dict` for True, um `~models.autoencoder_kl.AutoencoderKLOutput` é retornado; caso contrário, uma `tuple` simples é retornada.

	Codifica um lote de imagens em latentes.

	#### enable_tiling[[diffusers.AutoencoderKLCogVideoX.enable_tiling]]

	```python
	enable_tiling(tile_sample_min_height: int \| None = None, tile_sample_min_width: int \| None = None, tile_overlap_factor_height: float \| None = None, tile_overlap_factor_width: float \| None = None)
	```

	[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_cogvideox.py#L1091)

	Parâmetros:

	tile_sample_min_height (`int`, opcional) : A altura mínima necessária para que uma amostra seja separada em tiles ao longo da dimensão de altura.

	tile_sample_min_width (`int`, opcional) : A largura mínima necessária para que uma amostra seja separada em tiles ao longo da dimensão de largura.

	tile_overlap_factor_height (`int`, opcional) : A quantidade mínima de sobreposição entre duas tiles verticais consecutivas. Isso garante que não haja artefatos de tiling produzidos ao longo da dimensão de altura. Deve estar entre 0 e 1. Definir um valor maior pode fazer com que mais tiles sejam processadas, levando a um atraso no processo de decodificação.

	tile_overlap_factor_width (`int`, opcional) : A quantidade mínima de sobreposição entre duas tiles horizontais consecutivas. Isso garante que não haja artefatos de tiling produzidos ao longo da dimensão de largura. Deve estar entre 0 e 1. Definir um valor maior pode fazer com que mais tiles sejam processadas, levando a um atraso no processo de decodificação.

	Ativa a decodificação do VAE em blocos (tiled). Quando essa opção está ativada, o VAE divide o tensor de entrada em blocos para calcular a decodificação e a codificação em várias etapas. Isso é útil para economizar uma grande quantidade de memória e permitir o processamento de imagens maiores.

	#### forward[[diffusers.AutoencoderKLCogVideoX.forward]]

	```python
	forward(sample: Tensor, sample_posterior: bool = False, return_dict: bool = True, generator: typing.Optional[torch.Generator] = None)
	```

	[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_cogvideox.py#L1407)

	Parâmetros:

	sample (`torch.Tensor`) : Amostra de entrada.

	sample_posterior (`bool`, opcional, padrão `False`) : Se deve amostrar da posterior.

	return_dict (`bool`, opcional, padrão `True`) : Se deve ou não retornar um `DecoderOutput` em vez de uma tupla simples.

	generator (`torch.Generator`, opcional) : Um [`torch.Generator`](https://pytorch.org/docs/stable/generated/torch.Generator.html) para tornar a amostragem determinística.

	Retorna: `~models.vae.DecoderOutput` ou `tuple`

	Se `return_dict` for True, um `~models.vae.DecoderOutput` é retornado; caso contrário, uma `tuple` simples é retornada.

	#### tiled_decode[[diffusers.AutoencoderKLCogVideoX.tiled_decode]]

	```python
	tiled_decode(z: Tensor, return_dict: bool = True)
	```

	[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_cogvideox.py#L1324)

	Parâmetros:

	z (`torch.Tensor`) : Lote de entrada de vetores latentes.

	return_dict (`bool`, opcional, padrão `True`) : Se deve ou não retornar um `~models.vae.DecoderOutput` em vez de uma tupla simples.

	Retorna: `~models.vae.DecoderOutput` ou `tuple`

	Se return_dict for True, um `~models.vae.DecoderOutput` é retornado; caso contrário, uma `tuple` simples é retornada.

	Decodifique um lote de imagens usando um decodificador em mosaico.

	#### tiled_encode[[diffusers.AutoencoderKLCogVideoX.tiled_encode]]

	```python
	tiled_encode(x: Tensor)
	```

	[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_cogvideox.py#L1250)

	Parâmetros:

	x (`torch.Tensor`) : Lote de entrada de vídeos.

	Retorna: `torch.Tensor`

	A representação latente dos vídeos codificados.

	Codifique um lote de imagens usando um codificador em mosaico.

	Quando esta opção está habilitada, o VAE divide o tensor de entrada em blocos para calcular a codificação em várias etapas. Isso é útil para manter o uso de memória constante, independentemente do tamanho da imagem. O resultado final da codificação em blocos é diferente da codificação sem blocos, pois cada bloco utiliza um codificador diferente. Para evitar artefatos de blocos, os blocos se sobrepõem e são mesclados para formar uma saída suave. Você ainda pode observar variações do tamanho do bloco na saída, mas elas devem ser muito menos perceptíveis.

	## AutoencoderKLOutput[[diffusers.models.modeling_outputs.AutoencoderKLOutput]]

	#### diffusers.models.modeling_outputs.AutoencoderKLOutput[[diffusers.models.modeling_outputs.AutoencoderKLOutput]]

	```python
	diffusers.models.modeling_outputs.AutoencoderKLOutput(latent_dist: DiagonalGaussianDistribution)
	```

	[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/modeling_outputs.py#L7)

	Parâmetros:

	latent_dist (`DiagonalGaussianDistribution`) : Saídas codificadas do `Encoder` representadas como a média e o logvar do `DiagonalGaussianDistribution`. O `DiagonalGaussianDistribution` permite amostrar latentes da distribuição.

	Saída do método de codificação do AutoencoderKL.

	## DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]]

	#### diffusers.models.autoencoders.vae.DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]]

	```python
	diffusers.models.autoencoders.vae.DecoderOutput(sample: Tensor, commit_loss: typing.Optional[torch.FloatTensor] = None)
	```

	[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/vae.py#L49)

	Parâmetros:

	sample (`torch.Tensor` de forma `(batch_size, num_channels, height, width)`) : A amostra de saída decodificada da última camada do modelo.

	Saída do método de decodificação.