Buckets:

hf-doc-build/doc / diffusers /main /es /api /models /autoencoder_kl_hunyuanimage_refiner.md
mishig's picture
|
download
raw
7.18 kB

AutoencoderKLHunyuanImageRefiner

El modelo de autoencoder variacional (VAE) 3D con pérdida KL utilizado en HunyuanImage2.1 para su pipeline de refinamiento.

El modelo se puede cargar con el siguiente fragmento de código.

from diffusers import AutoencoderKLHunyuanImageRefiner

vae = AutoencoderKLHunyuanImageRefiner.from_pretrained("hunyuanvideo-community/HunyuanImage-2.1-Refiner-Diffusers", subfolder="vae", dtype=torch.bfloat16)

AutoencoderKLHunyuanImageRefiner[[diffusers.AutoencoderKLHunyuanImageRefiner]]

diffusers.AutoencoderKLHunyuanImageRefiner[[diffusers.AutoencoderKLHunyuanImageRefiner]]

diffusers.AutoencoderKLHunyuanImageRefiner(in_channels: int = 3, out_channels: int = 3, latent_channels: int = 32, block_out_channels: tuple[int, ...] = (128, 256, 512, 1024, 1024), layers_per_block: int = 2, spatial_compression_ratio: int = 16, temporal_compression_ratio: int = 4, downsample_match_channel: bool = True, upsample_match_channel: bool = True, scaling_factor: float = 1.03682)

Fuente

Un modelo VAE con pérdida KL para codificar videos en latentes y decodificar representaciones latentes en videos. Se utiliza para HunyuanImage-2.1 Refiner.

Este modelo hereda de ModelMixin. Consulta la documentación de la superclase para sus métodos genéricos implementados para todos los modelos (como la descarga o el guardado).

decode[[diffusers.AutoencoderKLHunyuanImageRefiner.decode]]

decode(z: Tensor, return_dict: bool = True)

Fuente

Parámetros:

z (torch.Tensor) : Lote de entrada de vectores latentes.

return_dict (bool, opcional, por defecto True) : Si se debe devolver un ~models.vae.DecoderOutput en lugar de una tupla simple.

Devuelve: ~models.vae.DecoderOutput o tuple

Si return_dict es True, se devuelve un ~models.vae.DecoderOutput; en caso contrario, se devuelve una tuple simple.

Decodificar un lote de imágenes.

enable_tiling[[diffusers.AutoencoderKLHunyuanImageRefiner.enable_tiling]]

enable_tiling(tile_sample_min_height: int | None = None, tile_sample_min_width: int | None = None, tile_sample_stride_height: float | None = None, tile_sample_stride_width: float | None = None, tile_overlap_factor: float | None = None)

Fuente

Parámetros:

tile_sample_min_height (int, opcional) : La altura mínima requerida para que una muestra se separe en mosaicos a lo largo de la dimensión de altura.

tile_sample_min_width (int, opcional) : El ancho mínimo requerido para que una muestra se separe en mosaicos a lo largo de la dimensión de ancho.

tile_sample_stride_height (int, opcional) : La cantidad mínima de solapamiento entre dos mosaicos verticales consecutivos. Esto garantiza que no se produzcan artefactos de mosaico a lo largo de la dimensión de altura.

tile_sample_stride_width (int, opcional) : El desplazamiento entre dos mosaicos horizontales consecutivos. Esto garantiza que no se produzcan artefactos de mosaico a lo largo de la dimensión de ancho.

Habilita la decodificación de VAE en mosaicos. Cuando esta opción está habilitada, el VAE dividirá el tensor de entrada en mosaicos para calcular la decodificación y la codificación en varios pasos. Esto es útil para ahorrar una gran cantidad de memoria y para permitir el procesamiento de imágenes más grandes.

encode[[diffusers.AutoencoderKLHunyuanImageRefiner.encode]]

encode(x: Tensor, return_dict: bool = True)

Fuente

Parámetros:

x (torch.Tensor) : Lote de entrada de imágenes.

return_dict (bool, opcional, valor predeterminado True) : Si se debe devolver un ~models.autoencoder_kl.AutoencoderKLOutput en lugar de una tupla simple.

Devuelve:

Las representaciones latentes de los videos codificados. Si return_dict es True, se devuelve un ~models.autoencoder_kl.AutoencoderKLOutput; de lo contrario, se devuelve una tuple simple.

Codifica un lote de imágenes en latentes.

forward[[diffusers.AutoencoderKLHunyuanImageRefiner.forward]]

forward(sample: Tensor, sample_posterior: bool = False, return_dict: bool = True, generator: typing.Optional[torch.Generator] = None)

Fuente

Parámetros:

sample (torch.Tensor) : Muestra de entrada.

sample_posterior (bool, opcional, por defecto False) : Si se muestrea de la posterior.

return_dict (bool, opcional, por defecto True) : Si se devuelve un DecoderOutput en lugar de una tupla simple.

generator (torch.Generator, opcional) : Un torch.Generator para hacer que la muestreo sea determinista.

Devuelve: ~models.vae.DecoderOutput o tuple

Si return_dict es True, se devuelve un ~models.vae.DecoderOutput; en caso contrario, se devuelve una tuple simple.

tiled_decode[[diffusers.AutoencoderKLHunyuanImageRefiner.tiled_decode]]

tiled_decode(z: Tensor)

Fuente

Parámetros:

z (torch.Tensor) : Lote de entrada de vectores latentes.

Devuelve: torch.Tensor

Las imágenes decodificadas.

Decodificar un lote de imágenes usando un decodificador por mosaicos.

tiled_encode[[diffusers.AutoencoderKLHunyuanImageRefiner.tiled_encode]]

tiled_encode(x: Tensor)

Fuente

Parámetros:

x (torch.Tensor) : Lote de entrada de videos.

Devuelve: torch.Tensor

La representación latente de los videos codificados.

Codifica un lote de imágenes usando un codificador por mosaicos.

DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]]

diffusers.models.autoencoders.vae.DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]]

diffusers.models.autoencoders.vae.DecoderOutput(sample: Tensor, commit_loss: typing.Optional[torch.FloatTensor] = None)

Fuente

Parámetros:

sample (torch.Tensor de forma (batch_size, num_channels, height, width)) : La muestra de salida decodificada de la última capa del modelo.

Salida del método de decodificación.

Xet Storage Details

Size:
7.18 kB
·
Xet hash:
9b2d21b491d841a777f704dbdab9318497c37b0ecac205881bc3f2421eb9c1e8

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.