Buckets:
| # AutoencoderKLMagvit | |
| El modelo de autoencoder variacional (VAE) 3D con pérdida KL utilizado en [EasyAnimate](https://github.com/aigc-apps/EasyAnimate) fue introducido por Alibaba PAI. | |
| El modelo se puede cargar con el siguiente fragmento de código. | |
| ```python | |
| from diffusers import AutoencoderKLMagvit | |
| vae = AutoencoderKLMagvit.from_pretrained("alibaba-pai/EasyAnimateV5.1-12b-zh", subfolder="vae", dtype=torch.float16).to("cuda") # or "mps", "xpu", "cpu" | |
| ``` | |
| ## AutoencoderKLMagvit[[diffusers.AutoencoderKLMagvit]] | |
| #### diffusers.AutoencoderKLMagvit[[diffusers.AutoencoderKLMagvit]] | |
| ```python | |
| diffusers.AutoencoderKLMagvit(in_channels: int = 3, latent_channels: int = 16, out_channels: int = 3, block_out_channels: tuple[int, ...] = [128, 256, 512, 512], down_block_types: tuple[str, ...] = ['SpatialDownBlock3D', 'SpatialTemporalDownBlock3D', 'SpatialTemporalDownBlock3D', 'SpatialTemporalDownBlock3D'], up_block_types: tuple[str, ...] = ['SpatialUpBlock3D', 'SpatialTemporalUpBlock3D', 'SpatialTemporalUpBlock3D', 'SpatialTemporalUpBlock3D'], layers_per_block: int = 2, act_fn: str = 'silu', norm_num_groups: int = 32, scaling_factor: float = 0.7125, spatial_group_norm: bool = True) | |
| ``` | |
| [Fuente](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_magvit.py#L665) | |
| Un modelo VAE con pérdida KL para codificar imágenes en latentes y decodificar representaciones latentes en imágenes. Este modelo se utiliza en [EasyAnimate](https://huggingface.co/papers/2405.18991). | |
| Este modelo hereda de [ModelMixin](/docs/diffusers/main/es/api/models/overview#diffusers.ModelMixin). Consulta la documentación de la superclase para sus métodos genéricos implementados para todos los modelos (como la descarga o el guardado). | |
| #### decode[[diffusers.AutoencoderKLMagvit.decode]] | |
| ```python | |
| decode(z: Tensor, return_dict: bool = True) | |
| ``` | |
| [Fuente](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_magvit.py#L891) | |
| **Parámetros:** | |
| z (`torch.Tensor`) : Lote de entrada de vectores latentes. | |
| return_dict (`bool`, *opcional*, por defecto `True`) : Si se debe devolver un `~models.vae.DecoderOutput` en lugar de una tupla simple. | |
| **Devuelve:** `~models.vae.DecoderOutput` o `tuple` | |
| Si return_dict es True, se devuelve un `~models.vae.DecoderOutput`; en caso contrario, se devuelve una `tuple` simple. | |
| Decodificar un lote de imágenes. | |
| #### encode[[diffusers.AutoencoderKLMagvit.encode]] | |
| ```python | |
| encode(x: Tensor, return_dict: bool = True) | |
| ``` | |
| [Fuente](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_magvit.py#L837) | |
| **Parámetros:** | |
| x (`torch.Tensor`) : Lote de entrada de imágenes. | |
| return_dict (`bool`, *opcional*, valor predeterminado `True`) : Si se debe devolver un `~models.autoencoder_kl.AutoencoderKLOutput` en lugar de una tupla simple. | |
| **Devuelve:** | |
| Las representaciones latentes de los videos codificados. Si `return_dict` es True, se devuelve un `~models.autoencoder_kl.AutoencoderKLOutput`; de lo contrario, se devuelve una `tuple` simple. | |
| Codifica un lote de imágenes en latentes. | |
| #### enable_tiling[[diffusers.AutoencoderKLMagvit.enable_tiling]] | |
| ```python | |
| enable_tiling(tile_sample_min_height: int | None = None, tile_sample_min_width: int | None = None, tile_sample_min_num_frames: int | None = None, tile_sample_stride_height: float | None = None, tile_sample_stride_width: float | None = None, tile_sample_stride_num_frames: float | None = None) | |
| ``` | |
| [Fuente](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_magvit.py#L771) | |
| **Parámetros:** | |
| tile_sample_min_height (`int`, *opcional*) : La altura mínima requerida para que una muestra se separe en mosaicos a lo largo de la dimensión de altura. | |
| tile_sample_min_width (`int`, *opcional*) : El ancho mínimo requerido para que una muestra se separe en mosaicos a lo largo de la dimensión de ancho. | |
| tile_sample_stride_height (`int`, *opcional*) : La cantidad mínima de solapamiento entre dos mosaicos verticales consecutivos. Esto garantiza que no se produzcan artefactos de mosaico a lo largo de la dimensión de altura. | |
| tile_sample_stride_width (`int`, *opcional*) : El desplazamiento entre dos mosaicos horizontales consecutivos. Esto garantiza que no se produzcan artefactos de mosaico a lo largo de la dimensión de ancho. | |
| Habilita la decodificación de VAE en mosaicos. Cuando esta opción está habilitada, el VAE dividirá el tensor de entrada en mosaicos para calcular la decodificación y la codificación en varios pasos. Esto es útil para ahorrar una gran cantidad de memoria y para permitir el procesamiento de imágenes más grandes. | |
| #### forward[[diffusers.AutoencoderKLMagvit.forward]] | |
| ```python | |
| forward(sample: Tensor, sample_posterior: bool = False, return_dict: bool = True, generator: typing.Optional[torch.Generator] = None) | |
| ``` | |
| [Fuente](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_magvit.py#L1046) | |
| **Parámetros:** | |
| sample (`torch.Tensor`) : Muestra de entrada. | |
| sample_posterior (`bool`, *opcional*, por defecto `False`) : Si se muestrea de la posterior. | |
| return_dict (`bool`, *opcional*, por defecto `True`) : Si se devuelve un `DecoderOutput` en lugar de una tupla simple. | |
| generator (`torch.Generator`, *opcional*) : Un [`torch.Generator`](https://pytorch.org/docs/stable/generated/torch.Generator.html) para hacer que la muestreo sea determinista. | |
| **Devuelve:** `~models.vae.DecoderOutput` o `tuple` | |
| Si `return_dict` es True, se devuelve un `~models.vae.DecoderOutput`; en caso contrario, se devuelve una `tuple` simple. | |
| ## AutoencoderKLOutput[[diffusers.models.modeling_outputs.AutoencoderKLOutput]] | |
| #### diffusers.models.modeling_outputs.AutoencoderKLOutput[[diffusers.models.modeling_outputs.AutoencoderKLOutput]] | |
| ```python | |
| diffusers.models.modeling_outputs.AutoencoderKLOutput(latent_dist: DiagonalGaussianDistribution) | |
| ``` | |
| [Fuente](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/modeling_outputs.py#L7) | |
| **Parámetros:** | |
| latent_dist (`DiagonalGaussianDistribution`) : Salidas codificadas de `Encoder` representadas como la media y el logvar de `DiagonalGaussianDistribution`. `DiagonalGaussianDistribution` permite muestrear latentes de la distribución. | |
| Salida del método de codificación de AutoencoderKL. | |
| ## DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]] | |
| #### diffusers.models.autoencoders.vae.DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]] | |
| ```python | |
| diffusers.models.autoencoders.vae.DecoderOutput(sample: Tensor, commit_loss: typing.Optional[torch.FloatTensor] = None) | |
| ``` | |
| [Fuente](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/vae.py#L49) | |
| **Parámetros:** | |
| sample (`torch.Tensor` de forma `(batch_size, num_channels, height, width)`) : La muestra de salida decodificada de la última capa del modelo. | |
| Salida del método de decodificación. | |
Xet Storage Details
- Size:
- 7.05 kB
- Xet hash:
- f401ef8a4eff170d460551a30a12a840ed22faac1537f8b8da172c8e45678252
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.