Buckets:
| # AutoencoderKLMagvit | |
| Модель трёхмерного вариационного автоэнкодера (VAE) с потерей KL, используемая в [EasyAnimate](https://github.com/aigc-apps/EasyAnimate), была представлена Alibaba PAI. | |
| Модель можно загрузить с помощью следующего фрагмента кода. | |
| ```python | |
| from diffusers import AutoencoderKLMagvit | |
| vae = AutoencoderKLMagvit.from_pretrained("alibaba-pai/EasyAnimateV5.1-12b-zh", subfolder="vae", dtype=torch.float16).to("cuda") # or "mps", "xpu", "cpu" | |
| ``` | |
| ## AutoencoderKLMagvit[[diffusers.AutoencoderKLMagvit]] | |
| #### diffusers.AutoencoderKLMagvit[[diffusers.AutoencoderKLMagvit]] | |
| ```python | |
| diffusers.AutoencoderKLMagvit(in_channels: int = 3, latent_channels: int = 16, out_channels: int = 3, block_out_channels: tuple[int, ...] = [128, 256, 512, 512], down_block_types: tuple[str, ...] = ['SpatialDownBlock3D', 'SpatialTemporalDownBlock3D', 'SpatialTemporalDownBlock3D', 'SpatialTemporalDownBlock3D'], up_block_types: tuple[str, ...] = ['SpatialUpBlock3D', 'SpatialTemporalUpBlock3D', 'SpatialTemporalUpBlock3D', 'SpatialTemporalUpBlock3D'], layers_per_block: int = 2, act_fn: str = 'silu', norm_num_groups: int = 32, scaling_factor: float = 0.7125, spatial_group_norm: bool = True) | |
| ``` | |
| [Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_magvit.py#L665) | |
| Модель VAE с потерей KL для кодирования изображений в латенты и декодирования латентных представлений в изображения. Эта модель используется в [EasyAnimate](https://huggingface.co/papers/2405.18991). | |
| Эта модель наследуется от [ModelMixin](/docs/diffusers/main/ru/api/models/overview#diffusers.ModelMixin). См. документацию суперкласса для его универсальных методов, реализованных для всех моделей (например, загрузка или сохранение). | |
| #### decode[[diffusers.AutoencoderKLMagvit.decode]] | |
| ```python | |
| decode(z: Tensor, return_dict: bool = True) | |
| ``` | |
| [Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_magvit.py#L891) | |
| **Параметры:** | |
| z (`torch.Tensor`) : Входная партия латентных векторов. | |
| return_dict (`bool`, *необязательный*, по умолчанию `True`) : Возвращать ли `~models.vae.DecoderOutput` вместо обычного кортежа. | |
| **Возвращает:** `~models.vae.DecoderOutput` или `tuple` | |
| Если return_dict равно True, возвращается `~models.vae.DecoderOutput`, иначе возвращается обычный `tuple`. | |
| Декодировать пакет изображений. | |
| #### encode[[diffusers.AutoencoderKLMagvit.encode]] | |
| ```python | |
| encode(x: Tensor, return_dict: bool = True) | |
| ``` | |
| [Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_magvit.py#L837) | |
| **Параметры:** | |
| x (`torch.Tensor`) : Входная партия изображений. | |
| return_dict (`bool`, *необязательный*, по умолчанию `True`) : Возвращать ли `~models.autoencoder_kl.AutoencoderKLOutput` вместо обычного кортежа. | |
| **Возвращает:** | |
| Латентные представления закодированных видео. Если `return_dict` равно True, возвращается `~models.autoencoder_kl.AutoencoderKLOutput`, в противном случае возвращается обычный `tuple`. | |
| Кодирует пакет изображений в латенты. | |
| #### enable_tiling[[diffusers.AutoencoderKLMagvit.enable_tiling]] | |
| ```python | |
| enable_tiling(tile_sample_min_height: int | None = None, tile_sample_min_width: int | None = None, tile_sample_min_num_frames: int | None = None, tile_sample_stride_height: float | None = None, tile_sample_stride_width: float | None = None, tile_sample_stride_num_frames: float | None = None) | |
| ``` | |
| [Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_magvit.py#L771) | |
| **Параметры:** | |
| tile_sample_min_height (`int`, *optional*) : минимальная высота, необходимая для того, чтобы образец был разделён на плитки по оси высоты. | |
| tile_sample_min_width (`int`, *optional*) : Минимальная ширина, необходимая для того, чтобы образец был разделён на плитки по размерности ширины. | |
| tile_sample_stride_height (`int`, *optional*) : Минимальное перекрытие между двумя последовательными вертикальными тайлами. Это необходимо для того, чтобы избежать артефактов тайлинга вдоль вертикальной оси. | |
| tile_sample_stride_width (`int`, *optional*) : Шаг между двумя соседними горизонтальными тайлами. Это обеспечивает отсутствие артефактов тайлинга вдоль ширины. | |
| Включает тайловое декодирование VAE. При включении этого параметра VAE разбивает входной тензор на тайлы для выполнения декодирования и кодирования в несколько шагов. Это полезно для экономии значительного объёма памяти и для обработки изображений большего размера. | |
| #### forward[[diffusers.AutoencoderKLMagvit.forward]] | |
| ```python | |
| forward(sample: Tensor, sample_posterior: bool = False, return_dict: bool = True, generator: typing.Optional[torch.Generator] = None) | |
| ``` | |
| [Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_kl_magvit.py#L1046) | |
| **Параметры:** | |
| sample (`torch.Tensor`) : Входящий образец. | |
| sample_posterior (`bool`, *необязательный*, по умолчанию `False`) : Флаг, определяющий, следует ли выполнять выборку из апостериорного распределения. | |
| return_dict (`bool`, *необязательный*, по умолчанию `True`) : Возвращать ли `DecoderOutput` вместо обычного кортежа. | |
| generator (`torch.Generator`, *необязательный*) : [`torch.Generator`](https://pytorch.org/docs/stable/generated/torch.Generator.html) для обеспечения детерминированности выборки. | |
| **Возвращает:** `~models.vae.DecoderOutput` или `tuple` | |
| Если `return_dict` равно True, возвращается `~models.vae.DecoderOutput`, иначе возвращается обычный `tuple`. | |
| ## AutoencoderKLOutput[[diffusers.models.modeling_outputs.AutoencoderKLOutput]] | |
| #### diffusers.models.modeling_outputs.AutoencoderKLOutput[[diffusers.models.modeling_outputs.AutoencoderKLOutput]] | |
| ```python | |
| diffusers.models.modeling_outputs.AutoencoderKLOutput(latent_dist: DiagonalGaussianDistribution) | |
| ``` | |
| [Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/modeling_outputs.py#L7) | |
| **Параметры:** | |
| latent_dist (`DiagonalGaussianDistribution`) : Закодированные выходные данные `Encoder`, представленные в виде среднего и logvar распределения `DiagonalGaussianDistribution`. `DiagonalGaussianDistribution` позволяет извлекать латентные переменные из этого распределения. | |
| Результат метода кодирования AutoencoderKL. | |
| ## DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]] | |
| #### diffusers.models.autoencoders.vae.DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]] | |
| ```python | |
| diffusers.models.autoencoders.vae.DecoderOutput(sample: Tensor, commit_loss: typing.Optional[torch.FloatTensor] = None) | |
| ``` | |
| [Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/vae.py#L49) | |
| **Параметры:** | |
| sample (`torch.Tensor` формы `(batch_size, num_channels, height, width)`) : Декодированный вывод из последнего слоя модели. | |
| Результат метода декодирования. | |
Xet Storage Details
- Size:
- 8.91 kB
- Xet hash:
- 810cb87b31b5f46729b5ddeb77a68fd857451e53cf51282a34aa410ee4ce6f1f
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.