diffusers/main/ru/api/models/autoencoderkl_magvit.md

AutoencoderKLMagvit

Модель трёхмерного вариационного автоэнкодера (VAE) с потерей KL, используемая в EasyAnimate, была представлена Alibaba PAI.

Модель можно загрузить с помощью следующего фрагмента кода.

from diffusers import AutoencoderKLMagvit

vae = AutoencoderKLMagvit.from_pretrained("alibaba-pai/EasyAnimateV5.1-12b-zh", subfolder="vae", dtype=torch.float16).to("cuda")  # or "mps", "xpu", "cpu"

AutoencoderKLMagvit[[diffusers.AutoencoderKLMagvit]]

diffusers.AutoencoderKLMagvit[[diffusers.AutoencoderKLMagvit]]

diffusers.AutoencoderKLMagvit(in_channels: int = 3, latent_channels: int = 16, out_channels: int = 3, block_out_channels: tuple[int, ...] = [128, 256, 512, 512], down_block_types: tuple[str, ...] = ['SpatialDownBlock3D', 'SpatialTemporalDownBlock3D', 'SpatialTemporalDownBlock3D', 'SpatialTemporalDownBlock3D'], up_block_types: tuple[str, ...] = ['SpatialUpBlock3D', 'SpatialTemporalUpBlock3D', 'SpatialTemporalUpBlock3D', 'SpatialTemporalUpBlock3D'], layers_per_block: int = 2, act_fn: str = 'silu', norm_num_groups: int = 32, scaling_factor: float = 0.7125, spatial_group_norm: bool = True)

Источник

Модель VAE с потерей KL для кодирования изображений в латенты и декодирования латентных представлений в изображения. Эта модель используется в EasyAnimate.

Эта модель наследуется от ModelMixin. См. документацию суперкласса для его универсальных методов, реализованных для всех моделей (например, загрузка или сохранение).

decode[[diffusers.AutoencoderKLMagvit.decode]]

decode(z: Tensor, return_dict: bool = True)

Источник

Параметры:

z (torch.Tensor) : Входная партия латентных векторов.

return_dict (bool, необязательный, по умолчанию True) : Возвращать ли ~models.vae.DecoderOutput вместо обычного кортежа.

Возвращает: ~models.vae.DecoderOutput или tuple

Если return_dict равно True, возвращается ~models.vae.DecoderOutput, иначе возвращается обычный tuple.

Декодировать пакет изображений.

encode[[diffusers.AutoencoderKLMagvit.encode]]

encode(x: Tensor, return_dict: bool = True)

Источник

Параметры:

x (torch.Tensor) : Входная партия изображений.

return_dict (bool, необязательный, по умолчанию True) : Возвращать ли ~models.autoencoder_kl.AutoencoderKLOutput вместо обычного кортежа.

Возвращает:

Латентные представления закодированных видео. Если return_dict равно True, возвращается ~models.autoencoder_kl.AutoencoderKLOutput, в противном случае возвращается обычный tuple.

Кодирует пакет изображений в латенты.

enable_tiling[[diffusers.AutoencoderKLMagvit.enable_tiling]]

enable_tiling(tile_sample_min_height: int | None = None, tile_sample_min_width: int | None = None, tile_sample_min_num_frames: int | None = None, tile_sample_stride_height: float | None = None, tile_sample_stride_width: float | None = None, tile_sample_stride_num_frames: float | None = None)

Источник

Параметры:

tile_sample_min_height (int, optional) : минимальная высота, необходимая для того, чтобы образец был разделён на плитки по оси высоты.

tile_sample_min_width (int, optional) : Минимальная ширина, необходимая для того, чтобы образец был разделён на плитки по размерности ширины.

tile_sample_stride_height (int, optional) : Минимальное перекрытие между двумя последовательными вертикальными тайлами. Это необходимо для того, чтобы избежать артефактов тайлинга вдоль вертикальной оси.

tile_sample_stride_width (int, optional) : Шаг между двумя соседними горизонтальными тайлами. Это обеспечивает отсутствие артефактов тайлинга вдоль ширины.

Включает тайловое декодирование VAE. При включении этого параметра VAE разбивает входной тензор на тайлы для выполнения декодирования и кодирования в несколько шагов. Это полезно для экономии значительного объёма памяти и для обработки изображений большего размера.

forward[[diffusers.AutoencoderKLMagvit.forward]]

forward(sample: Tensor, sample_posterior: bool = False, return_dict: bool = True, generator: typing.Optional[torch.Generator] = None)

Источник

Параметры:

sample (torch.Tensor) : Входящий образец.

sample_posterior (bool, необязательный, по умолчанию False) : Флаг, определяющий, следует ли выполнять выборку из апостериорного распределения.

return_dict (bool, необязательный, по умолчанию True) : Возвращать ли DecoderOutput вместо обычного кортежа.

generator (torch.Generator, необязательный) : torch.Generator для обеспечения детерминированности выборки.

Возвращает: ~models.vae.DecoderOutput или tuple

Если return_dict равно True, возвращается ~models.vae.DecoderOutput, иначе возвращается обычный tuple.

AutoencoderKLOutput[[diffusers.models.modeling_outputs.AutoencoderKLOutput]]

diffusers.models.modeling_outputs.AutoencoderKLOutput[[diffusers.models.modeling_outputs.AutoencoderKLOutput]]

diffusers.models.modeling_outputs.AutoencoderKLOutput(latent_dist: DiagonalGaussianDistribution)

Источник

Параметры:

latent_dist (DiagonalGaussianDistribution) : Закодированные выходные данные Encoder, представленные в виде среднего и logvar распределения DiagonalGaussianDistribution. DiagonalGaussianDistribution позволяет извлекать латентные переменные из этого распределения.

Результат метода кодирования AutoencoderKL.

DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]]

diffusers.models.autoencoders.vae.DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]]

diffusers.models.autoencoders.vae.DecoderOutput(sample: Tensor, commit_loss: typing.Optional[torch.FloatTensor] = None)

Источник

Параметры:

sample (torch.Tensor формы (batch_size, num_channels, height, width)) : Декодированный вывод из последнего слоя модели.

Результат метода декодирования.