diffusers/main/ru/api/models/autoencoderkl_mochi.md

AutoencoderKLMochi

Модель трёхмерного вариационного автоэнкодера (VAE) с потерей KL, использованная в Mochi, была представлена в Mochi 1 Preview Университетом Цинхуа и ZhipuAI.

Модель можно загрузить с помощью следующего фрагмента кода.

from diffusers import AutoencoderKLMochi

vae = AutoencoderKLMochi.from_pretrained("genmo/mochi-1-preview", subfolder="vae", dtype=torch.float32).to("cuda")  # or "mps", "xpu", "cpu"

AutoencoderKLMochi[[diffusers.AutoencoderKLMochi]]

diffusers.AutoencoderKLMochi[[diffusers.AutoencoderKLMochi]]

diffusers.AutoencoderKLMochi(in_channels: int = 15, out_channels: int = 3, encoder_block_out_channels: tuple[int] = (64, 128, 256, 384), decoder_block_out_channels: tuple[int] = (128, 256, 512, 768), latent_channels: int = 12, layers_per_block: tuple[int, ...] = (3, 3, 4, 6, 3), act_fn: str = 'silu', temporal_expansions: tuple[int, ...] = (1, 2, 3), spatial_expansions: tuple[int, ...] = (2, 2, 2), add_attention_block: tuple[bool, ...] = (False, True, True, True, True), latents_mean: tuple[float, ...] = (-0.06730895953510081, -0.038011381506090416, -0.07477820912866141, -0.05565264470995561, 0.012767231469026969, -0.04703542746246419, 0.043896967884726704, -0.09346305707025976, -0.09918314763016893, -0.008729793427399178, -0.011931556316503654, -0.0321993391887285), latents_std: tuple[float, ...] = (0.9263795028493863, 0.9248894543193766, 0.9393059390890617, 0.959253732819592, 0.8244560132752793, 0.917259975397747, 0.9294154431013696, 1.3720942357788521, 0.881393668867029, 0.9168315692124348, 0.9185249279345552, 0.9274757570805041), scaling_factor: float = 1.0)

Источник

Параметры:

in_channels (int, необязательный, по умолчанию 3) : Количество каналов во входном изображении.

out_channels (int, optional, по умолчанию 3) : Количество каналов на выходе.

block_out_channels (tuple[int], необязательный, по умолчанию (64,)) : кортеж каналов вывода блоков.

act_fn (str, необязательный, по умолчанию "silu") : Функция активации, которую следует использовать.

scaling_factor (float, optional, по умолчанию 1.15258426) : Стандартное отклонение обученного латентного пространства, вычисленное покомпонентно на основе первой выборки обучающей выборки. Используется для масштабирования латентного пространства до единичной дисперсии при обучении диффузионной модели. Перед передачей в диффузионную модель латенты масштабируются по формуле z = z * scaling_factor. При декодировании латенты возвращаются к исходному масштабу по формуле: z = 1 / scaling_factor * z. Дополнительные сведения см. в разделах 4.3.2 и D.1 статьи High-Resolution Image Synthesis with Latent Diffusion Models.

Модель VAE с потерей KL для кодирования изображений в латенты и декодирования латентных представлений в изображения. Используется в Mochi 1 preview.

Эта модель наследуется от ModelMixin. См. документацию суперкласса для его универсальных методов, реализованных для всех моделей (например, загрузка или сохранение).

decode[[diffusers.AutoencoderKLMochi.decode]]

decode(z: Tensor, return_dict: bool = True)

Источник

Параметры:

z (torch.Tensor) : Входная партия латентных векторов.

return_dict (bool, необязательный, по умолчанию True) : Возвращать ли ~models.vae.DecoderOutput вместо обычного кортежа.

Возвращает: ~models.vae.DecoderOutput или tuple

Если return_dict равно True, возвращается ~models.vae.DecoderOutput, иначе возвращается обычный tuple.

Декодировать пакет изображений.

enable_tiling[[diffusers.AutoencoderKLMochi.enable_tiling]]

enable_tiling(tile_sample_min_height: int | None = None, tile_sample_min_width: int | None = None, tile_sample_stride_height: float | None = None, tile_sample_stride_width: float | None = None)

Источник

Параметры:

tile_sample_min_height (int, optional) : минимальная высота, необходимая для того, чтобы образец был разделён на плитки по оси высоты.

tile_sample_min_width (int, optional) : Минимальная ширина, необходимая для того, чтобы образец был разделён на плитки по размерности ширины.

tile_sample_stride_height (int, optional) : Минимальное перекрытие между двумя последовательными вертикальными тайлами. Это необходимо для того, чтобы избежать артефактов тайлинга вдоль вертикальной оси.

tile_sample_stride_width (int, optional) : Шаг между двумя соседними горизонтальными тайлами. Это обеспечивает отсутствие артефактов тайлинга вдоль ширины.

Включает тайловое декодирование VAE. При включении этого параметра VAE разбивает входной тензор на тайлы для выполнения декодирования и кодирования в несколько шагов. Это полезно для экономии значительного объёма памяти и для обработки изображений большего размера.

encode[[diffusers.AutoencoderKLMochi.encode]]

encode(x: Tensor, return_dict: bool = True)

Источник

Параметры:

x (torch.Tensor) : Входная партия изображений.

return_dict (bool, необязательный, по умолчанию True) : Возвращать ли ~models.autoencoder_kl.AutoencoderKLOutput вместо обычного кортежа.

Возвращает:

Латентные представления закодированных видео. Если return_dict равно True, возвращается ~models.autoencoder_kl.AutoencoderKLOutput, в противном случае возвращается обычный tuple.

Кодирует пакет изображений в латенты.

forward[[diffusers.AutoencoderKLMochi.forward]]

forward(sample: Tensor, sample_posterior: bool = False, return_dict: bool = True, generator: typing.Optional[torch.Generator] = None)

Источник

Параметры:

sample (torch.Tensor) : Входящий образец.

sample_posterior (bool, необязательный, по умолчанию False) : Флаг, определяющий, следует ли выполнять выборку из апостериорного распределения.

return_dict (bool, необязательный, по умолчанию True) : Возвращать ли DecoderOutput вместо обычного кортежа.

generator (torch.Generator, необязательный) : torch.Generator для обеспечения детерминированности выборки.

Возвращает: ~models.vae.DecoderOutput или tuple

Если return_dict равно True, возвращается ~models.vae.DecoderOutput, иначе возвращается обычный tuple.

tiled_decode[[diffusers.AutoencoderKLMochi.tiled_decode]]

tiled_decode(z: Tensor, return_dict: bool = True)

Источник

Параметры:

z (torch.Tensor) : Входная партия латентных векторов.

return_dict (bool, необязательный, по умолчанию True) : Возвращать ли ~models.vae.DecoderOutput вместо обычного кортежа.

Возвращает: ~models.vae.DecoderOutput или tuple

Если return_dict равно True, возвращается ~models.vae.DecoderOutput, иначе возвращается обычный tuple.

Декодирование пакета изображений с использованием тайлованного декодера.

tiled_encode[[diffusers.AutoencoderKLMochi.tiled_encode]]

tiled_encode(x: Tensor)

Источник

Параметры:

x (torch.Tensor) : Входная партия видео.

Возвращает: torch.Tensor

Латентное представление закодированных видео.

Кодирует пакет изображений с использованием тайлованного энкодера.

DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]]

diffusers.models.autoencoders.vae.DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]]

diffusers.models.autoencoders.vae.DecoderOutput(sample: Tensor, commit_loss: typing.Optional[torch.FloatTensor] = None)

Источник

Параметры:

sample (torch.Tensor формы (batch_size, num_channels, height, width)) : Декодированный вывод из последнего слоя модели.

Результат метода декодирования.