diffusers/main/ru/api/models/autoencoderkl_ltx_2.md

AutoencoderKLLTX2Video

Модель трёхмерного вариационного автоэнкодера (VAE) с потерей KL, используемая в LTX-2, была представлена компанией Lightricks.

Модель можно загрузить с помощью следующего фрагмента кода.

from diffusers import AutoencoderKLLTX2Video

vae = AutoencoderKLLTX2Video.from_pretrained("Lightricks/LTX-2", subfolder="vae", dtype=torch.float32).to("cuda")  # or "mps", "xpu", "cpu"

AutoencoderKLLTX2Video[[diffusers.AutoencoderKLLTX2Video]]

diffusers.AutoencoderKLLTX2Video[[diffusers.AutoencoderKLLTX2Video]]

diffusers.AutoencoderKLLTX2Video(in_channels: int = 3, out_channels: int = 3, latent_channels: int = 128, block_out_channels: tuple[int, ...] = (256, 512, 1024, 2048), down_block_types: tuple[str, ...] = ('LTX2VideoDownBlock3D', 'LTX2VideoDownBlock3D', 'LTX2VideoDownBlock3D', 'LTX2VideoDownBlock3D'), decoder_block_out_channels: tuple[int, ...] = (256, 512, 1024), layers_per_block: tuple[int, ...] = (4, 6, 6, 2, 2), decoder_layers_per_block: tuple[int, ...] = (5, 5, 5, 5), spatio_temporal_scaling: bool | tuple[bool, ...] = (True, True, True, True), decoder_spatio_temporal_scaling: bool | tuple[bool, ...] = (True, True, True), decoder_inject_noise: bool | tuple[bool, ...] = (False, False, False, False), downsample_type: tuple[str, ...] = ('spatial', 'temporal', 'spatiotemporal', 'spatiotemporal'), upsample_type: tuple[str, ...] = ('spatiotemporal', 'spatiotemporal', 'spatiotemporal'), upsample_residual: bool | tuple[bool, ...] = (True, True, True), upsample_factor: tuple[int, ...] = (2, 2, 2), timestep_conditioning: bool = False, patch_size: int = 4, patch_size_t: int = 1, resnet_norm_eps: float = 1e-06, scaling_factor: float = 1.0, encoder_causal: bool = True, decoder_causal: bool = True, encoder_spatial_padding_mode: str = 'zeros', decoder_spatial_padding_mode: str = 'reflect', spatial_compression_ratio: int = None, temporal_compression_ratio: int = None)

Источник

Параметры:

in_channels (int, по умолчанию 3) : Количество входных каналов.

out_channels (int, по умолчанию 3) : Количество выходных каналов.

latent_channels (int, по умолчанию 128) : Количество латентных каналов.

block_out_channels (tuple[int, ...], по умолчанию (128, 256, 512, 512)) : Количество выходных каналов для каждого блока.

spatio_temporal_scaling (tuple[bool, ...], defaults to (True, True, True, False)` : Whether a block should contain spatio-temporal downscaling or not.

layers_per_block (tuple[int, ...], по умолчанию (4, 3, 3, 3, 4)) : Количество слоев в каждом блоке.

patch_size (int, по умолчанию 4) : Размер пространственных патчей.

patch_size_t (int, по умолчанию 1) : Размер временных патчей.

resnet_norm_eps (float, по умолчанию 1e-6) : Значение эпсилона для слоёв нормализации в ResNet.

scaling_factor (float, необязательный, по умолчанию 1.0) : Стандартное отклонение обученного латентного пространства, вычисленное покомпонентно на основе первой выборки обучающей выборки. Используется для масштабирования латентного пространства до единичной дисперсии при обучении диффузионной модели. Перед передачей в диффузионную модель латенты масштабируются по формуле z = z * scaling_factor. При декодировании латенты возвращаются к исходному масштабу по формуле: z = 1 / scaling_factor * z. Дополнительные сведения см. в разделах 4.3.2 и D.1 статьи High-Resolution Image Synthesis with Latent Diffusion Models.

encoder_causal (bool, по умолчанию True) : Указывает, должен ли энкодер работать в каузальном режиме (будущие кадры зависят только от прошлых) или нет.

decoder_causal (bool, по умолчанию False) : Должен ли декодер работать в каузальном режиме (будущие кадры зависят только от прошлых) или нет.

Модель VAE с потерей KL для кодирования изображений в латенты и декодирования латентных представлений в изображения. Используется в LTX-2.

Эта модель наследуется от ModelMixin. См. документацию суперкласса для его универсальных методов, реализованных для всех моделей (например, загрузка или сохранение).

decode[[diffusers.AutoencoderKLLTX2Video.decode]]

decode(z: Tensor, temb: typing.Optional[torch.Tensor] = None, causal: bool | None = None, return_dict: bool = True)

Источник

Параметры:

z (torch.Tensor) : Входная партия латентных векторов.

return_dict (bool, необязательный, по умолчанию True) : Возвращать ли ~models.vae.DecoderOutput вместо обычного кортежа.

Возвращает: ~models.vae.DecoderOutput или tuple

Если return_dict равно True, возвращается ~models.vae.DecoderOutput, иначе возвращается обычный tuple.

Декодировать пакет изображений.

encode[[diffusers.AutoencoderKLLTX2Video.encode]]

encode(x: Tensor, causal: bool | None = None, return_dict: bool = True)

Источник

Параметры:

x (torch.Tensor) : Входная партия изображений.

return_dict (bool, необязательный, по умолчанию True) : Возвращать ли ~models.autoencoder_kl.AutoencoderKLOutput вместо обычного кортежа.

Возвращает:

Латентные представления закодированных видео. Если return_dict равно True, возвращается ~models.autoencoder_kl.AutoencoderKLOutput, в противном случае возвращается обычный tuple.

Кодирует пакет изображений в латенты.

enable_tiling[[diffusers.AutoencoderKLLTX2Video.enable_tiling]]

enable_tiling(tile_sample_min_height: int | None = None, tile_sample_min_width: int | None = None, tile_sample_min_num_frames: int | None = None, tile_sample_stride_height: float | None = None, tile_sample_stride_width: float | None = None, tile_sample_stride_num_frames: float | None = None)

Источник

Параметры:

tile_sample_min_height (int, optional) : минимальная высота, необходимая для того, чтобы образец был разделён на плитки по оси высоты.

tile_sample_min_width (int, optional) : Минимальная ширина, необходимая для того, чтобы образец был разделён на плитки по размерности ширины.

tile_sample_stride_height (int, optional) : Минимальное перекрытие между двумя последовательными вертикальными тайлами. Это необходимо для того, чтобы избежать артефактов тайлинга вдоль вертикальной оси.

tile_sample_stride_width (int, optional) : Шаг между двумя соседними горизонтальными тайлами. Это обеспечивает отсутствие артефактов тайлинга вдоль ширины.

Включает тайловое декодирование VAE. При включении этого параметра VAE разбивает входной тензор на тайлы для выполнения декодирования и кодирования в несколько шагов. Это полезно для экономии значительного объёма памяти и для обработки изображений большего размера.

forward[[diffusers.AutoencoderKLLTX2Video.forward]]

forward(sample: Tensor, temb: typing.Optional[torch.Tensor] = None, sample_posterior: bool = False, encoder_causal: bool | None = None, decoder_causal: bool | None = None, return_dict: bool = True, generator: typing.Optional[torch.Generator] = None)

Источник

Параметры:

sample (torch.Tensor) : Входящий образец.

temb (torch.Tensor, необязательный) : Необязательный тензор эмбеддинга временного шага, используемый для обусловливания декодера.

sample_posterior (bool, необязательный, по умолчанию False) : Флаг, определяющий, следует ли выполнять выборку из апостериорного распределения.

encoder_causal (bool, необязательный) : Должен ли энкодер использовать каузальные свёртки. Если None, используется значение по умолчанию для модели.

decoder_causal (bool, optional) : Должен ли декодер использовать каузальные свёртки. Если None, используется значение по умолчанию для модели.

return_dict (bool, необязательный, по умолчанию True) : Возвращать ли DecoderOutput вместо обычного кортежа.

generator (torch.Generator, необязательный) : torch.Generator для обеспечения детерминированности выборки.

Возвращает: ~models.vae.DecoderOutput или tuple

Если return_dict равно True, возвращается ~models.vae.DecoderOutput, иначе возвращается обычный tuple.

tiled_decode[[diffusers.AutoencoderKLLTX2Video.tiled_decode]]

tiled_decode(z: Tensor, temb: typing.Optional[torch.Tensor], causal: bool | None = None, return_dict: bool = True)

Источник

Параметры:

z (torch.Tensor) : Входная партия латентных векторов.

return_dict (bool, необязательный, по умолчанию True) : Возвращать ли ~models.vae.DecoderOutput вместо обычного кортежа.

Возвращает: ~models.vae.DecoderOutput или tuple

Если return_dict равно True, возвращается ~models.vae.DecoderOutput, иначе возвращается обычный tuple.

Декодирование пакета изображений с использованием тайлованного декодера.

tiled_encode[[diffusers.AutoencoderKLLTX2Video.tiled_encode]]

tiled_encode(x: Tensor, causal: bool | None = None)

Источник

Параметры:

x (torch.Tensor) : Входная партия видео.

Возвращает: torch.Tensor

Латентное представление закодированных видео.

Кодирует пакет изображений с использованием тайлованного энкодера.