diffusers/v0.43.0/ru/api/models/autoencoder_tiny.md

Tiny AutoEncoder

Tiny AutoEncoder for Stable Diffusion (TAESD) был представлен в madebyollin/taesd Ollin Boer Bohan. Это компактная дистиллированная версия VAE Stable Diffusion, которая позволяет почти мгновенно декодировать латенты в StableDiffusionPipeline или StableDiffusionXLPipeline.

Для использования со Stable Diffusion v-2.1:

import torch
from diffusers import DiffusionPipeline, AutoencoderTiny

pipe = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-2-1-base", dtype=torch.float16
)
pipe.vae = AutoencoderTiny.from_pretrained("madebyollin/taesd", dtype=torch.float16)
pipe = pipe.to("cuda")  # or "mps", "xpu", "cpu"

prompt = "slice of delicious New York-style berry cheesecake"
image = pipe(prompt, num_inference_steps=25).images[0]
image

Использование со Stable Diffusion XL 1.0

import torch
from diffusers import DiffusionPipeline, AutoencoderTiny

pipe = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", dtype=torch.float16
)
pipe.vae = AutoencoderTiny.from_pretrained("madebyollin/taesdxl", dtype=torch.float16)
pipe = pipe.to("cuda")  # or "mps", "xpu", "cpu"

prompt = "slice of delicious New York-style berry cheesecake"
image = pipe(prompt, num_inference_steps=25).images[0]
image

AutoencoderTiny[[diffusers.AutoencoderTiny]]

diffusers.AutoencoderTiny[[diffusers.AutoencoderTiny]]

diffusers.AutoencoderTiny(in_channels: int = 3, out_channels: int = 3, encoder_block_out_channels: tuple[int, ...] = (64, 64, 64, 64), decoder_block_out_channels: tuple[int, ...] = (64, 64, 64, 64), act_fn: str = 'relu', upsample_fn: str = 'nearest', latent_channels: int = 4, upsampling_scaling_factor: int = 2, num_encoder_blocks: tuple[int, ...] = (1, 3, 3, 3), num_decoder_blocks: tuple[int, ...] = (3, 3, 3, 1), latent_magnitude: int = 3, latent_shift: float = 0.5, force_upcast: bool = False, scaling_factor: float = 1.0, shift_factor: float = 0.0)

Источник

Параметры:

in_channels (int, необязательный, по умолчанию 3) : Количество каналов во входном изображении.

out_channels (int, необязательный, по умолчанию 3) : Количество каналов на выходе.

encoder_block_out_channels (tuple[int], optional, по умолчанию (64, 64, 64, 64)) : кортеж целых чисел, представляющий количество выходных каналов для каждого блока кодировщика. Длина кортежа должна быть равна количеству блоков кодировщика.

decoder_block_out_channels (tuple[int], optional, по умолчанию (64, 64, 64, 64)) : кортеж целых чисел, представляющий количество выходных каналов для каждого блока декодера. Длина кортежа должна быть равна количеству блоков декодера.

act_fn (str, необязательный, по умолчанию "relu") : Функция активации, используемая во всей модели.

latent_channels (int, optional, по умолчанию 4) : Количество каналов в латентном представлении. Латентное пространство служит сжатым представлением входного изображения.

upsampling_scaling_factor (int, optional, по умолчанию 2) : Коэффициент масштабирования для апсемплинга в декодере. Определяет размер выходного изображения в процессе апсемплинга.

num_encoder_blocks (tuple[int], optional, по умолчанию (1, 3, 3, 3)) : кортеж целых чисел, определяющий количество блоков кодировщика на каждом этапе процесса кодирования. Длина кортежа должна быть равна количеству этапов в кодировщике. На каждом этапе количество блоков кодировщика различается.

num_decoder_blocks (tuple[int], optional, по умолчанию (3, 3, 3, 1)) : кортеж целых чисел, определяющий количество блоков декодера на каждом этапе процесса декодирования. Длина кортежа должна быть равна количеству этапов в декодере. На каждом этапе количество блоков декодера различается.

latent_magnitude (float, optional, по умолчанию 3.0) : Амплитуда латентного представления. Этот параметр масштабирует значения латентного представления для управления степенью сохранения информации.

latent_shift (float, optional, по умолчанию 0.5) : Сдвиг, применяемый к латентному представлению. Этот параметр управляет центром латентного пространства.

scaling_factor (float, optional, по умолчанию 1.0) : Стандартное отклонение обученного латентного пространства, вычисленное покомпонентно на основе первой партии обучающей выборки. Эта величина используется для масштабирования латентного пространства до единичной дисперсии при обучении диффузионной модели. Перед передачей в диффузионную модель латенты масштабируются по формуле z = z * scaling_factor. При декодировании латенты возвращаются к исходному масштабу по формуле: z = 1 / scaling_factor * z. Дополнительные сведения см. в разделах 4.3.2 и D.1 статьи High-Resolution Image Synthesis with Latent Diffusion Models. Однако для данного Autoencoder такой коэффициент масштабирования не использовался, поэтому значение по умолчанию равно 1.0.

force_upcast (bool, необязательный, по умолчанию False) : Если включено, принудительно заставляет VAE работать в float32 для пайплайнов с высоким разрешением изображений, таких как SD-XL. VAE можно дообучить / обучить для работы в более низком диапазоне без значительной потери точности, в этом случае force_upcast можно установить в False (см. этот fp16-совместимый AutoEncoder).

Небольшая дистиллированная модель VAE для кодирования изображений в латенты и декодирования латентных представлений в изображения.

AutoencoderTiny — это обёртка над исходной реализацией TAESD.

Эта модель наследуется от ModelMixin. Общую документацию по методам, реализованным для всех моделей (например, загрузка или сохранение), см. в документации суперкласса.

forward[[diffusers.AutoencoderTiny.forward]]

forward(sample: Tensor, return_dict: bool = True)

Источник

Параметры:

sample (torch.Tensor) : Входящий образец.

return_dict (bool, необязательный, по умолчанию True) : Возвращать ли DecoderOutput вместо обычного кортежа.

Возвращает: DecoderOutput или tuple

Если return_dict равно True, возвращается DecoderOutput, в противном случае возвращается обычный tuple.

scale_latents[[diffusers.AutoencoderTiny.scale_latents]]

scale_latents(x: Tensor)

Источник

сырые латенты -> [0, 1]

unscale_latents[[diffusers.AutoencoderTiny.unscale_latents]]

unscale_latents(x: Tensor)

Источник

[0, 1] -> необработанные латенты

AutoencoderTinyOutput[[diffusers.models.autoencoders.autoencoder_tiny.AutoencoderTinyOutput]]

diffusers.models.autoencoders.autoencoder_tiny.AutoencoderTinyOutput[[diffusers.models.autoencoders.autoencoder_tiny.AutoencoderTinyOutput]]

diffusers.models.autoencoders.autoencoder_tiny.AutoencoderTinyOutput(latents: Tensor)

Источник

Параметры:

latents (torch.Tensor) : Закодированные выходные данные Encoder.

Результат метода кодирования AutoencoderTiny.