# Tiny AutoEncoder

Tiny AutoEncoder for Stable Diffusion (TAESD) был представлен в [madebyollin/taesd](https://github.com/madebyollin/taesd) Ollin Boer Bohan. Это компактная дистиллированная версия VAE Stable Diffusion, которая позволяет почти мгновенно декодировать латенты в [StableDiffusionPipeline](/docs/diffusers/main/ru/api/pipelines/stable_diffusion/text2img#diffusers.StableDiffusionPipeline) или [StableDiffusionXLPipeline](/docs/diffusers/main/ru/api/pipelines/stable_diffusion/stable_diffusion_xl#diffusers.StableDiffusionXLPipeline).

Для использования со Stable Diffusion v-2.1:

```python
import torch
from diffusers import DiffusionPipeline, AutoencoderTiny

pipe = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-2-1-base", dtype=torch.float16
)
pipe.vae = AutoencoderTiny.from_pretrained("madebyollin/taesd", dtype=torch.float16)
pipe = pipe.to("cuda")  # or "mps", "xpu", "cpu"

prompt = "slice of delicious New York-style berry cheesecake"
image = pipe(prompt, num_inference_steps=25).images[0]
image
```

Использование со Stable Diffusion XL 1.0

```python
import torch
from diffusers import DiffusionPipeline, AutoencoderTiny

pipe = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", dtype=torch.float16
)
pipe.vae = AutoencoderTiny.from_pretrained("madebyollin/taesdxl", dtype=torch.float16)
pipe = pipe.to("cuda")  # or "mps", "xpu", "cpu"

prompt = "slice of delicious New York-style berry cheesecake"
image = pipe(prompt, num_inference_steps=25).images[0]
image
```

## AutoencoderTiny[[diffusers.AutoencoderTiny]]

#### diffusers.AutoencoderTiny[[diffusers.AutoencoderTiny]]

```python
diffusers.AutoencoderTiny(in_channels: int = 3, out_channels: int = 3, encoder_block_out_channels: tuple[int, ...] = (64, 64, 64, 64), decoder_block_out_channels: tuple[int, ...] = (64, 64, 64, 64), act_fn: str = 'relu', upsample_fn: str = 'nearest', latent_channels: int = 4, upsampling_scaling_factor: int = 2, num_encoder_blocks: tuple[int, ...] = (1, 3, 3, 3), num_decoder_blocks: tuple[int, ...] = (3, 3, 3, 1), latent_magnitude: int = 3, latent_shift: float = 0.5, force_upcast: bool = False, scaling_factor: float = 1.0, shift_factor: float = 0.0)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_tiny.py#L40)

**Параметры:**

in_channels (`int`, *необязательный*, по умолчанию 3) : Количество каналов во входном изображении.

out_channels (`int`,  *необязательный*, по умолчанию 3) : Количество каналов на выходе.

encoder_block_out_channels (`tuple[int]`, *optional*, по умолчанию `(64, 64, 64, 64)`) : кортеж целых чисел, представляющий количество выходных каналов для каждого блока кодировщика. Длина кортежа должна быть равна количеству блоков кодировщика.

decoder_block_out_channels (`tuple[int]`, *optional*, по умолчанию `(64, 64, 64, 64)`) : кортеж целых чисел, представляющий количество выходных каналов для каждого блока декодера. Длина кортежа должна быть равна количеству блоков декодера.

act_fn (`str`, *необязательный*, по умолчанию `"relu"`) : Функция активации, используемая во всей модели.

latent_channels (`int`, *optional*, по умолчанию 4) : Количество каналов в латентном представлении. Латентное пространство служит сжатым представлением входного изображения.

upsampling_scaling_factor (`int`, *optional*, по умолчанию 2) : Коэффициент масштабирования для апсемплинга в декодере. Определяет размер выходного изображения в процессе апсемплинга.

num_encoder_blocks (`tuple[int]`, *optional*, по умолчанию `(1, 3, 3, 3)`) : кортеж целых чисел, определяющий количество блоков кодировщика на каждом этапе процесса кодирования. Длина кортежа должна быть равна количеству этапов в кодировщике. На каждом этапе количество блоков кодировщика различается.

num_decoder_blocks (`tuple[int]`, *optional*, по умолчанию `(3, 3, 3, 1)`) : кортеж целых чисел, определяющий количество блоков декодера на каждом этапе процесса декодирования. Длина кортежа должна быть равна количеству этапов в декодере. На каждом этапе количество блоков декодера различается.

latent_magnitude (`float`, *optional*, по умолчанию 3.0) : Амплитуда латентного представления. Этот параметр масштабирует значения латентного представления для управления степенью сохранения информации.

latent_shift (float, *optional*, по умолчанию 0.5) : Сдвиг, применяемый к латентному представлению. Этот параметр управляет центром латентного пространства.

scaling_factor (`float`, *optional*, по умолчанию 1.0) : Стандартное отклонение обученного латентного пространства, вычисленное покомпонентно на основе первой партии обучающей выборки. Эта величина используется для масштабирования латентного пространства до единичной дисперсии при обучении диффузионной модели. Перед передачей в диффузионную модель латенты масштабируются по формуле `z = z * scaling_factor`. При декодировании латенты возвращаются к исходному масштабу по формуле: `z = 1 / scaling_factor * z`. Дополнительные сведения см. в разделах 4.3.2 и D.1 статьи [High-Resolution Image Synthesis with Latent Diffusion Models](https://huggingface.co/papers/2112.10752). Однако для данного Autoencoder такой коэффициент масштабирования не использовался, поэтому значение по умолчанию равно 1.0.

force_upcast (`bool`, *необязательный*, по умолчанию `False`) : Если включено, принудительно заставляет VAE работать в float32 для пайплайнов с высоким разрешением изображений, таких как SD-XL. VAE можно дообучить / обучить для работы в более низком диапазоне без значительной потери точности, в этом случае `force_upcast` можно установить в `False` (см. этот fp16-совместимый [AutoEncoder](https://huggingface.co/madebyollin/sdxl-vae-fp16-fix)).

Небольшая дистиллированная модель VAE для кодирования изображений в латенты и декодирования латентных представлений в изображения.

[AutoencoderTiny](/docs/diffusers/main/ru/api/models/autoencoder_tiny#diffusers.AutoencoderTiny) — это обёртка над исходной реализацией `TAESD`.

Эта модель наследуется от [ModelMixin](/docs/diffusers/main/ru/api/models/overview#diffusers.ModelMixin). Общую документацию по методам, реализованным для всех моделей (например, загрузка или сохранение), см. в документации суперкласса.

#### forward[[diffusers.AutoencoderTiny.forward]]

```python
forward(sample: Tensor, return_dict: bool = True)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_tiny.py#L291)

**Параметры:**

sample (`torch.Tensor`) : Входящий образец.

return_dict (`bool`, *необязательный*, по умолчанию `True`) : Возвращать ли `DecoderOutput` вместо обычного кортежа.

**Возвращает:** `DecoderOutput` или `tuple`

Если `return_dict` равно True, возвращается `DecoderOutput`, в противном случае возвращается обычный `tuple`.

#### scale_latents[[diffusers.AutoencoderTiny.scale_latents]]

```python
scale_latents(x: Tensor)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_tiny.py#L156)

сырые латенты -> [0, 1]

#### unscale_latents[[diffusers.AutoencoderTiny.unscale_latents]]

```python
unscale_latents(x: Tensor)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_tiny.py#L160)

[0, 1] -> необработанные латенты

## AutoencoderTinyOutput[[diffusers.models.autoencoders.autoencoder_tiny.AutoencoderTinyOutput]]

#### diffusers.models.autoencoders.autoencoder_tiny.AutoencoderTinyOutput[[diffusers.models.autoencoders.autoencoder_tiny.AutoencoderTinyOutput]]

```python
diffusers.models.autoencoders.autoencoder_tiny.AutoencoderTinyOutput(latents: Tensor)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_tiny.py#L28)

**Параметры:**

latents (`torch.Tensor`) : Закодированные выходные данные `Encoder`.

Результат метода кодирования AutoencoderTiny.