Buckets:
| # Tiny AutoEncoder | |
| Tiny AutoEncoder for Stable Diffusion (TAESD) был представлен в [madebyollin/taesd](https://github.com/madebyollin/taesd) Ollin Boer Bohan. Это компактная дистиллированная версия VAE Stable Diffusion, которая позволяет почти мгновенно декодировать латенты в [StableDiffusionPipeline](/docs/diffusers/main/ru/api/pipelines/stable_diffusion/text2img#diffusers.StableDiffusionPipeline) или [StableDiffusionXLPipeline](/docs/diffusers/main/ru/api/pipelines/stable_diffusion/stable_diffusion_xl#diffusers.StableDiffusionXLPipeline). | |
| Для использования со Stable Diffusion v-2.1: | |
| ```python | |
| import torch | |
| from diffusers import DiffusionPipeline, AutoencoderTiny | |
| pipe = DiffusionPipeline.from_pretrained( | |
| "stabilityai/stable-diffusion-2-1-base", dtype=torch.float16 | |
| ) | |
| pipe.vae = AutoencoderTiny.from_pretrained("madebyollin/taesd", dtype=torch.float16) | |
| pipe = pipe.to("cuda") # or "mps", "xpu", "cpu" | |
| prompt = "slice of delicious New York-style berry cheesecake" | |
| image = pipe(prompt, num_inference_steps=25).images[0] | |
| image | |
| ``` | |
| Использование со Stable Diffusion XL 1.0 | |
| ```python | |
| import torch | |
| from diffusers import DiffusionPipeline, AutoencoderTiny | |
| pipe = DiffusionPipeline.from_pretrained( | |
| "stabilityai/stable-diffusion-xl-base-1.0", dtype=torch.float16 | |
| ) | |
| pipe.vae = AutoencoderTiny.from_pretrained("madebyollin/taesdxl", dtype=torch.float16) | |
| pipe = pipe.to("cuda") # or "mps", "xpu", "cpu" | |
| prompt = "slice of delicious New York-style berry cheesecake" | |
| image = pipe(prompt, num_inference_steps=25).images[0] | |
| image | |
| ``` | |
| ## AutoencoderTiny[[diffusers.AutoencoderTiny]] | |
| #### diffusers.AutoencoderTiny[[diffusers.AutoencoderTiny]] | |
| ```python | |
| diffusers.AutoencoderTiny(in_channels: int = 3, out_channels: int = 3, encoder_block_out_channels: tuple[int, ...] = (64, 64, 64, 64), decoder_block_out_channels: tuple[int, ...] = (64, 64, 64, 64), act_fn: str = 'relu', upsample_fn: str = 'nearest', latent_channels: int = 4, upsampling_scaling_factor: int = 2, num_encoder_blocks: tuple[int, ...] = (1, 3, 3, 3), num_decoder_blocks: tuple[int, ...] = (3, 3, 3, 1), latent_magnitude: int = 3, latent_shift: float = 0.5, force_upcast: bool = False, scaling_factor: float = 1.0, shift_factor: float = 0.0) | |
| ``` | |
| [Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_tiny.py#L40) | |
| **Параметры:** | |
| in_channels (`int`, *необязательный*, по умолчанию 3) : Количество каналов во входном изображении. | |
| out_channels (`int`, *необязательный*, по умолчанию 3) : Количество каналов на выходе. | |
| encoder_block_out_channels (`tuple[int]`, *optional*, по умолчанию `(64, 64, 64, 64)`) : кортеж целых чисел, представляющий количество выходных каналов для каждого блока кодировщика. Длина кортежа должна быть равна количеству блоков кодировщика. | |
| decoder_block_out_channels (`tuple[int]`, *optional*, по умолчанию `(64, 64, 64, 64)`) : кортеж целых чисел, представляющий количество выходных каналов для каждого блока декодера. Длина кортежа должна быть равна количеству блоков декодера. | |
| act_fn (`str`, *необязательный*, по умолчанию `"relu"`) : Функция активации, используемая во всей модели. | |
| latent_channels (`int`, *optional*, по умолчанию 4) : Количество каналов в латентном представлении. Латентное пространство служит сжатым представлением входного изображения. | |
| upsampling_scaling_factor (`int`, *optional*, по умолчанию 2) : Коэффициент масштабирования для апсемплинга в декодере. Определяет размер выходного изображения в процессе апсемплинга. | |
| num_encoder_blocks (`tuple[int]`, *optional*, по умолчанию `(1, 3, 3, 3)`) : кортеж целых чисел, определяющий количество блоков кодировщика на каждом этапе процесса кодирования. Длина кортежа должна быть равна количеству этапов в кодировщике. На каждом этапе количество блоков кодировщика различается. | |
| num_decoder_blocks (`tuple[int]`, *optional*, по умолчанию `(3, 3, 3, 1)`) : кортеж целых чисел, определяющий количество блоков декодера на каждом этапе процесса декодирования. Длина кортежа должна быть равна количеству этапов в декодере. На каждом этапе количество блоков декодера различается. | |
| latent_magnitude (`float`, *optional*, по умолчанию 3.0) : Амплитуда латентного представления. Этот параметр масштабирует значения латентного представления для управления степенью сохранения информации. | |
| latent_shift (float, *optional*, по умолчанию 0.5) : Сдвиг, применяемый к латентному представлению. Этот параметр управляет центром латентного пространства. | |
| scaling_factor (`float`, *optional*, по умолчанию 1.0) : Стандартное отклонение обученного латентного пространства, вычисленное покомпонентно на основе первой партии обучающей выборки. Эта величина используется для масштабирования латентного пространства до единичной дисперсии при обучении диффузионной модели. Перед передачей в диффузионную модель латенты масштабируются по формуле `z = z * scaling_factor`. При декодировании латенты возвращаются к исходному масштабу по формуле: `z = 1 / scaling_factor * z`. Дополнительные сведения см. в разделах 4.3.2 и D.1 статьи [High-Resolution Image Synthesis with Latent Diffusion Models](https://huggingface.co/papers/2112.10752). Однако для данного Autoencoder такой коэффициент масштабирования не использовался, поэтому значение по умолчанию равно 1.0. | |
| force_upcast (`bool`, *необязательный*, по умолчанию `False`) : Если включено, принудительно заставляет VAE работать в float32 для пайплайнов с высоким разрешением изображений, таких как SD-XL. VAE можно дообучить / обучить для работы в более низком диапазоне без значительной потери точности, в этом случае `force_upcast` можно установить в `False` (см. этот fp16-совместимый [AutoEncoder](https://huggingface.co/madebyollin/sdxl-vae-fp16-fix)). | |
| Небольшая дистиллированная модель VAE для кодирования изображений в латенты и декодирования латентных представлений в изображения. | |
| [AutoencoderTiny](/docs/diffusers/main/ru/api/models/autoencoder_tiny#diffusers.AutoencoderTiny) — это обёртка над исходной реализацией `TAESD`. | |
| Эта модель наследуется от [ModelMixin](/docs/diffusers/main/ru/api/models/overview#diffusers.ModelMixin). Общую документацию по методам, реализованным для всех моделей (например, загрузка или сохранение), см. в документации суперкласса. | |
| #### forward[[diffusers.AutoencoderTiny.forward]] | |
| ```python | |
| forward(sample: Tensor, return_dict: bool = True) | |
| ``` | |
| [Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_tiny.py#L291) | |
| **Параметры:** | |
| sample (`torch.Tensor`) : Входящий образец. | |
| return_dict (`bool`, *необязательный*, по умолчанию `True`) : Возвращать ли `DecoderOutput` вместо обычного кортежа. | |
| **Возвращает:** `DecoderOutput` или `tuple` | |
| Если `return_dict` равно True, возвращается `DecoderOutput`, в противном случае возвращается обычный `tuple`. | |
| #### scale_latents[[diffusers.AutoencoderTiny.scale_latents]] | |
| ```python | |
| scale_latents(x: Tensor) | |
| ``` | |
| [Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_tiny.py#L156) | |
| сырые латенты -> [0, 1] | |
| #### unscale_latents[[diffusers.AutoencoderTiny.unscale_latents]] | |
| ```python | |
| unscale_latents(x: Tensor) | |
| ``` | |
| [Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_tiny.py#L160) | |
| [0, 1] -> необработанные латенты | |
| ## AutoencoderTinyOutput[[diffusers.models.autoencoders.autoencoder_tiny.AutoencoderTinyOutput]] | |
| #### diffusers.models.autoencoders.autoencoder_tiny.AutoencoderTinyOutput[[diffusers.models.autoencoders.autoencoder_tiny.AutoencoderTinyOutput]] | |
| ```python | |
| diffusers.models.autoencoders.autoencoder_tiny.AutoencoderTinyOutput(latents: Tensor) | |
| ``` | |
| [Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_tiny.py#L28) | |
| **Параметры:** | |
| latents (`torch.Tensor`) : Закодированные выходные данные `Encoder`. | |
| Результат метода кодирования AutoencoderTiny. | |
Xet Storage Details
- Size:
- 10.7 kB
- Xet hash:
- f25e6eadbd73935c7c1905c4f54ea67409e4629a033a18afb190682987e7e2f8
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.