diffusers/main/ru/api/models/unet2d.md

UNet2DModel

Модель UNet была первоначально представлена Ronneberger et al. для сегментации биомедицинских изображений, однако она также широко используется в 🤗 Diffusers, поскольку на выходе она генерирует изображения того же размера, что и входные. Это один из ключевых компонентов диффузионной системы, так как именно он обеспечивает непосредственный процесс диффузии. В 🤗 Diffusers существует несколько вариантов модели UNet, которые различаются количеством измерений и тем, является ли модель условной. Здесь представлена 2D-модель UNet.

Аннотация из статьи:

Существует широкое согласие в том, что успешное обучение глубоких сетей требует тысяч размеченных обучающих примеров. В данной статье мы представляем сеть и стратегию обучения, которые опираются на активное использование аугментации данных для более эффективного использования доступных размеченных примеров. Архитектура состоит из сжимающего пути для захвата контекста и симметричного расширяющего пути, обеспечивающего точную локализацию. Мы показываем, что такая сеть может быть обучена end-to-end по очень малому количеству изображений и превосходит предыдущий лучший метод (сверточная сеть со скользящим окном) на конкурсе ISBI по сегментации нейронных структур в электронных микроскопических стопках. Используя ту же сеть, обученную на изображениях, полученные с помощью световой микроскопии (фазовый контраст и DIC), мы с большим отрывом выиграли конкурс ISBI по отслеживанию клеток 2015 года в этих категориях. Кроме того, сеть работает быстро. Сегментация изображения 512x512 занимает менее секунды на современном GPU. Полная реализация (на основе Caffe) и обученные сети доступны по адресу http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net.

UNet2DModel[[diffusers.UNet2DModel]]

diffusers.UNet2DModel[[diffusers.UNet2DModel]]

diffusers.UNet2DModel(sample_size: int | tuple[int, int] | None = None, in_channels: int = 3, out_channels: int = 3, center_input_sample: bool = False, time_embedding_type: str = 'positional', time_embedding_dim: int | None = None, freq_shift: int = 0, flip_sin_to_cos: bool = True, down_block_types: tuple[str, ...] = ('DownBlock2D', 'AttnDownBlock2D', 'AttnDownBlock2D', 'AttnDownBlock2D'), mid_block_type: str | None = 'UNetMidBlock2D', up_block_types: tuple[str, ...] = ('AttnUpBlock2D', 'AttnUpBlock2D', 'AttnUpBlock2D', 'UpBlock2D'), block_out_channels: tuple[int, ...] = (224, 448, 672, 896), layers_per_block: int = 2, mid_block_scale_factor: float = 1, downsample_padding: int = 1, downsample_type: str = 'conv', upsample_type: str = 'conv', dropout: float = 0.0, act_fn: str = 'silu', attention_head_dim: int | None = 8, norm_num_groups: int = 32, attn_norm_num_groups: int | None = None, norm_eps: float = 1e-05, resnet_time_scale_shift: str = 'default', add_attention: bool = True, class_embed_type: str | None = None, num_class_embeds: int | None = None, num_train_timesteps: int | None = None)

Источник

Параметры:

sample_size (int или tuple[int, int], необязательный, по умолчанию None) : Высота и ширина входного/выходного образца. Размеры должны быть кратны 2 ** (len(block_out_channels) - 1).

in_channels (int, необязательный, по умолчанию 3) : Количество каналов во входном образце.

out_channels (int, необязательный, по умолчанию 3) : Количество каналов на выходе.

center_input_sample (bool, необязательный, по умолчанию False) : Нужно ли центрировать входной образец.

time_embedding_type (str, необязательный, по умолчанию "positional") : Тип временного эмбеддинга, который будет использоваться.

freq_shift (int, optional, по умолчанию 0) : Сдвиг частоты для временного вложения Фурье.

flip_sin_to_cos (bool, необязательный, по умолчанию True) : Нужно ли заменять sin на cos для временного эмбеддинга Фурье.

down_block_types (tuple[str], необязательный, по умолчанию ("DownBlock2D", "AttnDownBlock2D", "AttnDownBlock2D", "AttnDownBlock2D")) : кортеж типов блоков понижающего дискретизирования.

mid_block_type (str, необязательный, по умолчанию "UNetMidBlock2D") : Тип блока для средней части UNet, может быть UNetMidBlock2D или None.

up_block_types (tuple[str], необязательный, по умолчанию ("AttnUpBlock2D", "AttnUpBlock2D", "AttnUpBlock2D", "UpBlock2D")) : кортеж типов блоков апсэмплинга.

block_out_channels (tuple[int], optional, по умолчанию (224, 448, 672, 896)) : кортеж каналов вывода блоков.

layers_per_block (int, необязательный, по умолчанию 2) : Количество слоёв в каждом блоке.

mid_block_scale_factor (float, необязательный, по умолчанию 1) : Коэффициент масштабирования для среднего блока.

downsample_padding (int, optional, по умолчанию 1) : Отступ для свёртки downsampling.

downsample_type (str, необязательный, по умолчанию conv) : Тип downsampling для слоев downsampling. Выберите между "conv" и "resnet"

upsample_type (str, необязательный, по умолчанию conv) : Тип апсэмплирования для слоёв апсэмплирования. Выберите между "conv" и "resnet"

dropout (float, необязательный, по умолчанию 0.0) : Вероятность dropout, которую следует использовать.

act_fn (str, необязательный, по умолчанию "silu") : Функция активации, которую следует использовать.

attention_head_dim (int, необязательный, по умолчанию 8) : Размер измерения головы внимания.

norm_num_groups (int, optional, по умолчанию 32) : Количество групп для нормализации.

attn_norm_num_groups (int, необязательный, по умолчанию None) : Если задано целое число, в слое Attention среднего блока будет создан слой group norm с указанным количеством групп. Если оставлено как None, слой group norm будет создан только в том случае, если resnet_time_scale_shift установлено в значение default, и при создании будет содержать norm_num_groups групп.

norm_eps (float, необязательный, по умолчанию 1e-5) : Эпсилон для нормализации.

resnet_time_scale_shift (str, необязательный, по умолчанию "default") : Настройка сдвига масштаба времени для блоков ResNet (см. ResnetBlock2D). Выберите default или scale_shift.

class_embed_type (str, необязательный, по умолчанию None) : Тип классовой эмбеддинга, который в итоге суммируется с временными эмбеддингами. Выберите одно из значений: None, "timestep" или "identity".

num_class_embeds (int, optional, по умолчанию None) : Входное измерение обучаемой матрицы эмбеддингов, которая проецируется в time_embed_dim при выполнении классовой обусловленности, если class_embed_type равно None.

Двумерная модель UNet, которая принимает зашумленный образец и шаг времени и возвращает вывод той же формы.

Эта модель наследуется от ModelMixin. См. документацию суперкласса для его универсальных методов, реализованных для всех моделей (например, загрузка или сохранение).

forward[[diffusers.UNet2DModel.forward]]

forward(sample: Tensor, timestep: typing.Union[torch.Tensor, float, int], class_labels: typing.Optional[torch.Tensor] = None, return_dict: bool = True)

Источник

Параметры:

sample (torch.Tensor) : Шумовой входной тензор со следующей формой (batch, channel, height, width).

timestep (torch.Tensor или float или int) : Количество шагов для удаления шума из входных данных.

class_labels (torch.Tensor, необязательный, по умолчанию None) : Необязательные классы меток для условного формирования. Их эмбеддинги будут сложены с эмбеддингами временного шага.

return_dict (bool, необязательный, по умолчанию True) : Возвращать ли UNet2DOutput вместо обычного кортежа.

Возвращает: UNet2DOutput или tuple

Если return_dict равно True, возвращается UNet2DOutput, иначе возвращается tuple, где первый элемент — это тензор выборки.

Метод forward модели UNet2DModel.

UNet2DOutput[[diffusers.models.unets.unet_2d.UNet2DOutput]]

diffusers.models.unets.unet_2d.UNet2DOutput[[diffusers.models.unets.unet_2d.UNet2DOutput]]

diffusers.models.unets.unet_2d.UNet2DOutput(sample: Tensor)

Источник

Параметры:

sample (torch.Tensor формы (batch_size, num_channels, height, width)) : Скрытые состояния, выведенные из последнего слоя модели.

Вывод UNet2DModel.