Buckets:

hf-doc-build
/

doc

Files

xet

hf-doc-build/doc / diffusers /main /ru /api /models /unet2d.md

mishig

3 days ago

preview code

download

raw

12.8 kB

# UNet2DModel

Модель [UNet](https://huggingface.co/papers/1505.04597) была первоначально представлена Ronneberger et al. для сегментации биомедицинских изображений, однако она также широко используется в 🤗 Diffusers, поскольку на выходе она генерирует изображения того же размера, что и входные. Это один из ключевых компонентов диффузионной системы, так как именно он обеспечивает непосредственный процесс диффузии. В 🤗 Diffusers существует несколько вариантов модели UNet, которые различаются количеством измерений и тем, является ли модель условной. Здесь представлена 2D-модель UNet.

Аннотация из статьи:

*Существует широкое согласие в том, что успешное обучение глубоких сетей требует тысяч размеченных обучающих примеров. В данной статье мы представляем сеть и стратегию обучения, которые опираются на активное использование аугментации данных для более эффективного использования доступных размеченных примеров. Архитектура состоит из сжимающего пути для захвата контекста и симметричного расширяющего пути, обеспечивающего точную локализацию. Мы показываем, что такая сеть может быть обучена end-to-end по очень малому количеству изображений и превосходит предыдущий лучший метод (сверточная сеть со скользящим окном) на конкурсе ISBI по сегментации нейронных структур в электронных микроскопических стопках. Используя ту же сеть, обученную на изображениях, полученные с помощью световой микроскопии (фазовый контраст и DIC), мы с большим отрывом выиграли конкурс ISBI по отслеживанию клеток 2015 года в этих категориях. Кроме того, сеть работает быстро. Сегментация изображения 512x512 занимает менее секунды на современном GPU. Полная реализация (на основе Caffe) и обученные сети доступны по адресу http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net.*

## UNet2DModel[[diffusers.UNet2DModel]]

#### diffusers.UNet2DModel[[diffusers.UNet2DModel]]

```python
diffusers.UNet2DModel(sample_size: int | tuple[int, int] | None = None, in_channels: int = 3, out_channels: int = 3, center_input_sample: bool = False, time_embedding_type: str = 'positional', time_embedding_dim: int | None = None, freq_shift: int = 0, flip_sin_to_cos: bool = True, down_block_types: tuple[str, ...] = ('DownBlock2D', 'AttnDownBlock2D', 'AttnDownBlock2D', 'AttnDownBlock2D'), mid_block_type: str | None = 'UNetMidBlock2D', up_block_types: tuple[str, ...] = ('AttnUpBlock2D', 'AttnUpBlock2D', 'AttnUpBlock2D', 'UpBlock2D'), block_out_channels: tuple[int, ...] = (224, 448, 672, 896), layers_per_block: int = 2, mid_block_scale_factor: float = 1, downsample_padding: int = 1, downsample_type: str = 'conv', upsample_type: str = 'conv', dropout: float = 0.0, act_fn: str = 'silu', attention_head_dim: int | None = 8, norm_num_groups: int = 32, attn_norm_num_groups: int | None = None, norm_eps: float = 1e-05, resnet_time_scale_shift: str = 'default', add_attention: bool = True, class_embed_type: str | None = None, num_class_embeds: int | None = None, num_train_timesteps: int | None = None)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/unets/unet_2d.py#L39)

**Параметры:**

sample_size (`int` или `tuple[int, int]`, *необязательный*, по умолчанию `None`) : Высота и ширина входного/выходного образца. Размеры должны быть кратны `2 ** (len(block_out_channels) - 1)`.
in_channels (`int`, *необязательный*, по умолчанию 3) : Количество каналов во входном образце.

out_channels (`int`, *необязательный*, по умолчанию 3) : Количество каналов на выходе.
center_input_sample (`bool`, *необязательный*, по умолчанию `False`) : Нужно ли центрировать входной образец.
time_embedding_type (`str`, *необязательный*, по умолчанию `"positional"`) : Тип временного эмбеддинга, который будет использоваться.
freq_shift (`int`, *optional*, по умолчанию 0) : Сдвиг частоты для временного вложения Фурье.

flip_sin_to_cos (`bool`, *необязательный*, по умолчанию `True`) : Нужно ли заменять sin на cos для временного эмбеддинга Фурье.
down_block_types (`tuple[str]`, *необязательный*, по умолчанию `("DownBlock2D", "AttnDownBlock2D", "AttnDownBlock2D", "AttnDownBlock2D")`) : кортеж типов блоков понижающего дискретизирования.
mid_block_type (`str`, *необязательный*, по умолчанию `"UNetMidBlock2D"`) : Тип блока для средней части UNet, может быть `UNetMidBlock2D` или `None`.
up_block_types (`tuple[str]`, *необязательный*, по умолчанию `("AttnUpBlock2D", "AttnUpBlock2D", "AttnUpBlock2D", "UpBlock2D")`) : кортеж типов блоков апсэмплинга.
block_out_channels (`tuple[int]`, *optional*, по умолчанию `(224, 448, 672, 896)`) : кортеж каналов вывода блоков.
layers_per_block (`int`, *необязательный*, по умолчанию `2`) : Количество слоёв в каждом блоке.
mid_block_scale_factor (`float`, *необязательный*, по умолчанию `1`) : Коэффициент масштабирования для среднего блока.

downsample_padding (`int`, *optional*, по умолчанию `1`) : Отступ для свёртки downsampling.
downsample_type (`str`, *необязательный*, по умолчанию `conv`) : Тип downsampling для слоев downsampling. Выберите между "conv" и "resnet"

upsample_type (`str`, *необязательный*, по умолчанию `conv`) : Тип апсэмплирования для слоёв апсэмплирования. Выберите между "conv" и "resnet"
dropout (`float`, *необязательный*, по умолчанию 0.0) : Вероятность dropout, которую следует использовать.
act_fn (`str`, *необязательный*, по умолчанию `"silu"`) : Функция активации, которую следует использовать.

attention_head_dim (`int`, *необязательный*, по умолчанию `8`) : Размер измерения головы внимания.

norm_num_groups (`int`, *optional*, по умолчанию `32`) : Количество групп для нормализации.

attn_norm_num_groups (`int`, *необязательный*, по умолчанию `None`) : Если задано целое число, в слое `Attention` среднего блока будет создан слой group norm с указанным количеством групп. Если оставлено как `None`, слой group norm будет создан только в том случае, если `resnet_time_scale_shift` установлено в значение `default`, и при создании будет содержать `norm_num_groups` групп.

norm_eps (`float`, *необязательный*, по умолчанию `1e-5`) : Эпсилон для нормализации.
resnet_time_scale_shift (`str`, *необязательный*, по умолчанию `"default"`) : Настройка сдвига масштаба времени для блоков ResNet (см. `ResnetBlock2D`). Выберите `default` или `scale_shift`.

class_embed_type (`str`, *необязательный*, по умолчанию `None`) : Тип классовой эмбеддинга, который в итоге суммируется с временными эмбеддингами. Выберите одно из значений: `None`, `"timestep"` или `"identity"`.

num_class_embeds (`int`, *optional*, по умолчанию `None`) : Входное измерение обучаемой матрицы эмбеддингов, которая проецируется в `time_embed_dim` при выполнении классовой обусловленности, если `class_embed_type` равно `None`.

Двумерная модель UNet, которая принимает зашумленный образец и шаг времени и возвращает вывод той же формы.

Эта модель наследуется от [ModelMixin](/docs/diffusers/main/ru/api/models/overview#diffusers.ModelMixin). См. документацию суперкласса для его универсальных методов, реализованных для всех моделей (например, загрузка или сохранение).

#### forward[[diffusers.UNet2DModel.forward]]

```python
forward(sample: Tensor, timestep: typing.Union[torch.Tensor, float, int], class_labels: typing.Optional[torch.Tensor] = None, return_dict: bool = True)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/unets/unet_2d.py#L249)

**Параметры:**

sample (`torch.Tensor`) : Шумовой входной тензор со следующей формой `(batch, channel, height, width)`.

timestep (`torch.Tensor` или `float` или `int`) : Количество шагов для удаления шума из входных данных.

class_labels (`torch.Tensor`, *необязательный*, по умолчанию `None`) : Необязательные классы меток для условного формирования. Их эмбеддинги будут сложены с эмбеддингами временного шага.
return_dict (`bool`, *необязательный*, по умолчанию `True`) : Возвращать ли [UNet2DOutput](/docs/diffusers/main/ru/api/models/unet2d#diffusers.models.unets.unet_2d.UNet2DOutput) вместо обычного кортежа.

**Возвращает:** [UNet2DOutput](/docs/diffusers/main/ru/api/models/unet2d#diffusers.models.unets.unet_2d.UNet2DOutput) или `tuple`

Если `return_dict` равно True, возвращается [UNet2DOutput](/docs/diffusers/main/ru/api/models/unet2d#diffusers.models.unets.unet_2d.UNet2DOutput), иначе возвращается `tuple`, где первый элемент — это тензор выборки.

Метод forward модели [UNet2DModel](/docs/diffusers/main/ru/api/models/unet2d#diffusers.UNet2DModel).

## UNet2DOutput[[diffusers.models.unets.unet_2d.UNet2DOutput]]
#### diffusers.models.unets.unet_2d.UNet2DOutput[[diffusers.models.unets.unet_2d.UNet2DOutput]]
```python
diffusers.models.unets.unet_2d.UNet2DOutput(sample: Tensor)
```
[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/unets/unet_2d.py#L27)
**Параметры:**
sample (`torch.Tensor` формы `(batch_size, num_channels, height, width)`) : Скрытые состояния, выведенные из последнего слоя модели.
Вывод [UNet2DModel](/docs/diffusers/main/ru/api/models/unet2d#diffusers.UNet2DModel).

Xet Storage Details

Size:: 12.8 kB
Xet hash:: 97d133428ffe3a0ccc6f1e71d76206a17de10075d060938a80c9d832908b2338

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.

	# UNet2DModel

	Модель [UNet](https://huggingface.co/papers/1505.04597) была первоначально представлена Ronneberger et al. для сегментации биомедицинских изображений, однако она также широко используется в 🤗 Diffusers, поскольку на выходе она генерирует изображения того же размера, что и входные. Это один из ключевых компонентов диффузионной системы, так как именно он обеспечивает непосредственный процесс диффузии. В 🤗 Diffusers существует несколько вариантов модели UNet, которые различаются количеством измерений и тем, является ли модель условной. Здесь представлена 2D-модель UNet.

	Аннотация из статьи:

	Существует широкое согласие в том, что успешное обучение глубоких сетей требует тысяч размеченных обучающих примеров. В данной статье мы представляем сеть и стратегию обучения, которые опираются на активное использование аугментации данных для более эффективного использования доступных размеченных примеров. Архитектура состоит из сжимающего пути для захвата контекста и симметричного расширяющего пути, обеспечивающего точную локализацию. Мы показываем, что такая сеть может быть обучена end-to-end по очень малому количеству изображений и превосходит предыдущий лучший метод (сверточная сеть со скользящим окном) на конкурсе ISBI по сегментации нейронных структур в электронных микроскопических стопках. Используя ту же сеть, обученную на изображениях, полученные с помощью световой микроскопии (фазовый контраст и DIC), мы с большим отрывом выиграли конкурс ISBI по отслеживанию клеток 2015 года в этих категориях. Кроме того, сеть работает быстро. Сегментация изображения 512x512 занимает менее секунды на современном GPU. Полная реализация (на основе Caffe) и обученные сети доступны по адресу http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net.

	## UNet2DModel[[diffusers.UNet2DModel]]

	#### diffusers.UNet2DModel[[diffusers.UNet2DModel]]

	```python
	diffusers.UNet2DModel(sample_size: int \| tuple[int, int] \| None = None, in_channels: int = 3, out_channels: int = 3, center_input_sample: bool = False, time_embedding_type: str = 'positional', time_embedding_dim: int \| None = None, freq_shift: int = 0, flip_sin_to_cos: bool = True, down_block_types: tuple[str, ...] = ('DownBlock2D', 'AttnDownBlock2D', 'AttnDownBlock2D', 'AttnDownBlock2D'), mid_block_type: str \| None = 'UNetMidBlock2D', up_block_types: tuple[str, ...] = ('AttnUpBlock2D', 'AttnUpBlock2D', 'AttnUpBlock2D', 'UpBlock2D'), block_out_channels: tuple[int, ...] = (224, 448, 672, 896), layers_per_block: int = 2, mid_block_scale_factor: float = 1, downsample_padding: int = 1, downsample_type: str = 'conv', upsample_type: str = 'conv', dropout: float = 0.0, act_fn: str = 'silu', attention_head_dim: int \| None = 8, norm_num_groups: int = 32, attn_norm_num_groups: int \| None = None, norm_eps: float = 1e-05, resnet_time_scale_shift: str = 'default', add_attention: bool = True, class_embed_type: str \| None = None, num_class_embeds: int \| None = None, num_train_timesteps: int \| None = None)
	```

	[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/unets/unet_2d.py#L39)

	Параметры:

	sample_size (`int` или `tuple[int, int]`, необязательный, по умолчанию `None`) : Высота и ширина входного/выходного образца. Размеры должны быть кратны `2 ** (len(block_out_channels) - 1)`.

	in_channels (`int`, необязательный, по умолчанию 3) : Количество каналов во входном образце.

	out_channels (`int`, необязательный, по умолчанию 3) : Количество каналов на выходе.

	center_input_sample (`bool`, необязательный, по умолчанию `False`) : Нужно ли центрировать входной образец.

	time_embedding_type (`str`, необязательный, по умолчанию `"positional"`) : Тип временного эмбеддинга, который будет использоваться.

	freq_shift (`int`, optional, по умолчанию 0) : Сдвиг частоты для временного вложения Фурье.

	flip_sin_to_cos (`bool`, необязательный, по умолчанию `True`) : Нужно ли заменять sin на cos для временного эмбеддинга Фурье.

	down_block_types (`tuple[str]`, необязательный, по умолчанию `("DownBlock2D", "AttnDownBlock2D", "AttnDownBlock2D", "AttnDownBlock2D")`) : кортеж типов блоков понижающего дискретизирования.

	mid_block_type (`str`, необязательный, по умолчанию `"UNetMidBlock2D"`) : Тип блока для средней части UNet, может быть `UNetMidBlock2D` или `None`.

	up_block_types (`tuple[str]`, необязательный, по умолчанию `("AttnUpBlock2D", "AttnUpBlock2D", "AttnUpBlock2D", "UpBlock2D")`) : кортеж типов блоков апсэмплинга.

	block_out_channels (`tuple[int]`, optional, по умолчанию `(224, 448, 672, 896)`) : кортеж каналов вывода блоков.

	layers_per_block (`int`, необязательный, по умолчанию `2`) : Количество слоёв в каждом блоке.

	mid_block_scale_factor (`float`, необязательный, по умолчанию `1`) : Коэффициент масштабирования для среднего блока.

	downsample_padding (`int`, optional, по умолчанию `1`) : Отступ для свёртки downsampling.

	downsample_type (`str`, необязательный, по умолчанию `conv`) : Тип downsampling для слоев downsampling. Выберите между "conv" и "resnet"

	upsample_type (`str`, необязательный, по умолчанию `conv`) : Тип апсэмплирования для слоёв апсэмплирования. Выберите между "conv" и "resnet"

	dropout (`float`, необязательный, по умолчанию 0.0) : Вероятность dropout, которую следует использовать.

	act_fn (`str`, необязательный, по умолчанию `"silu"`) : Функция активации, которую следует использовать.

	attention_head_dim (`int`, необязательный, по умолчанию `8`) : Размер измерения головы внимания.

	norm_num_groups (`int`, optional, по умолчанию `32`) : Количество групп для нормализации.

	attn_norm_num_groups (`int`, необязательный, по умолчанию `None`) : Если задано целое число, в слое `Attention` среднего блока будет создан слой group norm с указанным количеством групп. Если оставлено как `None`, слой group norm будет создан только в том случае, если `resnet_time_scale_shift` установлено в значение `default`, и при создании будет содержать `norm_num_groups` групп.

	norm_eps (`float`, необязательный, по умолчанию `1e-5`) : Эпсилон для нормализации.

	resnet_time_scale_shift (`str`, необязательный, по умолчанию `"default"`) : Настройка сдвига масштаба времени для блоков ResNet (см. `ResnetBlock2D`). Выберите `default` или `scale_shift`.

	class_embed_type (`str`, необязательный, по умолчанию `None`) : Тип классовой эмбеддинга, который в итоге суммируется с временными эмбеддингами. Выберите одно из значений: `None`, `"timestep"` или `"identity"`.

	num_class_embeds (`int`, optional, по умолчанию `None`) : Входное измерение обучаемой матрицы эмбеддингов, которая проецируется в `time_embed_dim` при выполнении классовой обусловленности, если `class_embed_type` равно `None`.

	Двумерная модель UNet, которая принимает зашумленный образец и шаг времени и возвращает вывод той же формы.

	Эта модель наследуется от [ModelMixin](/docs/diffusers/main/ru/api/models/overview#diffusers.ModelMixin). См. документацию суперкласса для его универсальных методов, реализованных для всех моделей (например, загрузка или сохранение).

	#### forward[[diffusers.UNet2DModel.forward]]

	```python
	forward(sample: Tensor, timestep: typing.Union[torch.Tensor, float, int], class_labels: typing.Optional[torch.Tensor] = None, return_dict: bool = True)
	```

	[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/unets/unet_2d.py#L249)

	Параметры:

	sample (`torch.Tensor`) : Шумовой входной тензор со следующей формой `(batch, channel, height, width)`.

	timestep (`torch.Tensor` или `float` или `int`) : Количество шагов для удаления шума из входных данных.

	class_labels (`torch.Tensor`, необязательный, по умолчанию `None`) : Необязательные классы меток для условного формирования. Их эмбеддинги будут сложены с эмбеддингами временного шага.

	return_dict (`bool`, необязательный, по умолчанию `True`) : Возвращать ли [UNet2DOutput](/docs/diffusers/main/ru/api/models/unet2d#diffusers.models.unets.unet_2d.UNet2DOutput) вместо обычного кортежа.

	Возвращает: [UNet2DOutput](/docs/diffusers/main/ru/api/models/unet2d#diffusers.models.unets.unet_2d.UNet2DOutput) или `tuple`

	Если `return_dict` равно True, возвращается [UNet2DOutput](/docs/diffusers/main/ru/api/models/unet2d#diffusers.models.unets.unet_2d.UNet2DOutput), иначе возвращается `tuple`, где первый элемент — это тензор выборки.

	Метод forward модели [UNet2DModel](/docs/diffusers/main/ru/api/models/unet2d#diffusers.UNet2DModel).

	## UNet2DOutput[[diffusers.models.unets.unet_2d.UNet2DOutput]]

	#### diffusers.models.unets.unet_2d.UNet2DOutput[[diffusers.models.unets.unet_2d.UNet2DOutput]]

	```python
	diffusers.models.unets.unet_2d.UNet2DOutput(sample: Tensor)
	```

	[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/unets/unet_2d.py#L27)

	Параметры:

	sample (`torch.Tensor` формы `(batch_size, num_channels, height, width)`) : Скрытые состояния, выведенные из последнего слоя модели.

	Вывод [UNet2DModel](/docs/diffusers/main/ru/api/models/unet2d#diffusers.UNet2DModel).