Buckets:

hf-doc-build
/

doc

Files

xet

hf-doc-build/doc / diffusers /main /ru /api /models /vq.md

mishig

3 days ago

preview code

download

raw

8.92 kB

# VQModel

Модель VQ-VAE была представлена в работе [Neural Discrete Representation Learning](https://huggingface.co/papers/1711.00937) Аарона ван ден Оорда, Ориоля Виньяльса и Корая Кавукчуоглу. В 🤗 Diffusers эта модель используется для декодирования латентных представлений в изображения. В отличие от [AutoencoderKL](/docs/diffusers/main/ru/api/models/autoencoderkl#diffusers.AutoencoderKL), [VQModel](/docs/diffusers/main/ru/api/models/vq#diffusers.VQModel) работает в квантованном латентном пространстве.

Аннотация из статьи:

*Получение полезных представлений без надзора остаётся ключевой задачей машинного обучения. В данной статье мы предлагаем простую, но мощную генеративную модель, которая обучает такие дискретные представления. Наша модель, Vector Quantised-Variational AutoEncoder (VQ-VAE), отличается от VAE двумя ключевыми особенностями: сеть-энкодер выводит дискретные, а не непрерывные коды; а априорное распределение обучается, а не является статическим. Чтобы обучить дискретное латентное представление, мы используем идеи векторного квантования (VQ). Применение метода VQ позволяет модели обойти проблему «коллапса апостериорного распределения» — ситуацию, при которой латентные переменные игнорируются, если они используются в паре с мощным авторегрессионным декодером, — которая обычно наблюдается в рамках VAE. Сочетая эти представления с авторегрессионным априорным распределением, модель способна генерировать изображения, видео и речь высокого качества, а также выполнять конвертацию говорящего и обучение фонем без надзора, что дополнительно подтверждает полезность полученных представлений.*

## VQModel[[diffusers.VQModel]]

#### diffusers.VQModel[[diffusers.VQModel]]

```python
diffusers.VQModel(in_channels: int = 3, out_channels: int = 3, down_block_types: tuple[str, ...] = ('DownEncoderBlock2D',), up_block_types: tuple[str, ...] = ('UpDecoderBlock2D',), block_out_channels: tuple[int, ...] = (64,), layers_per_block: int = 1, act_fn: str = 'silu', latent_channels: int = 3, sample_size: int = 32, num_vq_embeddings: int = 256, norm_num_groups: int = 32, vq_embed_dim: int | None = None, scaling_factor: float = 0.18215, norm_type: str = 'group', mid_block_add_attention = True, lookup_from_codebook = False, force_upcast = False)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/vq_model.py#L40)

**Параметры:**

in_channels (int, *необязательный*, по умолчанию 3) : Количество каналов во входном изображении.
out_channels (int, *optional*, по умолчанию 3) : Количество каналов на выходе.

down_block_types (`tuple[str]`, *необязательный*, по умолчанию `("DownEncoderBlock2D",)`) : кортеж типов блоков даунсемплинга.

up_block_types (`tuple[str]`, *необязательный*, по умолчанию `("UpDecoderBlock2D",)`) : кортеж типов блоков апсемплинга.

block_out_channels (`tuple[int]`, *необязательный*, по умолчанию `(64,)`) : кортеж каналов вывода блоков.

layers_per_block (`int`, *необязательный*, по умолчанию `1`) : Количество слоёв в каждом блоке.

act_fn (`str`, *необязательный*, по умолчанию `"silu"`) : Функция активации, которую следует использовать.
latent_channels (`int`, *необязательный*, по умолчанию `3`) : Количество каналов в латентном пространстве.

sample_size (`int`, *необязательный*, по умолчанию `32`) : Размер входной выборки.
num_vq_embeddings (`int`, *optional*, по умолчанию `256`) : Количество векторов в кодовой книге VQ-VAE.
norm_num_groups (`int`, *optional*, по умолчанию `32`) : Количество групп для слоёв нормализации.
vq_embed_dim (`int`, *optional*) : Размерность скрытых векторов кодовой книги в VQ-VAE.
scaling_factor (`float`, *необязательный*, по умолчанию `0.18215`) : Компонентное стандартное отклонение обученного латентного пространства, вычисленное на основе первой партии обучающей выборки. Используется для масштабирования латентного пространства до единичной дисперсии при обучении диффузионной модели. Перед передачей в диффузионную модель латенты масштабируются по формуле `z = z * scaling_factor`. При декодировании латенты возвращаются к исходному масштабу по формуле: `z = 1 / scaling_factor * z`. Дополнительные сведения см. в разделах 4.3.2 и D.1 статьи [High-Resolution Image Synthesis with Latent Diffusion Models](https://huggingface.co/papers/2112.10752).

norm_type (`str`, *необязательный*, по умолчанию `"group"`) : Тип слоя нормализации для использования. Может быть `"group"` или `"spatial"`.
Модель VQ-VAE для декодирования латентных представлений.
Эта модель наследуется от [ModelMixin](/docs/diffusers/main/ru/api/models/overview#diffusers.ModelMixin). См. документацию суперкласса для его универсальных методов, реализованных для всех моделей (например, загрузка или сохранение).
#### forward[[diffusers.VQModel.forward]]
```python
forward(sample: Tensor, return_dict: bool = True)
```
[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/vq_model.py#L163)
**Параметры:**
sample (`torch.Tensor`) : Входящий образец.
return_dict (`bool`, *необязательный*, по умолчанию `True`) : Возвращать ли [models.autoencoders.vq_model.VQEncoderOutput](/docs/diffusers/main/ru/api/models/vq#diffusers.models.autoencoders.vq_model.VQEncoderOutput) вместо обычного кортежа.
**Возвращает:** [VQEncoderOutput](/docs/diffusers/main/ru/api/models/vq#diffusers.models.autoencoders.vq_model.VQEncoderOutput) или `tuple`
Если return_dict равно True, возвращается [VQEncoderOutput](/docs/diffusers/main/ru/api/models/vq#diffusers.models.autoencoders.vq_model.VQEncoderOutput), иначе возвращается обычный `tuple`.
Метод forward класса [VQModel](/docs/diffusers/main/ru/api/models/vq#diffusers.VQModel).
## VQEncoderOutput[[diffusers.models.autoencoders.vq_model.VQEncoderOutput]]
#### diffusers.models.autoencoders.vq_model.VQEncoderOutput[[diffusers.models.autoencoders.vq_model.VQEncoderOutput]]
```python
diffusers.models.autoencoders.vq_model.VQEncoderOutput(latents: Tensor)
```
[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/vq_model.py#L28)
**Параметры:**
latents (`torch.Tensor` формы `(batch_size, num_channels, height, width)`) : Закодированный выходной образец из последнего слоя модели.
Результат метода кодирования VQModel.

Xet Storage Details

Size:: 8.92 kB
Xet hash:: 7e7f9a4afce73288590b281b1b6fa7347a5a469b70da8bb7d58a6553f1ddb0cb

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.

	# VQModel

	Модель VQ-VAE была представлена в работе [Neural Discrete Representation Learning](https://huggingface.co/papers/1711.00937) Аарона ван ден Оорда, Ориоля Виньяльса и Корая Кавукчуоглу. В 🤗 Diffusers эта модель используется для декодирования латентных представлений в изображения. В отличие от [AutoencoderKL](/docs/diffusers/main/ru/api/models/autoencoderkl#diffusers.AutoencoderKL), [VQModel](/docs/diffusers/main/ru/api/models/vq#diffusers.VQModel) работает в квантованном латентном пространстве.

	Аннотация из статьи:

	Получение полезных представлений без надзора остаётся ключевой задачей машинного обучения. В данной статье мы предлагаем простую, но мощную генеративную модель, которая обучает такие дискретные представления. Наша модель, Vector Quantised-Variational AutoEncoder (VQ-VAE), отличается от VAE двумя ключевыми особенностями: сеть-энкодер выводит дискретные, а не непрерывные коды; а априорное распределение обучается, а не является статическим. Чтобы обучить дискретное латентное представление, мы используем идеи векторного квантования (VQ). Применение метода VQ позволяет модели обойти проблему «коллапса апостериорного распределения» — ситуацию, при которой латентные переменные игнорируются, если они используются в паре с мощным авторегрессионным декодером, — которая обычно наблюдается в рамках VAE. Сочетая эти представления с авторегрессионным априорным распределением, модель способна генерировать изображения, видео и речь высокого качества, а также выполнять конвертацию говорящего и обучение фонем без надзора, что дополнительно подтверждает полезность полученных представлений.

	## VQModel[[diffusers.VQModel]]

	#### diffusers.VQModel[[diffusers.VQModel]]

	```python
	diffusers.VQModel(in_channels: int = 3, out_channels: int = 3, down_block_types: tuple[str, ...] = ('DownEncoderBlock2D',), up_block_types: tuple[str, ...] = ('UpDecoderBlock2D',), block_out_channels: tuple[int, ...] = (64,), layers_per_block: int = 1, act_fn: str = 'silu', latent_channels: int = 3, sample_size: int = 32, num_vq_embeddings: int = 256, norm_num_groups: int = 32, vq_embed_dim: int \| None = None, scaling_factor: float = 0.18215, norm_type: str = 'group', mid_block_add_attention = True, lookup_from_codebook = False, force_upcast = False)
	```

	[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/vq_model.py#L40)

	Параметры:

	in_channels (int, необязательный, по умолчанию 3) : Количество каналов во входном изображении.

	out_channels (int, optional, по умолчанию 3) : Количество каналов на выходе.

	down_block_types (`tuple[str]`, необязательный, по умолчанию `("DownEncoderBlock2D",)`) : кортеж типов блоков даунсемплинга.

	up_block_types (`tuple[str]`, необязательный, по умолчанию `("UpDecoderBlock2D",)`) : кортеж типов блоков апсемплинга.

	block_out_channels (`tuple[int]`, необязательный, по умолчанию `(64,)`) : кортеж каналов вывода блоков.

	layers_per_block (`int`, необязательный, по умолчанию `1`) : Количество слоёв в каждом блоке.

	act_fn (`str`, необязательный, по умолчанию `"silu"`) : Функция активации, которую следует использовать.

	latent_channels (`int`, необязательный, по умолчанию `3`) : Количество каналов в латентном пространстве.

	sample_size (`int`, необязательный, по умолчанию `32`) : Размер входной выборки.

	num_vq_embeddings (`int`, optional, по умолчанию `256`) : Количество векторов в кодовой книге VQ-VAE.

	norm_num_groups (`int`, optional, по умолчанию `32`) : Количество групп для слоёв нормализации.

	vq_embed_dim (`int`, optional) : Размерность скрытых векторов кодовой книги в VQ-VAE.

	scaling_factor (`float`, необязательный, по умолчанию `0.18215`) : Компонентное стандартное отклонение обученного латентного пространства, вычисленное на основе первой партии обучающей выборки. Используется для масштабирования латентного пространства до единичной дисперсии при обучении диффузионной модели. Перед передачей в диффузионную модель латенты масштабируются по формуле `z = z * scaling_factor`. При декодировании латенты возвращаются к исходному масштабу по формуле: `z = 1 / scaling_factor * z`. Дополнительные сведения см. в разделах 4.3.2 и D.1 статьи [High-Resolution Image Synthesis with Latent Diffusion Models](https://huggingface.co/papers/2112.10752).

	norm_type (`str`, необязательный, по умолчанию `"group"`) : Тип слоя нормализации для использования. Может быть `"group"` или `"spatial"`.

	Модель VQ-VAE для декодирования латентных представлений.

	Эта модель наследуется от [ModelMixin](/docs/diffusers/main/ru/api/models/overview#diffusers.ModelMixin). См. документацию суперкласса для его универсальных методов, реализованных для всех моделей (например, загрузка или сохранение).

	#### forward[[diffusers.VQModel.forward]]

	```python
	forward(sample: Tensor, return_dict: bool = True)
	```

	[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/vq_model.py#L163)

	Параметры:

	sample (`torch.Tensor`) : Входящий образец.

	return_dict (`bool`, необязательный, по умолчанию `True`) : Возвращать ли [models.autoencoders.vq_model.VQEncoderOutput](/docs/diffusers/main/ru/api/models/vq#diffusers.models.autoencoders.vq_model.VQEncoderOutput) вместо обычного кортежа.

	Возвращает: [VQEncoderOutput](/docs/diffusers/main/ru/api/models/vq#diffusers.models.autoencoders.vq_model.VQEncoderOutput) или `tuple`

	Если return_dict равно True, возвращается [VQEncoderOutput](/docs/diffusers/main/ru/api/models/vq#diffusers.models.autoencoders.vq_model.VQEncoderOutput), иначе возвращается обычный `tuple`.

	Метод forward класса [VQModel](/docs/diffusers/main/ru/api/models/vq#diffusers.VQModel).

	## VQEncoderOutput[[diffusers.models.autoencoders.vq_model.VQEncoderOutput]]

	#### diffusers.models.autoencoders.vq_model.VQEncoderOutput[[diffusers.models.autoencoders.vq_model.VQEncoderOutput]]

	```python
	diffusers.models.autoencoders.vq_model.VQEncoderOutput(latents: Tensor)
	```

	[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/vq_model.py#L28)

	Параметры:

	latents (`torch.Tensor` формы `(batch_size, num_channels, height, width)`) : Закодированный выходной образец из последнего слоя модели.

	Результат метода кодирования VQModel.