diffusers/main/ru/api/models/vq.md

VQModel

Модель VQ-VAE была представлена в работе Neural Discrete Representation Learning Аарона ван ден Оорда, Ориоля Виньяльса и Корая Кавукчуоглу. В 🤗 Diffusers эта модель используется для декодирования латентных представлений в изображения. В отличие от AutoencoderKL, VQModel работает в квантованном латентном пространстве.

Аннотация из статьи:

Получение полезных представлений без надзора остаётся ключевой задачей машинного обучения. В данной статье мы предлагаем простую, но мощную генеративную модель, которая обучает такие дискретные представления. Наша модель, Vector Quantised-Variational AutoEncoder (VQ-VAE), отличается от VAE двумя ключевыми особенностями: сеть-энкодер выводит дискретные, а не непрерывные коды; а априорное распределение обучается, а не является статическим. Чтобы обучить дискретное латентное представление, мы используем идеи векторного квантования (VQ). Применение метода VQ позволяет модели обойти проблему «коллапса апостериорного распределения» — ситуацию, при которой латентные переменные игнорируются, если они используются в паре с мощным авторегрессионным декодером, — которая обычно наблюдается в рамках VAE. Сочетая эти представления с авторегрессионным априорным распределением, модель способна генерировать изображения, видео и речь высокого качества, а также выполнять конвертацию говорящего и обучение фонем без надзора, что дополнительно подтверждает полезность полученных представлений.

VQModel[[diffusers.VQModel]]

diffusers.VQModel[[diffusers.VQModel]]

diffusers.VQModel(in_channels: int = 3, out_channels: int = 3, down_block_types: tuple[str, ...] = ('DownEncoderBlock2D',), up_block_types: tuple[str, ...] = ('UpDecoderBlock2D',), block_out_channels: tuple[int, ...] = (64,), layers_per_block: int = 1, act_fn: str = 'silu', latent_channels: int = 3, sample_size: int = 32, num_vq_embeddings: int = 256, norm_num_groups: int = 32, vq_embed_dim: int | None = None, scaling_factor: float = 0.18215, norm_type: str = 'group', mid_block_add_attention = True, lookup_from_codebook = False, force_upcast = False)

Источник

Параметры:

in_channels (int, необязательный, по умолчанию 3) : Количество каналов во входном изображении.

out_channels (int, optional, по умолчанию 3) : Количество каналов на выходе.

down_block_types (tuple[str], необязательный, по умолчанию ("DownEncoderBlock2D",)) : кортеж типов блоков даунсемплинга.

up_block_types (tuple[str], необязательный, по умолчанию ("UpDecoderBlock2D",)) : кортеж типов блоков апсемплинга.

block_out_channels (tuple[int], необязательный, по умолчанию (64,)) : кортеж каналов вывода блоков.

layers_per_block (int, необязательный, по умолчанию 1) : Количество слоёв в каждом блоке.

act_fn (str, необязательный, по умолчанию "silu") : Функция активации, которую следует использовать.

latent_channels (int, необязательный, по умолчанию 3) : Количество каналов в латентном пространстве.

sample_size (int, необязательный, по умолчанию 32) : Размер входной выборки.

num_vq_embeddings (int, optional, по умолчанию 256) : Количество векторов в кодовой книге VQ-VAE.

norm_num_groups (int, optional, по умолчанию 32) : Количество групп для слоёв нормализации.

vq_embed_dim (int, optional) : Размерность скрытых векторов кодовой книги в VQ-VAE.

scaling_factor (float, необязательный, по умолчанию 0.18215) : Компонентное стандартное отклонение обученного латентного пространства, вычисленное на основе первой партии обучающей выборки. Используется для масштабирования латентного пространства до единичной дисперсии при обучении диффузионной модели. Перед передачей в диффузионную модель латенты масштабируются по формуле z = z * scaling_factor. При декодировании латенты возвращаются к исходному масштабу по формуле: z = 1 / scaling_factor * z. Дополнительные сведения см. в разделах 4.3.2 и D.1 статьи High-Resolution Image Synthesis with Latent Diffusion Models.

norm_type (str, необязательный, по умолчанию "group") : Тип слоя нормализации для использования. Может быть "group" или "spatial".

Модель VQ-VAE для декодирования латентных представлений.

Эта модель наследуется от ModelMixin. См. документацию суперкласса для его универсальных методов, реализованных для всех моделей (например, загрузка или сохранение).

forward[[diffusers.VQModel.forward]]

forward(sample: Tensor, return_dict: bool = True)

Источник

Параметры:

sample (torch.Tensor) : Входящий образец.

return_dict (bool, необязательный, по умолчанию True) : Возвращать ли models.autoencoders.vq_model.VQEncoderOutput вместо обычного кортежа.

Возвращает: VQEncoderOutput или tuple

Если return_dict равно True, возвращается VQEncoderOutput, иначе возвращается обычный tuple.

Метод forward класса VQModel.

VQEncoderOutput[[diffusers.models.autoencoders.vq_model.VQEncoderOutput]]

diffusers.models.autoencoders.vq_model.VQEncoderOutput[[diffusers.models.autoencoders.vq_model.VQEncoderOutput]]

diffusers.models.autoencoders.vq_model.VQEncoderOutput(latents: Tensor)

Источник

Параметры:

latents (torch.Tensor формы (batch_size, num_channels, height, width)) : Закодированный выходной образец из последнего слоя модели.

Результат метода кодирования VQModel.