diffusers/v0.43.0/ru/api/models/autoencoder_kl_kvae_audio.md

AutoencoderKLKVAEAudio

Одномерный свёрточный вариационный автоэнкодер (VAE) с потерей KL для аудио, предложенный командой Kandinsky Lab в KVAE-Audio. Он сжимает необработанные полнодиапазонные (48 кГц) звуковые сигналы в компактные непрерывные латенты и восстанавливает их с высокой точностью для речи, музыки и общего аудио.

Модель можно загрузить с помощью следующего фрагмента кода.

import torch
from diffusers import AutoencoderKLKVAEAudio

vae = AutoencoderKLKVAEAudio.from_pretrained("kandinskylab/KVAE-Audio", subfolder="diffusers", dtype=torch.float32)

AutoencoderKLKVAEAudio[[diffusers.AutoencoderKLKVAEAudio]]

diffusers.AutoencoderKLKVAEAudio[[diffusers.AutoencoderKLKVAEAudio]]

diffusers.AutoencoderKLKVAEAudio(encoder_dim: int = 64, encoder_rates: list[int] = [2, 3, 4, 5, 8], latent_dim: int = 2048, codebook_dim: int = 64, decoder_dim: int = 1536, decoder_rates: list[int] = [8, 5, 4, 3, 2], sample_rate: int = 48000, num_channels: int = 1, attn_num_heads: int = 8)

Источник

Параметры:

encoder_dim (int, optional, по умолчанию 64) : Базовое измерение каналов для кодировщика; удваивается на каждом этапе понижающей дискретизации.

encoder_rates (list[int], необязательный, по умолчанию [2, 3, 4, 5, 8]) : Шаги для понижения разрешения в кодировщике.

latent_dim (int, optional, по умолчанию 2048) : Размерность канала на выходе кодировщика (до узкого места in_proj).

codebook_dim (int, optional, по умолчанию 64) : Размерность канала в латентном пространстве апостериорного распределения (после бутылочного горлышка in_proj).

decoder_dim (int, optional, по умолчанию 1536) : Базовое измерение каналов для декодера; уменьшается вдвое на каждом этапе апсемплинга.

decoder_rates (list[int], необязательный, по умолчанию [8, 5, 4, 3, 2]) : Ступени для апсемплинга в декодере.

sample_rate (int, optional, по умолчанию 48000) : Частота дискретизации, в Гц, на которой обучалась модель.

num_channels (int, необязательный, по умолчанию 1) : Количество каналов в аудиоданных (1 для моно).

attn_num_heads (int, optional, по умолчанию 8) : Количество головок в блоке само-внимания, применяемом к выходу кодировщика.

Одномерный свёрточный автоэнкодер для кодирования сырых аудиосигналов в непрерывные латенты и декодирования их обратно в сигналы. Представлен в KVAE-Audio.

Эта модель наследуется от ModelMixin. См. документацию суперкласса для его универсальных методов, реализованных для всех моделей (например, загрузка или сохранение).

decode[[diffusers.AutoencoderKLKVAEAudio.decode]]

decode(z: Tensor, return_dict: bool = True)

Источник

Параметры:

z (torch.Tensor) : Входная партия латентных векторов.

return_dict (bool, необязательный, по умолчанию True) : Нужно ли возвращать DecoderOutput вместо обычного кортежа.

Возвращает: DecoderOutput или tuple

Если return_dict равно True, возвращается DecoderOutput, иначе возвращается обычный tuple.

Декодирование батча латентов в аудиоволны.

encode[[diffusers.AutoencoderKLKVAEAudio.encode]]

encode(audio_data: Tensor, return_dict: bool = True)

Источник

Параметры:

audio_data (torch.Tensor формы (batch_size, num_channels, num_samples)) : Входная партия сырых аудиоволновых форм.

return_dict (bool, необязательный, по умолчанию True) : Возвращать ли ~models.autoencoder_kl.AutoencoderKLOutput вместо обычного кортежа.

Возвращает:

Латентные представления закодированного аудио. Если return_dict равно True, возвращается ~models.autoencoder_kl.AutoencoderKLOutput, в противном случае возвращается обычный tuple.

Кодирует пакет аудиоволн в латенты.

forward[[diffusers.AutoencoderKLKVAEAudio.forward]]

forward(sample: Tensor, sample_posterior: bool = False, return_dict: bool = True, generator: typing.Optional[torch.Generator] = None)

Источник

Параметры:

sample (torch.Tensor формы (batch_size, num_channels, num_samples)) : Входная партия сырых аудиоволновых форм.

sample_posterior (bool, необязательный, по умолчанию False) : Флаг, определяющий, следует ли выполнять выборку из апостериорного распределения.

return_dict (bool, необязательный, по умолчанию True) : Возвращать ли DecoderOutput вместо обычного кортежа.

generator (torch.Generator, необязательный) : torch.Generator для обеспечения детерминированности выборки.

Возвращает: DecoderOutput или tuple

Если return_dict равно True, возвращается DecoderOutput, иначе возвращается обычный tuple.