diffusers/v0.43.0/pt/api/models/autoencoder_kl_kvae_audio.md

AutoencoderKLKVAEAudio

Um autoencoder variacional (VAE) de convolução 1D com perda KL para áudio, introduzido pela equipe Kandinsky Lab em KVAE-Audio. Ele comprime formas de onda brutas de banda completa (48 kHz) em latentes contínuos compactos e as reconstrói com alta fidelidade em fala, música e áudio geral.

O modelo pode ser carregado com o seguinte trecho de código.

import torch
from diffusers import AutoencoderKLKVAEAudio

vae = AutoencoderKLKVAEAudio.from_pretrained("kandinskylab/KVAE-Audio", subfolder="diffusers", dtype=torch.float32)

AutoencoderKLKVAEAudio[[diffusers.AutoencoderKLKVAEAudio]]

diffusers.AutoencoderKLKVAEAudio[[diffusers.AutoencoderKLKVAEAudio]]

diffusers.AutoencoderKLKVAEAudio(encoder_dim: int = 64, encoder_rates: list[int] = [2, 3, 4, 5, 8], latent_dim: int = 2048, codebook_dim: int = 64, decoder_dim: int = 1536, decoder_rates: list[int] = [8, 5, 4, 3, 2], sample_rate: int = 48000, num_channels: int = 1, attn_num_heads: int = 8)

Fonte

Parâmetros:

encoder_dim (int, opcional, padrão 64) : Dimensão base do canal para o codificador; duplicada em cada etapa de subamostragem.

encoder_rates (list[int], opcional, padrão [2, 3, 4, 5, 8]) : Passos para o downsampling no encoder.

latent_dim (int, opcional, padrão 2048) : Dimensão do canal da saída do codificador (antes do gargalo in_proj).

codebook_dim (int, opcional, padrão 64) : Dimensão do canal do espaço latente da distribuição posterior (após o gargalo in_proj).

decoder_dim (int, opcional, padrão 1536) : Dimensão base de canais para o decodificador; reduzida pela metade em cada etapa de amostragem ascendente.

decoder_rates (list[int], opcional, padrão [8, 5, 4, 3, 2]) : Passos para o upsampling no decodificador.

sample_rate (int, opcional, padrão 48000) : A taxa de amostragem, em Hz, na qual o modelo foi treinado.

num_channels (int, opcional, padrão 1) : Número de canais nos dados de áudio (1 para mono).

attn_num_heads (int, opcional, padrão 8) : Número de cabeças no bloco de autoatenção aplicado à saída do codificador.

Um autoencoder convolucional 1D para codificar formas de onda de áudio bruto em latentes contínuos e decodificá-las de volta em formas de onda. Introduzido em KVAE-Audio.

Este modelo herda de ModelMixin. Consulte a documentação da superclasse para seus métodos genéricos implementados para todos os modelos (como download ou salvamento).

decode[[diffusers.AutoencoderKLKVAEAudio.decode]]

decode(z: Tensor, return_dict: bool = True)

Fonte

Parâmetros:

z (torch.Tensor) : Lote de entrada de vetores latentes.

return_dict (bool, opcional, padrão True) : Se deve retornar um DecoderOutput em vez de uma tupla simples.

Retorna: DecoderOutput ou tuple

Se return_dict for True, um DecoderOutput é retornado; caso contrário, uma tuple simples é retornada.

Decodifica um lote de latentes em formas de onda de áudio.

encode[[diffusers.AutoencoderKLKVAEAudio.encode]]

encode(audio_data: Tensor, return_dict: bool = True)

Fonte

Parâmetros:

audio_data (torch.Tensor de forma (batch_size, num_channels, num_samples)) : Lote de entrada de formas de onda de áudio bruto.

return_dict (bool, opcional, padrão True) : Se deve retornar um ~models.autoencoder_kl.AutoencoderKLOutput em vez de uma tupla simples.

Retorna:

As representações latentes do áudio codificado. Se return_dict for True, um ~models.autoencoder_kl.AutoencoderKLOutput é retornado; caso contrário, uma tuple simples é retornada.

Codifica um lote de formas de onda de áudio em latentes.

forward[[diffusers.AutoencoderKLKVAEAudio.forward]]

forward(sample: Tensor, sample_posterior: bool = False, return_dict: bool = True, generator: typing.Optional[torch.Generator] = None)

Fonte

Parâmetros:

sample (torch.Tensor de forma (batch_size, num_channels, num_samples)) : Lote de entrada de formas de onda de áudio bruto.

sample_posterior (bool, opcional, padrão False) : Se deve amostrar da posterior.

return_dict (bool, opcional, padrão True) : Se deve ou não retornar um DecoderOutput em vez de uma tupla simples.

generator (torch.Generator, opcional) : Um torch.Generator para tornar a amostragem determinística.

Retorna: DecoderOutput ou tuple

Se return_dict for True, um DecoderOutput é retornado; caso contrário, uma tuple simples é retornada.