diffusers/v0.43.0/id/api/models/autoencoder_oobleck.md

AutoencoderOobleck

Model variational autoencoder (VAE) Oobleck dengan kerugian KL diperkenalkan dalam Stability-AI/stable-audio-tools dan Stable Audio Open oleh Stability AI. Model ini digunakan dalam 🤗 Diffusers untuk mengkodekan gelombang audio menjadi latens dan untuk mendekode representasi latens menjadi gelombang audio.

Abstrak dari makalah tersebut adalah:

Model generatif terbuka sangat penting bagi komunitas, karena memungkinkan fine-tuning dan berfungsi sebagai baseline saat mempresentasikan model baru. Namun, sebagian besar model text-to-audio saat ini bersifat privat dan tidak dapat diakses oleh seniman maupun peneliti untuk dikembangkan lebih lanjut. Di sini, kami menjelaskan arsitektur dan proses pelatihan dari model text-to-audio open-weights baru yang dilatih dengan data Creative Commons. Evaluasi kami menunjukkan bahwa kinerja model ini kompetitif dengan state-of-the-art di berbagai metrik. Secara khusus, hasil FDopenl3 yang dilaporkan (mengukur realisme dari generasi) menunjukkan potensinya untuk sintesis suara stereo berkualitas tinggi pada 44.1kHz.

AutoencoderOobleck[[diffusers.AutoencoderOobleck]]

diffusers.AutoencoderOobleck[[diffusers.AutoencoderOobleck]]

diffusers.AutoencoderOobleck(encoder_hidden_size = 128, downsampling_ratios = [2, 4, 4, 8, 8], channel_multiples = [1, 2, 4, 8, 16], decoder_channels = 128, decoder_input_channels = 64, audio_channels = 2, sampling_rate = 44100)

Sumber

Parameter:

encoder_hidden_size (int, opsional, default 128) : Dimensi representasi antara untuk encoder.

downsampling_ratios (list[int], opsional, default [2, 4, 4, 8, 8]) : Rasio untuk downsampling di encoder. Rasio ini digunakan dalam urutan terbalik untuk upsampling di decoder.

channel_multiples (list[int], opsional, defaultnya [1, 2, 4, 8, 16]) : Kelipatan yang digunakan untuk menentukan ukuran tersembunyi dari lapisan tersembunyi.

decoder_channels (int, opsional, default 128) : Dimensi representasi antara untuk decoder.

decoder_input_channels (int, opsional, defaultnya 64) : Dimensi input untuk decoder. Bersesuaian dengan dimensi laten.

audio_channels (int, opsional, defaultnya 2) : Jumlah channel dalam data audio. Bisa 1 untuk mono atau 2 untuk stereo.

sampling_rate (int, opsional, default 44100) : Laju sampling di mana gelombang audio harus didigitalisasi, dinyatakan dalam hertz (Hz).

Autoencoder untuk mengkodekan waveform menjadi latents dan mendekode representasi latent menjadi waveform. Pertama kali diperkenalkan dalam Stable Audio.

Model ini mewarisi dari ModelMixin. Periksa dokumentasi kelas induk untuk metode generiknya yang diimplementasikan untuk semua model (seperti mengunduh atau menyimpan).

decode[[diffusers.AutoencoderOobleck.decode]]

decode(z: FloatTensor, return_dict: bool = True, generator = None)

Sumber

Parameter:

z (torch.Tensor) : Batch input dari vektor laten.

return_dict (bool, opsional, defaultnya True) : Apakah akan mengembalikan ~models.vae.OobleckDecoderOutput alih-alih tuple biasa.

Mengembalikan: ~models.vae.OobleckDecoderOutput atau tuple

If return_dict is True, a ~models.vae.OobleckDecoderOutput is returned, otherwise a plain tuple is returned.

Decode sekelompok gambar.

encode[[diffusers.AutoencoderOobleck.encode]]

encode(x: Tensor, return_dict: bool = True)

Sumber

Parameter:

x (torch.Tensor) : Batch input gambar.

return_dict (bool, opsional, defaultnya True) : Apakah akan mengembalikan ~models.autoencoder_kl.AutoencoderKLOutput alih-alih tuple biasa.

Mengembalikan:

Representasi laten dari gambar yang dikodekan. Jika return_dict bernilai True, sebuah ~models.autoencoder_kl.AutoencoderKLOutput dikembalikan, selain itu sebuah tuple polos yang dikembalikan.

Enkodekan batch gambar menjadi latents.

forward[[diffusers.AutoencoderOobleck.forward]]

forward(sample: Tensor, sample_posterior: bool = False, return_dict: bool = True, generator: typing.Optional[torch.Generator] = None)

Sumber

Parameter:

sample (torch.Tensor) : Sampel input.

sample_posterior (bool, opsional, defaultnya False) : Apakah akan melakukan sampling dari posterior.

return_dict (bool, opsional, defaultnya True) : Apakah akan mengembalikan OobleckDecoderOutput alih-alih tuple biasa.

generator (torch.Generator, opsional) : Sebuah torch.Generator untuk membuat sampling menjadi deterministik.

Mengembalikan: ~models.vae.OobleckDecoderOutput atau tuple

Jika return_dict bernilai True, sebuah ~models.vae.OobleckDecoderOutput akan dikembalikan, selain itu sebuah tuple biasa akan dikembalikan.

OobleckDecoderOutput[[diffusers.models.autoencoders.autoencoder_oobleck.OobleckDecoderOutput]]

diffusers.models.autoencoders.autoencoder_oobleck.OobleckDecoderOutput[[diffusers.models.autoencoders.autoencoder_oobleck.OobleckDecoderOutput]]

diffusers.models.autoencoders.autoencoder_oobleck.OobleckDecoderOutput(sample: Tensor)

Sumber

Parameter:

sample (torch.Tensor dengan bentuk (batch_size, audio_channels, sequence_length)) : Sampel output yang didekodekan dari lapisan terakhir model.

Output dari metode decoding.

AutoencoderOobleckOutput[[diffusers.models.autoencoders.autoencoder_oobleck.AutoencoderOobleckOutput]]

diffusers.models.autoencoders.autoencoder_oobleck.AutoencoderOobleckOutput[[diffusers.models.autoencoders.autoencoder_oobleck.AutoencoderOobleckOutput]]

diffusers.models.autoencoders.autoencoder_oobleck.AutoencoderOobleckOutput(latent_dist: OobleckDiagonalGaussianDistribution)

Sumber

Parameter:

latent_dist (OobleckDiagonalGaussianDistribution) : Output hasil enkripsi dari Encoder yang direpresentasikan sebagai mean dan standar deviasi dari OobleckDiagonalGaussianDistribution. OobleckDiagonalGaussianDistribution memungkinkan pengambilan sampel latents dari distribusi tersebut.

Output dari metode encoding AutoencoderOobleck.