Hugging Face's logo

Diffusers documentation

AutoencoderOobleck

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

AutoencoderOobleck

KL kaybı içeren Oobleck varyansiyonel oto-encoder (VAE) modeli, Stability AI tarafından Stability-AI/stable-audio-tools ve Stable Audio Open içinde tanıtılmıştır. Model, 🤗 Diffusers içinde ses dalgalarını latentlere kodlamak ve latent temsilleri ses dalgalarına çözmek için kullanılır.

Makalenin özeti şudur:

Açık üretken modeller, topluluk için hayati önem taşır; yeni modelleri sunarken ince ayar yapılmasına ve baz çizgileri olarak kullanılmasına olanak tanır. Ancak mevcut metinden sese modellerin çoğu özel olup sanatçıların ve araştırmacıların üzerine inşa edebileceği bir erişime sahip değildir. Burada, Creative Commons verileriyle eğitilen yeni bir açık ağırlıklı metinden sese modelinin mimarisini ve eğitim sürecini açıklıyoruz. Değerlendirmemiz, modelin performansının çeşitli metrikler açısından son teknolojiyle rekabet edebilir olduğunu göstermektedir. Özellikle raporlanan FDopenl3 sonuçları (üretkenliklerin gerçekçiliğini ölçen), 44.1kHz'de yüksek kaliteli stereo ses sentezi için potansiyelini ortaya koymaktadır.

AutoencoderOobleck

sınıf diffusers.AutoencoderOobleck

< >

( encoder_hidden_size = 128downsampling_ratios = [2, 4, 4, 8, 8]channel_multiples = [1, 2, 4, 8, 16]decoder_channels = 128decoder_input_channels = 64audio_channels = 2sampling_rate = 44100 )

Parametreler

  • encoder_hidden_size (int, isteğe bağlı, varsayılan 128) — Kodlayıcının ara temsil boyutu.
  • downsampling_ratios (list[int], isteğe bağlı, varsayılan [2, 4, 4, 8, 8]) — Kodlayıcıda indirgeme (downsampling) oranları. Bunlar, çözücüde yükseltme (upsampling) için ters sırada kullanılır.
  • channel_multiples (list[int], isteğe bağlı, varsayılan [1, 2, 4, 8, 16]) — Gizli katmanların gizli boyutlarını belirlemek için kullanılan katlar.
  • decoder_channels (int, isteğe bağlı, varsayılan 128) — Çözücü için ara temsil boyutu.
  • decoder_input_channels (int, isteğe bağlı, varsayılan 64) — Ayrıştırıcının giriş boyutu. Gizli boyuta karşılık gelir.
  • audio_channels (int, isteğe bağlı, varsayılan 2) — Ses verisindeki kanal sayısı. Mono için 1 veya stereo için 2.
  • sampling_rate (int, isteğe bağlı, varsayılan 44100) — Ses dalgasının dijitalleştirilmesi gereken örnekleme hızı, hertz (Hz) cinsinden ifade edilir.

Dalga formlarını latentlere kodlamak ve latent temsilleri dalga formlarına çözmek için bir otoenkoder. İlk olarak Stable Audio'da tanıtıldı.

Bu model ModelMixin sınıfından devralır. Tüm modeller için uygulanan genel yöntemleri (indirme veya kaydetme gibi) görmek için üst sınıfın belgelendirmesine bakın.

decode

< >

( z: FloatTensorreturn_dict: bool = Truegenerator = None ) → ~models.vae.OobleckDecoderOutput or tuple

Parametreler

  • z (torch.Tensor) — Girdi partisi latent vektörleri.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.vae.OobleckDecoderOutput döndürülüp döndürülmemesi.

Dönüş değeri

~models.vae.OobleckDecoderOutput veya tuple

return_dict True ise, ~models.vae.OobleckDecoderOutput döndürülür, aksi takdirde düz bir tuple döndürülür.

Bir görüntü grubunu çözümlen.

encode

< >

( x: Tensorreturn_dict: bool = True )

Parametreler

  • x (torch.Tensor) — Görsellerin giriş partisi.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.autoencoder_kl.AutoencoderKLOutput döndürülüp döndürülmediğini belirtir.

Bir görüntü grubunu latentlere kodlayın.

forward

< >

( sample: Tensorsample_posterior: bool = Falsereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → ~models.vae.OobleckDecoderOutput or tuple

Parametreler

  • sample (torch.Tensor) — Girdi örneği.
  • sample_posterior (bool, isteğe bağlı, varsayılan False) — Posterior'dan örneklemeye alınıp alınmayacağı.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine OobleckDecoderOutput döndürülüp döndürülmemesi.
  • generator (torch.Generator, isteğe bağlı) — Örnekleme işlemini deterministik hale getirmek için kullanılan bir torch.Generator.

Dönüş değeri

~models.vae.OobleckDecoderOutput veya tuple

return_dict True ise, ~models.vae.OobleckDecoderOutput döndürülür, aksi takdirde düz bir tuple döndürülür.

OobleckDecoderOutput

sınıf diffusers.models.autoencoders.autoencoder_oobleck.OobleckDecoderOutput

< >

( sample: Tensor )

Parametreler

  • sample (torch.Tensor, şekli (batch_size, audio_channels, sequence_length)) — Modelin son katmanından gelen çözümlenmiş çıktı örneği.

Çözümleme yönteminin çıktısı.

AutoencoderOobleckOutput

sınıf diffusers.models.autoencoders.autoencoder_oobleck.AutoencoderOobleckOutput

< >

( latent_dist: OobleckDiagonalGaussianDistribution )

Parametreler

  • latent_dist (OobleckDiagonalGaussianDistribution) — Encoder'ın, OobleckDiagonalGaussianDistribution olarak temsil edilen ortalama ve standart sapma değerleriyle kodlanmış çıktıları. OobleckDiagonalGaussianDistribution, dağılımdan latent örneklemeye olanak tanır.

AutoencoderOobleck kodlama yönteminin çıktısı.

Update on GitHub

←LTX2VideoDiffusionDecoderModel Tiny AutoEncoder→