Diffusers

AutoencoderKLLTX2Audio

LTX-2'de kullanılan KL kaybına sahip 3D varyasyonel otoenkoder (VAE) modeli, Lightricks tarafından tanıtılmıştır. Bu model, ses gizli temsillerini kodlamak ve çözmek için kullanılmaktadır.

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import AutoencoderKLLTX2Audio

vae = AutoencoderKLLTX2Audio.from_pretrained("Lightricks/LTX-2", subfolder="vae", dtype=torch.float32).to("cuda")  # or "mps", "xpu", "cpu"

AutoencoderKLLTX2Audio

sınıf diffusers.AutoencoderKLLTX2Audio

< source >

( base_channels: int = 128output_channels: int = 2ch_mult: tuple = (1, 2, 4)num_res_blocks: int = 2attn_resolutions: tuple[int, ...] | None = Nonein_channels: int = 2resolution: int = 256latent_channels: int = 8norm_type: str = 'pixel'causality_axis: str | None = 'height'dropout: float = 0.0mid_block_add_attention: bool = Falsesample_rate: int = 16000mel_hop_length: int = 160is_causal: bool = Truemel_bins: int | None = 64double_z: bool = True )

Ses latent temsillerini kodlamak ve çözmek için LTX2 ses VAE'si.

encode

< source >

( x: Tensorreturn_dict: bool = True )

decode

< source >

( z: Tensorreturn_dict: bool = True )

forward

< source >

( sample: Tensorsample_posterior: bool = Falsereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → DecoderOutput or tuple

Parametreler

sample (torch.Tensor) — Girdi örneği.
sample_posterior (bool, isteğe bağlı, varsayılan False) — Posterior'dan örneklemeye alınıp alınmayacağı.
return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine DecoderOutput döndürülüp döndürülmemesi.
generator (torch.Generator, isteğe bağlı) — Örnekleme işlemini deterministik hale getirmek için kullanılan bir torch.Generator.

Dönüş değeri

DecoderOutput veya tuple

return_dict True ise, DecoderOutput döndürülür; aksi halde düz bir tuple döndürülür.

Update on GitHub