diffusers/main/vi/api/models/autoencoderkl_audio_ltx_2.md

AutoencoderKLLTX2Audio

Mô hình autoencoder biến phân 3D (VAE) với tổn thất KL được sử dụng trong LTX-2 do Lightricks giới thiệu. Mô hình này dùng để mã hóa và giải mã các biểu diễn ẩn của âm thanh.

Mô hình có thể được tải bằng đoạn mã sau.

from diffusers import AutoencoderKLLTX2Audio

vae = AutoencoderKLLTX2Audio.from_pretrained("Lightricks/LTX-2", subfolder="vae", dtype=torch.float32).to("cuda")  # or "mps", "xpu", "cpu"

AutoencoderKLLTX2Audio[[diffusers.AutoencoderKLLTX2Audio]]

diffusers.AutoencoderKLLTX2Audio[[diffusers.AutoencoderKLLTX2Audio]]

diffusers.AutoencoderKLLTX2Audio(base_channels: int = 128, output_channels: int = 2, ch_mult: tuple[int, ...] = (1, 2, 4), num_res_blocks: int = 2, attn_resolutions: tuple[int, ...] | None = None, in_channels: int = 2, resolution: int = 256, latent_channels: int = 8, norm_type: str = 'pixel', causality_axis: str | None = 'height', dropout: float = 0.0, mid_block_add_attention: bool = False, sample_rate: int = 16000, mel_hop_length: int = 160, is_causal: bool = True, mel_bins: int | None = 64, double_z: bool = True)

Nguồn

LTX2 audio VAE để mã hóa và giải mã các biểu diễn ẩn của âm thanh.

encode[[diffusers.AutoencoderKLLTX2Audio.encode]]

encode(x: Tensor, return_dict: bool = True)

Nguồn

decode[[diffusers.AutoencoderKLLTX2Audio.decode]]

decode(z: Tensor, return_dict: bool = True)

Nguồn

forward[[diffusers.AutoencoderKLLTX2Audio.forward]]

forward(sample: Tensor, sample_posterior: bool = False, return_dict: bool = True, generator: typing.Optional[torch.Generator] = None)

Nguồn

Tham số:

sample (torch.Tensor) : Mẫu đầu vào.

sample_posterior (bool, tùy chọn, mặc định là False) : Có lấy mẫu từ phân phối hậu nghiệm hay không.

return_dict (bool, tùy chọn, mặc định là True) : Có nên trả về một DecoderOutput thay vì một tuple thông thường hay không.

generator (torch.Generator, tùy chọn) : Một torch.Generator để làm cho việc lấy mẫu trở nên tất định.

Trả về: DecoderOutput hoặc tuple

Nếu return_dict là True, một DecoderOutput sẽ được trả về, ngược lại một tuple thông thường sẽ được trả về.