Hugging Face's logo

Diffusers documentation

LTX2VideoTransformer3DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

LTX2VideoTransformer3DModel

Lightricks tarafından LTX için 3B verilerde kullanılan bir Diffusion Transformer modeli tanıtıldı.

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import LTX2VideoTransformer3DModel

transformer = LTX2VideoTransformer3DModel.from_pretrained("Lightricks/LTX-2", subfolder="transformer", dtype=torch.bfloat16).to("cuda")  # or "mps", "xpu", "cpu"

LTX2VideoTransformer3DModel

sınıf diffusers.LTX2VideoTransformer3DModel

< >

( in_channels: int = 128out_channels: int | None = 128patch_size: int = 1patch_size_t: int = 1num_attention_heads: int = 32attention_head_dim: int = 128cross_attention_dim: int = 4096vae_scale_factors: tuple = (8, 32, 32)pos_embed_max_pos: int = 20base_height: int = 2048base_width: int = 2048gated_attn: bool = Falsecross_attn_mod: bool = Falseaudio_in_channels: int = 128audio_out_channels: int | None = 128audio_patch_size: int = 1audio_patch_size_t: int = 1audio_num_attention_heads: int = 32audio_attention_head_dim: int = 64audio_cross_attention_dim: int = 2048audio_scale_factor: int = 4audio_pos_embed_max_pos: int = 20audio_sampling_rate: int = 16000audio_hop_length: int = 160audio_gated_attn: bool = Falseaudio_cross_attn_mod: bool = Falsenum_layers: int = 48activation_fn: str = 'gelu-approximate'qk_norm: str = 'rms_norm_across_heads'norm_elementwise_affine: bool = Falsenorm_eps: float = 1e-06caption_channels: int = 3840attention_bias: bool = Trueattention_out_bias: bool = Truerope_theta: float = 10000.0rope_double_precision: bool = Truecausal_offset: int = 1timestep_scale_multiplier: int = 1000cross_attn_timestep_scale_multiplier: int = 1000rope_type: str = 'interleaved'use_prompt_embeddings = Trueperturbed_attn: bool = Falseff_bias: bool = Trueaudio_ff_bias: bool = Trueuse_prompt_adaln_single: bool = Trueuse_keyframes_abs_pos_embedding: bool = False )

Parametreler

  • in_channels (int, varsayılan 128) — Girdideki kanal sayısı.
  • out_channels (int, varsayılan 128) — Çıktıdaki kanal sayısı.
  • patch_size (int, varsayılan 1) — Patch gömme katmanında kullanılacak uzamsal yamaların boyutu.
  • patch_size_t (int, varsayılan 1) — Yama gömme katmanında kullanılacak zamansal yamaların boyutu.
  • num_attention_heads (int, varsayılan 32) — Çok başlı dikkat (multi-head attention) için kullanılacak baş sayısı.
  • attention_head_dim (int, varsayılan 64) — Her baştaki kanal sayısı.
  • cross_attention_dim (int, varsayılan 2048 ) — Çapraz dikkat başlıkları için kanal sayısı.
  • num_layers (int, varsayılan 28) — Kullanılacak Transformer bloklarının katman sayısı.
  • activation_fn (str, varsayılan "gelu-approximate") — İleri beslemeli ağda kullanılacak aktivasyon fonksiyonu.
  • qk_norm (str, varsayılan "rms_norm_across_heads") — Kullanılacak normalizasyon katmanı.
  • ff_bias (bool, varsayılan True) — Video ileri beslemeli katmanının doğrusal katmanlarının bir sapma terimi içerip içermediğini belirtir. LTX-2.5 için False.
  • audio_ff_bias (bool, varsayılan True) — Ses yönlü ileri katmanının doğrusal katmanlarının bir sapma terimi içerip içermediğini belirtir.
  • use_prompt_adaln_single (bool, varsayılan True) — İfadenin çapraz dikkat Key/Value modülasyonunun zaman adımına (timestep) bağlı olup olmadığı. False olduğunda, bunun yerine katman başına sabit bir tablo kullanılır; bu da belirli bir ifade için çapraz dikkat Key/Value değerlerinin gürültü azaltma (denoising) adımları arasında önbelleğe alınabilir olmasını sağlar.
  • use_keyframes_abs_pos_embedding (bool, varsayılan False) — Üretilen ana kare (keyframe) jetonları için öğrenilmiş bir (1, inner_dim) mutlak konum gömme (embedding) saklanıp saklanmayacağı (LTX-2.5). True olduğunda, video_keyframes_mask tarafından seçilen jetonlar bu gömme değerini alır. Argüman isteğe bağlıdır; atlanması, damıtılmış ileri (forward) yolunu değiştirmez.

LTX içinde kullanılan video benzeri veriler için bir Transformer modeli.

forward

< >

( hidden_states: Tensoraudio_hidden_states: Tensorencoder_hidden_states: Tensoraudio_encoder_hidden_states: Tensortimestep: LongTensoraudio_timestep: typing.Optional[torch.LongTensor] = Nonesigma: typing.Optional[torch.Tensor] = Noneaudio_sigma: typing.Optional[torch.Tensor] = Noneencoder_attention_mask: typing.Optional[torch.Tensor] = Noneaudio_encoder_attention_mask: typing.Optional[torch.Tensor] = Nonenum_frames: int | None = Noneheight: int | None = Nonewidth: int | None = Nonefps: float = 24.0audio_num_frames: int | None = Nonevideo_coords: typing.Optional[torch.Tensor] = Noneaudio_coords: typing.Optional[torch.Tensor] = Noneisolate_modalities: bool = Falsespatio_temporal_guidance_blocks: list[int] | None = Noneperturbation_mask: typing.Optional[torch.Tensor] = Noneuse_cross_timestep: bool = Falseattention_kwargs: dict[str, typing.Any] | None = Nonevideo_self_attention_mask: typing.Optional[torch.Tensor] = Nonevideo_keyframes_mask: typing.Optional[torch.Tensor] = Nonereturn_dict: bool = True ) → AudioVisualModelOutput or tuple

Parametreler

  • hidden_states (torch.Tensor) — (batch_size, num_video_tokens, in_channels) biçiminde girdi patchified video latents.
  • audio_hidden_states (torch.Tensor) — (batch_size, num_audio_tokens, audio_in_channels) biçiminde girdi patch'lenmiş ses latentleri.
  • encoder_hidden_states (torch.Tensor) — (batch_size, text_seq_len, self.config.caption_channels) biçiminde giriş video metin gömme değerleri.
  • audio_encoder_hidden_states (torch.Tensor) — (batch_size, text_seq_len, self.config.caption_channels) biçiminde girdi ses metin gömme değerleri.
  • timestep (torch.Tensor) — (batch_size, num_video_tokens) biçiminde giriş timestep. Bunlar zaten self.config.timestep_scale_multiplier ile ölçeklenmiş olmalıdır.
  • audio_timestep (torch.Tensor, isteğe bağlı) — Ses modülasyonu parametreleri için (batch_size,) veya (batch_size, num_audio_tokens) biçiminde giriş timestep. Bu, I2V pipeline gibi belirli pipeline'lar tarafından kullanılır.
  • sigma (torch.Tensor, isteğe bağlı) — Şekli (batch_size,) olan, ölçeklendirilmiş giriş zaman adımı. LTX-2.3 gibi modellerde video istemi çapraz dikkat modülasyonu için kullanılır.
  • audio_sigma (torch.Tensor, isteğe bağlı) — (batch_size,) biçiminde, ölçeklenmiş giriş timestep'i. LTX-2.3 gibi modellerde ses promptu çapraz dikkat modülasyonu için kullanılır. sigma sağlanıp audio_sigma sağlanmazsa, audio_sigma sağlanan sigma değerine ayarlanır.
  • encoder_attention_mask (torch.Tensor, isteğe bağlı) — (batch_size, text_seq_len) biçiminde isteğe bağlı çarpımsal metin dikkat maskesi.
  • audio_encoder_attention_mask (torch.Tensor, isteğe bağlı) — Ses modelleme için (batch_size, text_seq_len) biçiminde isteğe bağlı çarpımsal metin dikkat maskesi.
  • num_frames (int, isteğe bağlı) — Gizli video karelerinin sayısı. RoPE için video koordinatları hesaplanırken kullanılır.
  • height (int, isteğe bağlı) — Gizli video yüksekliği. RoPE için video koordinatları hesaplanırken kullanılır.
  • width (int, isteğe bağlı) — Gizli video genişliği. RoPE için video koordinatları hesaplanırken kullanılır.
  • fps — (float, isteğe bağlı, varsayılan 24.0): Oluşturulan videonun istenen saniye başına kare sayısı. RoPE için video koordinatları hesaplanırken kullanılır.
  • audio_num_frames — (int, isteğe bağlı): Gizli ses karelerinin sayısı. RoPE için ses koordinatları hesaplanırken kullanılır.
  • video_coords (torch.Tensor, isteğe bağlı) — Döner konumsal gömme (RoPE) hesaplanırken kullanılacak, (batch_size, 3, num_video_tokens, 2) biçimindeki video koordinatları. Sağlanmazsa, bu değer forward içinde hesaplanır.
  • audio_coords (torch.Tensor, isteğe bağlı) — Döner konumsal gömme (RoPE) hesaplanırken kullanılacak, (batch_size, 1, num_audio_tokens, 2) biçimindeki ses koordinatları. Sağlanmazsa, bu değer forward içinde hesaplanır.
  • isolate_modalities (bool, isteğe bağlı, varsayılan False) — Çapraz modalite (ses-videodan ve video-sese) çapraz dikkat mekanizmalarını (tüm bloklar için) devre dışı bırakarak her bir modaliteyi izole edip etmeyeceğini belirler. LTX-2.3'te modalite yönlendirmesi için kullanılır.
  • spatio_temporal_guidance_blocks (list[int], isteğe bağlı, varsayılan None) — Uzamsal-zamansal yönlendirmenin (STG) uygulanacağı transformer blok dizinleri. STG, tam ölçekli nokta çarpımı dikkati (SDPA) işlemi yerine yalnızca değerleri kullanarak öz-dikkat işlemlerini kısaltır. None veya boşsa, STG hiçbir bloğa uygulanmaz.
  • perturbation_mask (torch.Tensor, isteğe bağlı) — STG için (batch_size,) veya (batch_size, 1, 1) biçiminde bir bozma maskesi. STG'nin uygulanması gereken batch öğelerinde 0, diğer yerlerde 1 olmalıdır. STG kullanılıyorsa ancak perturbation_mask sağlanmıyorsa, varsayılan olarak STG (bozma) tüm batch öğelerine uygulanır.
  • use_cross_timestep (bool isteğe bağlı, varsayılan False) — Çapraz dikkat modülasyon parametrelerini hesaplarırken çapraz modalite (video için çapraz modalite ses, bunun tersi de geçerlidir) sigma değerinin kullanılıp kullanılmayacağını belirtir. True daha yeni (ör. LTX-2.3) davranıştır; False ise eski LTX-2.0 davranışıdır.
  • attention_kwargs (dict[str, Any], isteğe bağlı) — Dikkat işlemcisine iletilecek isteğe bağlı anahtar-argüman sözlüğü.
  • video_self_attention_mask (torch.Tensor, isteğe bağlı) — Her transformer bloğundaki video öz-dikkatine uygulanan, (batch_size, num_video_tokens, num_video_tokens) biçiminde isteğe bağlı çarpımsal öz-dikkat maskesi. [0, 1] aralığında değerler alır; 1 tam dikkat, 0 ise maskelenmiş anlamına gelir. Örneğin IC-LoRA hattında, gürültülü token'lar ile eklenen referans token'ları arasındaki dikkat gücünü kontrol etmek için kullanılır. Ses öz-dikkati etkilenmez.
  • video_keyframes_mask (torch.Tensor, isteğe bağlı) — (batch_size, num_video_tokens, 1) biçiminde, tek bir piksel çerçevesi kodlayan gizli çerçevelere sahip video jetonlarında sıfır olmayan isteğe bağlı jeton başına işaretçi. Bu jetonlar keyframes_abs_pos_embedding alır. Model use_keyframes_abs_pos_embedding olmadan oluşturulduysa yok sayılır.
  • return_dict (bool, isteğe bağlı, varsayılan True) — AudioVisualModelOutput türünde sözlük benzeri yapılandırılmış bir çıktı mı yoksa bir demet mi döndürüleceğini belirtir.

Dönüş değeri

AudioVisualModelOutput veya tuple

return_dict True ise, AudioVisualModelOutput türünde yapılandırılmış bir çıktı döndürülür; aksi halde bir tuple döndürülür ve bu yapının ilk öğesi gürültüsü azaltılmış video latent yama dizisi, ikinci öğesi ise gürültüsü azaltılmış ses latent yama dizisidir.

LTX-2.0 sesli-görsel video dönüştürücüsü için ileri geçiş.

Update on GitHub

←LongCatImageTransformer2DModel LTXVideoTransformer3DModel→