diffusers/main/tr/api/models/ltx2_video_transformer3d.md

LTX2VideoTransformer3DModel

Lightricks tarafından LTX için 3B verilerde kullanılan bir Diffusion Transformer modeli tanıtıldı.

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import LTX2VideoTransformer3DModel

transformer = LTX2VideoTransformer3DModel.from_pretrained("Lightricks/LTX-2", subfolder="transformer", dtype=torch.bfloat16).to("cuda")  # or "mps", "xpu", "cpu"

LTX2VideoTransformer3DModel[[diffusers.LTX2VideoTransformer3DModel]]

diffusers.LTX2VideoTransformer3DModel[[diffusers.LTX2VideoTransformer3DModel]]

diffusers.LTX2VideoTransformer3DModel(in_channels: int = 128, out_channels: int | None = 128, patch_size: int = 1, patch_size_t: int = 1, num_attention_heads: int = 32, attention_head_dim: int = 128, cross_attention_dim: int = 4096, vae_scale_factors: tuple = (8, 32, 32), pos_embed_max_pos: int = 20, base_height: int = 2048, base_width: int = 2048, gated_attn: bool = False, cross_attn_mod: bool = False, audio_in_channels: int = 128, audio_out_channels: int | None = 128, audio_patch_size: int = 1, audio_patch_size_t: int = 1, audio_num_attention_heads: int = 32, audio_attention_head_dim: int = 64, audio_cross_attention_dim: int = 2048, audio_scale_factor: int = 4, audio_pos_embed_max_pos: int = 20, audio_sampling_rate: int = 16000, audio_hop_length: int = 160, audio_gated_attn: bool = False, audio_cross_attn_mod: bool = False, num_layers: int = 48, activation_fn: str = 'gelu-approximate', qk_norm: str = 'rms_norm_across_heads', norm_elementwise_affine: bool = False, norm_eps: float = 1e-06, caption_channels: int = 3840, attention_bias: bool = True, attention_out_bias: bool = True, rope_theta: float = 10000.0, rope_double_precision: bool = True, causal_offset: int = 1, timestep_scale_multiplier: int = 1000, cross_attn_timestep_scale_multiplier: int = 1000, rope_type: str = 'interleaved', use_prompt_embeddings = True, perturbed_attn: bool = False, ff_bias: bool = True, audio_ff_bias: bool = True, use_prompt_adaln_single: bool = True, use_keyframes_abs_pos_embedding: bool = False)

Kaynak

Parametreler:

in_channels (int, varsayılan 128) : Girdideki kanal sayısı.

out_channels (int, varsayılan 128) : Çıktıdaki kanal sayısı.

patch_size (int, varsayılan 1) : Yama gömme katmanında kullanılacak uzamsal yamaların boyutu.

patch_size_t (int, varsayılan 1) : Yama gömme katmanında kullanılacak zamansal yamaların boyutu.

num_attention_heads (int, varsayılan 32) : Çok başlı dikkat için kullanılacak baş sayısı.

attention_head_dim (int, varsayılan 64) : Her baştaki kanal sayısı.

cross_attention_dim (int, varsayılan 2048 ) : Çapraz dikkat başlıkları için kanal sayısı.

num_layers (int, varsayılan 28) : Kullanılacak Transformer bloğu katman sayısı.

activation_fn (str, varsayılan "gelu-approximate") : İleri beslemeli ağda kullanılacak aktivasyon fonksiyonu.

qk_norm (str, varsayılan "rms_norm_across_heads") : Kullanılacak normalizasyon katmanı.

ff_bias (bool, varsayılan True) : Video ileri besleme katmanının doğrusal katmanlarının bir sapma (bias) terimi içerip içermediğini belirtir. LTX-2.5 için False.

audio_ff_bias (bool, varsayılan True) : Ses yönlü ileri besleme katmanının doğrusal katmanlarının bir sapma (bias) terimi içerip içermediğini belirtir.

use_prompt_adaln_single (bool, varsayılan True) : İfadenin çapraz-dikkat Key/Value modülasyonunun zaman adımı (timestep) bağımlı olup olmadığı. False olduğunda, bunun yerine katman başına sabit bir tablo kullanılır; bu da belirli bir ifade için çapraz-dikkat Key/Value değerlerinin gürültü azaltma (denoising) adımları arasında önbelleğe alınabilir olmasını sağlar.

use_keyframes_abs_pos_embedding (bool, varsayılan False) : Üretilen anahtar kare (keyframe) jetonları için öğrenilmiş (1, inner_dim) mutlak konum gömme (embedding) saklanıp saklanmayacağını belirtir (LTX-2.5). True olduğunda, video_keyframes_mask tarafından seçilen jetonlar bu gömme değerini alır. Argüman isteğe bağlıdır; atlanması, damıtılmış ileri (forward) yolunu değiştirmez.

LTX içinde kullanılan video benzeri veriler için bir Transformer modeli.

forward[[diffusers.LTX2VideoTransformer3DModel.forward]]

forward(hidden_states: Tensor, audio_hidden_states: Tensor, encoder_hidden_states: Tensor, audio_encoder_hidden_states: Tensor, timestep: LongTensor, audio_timestep: typing.Optional[torch.LongTensor] = None, sigma: typing.Optional[torch.Tensor] = None, audio_sigma: typing.Optional[torch.Tensor] = None, encoder_attention_mask: typing.Optional[torch.Tensor] = None, audio_encoder_attention_mask: typing.Optional[torch.Tensor] = None, num_frames: int | None = None, height: int | None = None, width: int | None = None, fps: float = 24.0, audio_num_frames: int | None = None, video_coords: typing.Optional[torch.Tensor] = None, audio_coords: typing.Optional[torch.Tensor] = None, isolate_modalities: bool = False, spatio_temporal_guidance_blocks: list[int] | None = None, perturbation_mask: typing.Optional[torch.Tensor] = None, use_cross_timestep: bool = False, attention_kwargs: dict[str, typing.Any] | None = None, video_self_attention_mask: typing.Optional[torch.Tensor] = None, video_keyframes_mask: typing.Optional[torch.Tensor] = None, return_dict: bool = True)

Kaynak

Parametreler:

hidden_states (torch.Tensor) : (batch_size, num_video_tokens, in_channels) biçiminde girdi patch'lenmiş video latentleri.

audio_hidden_states (torch.Tensor) : (batch_size, num_audio_tokens, audio_in_channels) biçiminde girdi patch'lenmiş ses latentleri.

encoder_hidden_states (torch.Tensor) : (batch_size, text_seq_len, self.config.caption_channels) biçiminde girdi video metin gömme değerleri.

audio_encoder_hidden_states (torch.Tensor) : (batch_size, text_seq_len, self.config.caption_channels) biçiminde girdi ses metin gömme değerleri.

timestep (torch.Tensor) : (batch_size, num_video_tokens) biçiminde giriş zaman adımı. Bunlar zaten self.config.timestep_scale_multiplier ile ölçeklenmiş olmalıdır.

audio_timestep (torch.Tensor, isteğe bağlı) : Şekli (batch_size,) veya ses modülasyon parametreleri için (batch_size, num_audio_tokens) olan giriş zaman adımı. Bu, I2V hattı gibi belirli hatlar tarafından kullanılır.

sigma (torch.Tensor, isteğe bağlı) : (batch_size,) biçiminde ölçeklendirilmiş giriş zaman adımı. LTX-2.3 gibi modellerde video istemi çapraz dikkat modülasyonu için kullanılır.

audio_sigma (torch.Tensor, isteğe bağlı) : (batch_size,) biçiminde, ölçeklendirilmiş giriş zaman adımı. LTX-2.3 gibi modellerde ses istemi çapraz dikkat modülasyonu için kullanılır. sigma sağlanıp audio_sigma sağlanmazsa, audio_sigma, verilen sigma değerine ayarlanır.

encoder_attention_mask (torch.Tensor, isteğe bağlı) : Şekli (batch_size, text_seq_len) olan isteğe bağlı çarpımsal metin dikkat maskesi.

audio_encoder_attention_mask (torch.Tensor, isteğe bağlı) : Ses modelleme için (batch_size, text_seq_len) biçiminde isteğe bağlı çarpımsal metin dikkat maskesi.

num_frames (int, isteğe bağlı) : Gizli video karelerinin sayısı. RoPE için video koordinatları hesaplanırken kullanılır.

height (int, isteğe bağlı) : Gizli video yüksekliği. RoPE için video koordinatları hesaplanırken kullanılır.

width (int, isteğe bağlı) : Gizli video genişliği. RoPE için video koordinatları hesaplanırken kullanılır.

fps : (float, isteğe bağlı, varsayılan 24.0): Üretilen videonun istenen saniye başına kare sayısı. RoPE için video koordinatları hesaplanırken kullanılır.

audio_num_frames : (int, isteğe bağlı): Gizli ses karelerinin sayısı. RoPE için ses koordinatları hesaplanırken kullanılır.

video_coords (torch.Tensor, isteğe bağlı) : Döner konumsal gömme (RoPE) hesaplanırken kullanılacak video koordinatları, şekli (batch_size, 3, num_video_tokens, 2). Verilmezse, bu değer forward içinde hesaplanır.

audio_coords (torch.Tensor, isteğe bağlı) : Döner konumsal gömme (RoPE) hesaplanırken kullanılacak ses koordinatları, şekli (batch_size, 1, num_audio_tokens, 2). Verilmezse, bu değer forward içinde hesaplanır.

isolate_modalities (bool, isteğe bağlı, varsayılan False) : Her modaliteyi, çapraz modalite (ses-videodan ve video-sese) çapraz dikkat mekanizmasını (tüm bloklar için) devre dışı bırakarak izole edip etmeyeceğini belirtir. LTX-2.3'te modalite yönlendirmesi için kullanılır.

spatio_temporal_guidance_blocks (list[int], isteğe bağlı, varsayılan None) : Uzamsal-zamansal yönlendirmenin (STG) uygulanacağı transformer blok dizinleri. STG, ölçekli nokta çarpımı dikkati (SDPA) işlemi yerine yalnızca değerleri kullanarak öz-dikkat işlemlerini kısaltır. None veya boşsa, STG hiçbir bloğa uygulanmaz.

perturbation_mask (torch.Tensor, isteğe bağlı) : (batch_size,) veya (batch_size, 1, 1) biçiminde STG için bozma maskesi. STG'nin uygulanması gereken batch öğelerinde 0, diğer yerlerde 1 olmalıdır. STG kullanılıyorsa ancak perturbation_mask sağlanmıyorsa, varsayılan olarak STG (bozma) tüm batch öğelerine uygulanır.

use_cross_timestep (bool opsiyonel, varsayılan False) : Çapraz dikkat modülasyon parametrelerini hesaplanırken çapraz modalite (video için çapraz modalite ses, ve bunun tersi) sigma'sının kullanılıp kullanılmayacağı. True daha yeni (ör. LTX-2.3) davranıştır; False ise eski LTX-2.0 davranışıdır.

attention_kwargs (dict[str, Any], isteğe bağlı) : Dikkat işlemcisine (attention processor) iletilecek isteğe bağlı anahtar argümanlar sözlüğü.

video_self_attention_mask (torch.Tensor, isteğe bağlı) : Her transformer bloğundaki video öz-dikkatine uygulanan, (batch_size, num_video_tokens, num_video_tokens) biçiminde isteğe bağlı çarpımsal öz-dikkat maskesi. [0, 1] aralığında değerler alır; 1 tam dikkat, 0 ise maskelenmiş anlamına gelir. Örneğin, IC-LoRA hattında gürültülü token'lar ile eklenen referans token'ları arasındaki dikkat gücünü kontrol etmek için kullanılır. Ses öz-dikkati etkilenmez.

video_keyframes_mask (torch.Tensor, isteğe bağlı) : Şekli (batch_size, num_video_tokens, 1) olan, tek piksel çerçevesi kodlayan gizli çerçevelere sahip video jetonlarında sıfır olmayan isteğe bağlı jeton başına işaretçi. Bu jetonlar keyframes_abs_pos_embedding alır. Model use_keyframes_abs_pos_embedding olmadan oluşturulduysa yok sayılır.

return_dict (bool, isteğe bağlı, varsayılan True) : AudioVisualModelOutput türünde sözlük benzeri yapılandırılmış bir çıktı mı yoksa bir demet mi döndürüleceğini belirtir.

Dönüş: AudioVisualModelOutput veya tuple

return_dict True ise, AudioVisualModelOutput türünde yapılandırılmış bir çıktı döndürülür; aksi halde bir tuple döndürülür ve bu yapının ilk öğesi gürültüsü azaltılmış video latent yama dizisi, ikinci öğesi ise gürültüsü azaltılmış ses latent yama dizisidir.

LTX-2.0 sesli-görsel video dönüştürücüsü için ileri geçiş.