diffusers/main/tr/api/models/kandinsky_s2v_transformer.md

KandinskyS2VTransformer3DModel

Kandinsky S2V 1.0'ün, bir referans kare ve bir ses kaydına koşullandırılmış Diffusion Transformer'ı (DiT).

KandinskyS2VTransformer3DModel[[diffusers.KandinskyS2VTransformer3DModel]]

diffusers.KandinskyS2VTransformer3DModel[[diffusers.KandinskyS2VTransformer3DModel]]

diffusers.KandinskyS2VTransformer3DModel(in_visual_dim: int = 16, out_visual_dim: int = 16, in_text_dim: int = 3584, in_text_dim2: int = 768, in_audio_dim: int = 3584, time_dim: int = 512, patch_size: tuple[int, int, int] = (1, 2, 2), frame_buckets: tuple[int, int, int] = (2, 4, 24), enable_framepack: bool = True, index_rope_ref_image: int = 40, patch_proj1x_coef: tuple[int, int, int] = (1, 1, 1), patch_proj2x_coef: tuple[int, int, int] = (2, 2, 2), patch_proj4x_coef: tuple[int, int, int] = (4, 4, 4), model_dim: int = 1792, ff_dim: int = 7168, num_text_blocks: int = 2, num_audio_blocks: int = 2, num_visual_blocks: int = 32, axes_dims: tuple[int, int, int] = (16, 24, 24), audio_inject_layers: tuple[int, ...] = (), text_rope_max_pos: int = 4096)

Kaynak

Ses-videoya difüzyon dönüştürücüsü.

Parametre adları eğitim checkpoint'leriyle eşleştiğinden, dönüştürülmüş .safetensors dosyası anahtar yeniden eşleştirmesi olmadan yüklenir. Çıkarım işlemi parti boyutu 1'dir: dizi paketlenir ve konuşma çapraz-dikkati kare hizalıdır, bu nedenle forward 1'lik bir önde parti ekseni alır ve bunu sıkıştırır.

Görsel akış, tek bir paketlenmiş dizidir [memory | ref | visual]:

• memory — 4x / 2x / 1x zamansal örnekleme azaltma ile önceki parçadan gelen FramePack bağlamı, negatif zamansal RoPE konumlarına yerleştirilir;
• ref — zaman RoPE dizini index_rope_ref_image'e sabitlenmiş referans çerçevesi;
• visual — gürültüden arındırılan gürültülü gizli değişken.

memory ve ref temiz olduğundan t = 0 ile modüle edilirken visual gerçek zaman adımını kullanır; modülasyon her iki satırı da içerir ve bir indeks token başına seçim yapar.

forward[[diffusers.KandinskyS2VTransformer3DModel.forward]]

forward(hidden_states: Tensor, encoder_hidden_states: Tensor, audio_hidden_states: Tensor, reference_hidden_states: Tensor, memory_hidden_states: tuple[Tensor, Tensor, Tensor], timestep: Tensor, pooled_projections: Tensor, visual_rope_pos: list[Tensor], reference_rope_pos: list[Tensor], memory_rope_pos: tuple[list[Tensor], list[Tensor], list[Tensor]], text_rope_pos: Tensor, audio_rope_pos: Tensor, scale_factor: tuple[float, float, float] = (1.0, 1.0, 1.0), return_dict: bool = True)

Kaynak

Parametreler:

hidden_states : gürültülü latent, (1, T, H, W, C).

encoder_hidden_states : metin gömlemleri, (1, S_text, in_text_dim).

audio_hidden_states : konuşma özellikleri, (1, S_audio, in_audio_dim).

reference_hidden_states : referans çerçevesi gizli değişkeni, (1, 1, H, W, C).

memory_hidden_states : 4x / 2x / 1x için FramePack belleği, her biri (1, T_i, H_i, W_i, C).

timestep : mevcut zaman adımı, (1,).

pooled_projections : birleştirilmiş CLIP metin gömme, (1, in_text_dim2).

visual_rope_pos : gürültülü latentin eksen başına RoPE konumları.

reference_rope_pos : referans çerçevesinin eksen başına RoPE konumları.

memory_rope_pos : her FramePack bellek ölçeğinin eksen başına RoPE konumları.

text_rope_pos : Metin belirteçlerinin 1-B RoPE konumları.

audio_rope_pos : her konuşma jetonunun ait olduğu gizli çerçeve.

scale_factor : Eksen başına RoPE ölçeği, çözünürlük kovası tarafından ayarlanır.

return_dict : bir tuple yerine Transformer2DModelOutput döndürür.

Dönüş: [~models.modeling_outputs.Transformer2DModelOutput] veya tuple

hidden_states şeklinde şekillendirilmiş tahmini hız,

Bir parçayı gürültüden arındırın.

Batch size 1 olmalıdır: dizi paketlenmiştir ve konuşma çapraz dikkati kare hizalıdır.