Diffusers documentation
KandinskyS2VTransformer3DModel
KandinskyS2VTransformer3DModel
Kandinsky S2V 1.0'ün, bir referans kare ve bir ses kaydına koşullandırılmış Diffusion Transformer'ı (DiT).
KandinskyS2VTransformer3DModel
sınıf diffusers.KandinskyS2VTransformer3DModel
< source >( in_visual_dim: int = 16out_visual_dim: int = 16in_text_dim: int = 3584in_text_dim2: int = 768in_audio_dim: int = 3584time_dim: int = 512patch_size: tuple[int, int, int] = (1, 2, 2)frame_buckets: tuple[int, int, int] = (2, 4, 24)enable_framepack: bool = Trueindex_rope_ref_image: int = 40patch_proj1x_coef: tuple[int, int, int] = (1, 1, 1)patch_proj2x_coef: tuple[int, int, int] = (2, 2, 2)patch_proj4x_coef: tuple[int, int, int] = (4, 4, 4)model_dim: int = 1792ff_dim: int = 7168num_text_blocks: int = 2num_audio_blocks: int = 2num_visual_blocks: int = 32axes_dims: tuple[int, int, int] = (16, 24, 24)audio_inject_layers: tuple[int, ...] = ()text_rope_max_pos: int = 4096 )
Ses-videoya difüzyon dönüştürücüsü.
Parametre adları eğitim kontrol noktalarıyla eşleştiğinden, dönüştürülmüş .safetensors dosyası anahtar yeniden eşleştirmesi olmadan yüklenir. Çıkarım işlemi parti boyutu 1'dir: dizi paketlenir ve konuşma çapraz-dikkati kare hizalı olduğundan, forward işlevi 1 değerinde bir önde parti ekseni alır ve bunu sıkıştırır.
Görsel akış, tek bir paketlenmiş dizidir [memory | ref | visual]:
memory— 4x / 2x / 1x zamansal örnekleme azaltma ile önceki parçadan gelen FramePack bağlamı, negatif zamansal RoPE konumlarına yerleştirilir;ref— zaman RoPE diziniindex_rope_ref_image'e sabitlenmiş referans çerçevesi;visual— gürültüden arındırılan gürültülü gizli değişken.
memory ve ref temiz olduğundan t = 0 ile modüle edilirken visual gerçek zaman adımını kullanır; modülasyon her iki satırı da içerir ve bir indeks token başına seçim yapar.
forward
< source >( hidden_states: Tensorencoder_hidden_states: Tensoraudio_hidden_states: Tensorreference_hidden_states: Tensormemory_hidden_states: tuple[Tensor, Tensor, Tensor]timestep: Tensorpooled_projections: Tensorvisual_rope_pos: list[Tensor]reference_rope_pos: list[Tensor]memory_rope_pos: tuple[list[Tensor], list[Tensor], list[Tensor]]text_rope_pos: Tensoraudio_rope_pos: Tensorscale_factor: tuple[float, float, float] = (1.0, 1.0, 1.0)return_dict: bool = True ) → [~models.modeling_outputs.Transformer2DModelOutput] or tuple
Parametreler
- hidden_states — gürültülü gizli durum,
(1, T, H, W, C). - encoder_hidden_states — metin gömümleri,
(1, S_text, in_text_dim). - audio_hidden_states — konuşma özellikleri,
(1, S_audio, in_audio_dim). - reference_hidden_states — referans kare gizli durumu,
(1, 1, H, W, C). - memory_hidden_states — 4x / 2x / 1x FramePack belleği, her biri
(1, T_i, H_i, W_i, C). - timestep — mevcut zaman adımı,
(1,). - pooled_projections — havuzlanmış CLIP metin gömme,
(1, in_text_dim2). - visual_rope_pos — gürültülü latentin eksen başına RoPE konumları.
- reference_rope_pos — referans çerçevenin eksen başına RoPE konumları.
- memory_rope_pos — her FramePack bellek ölçeğinin eksen başına RoPE konumları.
- text_rope_pos — metin jetonlarının 1-B RoPE konumları.
- audio_rope_pos — her konuşma jetonunun ait olduğu latent kare.
- scale_factor — Çözünürlük kovası tarafından belirlenen, eksen başına RoPE ölçeği.
- return_dict — bir tuple yerine
Transformer2DModelOutputdöndürür.
Dönüş değeri
[~models.modeling_outputs.Transformer2DModelOutput] veya tuple
hidden_states şeklinde şekillendirilmiş tahmini hız,
Bir parçayı gürültüden arındırın.
Batch size 1 olmalıdır: dizi paketlenmiştir ve konuşma çapraz dikkati kare hizalıdır.