diffusers/main/es/api/models/kandinsky_s2v_transformer.md

KandinskyS2VTransformer3DModel

El Diffusion Transformer (DiT) de Kandinsky S2V 1.0, condicionado por un fotograma de referencia y una pista de audio.

KandinskyS2VTransformer3DModel[[diffusers.KandinskyS2VTransformer3DModel]]

diffusers.KandinskyS2VTransformer3DModel[[diffusers.KandinskyS2VTransformer3DModel]]

diffusers.KandinskyS2VTransformer3DModel(in_visual_dim: int = 16, out_visual_dim: int = 16, in_text_dim: int = 3584, in_text_dim2: int = 768, in_audio_dim: int = 3584, time_dim: int = 512, patch_size: tuple[int, int, int] = (1, 2, 2), frame_buckets: tuple[int, int, int] = (2, 4, 24), enable_framepack: bool = True, index_rope_ref_image: int = 40, patch_proj1x_coef: tuple[int, int, int] = (1, 1, 1), patch_proj2x_coef: tuple[int, int, int] = (2, 2, 2), patch_proj4x_coef: tuple[int, int, int] = (4, 4, 4), model_dim: int = 1792, ff_dim: int = 7168, num_text_blocks: int = 2, num_audio_blocks: int = 2, num_visual_blocks: int = 32, axes_dims: tuple[int, int, int] = (16, 24, 24), audio_inject_layers: tuple[int, ...] = (), text_rope_max_pos: int = 4096)

Fuente

Transformador de difusión de voz a video.

Los nombres de los parámetros coinciden con los puntos de control de entrenamiento, por lo que un .safetensors convertido se carga sin remapeo de claves. La inferencia es con tamaño de lote 1: la secuencia se empaqueta y la atención cruzada de voz está alineada por cuadro, por lo que forward toma un eje de lote inicial de 1 y lo comprime.

El flujo visual es una secuencia empaquetada [memory | ref | visual]:

• memory — Contexto de FramePack del fragmento anterior con submuestreo temporal de 4x / 2x / 1x, colocado en posiciones temporales de RoPE negativas;
• ref — el marco de referencia, fijado al índice temporal de RoPE index_rope_ref_image;
• visual — el latente ruidoso que se está desruidando.

memory y ref están limpios, por lo que se modulan con t = 0, mientras que visual utiliza el paso temporal real; la modulación contiene ambas filas y un índice selecciona por token.

forward[[diffusers.KandinskyS2VTransformer3DModel.forward]]

forward(hidden_states: Tensor, encoder_hidden_states: Tensor, audio_hidden_states: Tensor, reference_hidden_states: Tensor, memory_hidden_states: tuple[Tensor, Tensor, Tensor], timestep: Tensor, pooled_projections: Tensor, visual_rope_pos: list[Tensor], reference_rope_pos: list[Tensor], memory_rope_pos: tuple[list[Tensor], list[Tensor], list[Tensor]], text_rope_pos: Tensor, audio_rope_pos: Tensor, scale_factor: tuple[float, float, float] = (1.0, 1.0, 1.0), return_dict: bool = True)

Fuente

Parámetros:

hidden_states : latente ruidoso, (1, T, H, W, C).

encoder_hidden_states : embeddings de texto, (1, S_text, in_text_dim).

audio_hidden_states : características de voz, (1, S_audio, in_audio_dim).

reference_hidden_states : latente del marco de referencia, (1, 1, H, W, C).

memory_hidden_states : Memoria de FramePack a 4x / 2x / 1x, cada una (1, T_i, H_i, W_i, C).

timestep : paso temporal actual, (1,).

pooled_projections : embedding de texto CLIP agrupado, (1, in_text_dim2).

visual_rope_pos : posiciones de RoPE por eje del latente ruidoso.

reference_rope_pos : posiciones de RoPE por eje del marco de referencia.

memory_rope_pos : posiciones de RoPE por eje de cada escala de memoria de FramePack.

text_rope_pos : posiciones RoPE de 1-D de los tokens de texto.

audio_rope_pos : cuadro latente al que pertenece cada token de voz.

scale_factor : Escala de RoPE por eje, definida por el cubo de resolución.

return_dict : devuelve un Transformer2DModelOutput en lugar de una tupla.

Devuelve: [~models.modeling_outputs.Transformer2DModelOutput] o tuple

la velocidad predicha, con la misma forma que hidden_states.

Desruidar un fragmento.

El tamaño del lote debe ser 1: la secuencia está empaquetada y la atención cruzada del habla está alineada por cuadro.