diffusers/v0.43.0/es/api/models/ace_step_transformer.md

AceStepTransformer1DModel

Un Diffusion Transformer 1D para la generación de música a partir de ACE-Step 1.5. El modelo opera sobre los latentes estéreo de 25 Hz producidos por AutoencoderOobleck utilizando flow matching, y se entrena con un backbone derivado de Qwen3 (atención de consulta agrupada, incrustación de posición rotativa, RMSNorm, condicionamiento de paso temporal AdaLN-Zero) más atención cruzada con las condiciones de texto / letra / timbre construidas por AceStepConditionEncoder.

AceStepTransformer1DModel[[diffusers.AceStepTransformer1DModel]]

diffusers.AceStepTransformer1DModel[[diffusers.AceStepTransformer1DModel]]

diffusers.AceStepTransformer1DModel(hidden_size: int = 2048, intermediate_size: int = 6144, num_hidden_layers: int = 24, num_attention_heads: int = 16, num_key_value_heads: int = 8, head_dim: int = 128, in_channels: int = 192, audio_acoustic_hidden_dim: int = 64, patch_size: int = 2, rope_theta: float = 1000000.0, attention_bias: bool = False, attention_dropout: float = 0.0, rms_norm_eps: float = 1e-06, sliding_window: int = 128, layer_types: typing.Optional[typing.List[str]] = None, encoder_hidden_size: typing.Optional[int] = None, is_turbo: bool = False, model_version: typing.Optional[str] = None)

Fuente

Diffusion Transformer para la generación de música con ACE-Step 1.5.

Genera latentes de audio condicionados por texto, letra y timbre. Utiliza un incrustado de parches 1D (Conv1d con paso patch_size) seguido de una pila de AceStepTransformerBlocks con atención deslizante por ventana / atención completa alternada en la rama de autoatención. La atención cruzada consume los encoder_hidden_states empaquetados producidos por AceStepConditionEncoder.

forward[[diffusers.AceStepTransformer1DModel.forward]]

forward(hidden_states: Tensor, timestep: Tensor, timestep_r: Tensor, encoder_hidden_states: Tensor, context_latents: Tensor, attention_kwargs: typing.Optional[dict] = None, return_dict: bool = True)

Fuente

Parámetros:

hidden_states (torch.Tensor de forma (batch_size, seq_len, channels)) : Entrada latente con ruido para el proceso de difusión.

timestep (torch.Tensor de forma (batch_size,)) : Paso de difusión actual t.

timestep_r (torch.Tensor de forma (batch_size,)) : Paso temporal de referencia r (establecido igual a t para la inferencia estándar).

encoder_hidden_states (torch.Tensor de forma (batch_size, encoder_seq_len, hidden_size)) : Embeddings de condicionamiento del codificador de condición (texto + letra + timbre).

context_latents (torch.Tensor de forma (batch_size, seq_len, context_dim)) : Latentes de contexto (latentes de origen concatenados con máscaras de fragmentos) — se alimenta a la convolución de patchify junto con hidden_states.

attention_kwargs (dict, opcional) : Un diccionario de kwargs que se pasa al AttentionProcessor. Se utiliza para pasar la escala de LoRA mediante {"scale": float}.

return_dict (bool, por defecto True) : Si se debe devolver un Transformer2DModelOutput o una tupla simple.

Devuelve: Transformer2DModelOutput o tuple

El campo de velocidad predicho.

El método forward de AceStepTransformer1DModel.