diffusers/main/pt/api/models/ace_step_transformer.md

AceStepTransformer1DModel

Um Diffusion Transformer 1D para geração de música a partir do ACE-Step 1.5. O modelo opera nos latentes estéreo de 25 Hz produzidos pelo AutoencoderOobleck usando flow matching e é treinado com um backbone derivado do Qwen3 (atenção de consulta agrupada, incorporação de posição rotativa, RMSNorm, condicionamento de passo de tempo AdaLN-Zero) além de atenção cruzada para as condições de texto / letra / timbre construídas por AceStepConditionEncoder.

AceStepTransformer1DModel[[diffusers.AceStepTransformer1DModel]]

diffusers.AceStepTransformer1DModel[[diffusers.AceStepTransformer1DModel]]

diffusers.AceStepTransformer1DModel(hidden_size: int = 2048, intermediate_size: int = 6144, num_hidden_layers: int = 24, num_attention_heads: int = 16, num_key_value_heads: int = 8, head_dim: int = 128, in_channels: int = 192, audio_acoustic_hidden_dim: int = 64, patch_size: int = 2, rope_theta: float = 1000000.0, attention_bias: bool = False, attention_dropout: float = 0.0, rms_norm_eps: float = 1e-06, sliding_window: int = 128, layer_types: typing.Optional[typing.List[str]] = None, encoder_hidden_size: typing.Optional[int] = None, is_turbo: bool = False, model_version: typing.Optional[str] = None)

Fonte

Diffusion Transformer para geração de música com ACE-Step 1.5.

Gera latentes de áudio condicionados em texto, letras e timbre. Utiliza incorporação de patches 1D (Conv1d com passo patch_size) seguida por uma pilha de AceStepTransformerBlocks com atenção deslizante / atenção completa alternadas no ramo de autoatenção. A atenção cruzada consome os encoder_hidden_states empacotados produzidos por AceStepConditionEncoder.

forward[[diffusers.AceStepTransformer1DModel.forward]]

forward(hidden_states: Tensor, timestep: Tensor, timestep_r: Tensor, encoder_hidden_states: Tensor, context_latents: Tensor, attention_kwargs: typing.Optional[dict] = None, return_dict: bool = True)

Fonte

Parâmetros:

hidden_states (torch.Tensor de forma (batch_size, seq_len, channels)) : Entrada latente com ruído para o processo de difusão.

timestep (torch.Tensor de forma (batch_size,)) : Etapa de difusão atual t.

timestep_r (torch.Tensor de forma (batch_size,)) : Passo de tempo de referência r (definido igual a t para inferência padrão).

encoder_hidden_states (torch.Tensor de forma (batch_size, encoder_seq_len, hidden_size)) : Embebimentos de condicionamento do codificador de condição (texto + letras + timbre).

context_latents (torch.Tensor de forma (batch_size, seq_len, context_dim)) : Latentes de contexto (latentes de origem concatenados com máscaras de blocos) — fornecidos à convolução de patchify junto com hidden_states.

attention_kwargs (dict, opcional) : Um dicionário de kwargs passado para o AttentionProcessor. Usado para passar a escala do LoRA via {"scale": float}.

return_dict (bool, padrão True) : Se deve retornar um Transformer2DModelOutput ou uma tupla simples.

Retorna: Transformer2DModelOutput ou tuple

O campo de velocidade previsto.

O método forward do AceStepTransformer1DModel.