diffusers/main/id/api/models/ace_step_transformer.md

AceStepTransformer1DModel

Diffusion Transformer 1D untuk generasi musik dari ACE-Step 1.5. Model ini beroperasi pada latens stereo 25 Hz yang dihasilkan oleh AutoencoderOobleck menggunakan flow matching, dan dilatih dengan backbone yang diturunkan dari Qwen3 (grouped-query attention, rotary position embedding, RMSNorm, kondisioning timestep AdaLN-Zero) ditambah cross-attention ke kondisi teks / lirik / timbre yang dibangun oleh AceStepConditionEncoder.

AceStepTransformer1DModel[[diffusers.AceStepTransformer1DModel]]

diffusers.AceStepTransformer1DModel[[diffusers.AceStepTransformer1DModel]]

diffusers.AceStepTransformer1DModel(hidden_size: int = 2048, intermediate_size: int = 6144, num_hidden_layers: int = 24, num_attention_heads: int = 16, num_key_value_heads: int = 8, head_dim: int = 128, in_channels: int = 192, audio_acoustic_hidden_dim: int = 64, patch_size: int = 2, rope_theta: float = 1000000.0, attention_bias: bool = False, attention_dropout: float = 0.0, rms_norm_eps: float = 1e-06, sliding_window: int = 128, layer_types: typing.Optional[typing.List[str]] = None, encoder_hidden_size: typing.Optional[int] = None, is_turbo: bool = False, model_version: typing.Optional[str] = None)

Sumber

Diffusion Transformer untuk generasi musik ACE-Step 1.5.

Membuat latens audio yang dikondisikan oleh teks, lirik, dan timbre. Menggunakan patch embedding 1D (Conv1d dengan stride patch_size) yang diikuti oleh tumpukan AceStepTransformerBlock dengan sliding-window / full attention yang berselang-seling pada cabang self-attention. Cross-attention mengonsumsi encoder_hidden_states yang dikemas, yang dihasilkan oleh AceStepConditionEncoder.

forward[[diffusers.AceStepTransformer1DModel.forward]]

forward(hidden_states: Tensor, timestep: Tensor, timestep_r: Tensor, encoder_hidden_states: Tensor, context_latents: Tensor, attention_kwargs: typing.Optional[dict] = None, return_dict: bool = True)

Sumber

Parameter:

hidden_states (torch.Tensor dengan bentuk (batch_size, seq_len, channels)) : Input laten berisik untuk proses difusi.

timestep (torch.Tensor dengan bentuk (batch_size,)) : Langkah difusi saat ini t.

timestep_r (torch.Tensor dengan bentuk (batch_size,)) : Langkah waktu referensi r (diset sama dengan t untuk inferensi standar).

encoder_hidden_states (torch.Tensor dengan bentuk (batch_size, encoder_seq_len, hidden_size)) : Embedding kondisional dari encoder kondisi (teks + lirik + timbre).

context_latents (torch.Tensor dengan bentuk (batch_size, seq_len, context_dim)) : Laten konteks (laten sumber yang digabungkan dengan mask chunk) — diberikan ke konvolusi patchify bersama hidden_states.

attention_kwargs (dict, opsional) : Kamus kwargs yang diteruskan ke AttentionProcessor. Digunakan untuk meneruskan skala LoRA melalui {"scale": float}.

return_dict (bool, defaultnya True) : Apakah akan mengembalikan Transformer2DModelOutput atau tuple biasa.

Mengembalikan: Transformer2DModelOutput atau tuple

Medan kecepatan yang diprediksi.

Metode forward dari AceStepTransformer1DModel.