diffusers/v0.43.0/vi/api/models/ace_step_transformer.md

AceStepTransformer1DModel

Một Diffusion Transformer 1D cho việc tạo nhạc từ ACE-Step 1.5. Mô hình hoạt động trên các latents stereo 25 Hz do AutoencoderOobleck tạo ra, sử dụng flow matching, và được huấn luyện với một backbone có nguồn gốc từ Qwen3 (grouped-query attention, rotary position embedding, RMSNorm, điều kiện hóa bước thời gian AdaLN-Zero) cùng với cross-attention đến các điều kiện văn bản / lời bài hát / âm sắc được xây dựng bởi AceStepConditionEncoder.

AceStepTransformer1DModel[[diffusers.AceStepTransformer1DModel]]

diffusers.AceStepTransformer1DModel[[diffusers.AceStepTransformer1DModel]]

diffusers.AceStepTransformer1DModel(hidden_size: int = 2048, intermediate_size: int = 6144, num_hidden_layers: int = 24, num_attention_heads: int = 16, num_key_value_heads: int = 8, head_dim: int = 128, in_channels: int = 192, audio_acoustic_hidden_dim: int = 64, patch_size: int = 2, rope_theta: float = 1000000.0, attention_bias: bool = False, attention_dropout: float = 0.0, rms_norm_eps: float = 1e-06, sliding_window: int = 128, layer_types: typing.Optional[typing.List[str]] = None, encoder_hidden_size: typing.Optional[int] = None, is_turbo: bool = False, model_version: typing.Optional[str] = None)

Nguồn

Diffusion Transformer cho tạo nhạc ACE-Step 1.5.

Tạo ra các ẩn âm thanh có điều kiện dựa trên văn bản, lời bài hát và âm sắc. Sử dụng nhúng patch 1 chiều (Conv1d với bước nhảy patch_size) tiếp theo là một chồng các AceStepTransformerBlock với chú ý cửa sổ trượt / chú ý toàn phần xen kẽ trên nhánh tự chú ý. Chú ý chéo tiêu thụ encoder_hidden_states đã đóng gói do AceStepConditionEncoder tạo ra.

forward[[diffusers.AceStepTransformer1DModel.forward]]

forward(hidden_states: Tensor, timestep: Tensor, timestep_r: Tensor, encoder_hidden_states: Tensor, context_latents: Tensor, attention_kwargs: typing.Optional[dict] = None, return_dict: bool = True)

Nguồn

Tham số:

hidden_states (torch.Tensor có hình dạng (batch_size, seq_len, channels)) : Đầu vào ẩn nhiễu cho quá trình khuếch tán.

timestep (torch.Tensor có hình dạng (batch_size,)) : Bước thời gian khuếch tán hiện tại t.

timestep_r (torch.Tensor có shape (batch_size,)) : Timestep tham chiếu r (được đặt bằng t cho suy luận tiêu chuẩn).

encoder_hidden_states (torch.Tensor có shape (batch_size, encoder_seq_len, hidden_size)) : Các embedding điều kiện từ bộ mã hóa điều kiện (văn bản + lời bài hát + âm sắc).

context_latents (torch.Tensor có shape (batch_size, seq_len, context_dim)) : Context latents (source latents được nối với chunk masks) — được đưa vào patchify conv cùng với hidden_states.

attention_kwargs (dict, tùy chọn) : Một từ điển kwargs được truyền đến AttentionProcessor. Được dùng để truyền thang đo LoRA thông qua {"scale": float}.

return_dict (bool, mặc định là True) : Xác định việc trả về một Transformer2DModelOutput hay một tuple thông thường.

Trả về: Transformer2DModelOutput hoặc tuple

Trường vận tốc dự đoán.

Phương thức forward của AceStepTransformer1DModel.