diffusers/main/ja/api/models/ace_step_transformer.md

AceStepTransformer1DModel

ACE-Step 1.5からの音楽生成のための1次元Diffusion Transformerです。このモデルは、AutoencoderOobleckが生成する25 Hzのステレオ潜在変数に対してflow matchingを用いて動作し、Qwen3由来のバックボーン（grouped-query attention、rotary position embedding、RMSNorm、AdaLN-Zeroによるタイムステップ条件付け）と、AceStepConditionEncoderによって構築されるテキスト / 歌詞 / ティンバー条件へのcross-attentionを用いて学習されています。

AceStepTransformer1DModel[[diffusers.AceStepTransformer1DModel]]

diffusers.AceStepTransformer1DModel[[diffusers.AceStepTransformer1DModel]]

diffusers.AceStepTransformer1DModel(hidden_size: int = 2048, intermediate_size: int = 6144, num_hidden_layers: int = 24, num_attention_heads: int = 16, num_key_value_heads: int = 8, head_dim: int = 128, in_channels: int = 192, audio_acoustic_hidden_dim: int = 64, patch_size: int = 2, rope_theta: float = 1000000.0, attention_bias: bool = False, attention_dropout: float = 0.0, rms_norm_eps: float = 1e-06, sliding_window: int = 128, layer_types: typing.Optional[typing.List[str]] = None, encoder_hidden_size: typing.Optional[int] = None, is_turbo: bool = False, model_version: typing.Optional[str] = None)

ソース

ACE-Step 1.5の音楽生成用のDiffusion Transformer。

テキスト、歌詞、および音色に条件付けられたオーディオの潜在変数を生成します。1次元パッチ埋め込み(Conv1d、stride は patch_size)の後に、自己注意のブランチでスライディングウィンドウ注意と完全注意を交互に用いる AceStepTransformerBlock のスタックが続きます。クロス注意では、AceStepConditionEncoder によって生成されるパックされた encoder_hidden_states を消費します。

forward[[diffusers.AceStepTransformer1DModel.forward]]

forward(hidden_states: Tensor, timestep: Tensor, timestep_r: Tensor, encoder_hidden_states: Tensor, context_latents: Tensor, attention_kwargs: typing.Optional[dict] = None, return_dict: bool = True)

ソース

パラメータ:

hidden_states (torch.Tensor、shape (batch_size, seq_len, channels)) : 拡散プロセス用のノイズ付き潜在入力。

timestep (torch.Tensor、shape (batch_size,)) : 現在の拡散タイムステップ t。

timestep_r (torch.Tensor、shape (batch_size,)) : 参照タイムステップ r（標準的な推論では t と等しく設定されます）。

encoder_hidden_states (torch.Tensor、shape (batch_size, encoder_seq_len, hidden_size)) : condition encoder（テキスト + 歌詞 + ティンバー）からの条件付け埋め込み。

context_latents (torch.Tensor、shape (batch_size, seq_len, context_dim)) : Context latents（chunk masks と連結された source latents）— hidden_states と一緒に patchify conv に渡されます。

attention_kwargs (dict, 任意) : AttentionProcessor に渡される kwargs の辞書です。{"scale": float} を介して LoRA スケールを渡すために使用されます。

return_dict (bool、デフォルトはTrue) : Transformer2DModelOutputを返すか、通常のタプルを返すかを指定します。

戻り値: Transformer2DModelOutput または tuple

予測された速度場。

AceStepTransformer1DModelのforwardメソッドです。