Diffusers documentation
MiniMaxMusic3Transformer1DModel
MiniMaxMusic3Transformer1DModel
MiniMax Music 3의 2.4B flow-matching Diffusion Transformer입니다. 모델의 자기회귀 언어 모델 단계의 프레임별 hidden states에 조건부 128채널 Flow-VAE 오디오 latents를 denoise하며, flow-matching timestep을 추가 sequence token으로 앞에 배치합니다(Stable-Audio 계통의 partial rotary attention과 GLU feedforwards를 갖춘 연속형 transformer).
MiniMaxMusic3Transformer1DModel
class diffusers.MiniMaxMusic3Transformer1DModel
< source >( in_channels: int = 128condition_dim: int = 2048num_layers: int = 36num_attention_heads: int = 32attention_head_dim: int = 64ff_inner_dim: int = 8192rotary_dim: int = 32fourier_embedding_dim: int = 256 )
MiniMax Music 3의 flow-matching diffusion transformer입니다. autoregressive language-model 단계에서 생성된 프레임별 hidden states를 조건으로 하여 Flow-VAE 오디오 latents의 노이즈를 제거합니다.
입력은 (batch, in_channels, length) 모양의 1차원 잠재 시퀀스입니다. 조건 신호(encoder_hidden_states, 모양 (batch, length, condition_dim))는 이미 잠재 타임라인에 정렬되어 있어야 하며, MiniMaxMusic3ConditionEncoder를 참조하세요. flow-matching timestep은 0(노이즈)에서 1(데이터)까지 진행됩니다.
forward
< source >( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensorreturn_dict: bool = True )
매개변수
- hidden_states (
torch.Tensor, shape(batch, in_channels, length)) — 노이즈가 포함된 Flow-VAE latents입니다. - timestep (
torch.Tensor, shape(batch,)) —[0, 1]범위의 Flow-matching 시간으로, 0은 순수 노이즈, 1은 데이터를 나타냅니다. - encoder_hidden_states (
torch.Tensor, shape(batch, length, condition_dim)) —MiniMaxMusic3ConditionEncoder에서 생성된 프레임 정렬 조건부 입력입니다. classifier-free guidance의 unconditional branch에는 제로를 전달합니다. - return_dict (
bool, 기본값True) — 일반 튜플 대신 Transformer2DModelOutput을 반환할지 여부.