Diffusers documentation
MiniMaxMusic3Transformer1DModel
MiniMaxMusic3Transformer1DModel
O Diffusion Transformer de flow-matching de 2,4B do MiniMax Music 3. Ele remove o ruído dos latentes de áudio Flow-VAE de 128 canais, condicionados nos estados ocultos por quadro da etapa de modelo de linguagem autoregressivo do modelo, adicionando o timestep de flow-matching como um token de sequência extra (um transformer contínuo da linhagem Stable-Audio com atenção rotacional parcial e feedforwards GLU).
MiniMaxMusic3Transformer1DModel
classe diffusers.MiniMaxMusic3Transformer1DModel
< source >( in_channels: int = 128condition_dim: int = 2048num_layers: int = 36num_attention_heads: int = 32attention_head_dim: int = 64ff_inner_dim: int = 8192rotary_dim: int = 32fourier_embedding_dim: int = 256 )
O transformer de difusão com flow-matching do MiniMax Music 3. Ele remove o ruído dos latentes de áudio do Flow-VAE, condicionado aos estados ocultos por quadro produzidos pela etapa de modelo de linguagem autoregressivo.
As entradas são sequências latentes 1D de forma (batch, in_channels, length). O sinal de condicionamento
(encoder_hidden_states, forma (batch, length, condition_dim)) já deve estar alinhado à linha do tempo latente —
veja MiniMaxMusic3ConditionEncoder. O timestep de flow-matching varia de 0 (ruído) a 1 (dados).
forward
< source >( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensorreturn_dict: bool = True )
Parâmetros
- hidden_states (
torch.Tensorde forma(batch, in_channels, length)) — Latentes do Flow-VAE com ruído. - timestep (
torch.Tensorde forma(batch,)) — Tempo de flow-matching em[0, 1], onde 0 é ruído puro e 1 é dados. - encoder_hidden_states (
torch.Tensorde forma(batch, length, condition_dim)) — Condição alinhada por quadro doMiniMaxMusic3ConditionEncoder. Passe zeros para o ramo incondicional da classifier-free guidance. - return_dict (
bool, padrãoTrue) — Se deve retornar um Transformer2DModelOutput em vez de uma tupla simples.