diffusers/main/fr/api/models/stable_audio_transformer.md

StableAudioDiTModel

Un modèle Transformer pour les formes d'onde audio issu de Stable Audio Open.

StableAudioDiTModel[[diffusers.StableAudioDiTModel]]

diffusers.StableAudioDiTModel[[diffusers.StableAudioDiTModel]]

diffusers.StableAudioDiTModel(sample_size: int = 1024, in_channels: int = 64, num_layers: int = 24, attention_head_dim: int = 64, num_attention_heads: int = 24, num_key_value_attention_heads: int = 12, out_channels: int = 64, cross_attention_dim: int = 768, time_proj_dim: int = 256, global_states_input_dim: int = 1536, cross_attention_input_dim: int = 768)

Source

Paramètres :

sample_size ( int, facultatif, valeur par défaut 1024) : La taille de l'échantillon d'entrée.

in_channels (int, facultatif, valeur par défaut 64) : Le nombre de canaux dans l'entrée.

num_layers (int, facultatif, valeur par défaut 24) : Le nombre de blocs Transformer à utiliser.

attention_head_dim (int, facultatif, valeur par défaut 64) : Le nombre de canaux dans chaque tête.

num_attention_heads (int, facultatif, valeur par défaut 24) : Le nombre de têtes à utiliser pour les états de requête.

num_key_value_attention_heads (int, facultatif, valeur par défaut 12) : Le nombre de têtes à utiliser pour les états de clé et de valeur.

out_channels (int, par défaut 64) : Nombre de canaux de sortie.

cross_attention_dim ( int, facultatif, par défaut 768) : Dimension de la projection de l'attention croisée.

time_proj_dim ( int, facultatif, valeur par défaut 256) : Dimension de la projection interne du pas de temps.

global_states_input_dim ( int, facultatif, par défaut 1536) : Dimension d'entrée de la projection des états cachés globaux.

cross_attention_input_dim ( int, facultatif, valeur par défaut 768) : Dimension d'entrée de la projection de l'attention croisée

Le modèle Diffusion Transformer introduit dans Stable Audio.

Référence : https://github.com/Stability-AI/stable-audio-tools

forward[[diffusers.StableAudioDiTModel.forward]]

forward(hidden_states: FloatTensor, timestep: LongTensor = None, encoder_hidden_states: FloatTensor = None, global_hidden_states: FloatTensor = None, rotary_embedding: FloatTensor = None, return_dict: bool = True, attention_mask: typing.Optional[torch.LongTensor] = None, encoder_attention_mask: typing.Optional[torch.LongTensor] = None)

Source

Paramètres :

hidden_states (torch.FloatTensor de forme (batch size, in_channels, sequence_len)) : hidden_states en entrée.

timestep ( torch.LongTensor) : Utilisé pour indiquer l'étape de débruitage.

encoder_hidden_states (torch.FloatTensor de forme (batch size, encoder_sequence_len, cross_attention_input_dim)) : Embeddings conditionnels (embeddings calculés à partir des conditions d'entrée telles que les prompts) à utiliser.

global_hidden_states (torch.FloatTensor de forme (batch size, global_sequence_len, global_states_input_dim)) : Embeddings globaux qui seront préfixés aux états cachés.

rotary_embedding (torch.Tensor) : Les embeddings rotatifs à appliquer aux tenseurs de requête et de clé lors du calcul de l'attention.

return_dict (bool, facultatif, par défaut True) : Indique s'il faut retourner un ~models.transformer_2d.Transformer2DModelOutput plutôt qu'un simple tuple.

attention_mask (torch.Tensor de forme (batch_size, sequence_len), facultatif) : Masque pour éviter d'appliquer l'attention aux indices des jetons de bourrage, formé en concaténant les masques d'attention des deux encodeurs de texte. Valeurs du masque sélectionnées dans [0, 1] : - 1 pour les jetons qui ne sont pas masqués, - 0 pour les jetons qui sont masqués.

encoder_attention_mask (torch.Tensor de forme (batch_size, sequence_len), facultatif) : Masque pour éviter d'effectuer l'attention sur les indices d'attention croisée des jetons de bourrage, formé en concaténant les masques d'attention des deux encodeurs de texte. Valeurs du masque sélectionnées dans [0, 1] : - 1 pour les jetons qui ne sont pas masqués, - 0 pour les jetons qui sont masqués.

Retourne :

Si return_dict est True, un ~models.transformer_2d.Transformer2DModelOutput est renvoyé, sinon un tuple dont le premier élément est le tenseur d'échantillon.

La méthode forward du StableAudioDiTModel.

set_default_attn_processor[[diffusers.StableAudioDiTModel.set_default_attn_processor]]

set_default_attn_processor()

Source

Désactive les processeurs d'attention personnalisés et définit l'implémentation d'attention par défaut.