diffusers/main/tr/api/models/stable_audio_transformer.md

StableAudioDiTModel

Stable Audio Open'dan ses dalga formları için bir Transformer modeli.

StableAudioDiTModel[[diffusers.StableAudioDiTModel]]

diffusers.StableAudioDiTModel[[diffusers.StableAudioDiTModel]]

diffusers.StableAudioDiTModel(sample_size: int = 1024, in_channels: int = 64, num_layers: int = 24, attention_head_dim: int = 64, num_attention_heads: int = 24, num_key_value_attention_heads: int = 12, out_channels: int = 64, cross_attention_dim: int = 768, time_proj_dim: int = 256, global_states_input_dim: int = 1536, cross_attention_input_dim: int = 768)

Kaynak

Parametreler:

sample_size ( int, isteğe bağlı, varsayılan 1024) : Girdi örneğinin boyutu.

in_channels (int, isteğe bağlı, varsayılan 64) : Girdideki kanal sayısı.

num_layers (int, isteğe bağlı, varsayılan 24) : Kullanılacak Transformer bloğu katman sayısı.

attention_head_dim (int, isteğe bağlı, varsayılan 64) : Her baştaki kanal sayısı.

num_attention_heads (int, isteğe bağlı, varsayılan 24) : Sorgu durumları için kullanılacak baş sayısı.

num_key_value_attention_heads (int, isteğe bağlı, varsayılan 12) : Anahtar ve değer durumları için kullanılacak baş sayısı.

out_channels (int, varsayılan 64) : Çıkış kanalı sayısı.

cross_attention_dim ( int, isteğe bağlı, varsayılan 768) : Çapraz dikkat projeksiyonunun boyutu.

time_proj_dim ( int, isteğe bağlı, varsayılan 256) : Zaman adımı iç projeksiyonunun boyutu.

global_states_input_dim ( int, isteğe bağlı, varsayılan 1536) : Küresel gizli durumlar projeksiyonunun giriş boyutu.

cross_attention_input_dim ( int, isteğe bağlı, varsayılan 768) : Çapraz dikkat projeksiyonunun giriş boyutu

Stable Audio'da tanıtılan Diffusion Transformer modeli.

Referans: https://github.com/Stability-AI/stable-audio-tools

forward[[diffusers.StableAudioDiTModel.forward]]

forward(hidden_states: FloatTensor, timestep: LongTensor = None, encoder_hidden_states: FloatTensor = None, global_hidden_states: FloatTensor = None, rotary_embedding: FloatTensor = None, return_dict: bool = True, attention_mask: typing.Optional[torch.LongTensor] = None, encoder_attention_mask: typing.Optional[torch.LongTensor] = None)

Kaynak

Parametreler:

hidden_states (torch.FloatTensor, şekli (batch size, in_channels, sequence_len)) : Girdi hidden_states.

timestep ( torch.LongTensor) : Gürültü azaltma adımını belirtmek için kullanılır.

encoder_hidden_states (torch.FloatTensor, şekli (batch size, encoder_sequence_len, cross_attention_input_dim)) : Kullanılacak koşullu gömlemeler (prompt gibi giriş koşullarından hesaplanan gömlemeler).

global_hidden_states (torch.FloatTensor, şekli (batch size, global_sequence_len, global_states_input_dim)) : Gizli durumların başına eklenecek küresel gömme değerleri.

rotary_embedding (torch.Tensor) : Dikkat hesabı sırasında sorgu ve anahtar tensörlerine uygulanacak döner gömme (rotary embeddings).

return_dict (bool, isteğe bağlı, varsayılan True) : Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmediğini belirtir.

attention_mask (torch.Tensor, şekli (batch_size, sequence_len), isteğe bağlı) : Dolgu token indekslerinde dikkat işleminin uygulanmamasını sağlamak için, iki metin kodlayıcısının dikkat maskelerinin birleştirilmesiyle oluşturulan maske. [0, 1] aralığında seçilen maske değerleri: - maskelenmemiş tokenlar için 1, - maskelenmiş tokenlar için 0.

encoder_attention_mask (torch.Tensor, şekli (batch_size, sequence_len), isteğe bağlı) : İki metin kodlayıcısının dikkat maskelerini birleştirerek oluşturulan, dolgu token'larındaki çapraz dikkat indekslerinde dikkat işleminin uygulanmamasını sağlayan maske. [0, 1] aralığında seçilen maske değerleri: - maskelenmemiş token'lar için 1, - maskelenmiş token'lar için 0.

Dönüş:

return_dict True ise, ~models.transformer_2d.Transformer2DModelOutput döndürülür, aksi takdirde ilk öğesi örnek tensörü olan bir tuple döndürülür.

StableAudioDiTModel ileri yöntemi.

set_default_attn_processor[[diffusers.StableAudioDiTModel.set_default_attn_processor]]

set_default_attn_processor()

Kaynak

Özel dikkat işleyicilerini devre dışı bırakır ve varsayılan dikkat uygulamasını ayarlar.