Hugging Face's logo

Diffusers documentation

StableAudioDiTModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

StableAudioDiTModel

Stable Audio Open'dan ses dalga formları için bir Transformer modeli.

StableAudioDiTModel

sınıf diffusers.StableAudioDiTModel

< >

( sample_size: int = 1024in_channels: int = 64num_layers: int = 24attention_head_dim: int = 64num_attention_heads: int = 24num_key_value_attention_heads: int = 12out_channels: int = 64cross_attention_dim: int = 768time_proj_dim: int = 256global_states_input_dim: int = 1536cross_attention_input_dim: int = 768 )

Parametreler

  • sample_size ( int, isteğe bağlı, varsayılan 1024) — Girdi örneğinin boyutu.
  • in_channels (int, isteğe bağlı, varsayılan 64) — Girdideki kanal sayısı.
  • num_layers (int, isteğe bağlı, varsayılan 24) — Kullanılacak Transformer bloklarının katman sayısı.
  • attention_head_dim (int, isteğe bağlı, varsayılan 64) — Her baştaki kanal sayısı.
  • num_attention_heads (int, isteğe bağlı, varsayılan 24) — Sorgu durumları için kullanılacak baş sayısı.
  • num_key_value_attention_heads (int, isteğe bağlı, varsayılan 12) — Anahtar ve değer durumları için kullanılacak baş sayısı.
  • out_channels (int, varsayılan 64) — Çıkış kanal sayısı.
  • cross_attention_dim ( int, isteğe bağlı, varsayılan 768) — Çapraz dikkat projeksiyonunun boyutu.
  • time_proj_dim ( int, isteğe bağlı, varsayılan 256) — Zaman adımı iç projeksiyonunun boyutu.
  • global_states_input_dim ( int, isteğe bağlı, varsayılan 1536) — Küresel gizli durumlar projeksiyonunun giriş boyutu.
  • cross_attention_input_dim ( int, isteğe bağlı, varsayılan 768) — Çapraz dikkat projeksiyonunun giriş boyutu

Stable Audio'da tanıtılan Diffusion Transformer modeli.

Referans: https://github.com/Stability-AI/stable-audio-tools

forward

< >

( hidden_states: FloatTensortimestep: LongTensor = Noneencoder_hidden_states: FloatTensor = Noneglobal_hidden_states: FloatTensor = Nonerotary_embedding: FloatTensor = Nonereturn_dict: bool = Trueattention_mask: typing.Optional[torch.LongTensor] = Noneencoder_attention_mask: typing.Optional[torch.LongTensor] = None )

Parametreler

  • hidden_states (torch.FloatTensor, şekli (batch size, in_channels, sequence_len)) — Girdi hidden_states.
  • timestep ( torch.LongTensor) — Gürültü azaltma adımını belirtmek için kullanılır.
  • encoder_hidden_states (torch.FloatTensor of shape (batch size, encoder_sequence_len, cross_attention_input_dim)) — Kullanılacak koşullu gömme değerleri (prompt gibi giriş koşullarından hesaplanan gömme değerleri).
  • global_hidden_states (torch.FloatTensor, şekli (batch size, global_sequence_len, global_states_input_dim)) — Gizli durumların başına eklenecek küresel gömme değerleri.
  • rotary_embedding (torch.Tensor) — Dikkat hesabı sırasında sorgu ve anahtar tensörlerine uygulanacak döner gömme (rotary embedding) değerleri.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmemesi.
  • attention_mask (torch.Tensor şeklinde (batch_size, sequence_len), isteğe bağlı) — Doldurma (padding) jeton indekslerinde dikkat (attention) işleminin uygulanmamasını sağlayan, iki metin kodlayıcısının dikkat maskelerinin birleştirilmesiyle oluşturulan maske. Seçilen maske değerleri [0, 1]:
    • 1, maskelenmemiş jetonlar için,
    • maskelenmiş jetonlar için 0.
  • encoder_attention_mask (torch.Tensor şeklinde (batch_size, sequence_len), isteğe bağlı) — Doldurma (padding) jetonlarındaki çapraz dikkat indekslerinde dikkat işleminin uygulanmasını önlemek için, iki metin kodlayıcısının dikkat maskelerinin birleştirilmesiyle oluşturulan maske. Maskede seçilen değerler [0, 1]:
    • 1, maskelenmemiş jetonlar için,
    • maskelenmiş jetonlar için 0.

StableAudioDiTModel ileri yöntemi.

set_default_attn_processor

< >

( )

Özel dikkat işleyicilerini devre dışı bırakır ve varsayılan dikkat uygulamasını ayarlar.

Update on GitHub

←StableAudio3DiTModel Transformer2DModel→