Hugging Face's logo

Diffusers documentation

TransformerTemporalModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

TransformerTemporalModel

Video benzeri veriler için bir Transformer modeli.

TransformerTemporalModel

sınıf diffusers.TransformerTemporalModel

< >

( num_attention_heads: int = 16attention_head_dim: int = 88in_channels: int | None = Noneout_channels: int | None = Nonenum_layers: int = 1dropout: float = 0.0norm_num_groups: int = 32cross_attention_dim: int | None = Noneattention_bias: bool = Falsesample_size: int | None = Noneactivation_fn: str = 'geglu'norm_elementwise_affine: bool = Truedouble_self_attention: bool = Truepositional_embeddings: str | None = Nonenum_positional_embeddings: int | None = None )

Parametreler

  • num_attention_heads (int, isteğe bağlı, varsayılan 16) — Çok başlı dikkat (multi-head attention) için kullanılacak baş sayısı.
  • attention_head_dim (int, isteğe bağlı, varsayılan 88) — Her baştaki kanal sayısı.
  • in_channels (int, isteğe bağlı) — Girdi ve çıktıdaki kanal sayısı (girdi sürekli ise belirtin).
  • num_layers (int, isteğe bağlı, varsayılan 1) — Kullanılacak Transformer bloğu katman sayısı.
  • dropout (float, isteğe bağlı, varsayılan 0.0) — Kullanılacak dropout olasılığı.
  • cross_attention_dim (int, isteğe bağlı) — Kullanılacak encoder_hidden_states boyutlarının sayısı.
  • attention_bias (bool, isteğe bağlı) — TransformerBlock dikkatinin bir bias parametresi içermesini yapılandırır.
  • sample_size (int, isteğe bağlı) — Latent görüntülerin genişliği (girdi discrete ise belirtin). Bu, konum gömme sayısını öğrenmek için kullanıldığından eğitim sırasında sabittir.
  • activation_fn (str, isteğe bağlı, varsayılan "geglu") — İleri beslemeli ağda kullanılacak aktivasyon fonksiyonu. Desteklenen aktivasyon fonksiyonları için diffusers.models.activations.get_activation adresine bakın.
  • norm_elementwise_affine (bool, isteğe bağlı) — TransformerBlock'ün normalizasyon için öğrenilebilir elementwise affine parametreler kullanıp kullanmayacağını yapılandırır.
  • double_self_attention (bool, isteğe bağlı) — Her TransformerBlock'ün iki öz-dikkat katmanı içermesini yapılandırır.
  • positional_embeddings — (str, isteğe bağlı): Kullanıma geçmeden önce dizi girdisine uygulanacak konumsal gömme türü.
  • num_positional_embeddings — (int, isteğe bağlı): Konumsal gömme uygulamak için dikkate alınan dizinin maksimum uzunluğu.

Video benzeri veriler için bir Transformer modeli.

forward

< >

( hidden_states: Tensorencoder_hidden_states: typing.Optional[torch.LongTensor] = Nonetimestep: typing.Optional[torch.LongTensor] = Noneclass_labels: LongTensor = Nonenum_frames: int = 1cross_attention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True ) → TransformerTemporalModelOutput or tuple

Parametreler

  • hidden_states (ayrık ise (batch size, num latent pixels) biçiminde torch.LongTensor, sürekli ise (batch size, channel, height, width) biçiminde torch.Tensor) — Girdi gizli durumları.
  • encoder_hidden_states ( torch.LongTensor, şekli (batch size, encoder_hidden_states dim), isteğe bağlı) — Çapraz dikkat katmanı için koşullu gömme (embedding) değerleri. Verilmezse, çapraz dikkat varsayılan olarak kendine dikkat (self-attention) olarak çalışır.
  • timestep ( torch.LongTensor, isteğe bağlı) — Gürültü azaltma adımını belirtmek için kullanılır. AdaLayerNorm içinde gömme olarak uygulanacak isteğe bağlı timestep.
  • class_labels ( torch.LongTensor, şekli (batch size, num classes), isteğe bağlı) — Sınıf etiketi koşullandırmasını belirtmek için kullanılır. AdaLayerZeroNorm içinde gömme (embedding) olarak uygulanacak isteğe bağlı sınıf etiketleri.
  • num_frames (int, isteğe bağlı, varsayılan 1) — Her parti için işlenecek kare sayısı. Bu, gizli durumların yeniden şekillendirilmesinde kullanılır.
  • cross_attention_kwargs (dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindeki self.processor altında tanımlanan AttentionProcessor'a iletilen bir kwargs sözlüğü.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine TransformerTemporalModelOutput döndürülüp döndürülmemesi.

Dönüş değeri

TransformerTemporalModelOutput veya tuple

return_dict True ise, bir TransformerTemporalModelOutput döndürülür, aksi takdirde ilk öğesi örnek tensörü olan bir tuple döndürülür.

TransformerTemporal ileri yöntemi.

TransformerTemporalModelOutput

sınıf diffusers.models.transformers.transformer_temporal.TransformerTemporalModelOutput

< >

( sample: Tensor )

Parametreler

  • sample (torch.Tensor, şekli (batch_size x num_frames, num_channels, height, width)) — encoder_hidden_states girdisine koşullu gizli durum çıktısı.

TransformerTemporalModel'ün çıktısı.

Update on GitHub

←Transformer2DModel WanAnimate2Transformer3DModel→