Hugging Face's logo

Diffusers documentation

EasyAnimateTransformer3DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

EasyAnimateTransformer3DModel

Alibaba PAI tarafından EasyAnimate için 3B verilerde kullanılan bir Diffusion Transformer modeli tanıtıldı.

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import EasyAnimateTransformer3DModel

transformer = EasyAnimateTransformer3DModel.from_pretrained("alibaba-pai/EasyAnimateV5.1-12b-zh", subfolder="transformer", dtype=torch.float16).to("cuda")  # or "mps", "xpu", "cpu"

EasyAnimateTransformer3DModel

sınıf diffusers.EasyAnimateTransformer3DModel

< >

( num_attention_heads: int = 48attention_head_dim: int = 64in_channels: int | None = Noneout_channels: int | None = Nonepatch_size: int | None = Nonesample_width: int = 90sample_height: int = 60activation_fn: str = 'gelu-approximate'timestep_activation_fn: str = 'silu'freq_shift: int = 0num_layers: int = 48mmdit_layers: int = 48dropout: float = 0.0time_embed_dim: int = 512add_norm_text_encoder: bool = Falsetext_embed_dim: int = 3584text_embed_dim_t5: int = Nonenorm_eps: float = 1e-05norm_elementwise_affine: bool = Trueflip_sin_to_cos: bool = Truetime_position_encoding_type: str = '3d_rope'after_norm = Falseresize_inpaint_mask_directly: bool = Trueenable_text_attention_mask: bool = Trueadd_noise_in_inpaint_model: bool = True )

Parametreler

  • num_attention_heads (int, varsayılan 48) — Çok başlı dikkat (multi-head attention) için kullanılacak baş sayısı.
  • attention_head_dim (int, varsayılan 64) — Her baştaki kanal sayısı.
  • in_channels (int, varsayılan 16) — Girdideki kanal sayısı.
  • out_channels (int, isteğe bağlı, varsayılan 16) — Çıktıdaki kanal sayısı.
  • patch_size (int, varsayılan 2) — Patch gömme katmanında kullanılacak yamaların boyutu.
  • sample_width (int, varsayılan 90) — Girdi latentlerinin genişliği.
  • sample_height (int, varsayılan 60) — Girdi latentlerinin yüksekliği.
  • activation_fn (str, varsayılan "gelu-approximate") — İleri beslemeli ağda kullanılacak aktivasyon fonksiyonu.
  • timestep_activation_fn (str, varsayılan "silu") — Zaman adımları gömmelemelerini üretirken kullanılacak aktivasyon fonksiyonu.
  • num_layers (int, varsayılan 30) — Kullanılacak Transformer bloklarının katman sayısı.
  • mmdit_layers (int, varsayılan 1000) — Kullanılacak Multi Modal Transformer bloklarının katman sayısı.
  • dropout (float, varsayılan 0.0) — Kullanılacak dropout olasılığı.
  • time_embed_dim (int, varsayılan 512) — Zaman adımı gömme çıktısının boyutu.
  • text_embed_dim (int, varsayılan 4096) — Metin kodlayıcıdan gelen metin gömme girdi boyutu.
  • norm_eps (float, varsayılan 1e-5) — Normalizasyon katmanlarında kullanılacak epsilon değeri.
  • norm_elementwise_affine (bool, varsayılan True) — Normalizasyon katmanlarında elementwise affine kullanılacak mı.
  • flip_sin_to_cos (bool, varsayılan True) — Zaman gömme (embedding) içinde sin'in cos'a çevrilip çevrilmeyeceğini belirtir.
  • time_position_encoding_type (str, varsayılan 3d_rope) — Zaman konum kodlaması türü.
  • after_norm (bool, varsayılan False) — Daha sonra normalizasyon uygulanacaksa ayarlanır.
  • resize_inpaint_mask_directly (bool, varsayılan True) — Inpaint mask'ini doğrudan yeniden boyutlandırmak için bayrak.
  • enable_text_attention_mask (bool, varsayılan True) — Metin dikkat maskesini etkinleştirmek için bayrak.
  • add_noise_in_inpaint_model (bool, varsayılan False) — Inpaint model'de gürültü eklemek için bayrak.

EasyAnimate içinde video benzeri veriler için bir Transformer modeli.

forward

< >

( hidden_states: Tensortimestep: Tensortimestep_cond: typing.Optional[torch.Tensor] = Noneencoder_hidden_states: typing.Optional[torch.Tensor] = Noneencoder_hidden_states_t5: typing.Optional[torch.Tensor] = Noneinpaint_latents: typing.Optional[torch.Tensor] = Nonecontrol_latents: typing.Optional[torch.Tensor] = Nonereturn_dict: bool = True )

Parametreler

  • hidden_states (torch.Tensor, şekli (batch_size, channels, num_frames, height, width)) — Girdi hidden_states.
  • timestep (torch.LongTensor) — Gürültü azaltma adımını belirtmek için kullanılır.
  • timestep_cond (torch.Tensor, isteğe bağlı) — Timestep için koşullu gömme (embedding) değerleri. Sağlanırsa, gömme değerleri self.time_embedding katmanından geçirilen örneklerle toplanarak nihai timestep gömme değerleri elde edilir.
  • encoder_hidden_states (torch.Tensor, isteğe bağlı) — Kullanılacak koşullu gömme değerleri (prompt gibi giriş koşullarından hesaplanan gömme değerleri).
  • encoder_hidden_states_t5 (torch.Tensor, isteğe bağlı) — T5 metin kodlayıcısından hesaplanan ek koşullu gömme değerleri.
  • inpaint_latents (torch.Tensor, isteğe bağlı) — Modelin inpainting varyantları için hidden_states ile birleştirilen latents.
  • control_latents (torch.Tensor, isteğe bağlı) — Modelin kontrol varyantları için hidden_states ile birleştirilen latentler.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmemesi.

EasyAnimateTransformer3DModel ileri yöntemi.

Transformer2DModelOutput

sınıf diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parametreler

  • sample (torch.Tensor, şekli (batch_size, num_channels, height, width) veya Transformer2DModel ayrık (discrete) ise (batch size, num_vector_embeds - 1, num_latent_pixels)) — encoder_hidden_states girdisine koşullu gizli durum (hidden states) çıktısı. Ayrık (discrete) ise, gürültüsü kaldırılmış (unnoised) gizli (latent) pikseller için olasılık dağıtımlarını döndürür.

Transformer2DModel'nin çıktısı.

Update on GitHub

←DiTTransformer2DModel ErnieImageTransformer2DModel→