Hugging Face's logo

Diffusers documentation

MotifVideoTransformer3DModel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

MotifVideoTransformer3DModel

Motif Technologies Team tarafından Motif-Video'da tanıtılan, 3B video benzeri veriler için bir Diffusion Transformer modeli.

Model, video üretimi için 12 çift akış + 16 tek akış + 8 DDT kodlayıcı katmanlı üç aşamalı bir mimari ve döner konumsal gömme (RoPE) kullanır.

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import MotifVideoTransformer3DModel

transformer = MotifVideoTransformer3DModel.from_pretrained("Motif-Technologies/Motif-Video-2B", subfolder="transformer", dtype=torch.bfloat16)

MotifVideoTransformer3DModel

sınıf diffusers.MotifVideoTransformer3DModel

< >

( in_channels: int = 33out_channels: int = 16num_attention_heads: int = 24attention_head_dim: int = 128num_layers: int = 20num_single_layers: int = 40num_decoder_layers: int = 0mlp_ratio: float = 4.0patch_size: int = 2patch_size_t: int = 1qk_norm: str = 'rms_norm'norm_type: str = 'layer_norm'text_embed_dim: int = 4096image_embed_dim: int | None = Nonerope_theta: float = 256.0rope_axes_dim: typing.Tuple[int, ...] = (16, 56, 56)enable_text_cross_attention_dual: bool = Falseenable_text_cross_attention_single: bool = False )

Parametreler

  • in_channels (int, varsayılan 33) — Girdideki kanal sayısı.
  • out_channels (int, varsayılan 16) — Çıktıdaki kanal sayısı.
  • num_attention_heads (int, varsayılan 24) — Çok başlı dikkat (multi-head attention) için kullanılacak baş sayısı.
  • attention_head_dim (int, varsayılan 128) — Her baştaki kanal sayısı.
  • num_layers (int, varsayılan 20) — Kullanılacak çift akışlı blokların katman sayısı.
  • num_single_layers (int, varsayılan 40) — Kullanılacak tek akışlı blok katmanlarının sayısı.
  • num_decoder_layers (int, varsayılan 0) — Tek akışlı bloklardaki decoder katmanlarının sayısı.
  • mlp_ratio (float, varsayılan 4.0) — İleri beslemeli ağda gizli katman boyutunun giriş boyutuna oranı.
  • patch_size (int, varsayılan 2) — Patch gömme katmanında kullanılacak uzamsal yamaların boyutu.
  • patch_size_t (int, varsayılan 1) — Patch gömme katmanında kullanılacak zamansal yamaların boyutu.
  • qk_norm (str, varsayılan rms_norm) — Dikkat katmanlarında sorgu ve anahtar projeksiyonları için kullanılacak normalizasyon.
  • text_embed_dim (int, varsayılan 4096) — Metin kodlayıcıdan gelen metin gömme girdi boyutu.
  • image_embed_dim (int, isteğe bağlı) — Görüntü kodlayıcısından gelen görüntü gömme girdi boyutu. Sağlanırsa, görüntü koşullandırmasını etkinleştirir.
  • rope_theta (float, varsayılan 256.0) — RoPE katmanında kullanılacak theta değeri.
  • rope_axes_dim (Tuple[int], varsayılan (16, 56, 56)) — RoPE katmanında kullanılacak eksenlerin boyutları.

Motif-Video modelinde kullanılan, video benzeri veriler için bir Transformer modeli.

forward

< >

( hidden_states: Tensortimestep: LongTensorencoder_hidden_states: Tensorencoder_attention_mask: typing.Optional[torch.Tensor] = Noneimage_embeds: typing.Optional[torch.Tensor] = Noneattention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = Nonereturn_dict: bool = True ) → Transformer2DModelOutput or tuple

Parametreler

  • hidden_states (torch.Tensor) — (batch_size, channels, num_frames, height, width) biçiminde girdi latent tensörü.
  • timestep (torch.LongTensor) — (batch_size,) biçiminde difüzyon zaman adımları.
  • encoder_hidden_states (torch.Tensor) — (batch_size, sequence_length, embed_dim) biçiminde metin koşullandırma.
  • encoder_attention_mask (torch.Tensor) — (batch_size, sequence_length) biçiminde metin koşullandırma maskesi.
  • image_embeds (torch.Tensor, isteğe bağlı) — Görüntü kodlayıcısından gelen, (batch_size, num_tokens, embed_dim) biçiminde görüntü gömme değerleri.
  • attention_kwargs (dict, isteğe bağlı) — Dikkat işleyicileri için ek argümanlar.
  • return_dict (bool, varsayılan True) — Transformer2DModelOutput döndürülüp döndürülmediğini belirtir.

Dönüş değeri

Transformer2DModelOutput veya tuple

Tahmin edilen örnekler.

MotifVideoTransformer3DModel'in ileri geçişi.

Transformer2DModelOutput

sınıf diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parametreler

  • sample (torch.Tensor, şekli (batch_size, num_channels, height, width) veya Transformer2DModel ayrık (discrete) ise (batch size, num_vector_embeds - 1, num_latent_pixels)) — encoder_hidden_states girdisine koşullu gizli durum (hidden states) çıktısı. Ayrık (discrete) ise, gürültüsü kaldırılmış (unnoised) gizli (latent) pikseller için olasılık dağıtımlarını döndürür.

Transformer2DModel'nin çıktısı.

Update on GitHub

←MochiTransformer3DModel OmniGenTransformer2DModel→