Hugging Face's logo

Diffusers documentation

MochiTransformer3DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

MochiTransformer3DModel

Genmo tarafından Mochi-1 Preview ile 3D video benzeri veriler için bir Diffusion Transformer modeli tanıtıldı.

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import MochiTransformer3DModel

transformer = MochiTransformer3DModel.from_pretrained("genmo/mochi-1-preview", subfolder="transformer", dtype=torch.float16).to("cuda")  # or "mps", "xpu", "cpu"

MochiTransformer3DModel

sınıf diffusers.MochiTransformer3DModel

< >

( patch_size: int = 2num_attention_heads: int = 24attention_head_dim: int = 128num_layers: int = 48pooled_projection_dim: int = 1536in_channels: int = 12out_channels: int | None = Noneqk_norm: str = 'rms_norm'text_embed_dim: int = 4096time_embed_dim: int = 256activation_fn: str = 'swiglu'max_sequence_length: int = 256 )

Parametreler

  • patch_size (int, varsayılan 2) — Patch gömme katmanında kullanılacak yamaların boyutu.
  • num_attention_heads (int, varsayılan 24) — Çok başlı dikkat (multi-head attention) için kullanılacak baş sayısı.
  • attention_head_dim (int, varsayılan 128) — Her baştaki kanal sayısı.
  • num_layers (int, varsayılan 48) — Kullanılacak Transformer bloklarının katman sayısı.
  • in_channels (int, varsayılan 12) — Girdideki kanal sayısı.
  • out_channels (int, isteğe bağlı, varsayılan None) — Çıktıdaki kanal sayısı.
  • qk_norm (str, varsayılan "rms_norm") — Kullanılacak normalizasyon katmanı.
  • text_embed_dim (int, varsayılan 4096) — Metin kodlayıcıdan gelen metin gömme girdi boyutu.
  • time_embed_dim (int, varsayılan 256) — Zaman adımı gömme çıktısının boyutu.
  • activation_fn (str, varsayılan "swiglu") — İleri beslemeli ağda kullanılacak aktivasyon fonksiyonu.
  • max_sequence_length (int, varsayılan 256) — Desteklenen metin gömme (embedding) dizilerinin maksimum uzunluğu.

Mochi'de tanıtılan, video benzeri veriler için bir Transformer modeli.

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensortimestep: LongTensorencoder_attention_mask: Tensorattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True ) → torch.Tensor

Parametreler

  • hidden_states (torch.Tensor, şekli (batch_size, num_channels, num_frames, height, width)) — Girdi hidden_states.
  • encoder_hidden_states (torch.Tensor, şekli (batch_size, sequence_len, embed_dims)) — Kullanılacak koşullu gömme değerleri (prompt gibi girdi koşullarından hesaplanan gömme değerleri).
  • timestep (torch.LongTensor) — Gürültü azaltma adımını belirtmek için kullanılır.
  • encoder_attention_mask (torch.Tensor) — Dikkat sırasında encoder_hidden_states uygulanan maske.
  • attention_kwargs (dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindeki self.processor altında tanımlanan AttentionProcessor'a iletilen bir kwargs sözlüğü.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmemesi.

Dönüş değeri

torch.Tensor

(batch_size, out_channels, num_frames, height, width) biçiminde gürültüsü azaltılmış çıktı tensörü.

MochiTransformer3DModel ileri yöntemi.

Transformer2DModelOutput

sınıf diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parametreler

  • sample (torch.Tensor, şekli (batch_size, num_channels, height, width) veya Transformer2DModel ayrık (discrete) ise (batch size, num_vector_embeds - 1, num_latent_pixels)) — encoder_hidden_states girdisine koşullu gizli durum (hidden states) çıktısı. Ayrık (discrete) ise, gürültüsü kaldırılmış (unnoised) gizli (latent) pikseller için olasılık dağıtımlarını döndürür.

Transformer2DModel'nin çıktısı.

Update on GitHub

←MiniMaxMusic3Transformer1DModel MotifVideoTransformer3DModel→