Hugging Face's logo

Diffusers documentation

HunyuanVideoTransformer3DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

HunyuanVideoTransformer3DModel

Tencent tarafından HunyuanVideo: A Systematic Framework For Large Video Generative Models makalesinde, 3D video benzeri veriler için bir Diffusion Transformer modeli tanıtılmıştır.

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import HunyuanVideoTransformer3DModel

transformer = HunyuanVideoTransformer3DModel.from_pretrained("hunyuanvideo-community/HunyuanVideo", subfolder="transformer", dtype=torch.bfloat16)

HunyuanVideoTransformer3DModel

sınıf diffusers.HunyuanVideoTransformer3DModel

< >

( in_channels: int = 16out_channels: int = 16num_attention_heads: int = 24attention_head_dim: int = 128num_layers: int = 20num_single_layers: int = 40num_refiner_layers: int = 2mlp_ratio: float = 4.0patch_size: int = 2patch_size_t: int = 1qk_norm: str = 'rms_norm'guidance_embeds: bool = Truetext_embed_dim: int = 4096pooled_projection_dim: int = 768rope_theta: float = 256.0rope_axes_dim: tuple = (16, 56, 56)image_condition_type: str | None = None )

Parametreler

  • in_channels (int, varsayılan 16) — Girdideki kanal sayısı.
  • out_channels (int, varsayılan 16) — Çıktıdaki kanal sayısı.
  • num_attention_heads (int, varsayılan 24) — Çok başlı dikkat (multi-head attention) için kullanılacak baş sayısı.
  • attention_head_dim (int, varsayılan 128) — Her baştaki kanal sayısı.
  • num_layers (int, varsayılan 20) — Kullanılacak çift akışlı blokların katman sayısı.
  • num_single_layers (int, varsayılan 40) — Kullanılacak tek akışlı blok katmanlarının sayısı.
  • num_refiner_layers (int, varsayılan 2) — Kullanılacak refiner bloklarının katman sayısı.
  • mlp_ratio (float, varsayılan 4.0) — İleri beslemeli ağda gizli katman boyutunun giriş boyutuna oranı.
  • patch_size (int, varsayılan 2) — Patch gömme katmanında kullanılacak uzamsal yamaların boyutu.
  • patch_size_t (int, varsayılan 1) — Yama gömme katmanında kullanılacak zamansal yamaların boyutu.
  • qk_norm (str, varsayılan rms_norm) — Dikkat katmanlarında sorgu ve anahtar projeksiyonları için kullanılacak normalizasyon.
  • guidance_embeds (bool, varsayılan True) — Modelde rehberlik gömme (embedding) kullanılıp kullanılmayacağı.
  • text_embed_dim (int, varsayılan 4096) — Metin kodlayıcıdan gelen metin gömme girdi boyutu.
  • pooled_projection_dim (int, varsayılan 768) — Metin gömme vektörlerinin havuzlanmış yansımalarının boyutu.
  • rope_theta (float, varsayılan 256.0) — RoPE katmanında kullanılacak theta değeri.
  • rope_axes_dim (tuple[int], varsayılan (16, 56, 56)) — RoPE katmanında kullanılacak eksenlerin boyutları.
  • image_condition_type (str, isteğe bağlı, varsayılan None) — Kullanılacak görüntü koşullandırma türü. None ise görüntü koşullandırması kullanılmaz. latent_concat ise görüntü, latent akışa eklenir. token_replace ise görüntü, latent akıştaki ilk kare token'larını değiştirmek ve koşullandırmayı uygulamak için kullanılır.

HunyuanVideo'da kullanılan video benzeri veriler için bir Transformer modeli.

forward

< >

( hidden_states: Tensortimestep: LongTensorencoder_hidden_states: Tensorencoder_attention_mask: Tensorpooled_projections: Tensorguidance: Tensor = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )

Parametreler

  • hidden_states (torch.Tensor, şekli (batch_size, num_channels, num_frames, height, width)) — Girdi hidden_states.
  • timestep (torch.LongTensor) — Gürültü azaltma adımını belirtmek için kullanılır.
  • encoder_hidden_states (torch.Tensor, şekli (batch_size, sequence_len, embed_dims)) — Kullanılacak koşullu gömme değerleri (prompt gibi girdi koşullarından hesaplanan gömme değerleri).
  • encoder_attention_mask (torch.Tensor) — Dikkat sırasında encoder_hidden_states uygulanan maske.
  • pooled_projections (torch.Tensor, şekli (batch_size, projection_dim)) — Girdi koşullarının gömülme değerlerinden yansıtılan gömülme değerleri.
  • guidance (torch.Tensor, isteğe bağlı) — Modelin guidance-distilled varyantları için kullanılan guidance ölçek gömme değeri.
  • attention_kwargs (dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindeki self.processor altında tanımlanan AttentionProcessor'a iletilen bir kwargs sözlüğü.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmemesi.

HunyuanVideoTransformer3DModel ileri yöntemi.

Transformer2DModelOutput

sınıf diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parametreler

  • sample (torch.Tensor, şekli (batch_size, num_channels, height, width) veya Transformer2DModel ayrık (discrete) ise (batch size, num_vector_embeds - 1, num_latent_pixels)) — encoder_hidden_states girdisine koşullu gizli durum (hidden states) çıktısı. Ayrık (discrete) ise, gürültüsü kaldırılmış (unnoised) gizli (latent) pikseller için olasılık dağıtımlarını döndürür.

Transformer2DModel'nin çıktısı.

Update on GitHub

←HunyuanVideo15Transformer3DModel Ideogram4Transformer2DModel→