Hugging Face's logo

Diffusers documentation

HunyuanVideo15Transformer3DModel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

HunyuanVideo15Transformer3DModel

Model Diffusion Transformer untuk data video 3D yang digunakan dalam HunyuanVideo1.5.

Model dapat dimuat dengan potongan kode berikut.

from diffusers import HunyuanVideo15Transformer3DModel

transformer = HunyuanVideo15Transformer3DModel.from_pretrained("hunyuanvideo-community/HunyuanVideo-1.5-Diffusers-480p_t2v" subfolder="transformer", dtype=torch.bfloat16)

HunyuanVideo15Transformer3DModel

kelas diffusers.HunyuanVideo15Transformer3DModel

< >

( in_channels: int = 65out_channels: int = 32num_attention_heads: int = 16attention_head_dim: int = 128num_layers: int = 54num_refiner_layers: int = 2mlp_ratio: float = 4.0patch_size: int = 1patch_size_t: int = 1qk_norm: str = 'rms_norm'text_embed_dim: int = 3584text_embed_2_dim: int = 1472image_embed_dim: int = 1152rope_theta: float = 256.0rope_axes_dim: tuple[int, ...] = (16, 56, 56)target_size: int = 640task_type: str = 'i2v'use_meanflow: bool = False )

Parameter

  • in_channels (int, defaultnya 16) — Jumlah channel pada input.
  • out_channels (int, defaultnya 16) — Jumlah channel pada output.
  • num_attention_heads (int, defaultnya 24) — Jumlah head yang digunakan untuk multi-head attention.
  • attention_head_dim (int, defaultnya 128) — Jumlah saluran di setiap head.
  • num_layers (int, defaultnya 20) — Jumlah lapisan blok dual-stream yang akan digunakan.
  • num_refiner_layers (int, defaultnya 2) — Jumlah lapisan blok refiner yang akan digunakan.
  • mlp_ratio (float, defaultnya 4.0) — Rasio ukuran lapisan tersembunyi terhadap ukuran input dalam jaringan feedforward.
  • patch_size (int, defaultnya 2) — Ukuran patch spasial yang akan digunakan di lapisan patch embedding.
  • patch_size_t (int, defaultnya 1) — Ukuran patch temporal yang digunakan di lapisan patch embedding.
  • qk_norm (str, defaultnya rms_norm) — Normalisasi yang digunakan untuk proyeksi query dan key pada lapisan attention.
  • guidance_embeds (bool, defaultnya True) — Apakah akan menggunakan guidance embeddings dalam model.
  • text_embed_dim (int, defaultnya 4096) — Dimensi input dari text embeddings yang berasal dari text encoder.
  • pooled_projection_dim (int, defaultnya 768) — Dimensi dari pooled projection dari text embeddings.
  • rope_theta (float, defaultnya 256.0) — Nilai theta yang digunakan di lapisan RoPE.
  • rope_axes_dim (tuple[int], defaultnya (16, 56, 56)) — Dimensi sumbu yang akan digunakan di lapisan RoPE.

Model Transformer untuk data mirip video yang digunakan dalam HunyuanVideo1.5.

forward

< >

( hidden_states: Tensortimestep: LongTensorencoder_hidden_states: Tensorencoder_attention_mask: Tensortimestep_r: typing.Optional[torch.LongTensor] = Noneencoder_hidden_states_2: typing.Optional[torch.Tensor] = Noneencoder_attention_mask_2: typing.Optional[torch.Tensor] = Noneimage_embeds: typing.Optional[torch.Tensor] = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )

Parameter

  • hidden_states (torch.Tensor dengan bentuk (batch_size, num_channels, num_frames, height, width)) — hidden_states masukan.
  • timestep (torch.LongTensor) — Digunakan untuk menunjukkan langkah denoising.
  • encoder_hidden_states (torch.Tensor dengan bentuk (batch_size, sequence_len, embed_dims)) — Embedding kondisional (embedding yang dihitung dari kondisi input seperti prompt) yang akan digunakan.
  • encoder_attention_mask (torch.Tensor) — Mask yang diterapkan pada encoder_hidden_states selama attention.
  • timestep_r (torch.LongTensor, opsional) — Kondisi timestep Refiner.
  • encoder_hidden_states_2 (torch.Tensor, opsional) — Embedding kondisional tambahan yang dihitung dari encoder teks kedua (ByT5).
  • encoder_attention_mask_2 (torch.Tensor, opsional) — Mask yang diterapkan pada encoder_hidden_states_2 selama attention.
  • image_embeds (torch.Tensor, opsional) — Embedding gambar untuk generasi yang dikondisikan oleh gambar.
  • attention_kwargs (dict, opsional) — Kamus kwargs yang jika ditentukan akan diteruskan ke AttentionProcessor seperti yang didefinisikan di bawah self.processor dalam diffusers.models.attention_processor.
  • return_dict (bool, opsional, default True) — Apakah akan mengembalikan ~models.transformer_2d.Transformer2DModelOutput alih-alih tuple biasa.

Metode forward dari HunyuanVideo15Transformer3DModel.

Transformer2DModelOutput

kelas diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parameter

  • sample (torch.Tensor dengan bentuk (batch_size, num_channels, height, width) atau (batch size, num_vector_embeds - 1, num_latent_pixels) jika Transformer2DModel bersifat diskrit) — Output hidden states yang dikondisikan pada input encoder_hidden_states. Jika diskrit, mengembalikan distribusi probabilitas untuk latent pixels yang tidak berisik.

Output dari Transformer2DModel.

Update on GitHub

←HunyuanImageTransformer2DModel HunyuanVideoTransformer3DModel→