Hugging Face's logo

Diffusers documentation

HunyuanVideo15Transformer3DModel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

HunyuanVideo15Transformer3DModel

Một mô hình Diffusion Transformer cho dữ liệu dạng video 3D được sử dụng trong HunyuanVideo1.5.

Mô hình có thể được tải bằng đoạn mã sau.

from diffusers import HunyuanVideo15Transformer3DModel

transformer = HunyuanVideo15Transformer3DModel.from_pretrained("hunyuanvideo-community/HunyuanVideo-1.5-Diffusers-480p_t2v" subfolder="transformer", dtype=torch.bfloat16)

HunyuanVideo15Transformer3DModel

lớp diffusers.HunyuanVideo15Transformer3DModel

< >

( in_channels: int = 65out_channels: int = 32num_attention_heads: int = 16attention_head_dim: int = 128num_layers: int = 54num_refiner_layers: int = 2mlp_ratio: float = 4.0patch_size: int = 1patch_size_t: int = 1qk_norm: str = 'rms_norm'text_embed_dim: int = 3584text_embed_2_dim: int = 1472image_embed_dim: int = 1152rope_theta: float = 256.0rope_axes_dim: tuple[int, ...] = (16, 56, 56)target_size: int = 640task_type: str = 'i2v'use_meanflow: bool = False )

Tham số

  • in_channels (int, mặc định là 16) — Số lượng kênh trong đầu vào.
  • out_channels (int, mặc định là 16) — Số lượng kênh trong đầu ra.
  • num_attention_heads (int, mặc định là 24) — Số lượng đầu (heads) được sử dụng cho cơ chế chú ý đa đầu (multi-head attention).
  • attention_head_dim (int, mặc định là 128) — Số lượng kênh trong mỗi head.
  • num_layers (int, mặc định là 20) — Số lượng lớp của các khối dual-stream được sử dụng.
  • num_refiner_layers (int, mặc định là 2) — Số lượng lớp của các khối refiner cần sử dụng.
  • mlp_ratio (float, mặc định là 4.0) — Tỷ lệ giữa kích thước lớp ẩn và kích thước đầu vào trong mạng feedforward.
  • patch_size (int, mặc định là 2) — Kích thước của các patch không gian được sử dụng trong lớp nhúng patch.
  • patch_size_t (int, mặc định là 1) — Kích thước của các patch thời gian (temporal patches) được sử dụng trong lớp nhúng patch (patch embedding layer).
  • qk_norm (str, mặc định là rms_norm) — Phương pháp chuẩn hóa được sử dụng cho các phép chiếu query và key trong các lớp attention.
  • guidance_embeds (bool, mặc định là True) — Có sử dụng guidance embeddings trong mô hình hay không.
  • text_embed_dim (int, mặc định là 4096) — Kích thước đầu vào của các vector nhúng văn bản từ bộ mã hóa văn bản.
  • pooled_projection_dim (int, mặc định là 768) — Kích thước của phép chiếu gộp (pooled projection) của các nhúng văn bản.
  • rope_theta (float, mặc định là 256.0) — Giá trị của theta được sử dụng trong lớp RoPE.
  • rope_axes_dim (tuple[int], mặc định là (16, 56, 56)) — Các chiều của các trục được sử dụng trong lớp RoPE.

Một mô hình Transformer cho dữ liệu dạng video được sử dụng trong HunyuanVideo1.5.

forward

< >

( hidden_states: Tensortimestep: LongTensorencoder_hidden_states: Tensorencoder_attention_mask: Tensortimestep_r: typing.Optional[torch.LongTensor] = Noneencoder_hidden_states_2: typing.Optional[torch.Tensor] = Noneencoder_attention_mask_2: typing.Optional[torch.Tensor] = Noneimage_embeds: typing.Optional[torch.Tensor] = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )

Tham số

  • hidden_states (torch.Tensor có hình dạng (batch_size, num_channels, num_frames, height, width)) — hidden_states đầu vào.
  • timestep (torch.LongTensor) — Dùng để chỉ bước khử nhiễu.
  • encoder_hidden_states (torch.Tensor có hình dạng (batch_size, sequence_len, embed_dims)) — Các embedding điều kiện (embedding được tính từ các điều kiện đầu vào như prompt) cần sử dụng.
  • encoder_attention_mask (torch.Tensor) — Mặt nạ được áp dụng cho encoder_hidden_states trong quá trình chú ý.
  • timestep_r (torch.LongTensor, tùy chọn) — Điều kiện hóa bước thời gian của Refiner.
  • encoder_hidden_states_2 (torch.Tensor, tùy chọn) — Các embedding điều kiện bổ sung được tính toán từ trình mã hóa văn bản thứ hai (ByT5).
  • encoder_attention_mask_2 (torch.Tensor, tùy chọn) — Mặt nạ được áp dụng cho encoder_hidden_states_2 trong quá trình chú ý.
  • image_embeds (torch.Tensor, tùy chọn) — Các embedding ảnh cho việc tạo nội dung có điều kiện theo ảnh.
  • attention_kwargs (dict, tùy chọn) — Một từ điển kwargs, nếu được chỉ định, sẽ được truyền đến AttentionProcessor như đã định nghĩa dưới self.processor trong diffusers.models.attention_processor.
  • return_dict (bool, tùy chọn, mặc định là True) — Có nên trả về một ~models.transformer_2d.Transformer2DModelOutput thay vì một tuple thông thường hay không.

Phương thức forward của HunyuanVideo15Transformer3DModel.

Transformer2DModelOutput

lớp diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Tham số

  • sample (torch.Tensor có hình dạng (batch_size, num_channels, height, width) hoặc (batch size, num_vector_embeds - 1, num_latent_pixels) nếu Transformer2DModel là rời rạc) — Trạng thái ẩn đầu ra được điều kiện bởi đầu vào encoder_hidden_states. Nếu là rời rạc, trả về các phân phối xác suất cho các pixel tiềm ẩn không nhiễu.

Đầu ra của Transformer2DModel.

Update on GitHub

←HunyuanImageTransformer2DModel HunyuanVideoTransformer3DModel→