Hugging Face's logo

Diffusers documentation

HunyuanVideo15Transformer3DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.43.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

HunyuanVideo15Transformer3DModel

Модель Diffusion Transformer для 3D-видеоподобных данных, используемая в HunyuanVideo1.5.

Модель можно загрузить с помощью следующего фрагмента кода.

from diffusers import HunyuanVideo15Transformer3DModel

transformer = HunyuanVideo15Transformer3DModel.from_pretrained("hunyuanvideo-community/HunyuanVideo-1.5-Diffusers-480p_t2v" subfolder="transformer", dtype=torch.bfloat16)

HunyuanVideo15Transformer3DModel

класс diffusers.HunyuanVideo15Transformer3DModel

< >

( in_channels: int = 65out_channels: int = 32num_attention_heads: int = 16attention_head_dim: int = 128num_layers: int = 54num_refiner_layers: int = 2mlp_ratio: float = 4.0patch_size: int = 1patch_size_t: int = 1qk_norm: str = 'rms_norm'text_embed_dim: int = 3584text_embed_2_dim: int = 1472image_embed_dim: int = 1152rope_theta: float = 256.0rope_axes_dim: tuple[int, ...] = (16, 56, 56)target_size: int = 640task_type: str = 'i2v'use_meanflow: bool = False )

Параметры

  • in_channels (int, по умолчанию 16) — Количество каналов на входе.
  • out_channels (int, по умолчанию 16) — Количество каналов на выходе.
  • num_attention_heads (int, по умолчанию 24) — Количество голов, используемых для многоголовного внимания.
  • attention_head_dim (int, по умолчанию 128) — Количество каналов в каждой голове.
  • num_layers (int, по умолчанию 20) — Количество используемых блоков dual-stream.
  • num_refiner_layers (int, по умолчанию 2) — Количество используемых слоёв блоков refiner.
  • mlp_ratio (float, по умолчанию 4.0) — Соотношение размера скрытого слоя к размеру входа в полносвязной сети.
  • patch_size (int, по умолчанию 2) — Размер пространственных патчей, используемых в слое встраивания патчей.
  • patch_size_t (int, по умолчанию 1) — Размер временных патчей, используемых в слое встраивания патчей.
  • qk_norm (str, по умолчанию rms_norm) — Тип нормализации, применяемой к проекциям запроса и ключа в слоях внимания.
  • guidance_embeds (bool, по умолчанию True) — Использовать ли guidance embeddings в модели.
  • text_embed_dim (int, по умолчанию 4096) — Входное измерение текстовых эмбеддингов от текстового энкодера.
  • pooled_projection_dim (int, по умолчанию 768) — Размерность пул-проекции текстовых эмбеддингов.
  • rope_theta (float, по умолчанию 256.0) — Значение theta, используемое в слое RoPE.
  • rope_axes_dim (tuple[int], по умолчанию (16, 56, 56)) — Размерности осей, используемых в слое RoPE.

Модель Transformer для видеоподобных данных, используемая в HunyuanVideo1.5.

forward

< >

( hidden_states: Tensortimestep: LongTensorencoder_hidden_states: Tensorencoder_attention_mask: Tensortimestep_r: typing.Optional[torch.LongTensor] = Noneencoder_hidden_states_2: typing.Optional[torch.Tensor] = Noneencoder_attention_mask_2: typing.Optional[torch.Tensor] = Noneimage_embeds: typing.Optional[torch.Tensor] = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )

Параметры

  • hidden_states (torch.Tensor формы (batch_size, num_channels, num_frames, height, width)) — Входные hidden_states.
  • timestep (torch.LongTensor) — Используется для указания шага денойзинга.
  • encoder_hidden_states (torch.Tensor формы (batch_size, sequence_len, embed_dims)) — Условные эмбеддинги (эмбеддинги, вычисленные на основе входных условий, таких как промпты), которые следует использовать.
  • encoder_attention_mask (torch.Tensor) — Маска, применяемая к encoder_hidden_states во время внимания.
  • timestep_r (torch.LongTensor, необязательный) — Условие по шагу времени для Refiner.
  • encoder_hidden_states_2 (torch.Tensor, необязательный) — Дополнительные условные эмбеддинги, вычисленные из второго текстового энкодера (ByT5).
  • encoder_attention_mask_2 (torch.Tensor, необязательный) — Маска, применяемая к encoder_hidden_states_2 во время внимания.
  • image_embeds (torch.Tensor, необязательный) — Векторы изображений для генерации с условием на изображение.
  • attention_kwargs (dict, необязательный) — Словарь kwargs, который при указании передается в AttentionProcessor, определенный в self.processor в diffusers.models.attention_processor.
  • return_dict (bool, необязательный, по умолчанию True) — Определяет, следует ли возвращать ~models.transformer_2d.Transformer2DModelOutput вместо обычного кортежа.

Метод forward модели HunyuanVideo15Transformer3DModel.

Transformer2DModelOutput

класс diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Параметры

  • sample (torch.Tensor формы (batch_size, num_channels, height, width) или (batch size, num_vector_embeds - 1, num_latent_pixels), если Transformer2DModel дискретный) — Выходные скрытые состояния, обусловленные входом encoder_hidden_states. Если модель дискретная, возвращает распределения вероятностей для латентных пикселей без шума.

Вывод Transformer2DModel.

Update on GitHub

←HunyuanImageTransformer2DModel HunyuanVideoTransformer3DModel→