Hugging Face's logo

Diffusers documentation

HunyuanImageTransformer2DModel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

HunyuanImageTransformer2DModel

Um modelo Diffusion Transformer para HunyuanImage2.1.

O modelo pode ser carregado com o seguinte trecho de código.

from diffusers import HunyuanImageTransformer2DModel

transformer = HunyuanImageTransformer2DModel.from_pretrained("hunyuanvideo-community/HunyuanImage-2.1-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

HunyuanImageTransformer2DModel

classe diffusers.HunyuanImageTransformer2DModel

< >

( in_channels: int = 64out_channels: int = 64num_attention_heads: int = 28attention_head_dim: int = 128num_layers: int = 20num_single_layers: int = 40num_refiner_layers: int = 2mlp_ratio: float = 4.0patch_size: tuple[int, int] = (1, 1)qk_norm: str = 'rms_norm'guidance_embeds: bool = Falsetext_embed_dim: int = 3584text_embed_2_dim: int | None = Nonerope_theta: float = 256.0rope_axes_dim: tuple[int, ...] = (64, 64)use_meanflow: bool = False )

Parâmetros

  • in_channels (int, padrão 16) — O número de canais na entrada.
  • out_channels (int, padrão 16) — O número de canais na saída.
  • num_attention_heads (int, padrão 24) — O número de cabeças a serem usadas para a atenção multi-cabeça.
  • attention_head_dim (int, padrão 128) — O número de canais em cada head.
  • num_layers (int, padrão 20) — O número de blocos de fluxo duplo a serem usados.
  • num_single_layers (int, padrão 40) — O número de camadas de blocos de fluxo único a serem usadas.
  • num_refiner_layers (int, padrão 2) — O número de camadas de blocos refiner a serem usadas.
  • mlp_ratio (float, padrão 4.0) — A proporção entre o tamanho da camada oculta e o tamanho da entrada na rede feedforward.
  • patch_size (int, padrão 2) — O tamanho dos patches espaciais a serem usados na camada de incorporação de patches.
  • patch_size_t (int, padrão 1) — O tamanho dos patches temporais a serem usados na camada de incorporação de patches.
  • qk_norm (str, padrão rms_norm) — A normalização a ser usada para as projeções de query e key nas camadas de atenção.
  • guidance_embeds (bool, padrão True) — Se deve usar embeddings de orientação no modelo.
  • text_embed_dim (int, padrão 4096) — Dimensão de entrada dos embeddings de texto do codificador de texto.
  • pooled_projection_dim (int, padrão 768) — A dimensão da projeção agregada dos embeddings de texto.
  • rope_theta (float, padrão 256.0) — O valor de theta a ser usado na camada RoPE.
  • rope_axes_dim (tuple[int], padrão (16, 56, 56)) — As dimensões dos eixos a serem usados na camada RoPE.
  • image_condition_type (str, opcional, padrão None) — O tipo de condicionamento de imagem a ser usado. Se None, nenhum condicionamento de imagem é utilizado. Se latent_concat, a imagem é concatenada ao fluxo latente. Se token_replace, a imagem é usada para substituir os tokens do primeiro quadro no fluxo latente e aplicar o condicionamento.

O modelo Transformer usado em HunyuanImage-2.1.

forward

< >

( hidden_states: Tensortimestep: LongTensorencoder_hidden_states: Tensorencoder_attention_mask: Tensortimestep_r: typing.Optional[torch.LongTensor] = Noneencoder_hidden_states_2: typing.Optional[torch.Tensor] = Noneencoder_attention_mask_2: typing.Optional[torch.Tensor] = Noneguidance: typing.Optional[torch.Tensor] = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )

Parâmetros

  • hidden_states (torch.Tensor de forma (batch_size, num_channels, height, width) ou (batch_size, num_channels, num_frames, height, width)) — hidden_states de entrada.
  • timestep (torch.LongTensor) — Usado para indicar o passo de desruido.
  • encoder_hidden_states (torch.Tensor de forma (batch_size, sequence_len, embed_dims)) — Incorporações condicionais (incorporações calculadas a partir das condições de entrada, como prompts) a serem usadas.
  • encoder_attention_mask (torch.Tensor) — Máscara aplicada a encoder_hidden_states durante a atenção.
  • timestep_r (torch.LongTensor, opcional) — Condição de timestep do Refiner.
  • encoder_hidden_states_2 (torch.Tensor, opcional) — Incorporações condicionais adicionais calculadas a partir de um segundo codificador de texto.
  • encoder_attention_mask_2 (torch.Tensor, opcional) — Máscara aplicada a encoder_hidden_states_2 durante a atenção.
  • guidance (torch.Tensor, opcional) — Embedding de escala de orientação usado para variantes destiladas por orientação do modelo.
  • attention_kwargs (dict, opcional) — Um dicionário de kwargs que, se especificado, é passado ao AttentionProcessor conforme definido em self.processor em diffusers.models.attention_processor.
  • return_dict (bool, opcional, padrão True) — Se deve ou não retornar um ~models.transformer_2d.Transformer2DModelOutput em vez de uma tupla simples.

O método forward do HunyuanImageTransformer2DModel.

Transformer2DModelOutput

classe diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parâmetros

  • sample (torch.Tensor de forma (batch_size, num_channels, height, width) ou (batch size, num_vector_embeds - 1, num_latent_pixels) se Transformer2DModel for discreto) — A saída dos estados ocultos condicionada à entrada encoder_hidden_states. Se discreto, retorna distribuições de probabilidade para os pixels latentes sem ruído.

A saída de Transformer2DModel.

Update on GitHub

←HunyuanDiT2DModel HunyuanVideo15Transformer3DModel→