Hugging Face's logo

Diffusers documentation

HunyuanImageTransformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

HunyuanImageTransformer2DModel

HunyuanImage2.1 için bir Diffusion Transformer modeli.

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import HunyuanImageTransformer2DModel

transformer = HunyuanImageTransformer2DModel.from_pretrained("hunyuanvideo-community/HunyuanImage-2.1-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

HunyuanImageTransformer2DModel

sınıf diffusers.HunyuanImageTransformer2DModel

< >

( in_channels: int = 64out_channels: int = 64num_attention_heads: int = 28attention_head_dim: int = 128num_layers: int = 20num_single_layers: int = 40num_refiner_layers: int = 2mlp_ratio: float = 4.0patch_size: tuple = (1, 1)qk_norm: str = 'rms_norm'guidance_embeds: bool = Falsetext_embed_dim: int = 3584text_embed_2_dim: int | None = Nonerope_theta: float = 256.0rope_axes_dim: tuple = (64, 64)use_meanflow: bool = False )

Parametreler

  • in_channels (int, varsayılan 16) — Girdideki kanal sayısı.
  • out_channels (int, varsayılan 16) — Çıktıdaki kanal sayısı.
  • num_attention_heads (int, varsayılan 24) — Çok başlı dikkat (multi-head attention) için kullanılacak baş sayısı.
  • attention_head_dim (int, varsayılan 128) — Her baştaki kanal sayısı.
  • num_layers (int, varsayılan 20) — Kullanılacak çift akışlı blokların katman sayısı.
  • num_single_layers (int, varsayılan 40) — Kullanılacak tek akışlı blok katmanlarının sayısı.
  • num_refiner_layers (int, varsayılan 2) — Kullanılacak refiner bloklarının katman sayısı.
  • mlp_ratio (float, varsayılan 4.0) — İleri beslemeli ağda gizli katman boyutunun giriş boyutuna oranı.
  • patch_size (int, varsayılan 2) — Patch gömme katmanında kullanılacak uzamsal yamaların boyutu.
  • patch_size_t (int, varsayılan 1) — Yama gömme katmanında kullanılacak zamansal yamaların boyutu.
  • qk_norm (str, varsayılan rms_norm) — Dikkat katmanlarında sorgu ve anahtar projeksiyonları için kullanılacak normalizasyon.
  • guidance_embeds (bool, varsayılan True) — Modelde rehberlik gömme (embedding) kullanılıp kullanılmayacağı.
  • text_embed_dim (int, varsayılan 4096) — Metin kodlayıcıdan gelen metin gömme girdi boyutu.
  • pooled_projection_dim (int, varsayılan 768) — Metin gömme vektörlerinin havuzlanmış yansımalarının boyutu.
  • rope_theta (float, varsayılan 256.0) — RoPE katmanında kullanılacak theta değeri.
  • rope_axes_dim (tuple[int], varsayılan (16, 56, 56)) — RoPE katmanında kullanılacak eksenlerin boyutları.
  • image_condition_type (str, isteğe bağlı, varsayılan None) — Kullanılacak görüntü koşullandırma türü. None ise görüntü koşullandırması kullanılmaz. latent_concat ise görüntü, latent akışa eklenir. token_replace ise görüntü, latent akıştaki ilk kare token'larını değiştirmek ve koşullandırmayı uygulamak için kullanılır.

HunyuanImage-2.1'de kullanılan Transformer modeli.

forward

< >

( hidden_states: Tensortimestep: LongTensorencoder_hidden_states: Tensorencoder_attention_mask: Tensortimestep_r: typing.Optional[torch.LongTensor] = Noneencoder_hidden_states_2: typing.Optional[torch.Tensor] = Noneencoder_attention_mask_2: typing.Optional[torch.Tensor] = Noneguidance: typing.Optional[torch.Tensor] = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )

Parametreler

  • hidden_states (torch.Tensor, şekli (batch_size, num_channels, height, width) veya (batch_size, num_channels, num_frames, height, width)) — Girdi hidden_states.
  • timestep (torch.LongTensor) — Gürültü azaltma adımını belirtmek için kullanılır.
  • encoder_hidden_states (torch.Tensor, şekli (batch_size, sequence_len, embed_dims)) — Kullanılacak koşullu gömme değerleri (prompt gibi girdi koşullarından hesaplanan gömme değerleri).
  • encoder_attention_mask (torch.Tensor) — Dikkat sırasında encoder_hidden_states uygulanan maske.
  • timestep_r (torch.LongTensor, isteğe bağlı) — Refiner timestep koşullandırması.
  • encoder_hidden_states_2 (torch.Tensor, isteğe bağlı) — İkinci bir metin kodlayıcıdan hesaplanan ek koşullu gömme değerleri.
  • encoder_attention_mask_2 (torch.Tensor, isteğe bağlı) — Dikkat sırasında encoder_hidden_states_2 uygulanan maske.
  • guidance (torch.Tensor, isteğe bağlı) — Modelin guidance-distilled varyantları için kullanılan guidance ölçek gömme değeri.
  • attention_kwargs (dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindeki self.processor altında tanımlanan AttentionProcessor'a iletilen bir kwargs sözlüğü.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmemesi.

HunyuanImageTransformer2DModel ileri yöntemi.

Transformer2DModelOutput

sınıf diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parametreler

  • sample (torch.Tensor, şekli (batch_size, num_channels, height, width) veya Transformer2DModel ayrık (discrete) ise (batch size, num_vector_embeds - 1, num_latent_pixels)) — encoder_hidden_states girdisine koşullu gizli durum (hidden states) çıktısı. Ayrık (discrete) ise, gürültüsü kaldırılmış (unnoised) gizli (latent) pikseller için olasılık dağıtımlarını döndürür.

Transformer2DModel'nin çıktısı.

Update on GitHub

←HunyuanDiT2DModel HunyuanVideo15Transformer3DModel→