Hugging Face's logo

Diffusers documentation

ZImageTransformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

ZImageTransformer2DModel

Z-Image'dan görüntü benzeri veriler için bir Transformer modeli.

ZImageTransformer2DModel

sınıf diffusers.ZImageTransformer2DModel

< >

( all_patch_size = (2,)all_f_patch_size = (1,)in_channels = 16dim = 3840n_layers = 30n_refiner_layers = 2n_heads = 30n_kv_heads = 30norm_eps = 1e-05qk_norm = Truecap_feat_dim = 2560siglip_feat_dim = Nonerope_theta = 256.0t_scale = 1000.0axes_dims = [32, 48, 48]axes_lens = [1024, 512, 512] )

forward

< >

( x: listtcap_feats: listreturn_dict: bool = Truecontrolnet_block_samples: dict[int, torch.Tensor] | None = Nonesiglip_feats: list[list[torch.Tensor]] | None = Noneimage_noise_mask: list[list[int]] | None = Nonepatch_size: int = 2f_patch_size: int = 1joint_attention_kwargs: dict[str, typing.Any] | None = None )

Parametreler

  • x (list of torch.Tensor or nested list of torch.Tensor) — Girdi latentleri. Standart modda çalışırken düz bir liste, omni modda çalışırken iç içe geçmiş bir liste.
  • t (torch.Tensor) — Gürültü azaltma adımını belirtmek için kullanılır.
  • cap_feats (list of torch.Tensor or nested list of torch.Tensor) — Kullanılacak koşullu başlık gömme değerleri (girdi koşullarından, örneğin istemlerden hesaplanan gömme değerleri).
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmemesi.
  • controlnet_block_samples (dict of int to torch.Tensor, isteğe bağlı) — Belirtilirse, transformer bloklarının artıklarına eklenen blok indeksinden tensöre bir eşleme.
  • siglip_feats (list of list of torch.Tensor, isteğe bağlı) — Ek koşullandırma olarak kullanılan isteğe bağlı SigLIP görüntü özellikleri.
  • image_noise_mask (list of list of int, isteğe bağlı) — Omni modunda gürültülü ve temiz tokenleri gösteren görüntü başına gürültü maskeleri.
  • patch_size (int, isteğe bağlı, varsayılan 2) — Girdi latentlerini parçalamak için kullanılan uzamsal yama boyutu.
  • f_patch_size (int, isteğe bağlı, varsayılan 1) — Girdi latentlerini yama haline getirmek için kullanılan zamansal yama boyutu.
  • joint_attention_kwargs (dict, isteğe bağlı) — Bir kwargs sözlüğü. LoRA katmanlarını ölçeklemek için yalnızca scale girdisi kullanılır.

ZImageTransformer2DModel ileri yöntemi.

Akış: patchify -> t_embed -> x_embed -> x_refine -> cap_embed -> cap_refine -> [siglip_embed -> siglip_refine] -> build_unified -> main_layers -> final_layer -> unpatchify

patchify_and_embed

< >

( all_image: listall_cap_feats: listpatch_size: intf_patch_size: int )

Temel mod için Patchify: batch öğesi başına tek görüntü.

patchify_and_embed_omni

< >

( all_x: listall_cap_feats: listall_siglip_feats: listpatch_size: intf_patch_size: intimages_noise_mask: list )

Omni modu için Patchify: gürültü maskeleriyle batch öğesi başına birden fazla görüntü.

Update on GitHub

←WanTransformer3DModel StableCascadeUNet→