Hugging Face's logo

Diffusers documentation

ZImageTransformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.43.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

ZImageTransformer2DModel

Model Transformer untuk data seperti gambar dari Z-Image.

ZImageTransformer2DModel

kelas diffusers.ZImageTransformer2DModel

< >

( all_patch_size = (2,)all_f_patch_size = (1,)in_channels = 16dim = 3840n_layers = 30n_refiner_layers = 2n_heads = 30n_kv_heads = 30norm_eps = 1e-05qk_norm = Truecap_feat_dim = 2560siglip_feat_dim = Nonerope_theta = 256.0t_scale = 1000.0axes_dims = [32, 48, 48]axes_lens = [1024, 512, 512] )

forward

< >

( x: list[torch.Tensor, list[list[torch.Tensor]]]tcap_feats: list[torch.Tensor, list[list[torch.Tensor]]]return_dict: bool = Truecontrolnet_block_samples: dict[int, torch.Tensor] | None = Nonesiglip_feats: list[list[torch.Tensor]] | None = Noneimage_noise_mask: list[list[int]] | None = Nonepatch_size: int = 2f_patch_size: int = 1joint_attention_kwargs: dict[str, typing.Any] | None = None )

Parameter

  • x (list dari torch.Tensor atau list bersarang dari torch.Tensor) — Latent input. Daftar datar saat berjalan dalam mode standar, atau daftar bersarang saat berjalan dalam mode omni.
  • t (torch.Tensor) — Digunakan untuk menunjukkan langkah denoising.
  • cap_feats (list dari torch.Tensor atau list bersarang dari torch.Tensor) — Embedding caption kondisional (embedding yang dihitung dari kondisi input seperti prompt) yang akan digunakan.
  • return_dict (bool, opsional, default True) — Apakah akan mengembalikan ~models.transformer_2d.Transformer2DModelOutput alih-alih tuple biasa.
  • controlnet_block_samples (dict dari int ke torch.Tensor, opsional) — Pemetaan dari indeks blok ke tensor yang, jika ditentukan, akan ditambahkan ke residual dari blok transformer.
  • siglip_feats (list dari list dari torch.Tensor, opsional) — Fitur gambar SigLIP opsional yang digunakan sebagai kondisioning tambahan.
  • image_noise_mask (list dari list dari int, opsional) — Masker noise per gambar yang menunjukkan token berisik vs. bersih dalam mode omni.
  • patch_size (int, opsional, default 2) — Ukuran patch spasial yang digunakan untuk mem-patchify latens input.
  • f_patch_size (int, opsional, default 1) — Ukuran patch temporal yang digunakan untuk mem-patchify latens input.
  • joint_attention_kwargs (dict, opsional) — Kamus kwargs. Hanya entri scale yang digunakan, untuk menskalakan lapisan LoRA.

Metode forward dari ZImageTransformer2DModel.

Flow: patchify -> t_embed -> x_embed -> x_refine -> cap_embed -> cap_refine -> [siglip_embed -> siglip_refine] -> build_unified -> main_layers -> final_layer -> unpatchify

patchify_and_embed

< >

( all_image: list[torch.Tensor]all_cap_feats: list[torch.Tensor]patch_size: intf_patch_size: int )

Patchify untuk mode dasar: satu gambar per item batch.

patchify_and_embed_omni

< >

( all_x: list[list[torch.Tensor]]all_cap_feats: list[list[torch.Tensor]]all_siglip_feats: list[list[torch.Tensor]]patch_size: intf_patch_size: intimages_noise_mask: list[list[int]] )

Patchify untuk mode omni: beberapa gambar per item batch dengan masker noise.

Update on GitHub

←WanTransformer3DModel StableCascadeUNet→