Hugging Face's logo

Diffusers documentation

ZImageTransformer2DModel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

ZImageTransformer2DModel

Un modelo Transformer para datos similares a imágenes de Z-Image.

ZImageTransformer2DModel

clase diffusers.ZImageTransformer2DModel

< >

( all_patch_size = (2,)all_f_patch_size = (1,)in_channels = 16dim = 3840n_layers = 30n_refiner_layers = 2n_heads = 30n_kv_heads = 30norm_eps = 1e-05qk_norm = Truecap_feat_dim = 2560siglip_feat_dim = Nonerope_theta = 256.0t_scale = 1000.0axes_dims = [32, 48, 48]axes_lens = [1024, 512, 512] )

forward

< >

( x: list[torch.Tensor, list[list[torch.Tensor]]]tcap_feats: list[torch.Tensor, list[list[torch.Tensor]]]return_dict: bool = Truecontrolnet_block_samples: dict[int, torch.Tensor] | None = Nonesiglip_feats: list[list[torch.Tensor]] | None = Noneimage_noise_mask: list[list[int]] | None = Nonepatch_size: int = 2f_patch_size: int = 1joint_attention_kwargs: dict[str, typing.Any] | None = None )

Parámetros

  • x (list de torch.Tensor o list anidada de torch.Tensor) — Latentes de entrada. Una lista plana al ejecutar en modo estándar, o una lista anidada al ejecutar en modo omni.
  • t (torch.Tensor) — Se utiliza para indicar el paso de desruido.
  • cap_feats (list de torch.Tensor o list anidada de torch.Tensor) — Embeddings de subtítulos condicionales (embeddings calculados a partir de las condiciones de entrada, como los prompts) a utilizar.
  • return_dict (bool, opcional, valor predeterminado True) — Indica si se debe devolver un ~models.transformer_2d.Transformer2DModelOutput en lugar de una tupla simple.
  • controlnet_block_samples (dict de int a torch.Tensor, opcional) — Un mapeo de índice de bloque a tensor que, si se especifica, se suma a los residuos de los bloques del transformer.
  • siglip_feats (list de list de torch.Tensor, opcional) — Características de imagen SigLIP opcionales utilizadas como condicionamiento adicional.
  • image_noise_mask (list de list de int, opcional) — Máscaras de ruido por imagen que indican los tokens ruidosos frente a los limpios en el modo omni.
  • patch_size (int, opcional, valor predeterminado 2) — Tamaño de parche espacial utilizado para aplicar patchify a los latentes de entrada.
  • f_patch_size (int, opcional, valor predeterminado 1) — Tamaño de parche temporal utilizado para aplicar patchify a los latentes de entrada.
  • joint_attention_kwargs (dict, opcional) — Un diccionario de kwargs. Solo se utiliza la entrada scale, para escalar las capas LoRA.

El método forward de ZImageTransformer2DModel.

Flujo: patchify -> t_embed -> x_embed -> x_refine -> cap_embed -> cap_refine -> [siglip_embed -> siglip_refine] -> build_unified -> main_layers -> final_layer -> unpatchify

patchify_and_embed

< >

( all_image: list[torch.Tensor]all_cap_feats: list[torch.Tensor]patch_size: intf_patch_size: int )

Patchify para el modo básico: una imagen por elemento del lote.

patchify_and_embed_omni

< >

( all_x: list[list[torch.Tensor]]all_cap_feats: list[list[torch.Tensor]]all_siglip_feats: list[list[torch.Tensor]]patch_size: intf_patch_size: intimages_noise_mask: list[list[int]] )

Patchify para el modo omni: múltiples imágenes por elemento del lote con máscaras de ruido.

Update on GitHub

←WanTransformer3DModel StableCascadeUNet→