diffusers/main/tr/api/models/z_image_transformer2d.md

ZImageTransformer2DModel

Z-Image'dan görüntü benzeri veriler için bir Transformer modeli.

ZImageTransformer2DModel[[diffusers.ZImageTransformer2DModel]]

diffusers.ZImageTransformer2DModel[[diffusers.ZImageTransformer2DModel]]

diffusers.ZImageTransformer2DModel(all_patch_size = (2,), all_f_patch_size = (1,), in_channels = 16, dim = 3840, n_layers = 30, n_refiner_layers = 2, n_heads = 30, n_kv_heads = 30, norm_eps = 1e-05, qk_norm = True, cap_feat_dim = 2560, siglip_feat_dim = None, rope_theta = 256.0, t_scale = 1000.0, axes_dims = [32, 48, 48], axes_lens = [1024, 512, 512])

Kaynak

forward[[diffusers.ZImageTransformer2DModel.forward]]

forward(x: list, t, cap_feats: list, return_dict: bool = True, controlnet_block_samples: dict[int, torch.Tensor] | None = None, siglip_feats: list[list[torch.Tensor]] | None = None, image_noise_mask: list[list[int]] | None = None, patch_size: int = 2, f_patch_size: int = 1, joint_attention_kwargs: dict[str, typing.Any] | None = None)

Kaynak

Parametreler:

x (list of torch.Tensor or nested list of torch.Tensor) : Girdi latentleri. Standart modda çalışırken düz bir liste, omni modunda çalışırken iç içe geçmiş bir liste.

t (torch.Tensor) : Gürültü azaltma adımını belirtmek için kullanılır.

cap_feats (list of torch.Tensor or nested list of torch.Tensor) : Kullanılacak koşullu başlık gömme değerleri (girdi koşullarından, örneğin istemlerden hesaplanan gömme değerleri).

return_dict (bool, isteğe bağlı, varsayılan True) : Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmediğini belirtir.

controlnet_block_samples (dict, int ile torch.Tensor eşlemesi, isteğe bağlı) : Belirtilirse, transformer bloklarının artımlarına eklenen, blok indeksinden tensöre giden bir eşleme.

siglip_feats (list of list of torch.Tensor, opsiyonel) : Ek koşullandırma olarak kullanılan isteğe bağlı SigLIP görüntü özellikleri.

image_noise_mask (list of list of int, opsiyonel) : Omni modunda gürültülü ve temiz tokenları gösteren görüntü başına gürültü maskeleri.

patch_size (int, isteğe bağlı, varsayılan 2) : Girdi latentlerini parçalamak için kullanılan uzamsal yama boyutu.

f_patch_size (int, isteğe bağlı, varsayılan 1) : Girdi latentlerini parçalamak için kullanılan zamansal yama boyutu.

joint_attention_kwargs (dict, isteğe bağlı) : Bir kwargs sözlüğü. Yalnızca scale girdisi kullanılır, LoRA katmanlarını ölçeklemek için.

Dönüş:

return_dict True ise, ~models.transformer_2d.Transformer2DModelOutput döndürülür, aksi takdirde ilk öğesi örnek tensörü olan bir tuple döndürülür.

ZImageTransformer2DModel ileri yöntemi.

Akış: patchify -> t_embed -> x_embed -> x_refine -> cap_embed -> cap_refine -> [siglip_embed -> siglip_refine] -> build_unified -> main_layers -> final_layer -> unpatchify

patchify_and_embed[[diffusers.ZImageTransformer2DModel.patchify_and_embed]]

patchify_and_embed(all_image: list, all_cap_feats: list, patch_size: int, f_patch_size: int)

Kaynak

Temel mod için Patchify: batch öğesi başına tek görüntü.

patchify_and_embed_omni[[diffusers.ZImageTransformer2DModel.patchify_and_embed_omni]]

patchify_and_embed_omni(all_x: list, all_cap_feats: list, all_siglip_feats: list, patch_size: int, f_patch_size: int, images_noise_mask: list)

Kaynak

Omni modu için Patchify: gürültü maskeleriyle batch öğesi başına birden fazla görüntü.