diffusers/main/tr/api/models/transformer_joyimage_edit_plus.md

JoyImageEditPlusTransformer3DModel

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import JoyImageEditPlusTransformer3DModel

transformer = JoyImageEditPlusTransformer3DModel.from_pretrained("jdopensource/JoyAI-Image-Edit-Plus-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

JoyImageEditPlusTransformer3DModel[[diffusers.JoyImageEditPlusTransformer3DModel]]

diffusers.JoyImageEditPlusTransformer3DModel[[diffusers.JoyImageEditPlusTransformer3DModel]]

diffusers.JoyImageEditPlusTransformer3DModel(patch_size: list = [1, 2, 2], in_channels: int = 16, out_channels: int | None = None, hidden_size: int = 3072, num_attention_heads: int = 24, text_dim: int = 4096, mlp_width_ratio: float = 4.0, num_layers: int = 20, rope_dim_list: list = [16, 56, 56], rope_type: str = 'rope', theta: int = 256)

Kaynak

Parametreler:

patch_size (list, varsayılan [1, 2, 2]) : (t, h, w) boyutları boyunca latent girdiyi yama (patch) haline getirmek için yama boyutu.

in_channels (int, varsayılan 16) : Girdi latentindeki kanal sayısı.

out_channels (int, isteğe bağlı, varsayılan None) : Çıktıdaki kanal sayısı. Belirtilmezse, varsayılan olarak in_channels değerini alır.

hidden_size (int, varsayılan 3072) : Gizli temsillerin boyutluluğu.

num_attention_heads (int, varsayılan 24) : Dikkat başlarının sayısı.

text_dim (int, varsayılan 4096) : Metin kodlayıcısının çıktısının boyutluluğu.

mlp_width_ratio (float, varsayılan 4.0) : MLP gizli boyutunun hidden_size değerine oranı.

num_layers (int, varsayılan 20) : Çift akışlı dönüştürücü bloklarının sayısı.

rope_dim_list (list[int], varsayılan [16, 56, 56]) : (t, h, w) eksenleri boyunca 3B döner konumsal gömme boyutları.

rope_type (str, varsayılan "rope") : Döner konumsal gömme türü.

theta (int, varsayılan 256) : Döner gömme (rotary embeddings) için temel frekans.

Çoklu görüntü düzenleme için JoyImage Edit Plus Transformer.

Her referans görüntü ve hedef gürültünün bağımsız olarak yamalanıp (patchify) düz bir yama dizisine birleştirildiği bir yamalama+dolgu (patchify+padding) yaklaşımı kullanır. Değişken çözünürlüklü referans görüntüleri destekler.

Girdi biçimi: [B, max_patches, C, pt, ph, pw] (6B dolgulu yamalar).

forward[[diffusers.JoyImageEditPlusTransformer3DModel.forward]]

forward(hidden_states: Tensor, timestep: Tensor, encoder_hidden_states: Tensor, encoder_hidden_states_mask: typing.Optional[torch.Tensor] = None, shape_list: list = None, return_dict: bool = True)

Kaynak

Parametreler:

hidden_states : [B, max_patches, C, pt, ph, pw] - patch'lenmiş latent girdi.

timestep : [B] - difüzyon zaman adımı.

encoder_hidden_states : [B, L, D] - metin kodlayıcı çıktıları.

encoder_hidden_states_mask : [B, L] - metin jetonları için dikkat maskesi.

shape_list : Her bileşen (hedef + referanslar) için (t, h, w) demetlerinin örnek başına listesi.

return_dict : Bir sözlük (dict) mi yoksa demet (tuple) mi döndürüleceği.

Dönüş:

return_dict True ise bir Transformer2DModelOutput döndürülür, aksi halde ilk öğesi örnek tensörü olan bir tuple döndürülür.

Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput(sample: torch.Tensor)

Kaynak

Parametreler:

sample (torch.Tensor, şekli (batch_size, num_channels, height, width) veya Transformer2DModel ayrık (discrete) ise (batch size, num_vector_embeds - 1, num_latent_pixels)) : encoder_hidden_states girdisine koşullu gizli durum (hidden states) çıktısı. Ayrık (discrete) ise, gürültüsü olmayan (unnoised) gizli (latent) pikseller için olasılık dağılımlarını döndürür.

Transformer2DModel'nin çıktısı.