diffusers/main/id/api/models/transformer_joyimage_edit_plus.md

JoyImageEditPlusTransformer3DModel

Model dapat dimuat dengan potongan kode berikut.

from diffusers import JoyImageEditPlusTransformer3DModel

transformer = JoyImageEditPlusTransformer3DModel.from_pretrained("jdopensource/JoyAI-Image-Edit-Plus-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

JoyImageEditPlusTransformer3DModel[[diffusers.JoyImageEditPlusTransformer3DModel]]

diffusers.JoyImageEditPlusTransformer3DModel[[diffusers.JoyImageEditPlusTransformer3DModel]]

diffusers.JoyImageEditPlusTransformer3DModel(patch_size: list[int] = [1, 2, 2], in_channels: int = 16, out_channels: int | None = None, hidden_size: int = 3072, num_attention_heads: int = 24, text_dim: int = 4096, mlp_width_ratio: float = 4.0, num_layers: int = 20, rope_dim_list: list[int] = [16, 56, 56], rope_type: str = 'rope', theta: int = 256)

Sumber

Parameter:

patch_size (list, defaultnya [1, 2, 2]) : Ukuran patch untuk patchifying input laten di sepanjang dimensi (t, h, w).

in_channels (int, defaultnya 16) : Jumlah channel pada latent input.

out_channels (int, opsional, defaultnya None) : Jumlah channel pada output. Jika tidak ditentukan, defaultnya adalah in_channels.

hidden_size (int, defaultnya 3072) : Dimensi dari representasi tersembunyi.

num_attention_heads (int, defaultnya 24) : Jumlah kepala perhatian (attention heads).

text_dim (int, defaultnya 4096) : Dimensi dari output text encoder.

mlp_width_ratio (float, defaultnya 4.0) : Rasio dimensi tersembunyi MLP terhadap hidden_size.

num_layers (int, defaultnya 20) : Jumlah blok transformer double-stream.

rope_dim_list (list[int], defaultnya [16, 56, 56]) : Dimensi untuk embedding posisi rotasi 3D sepanjang (t, h, w).

rope_type (str, defaultnya "rope") : Jenis dari rotary positional embedding.

theta (int, defaultnya 256) : Frekuensi dasar untuk rotary embeddings.

JoyImage Edit Plus Transformer untuk pengeditan multi-gambar.

Menggunakan pendekatan patchify+padding di mana setiap gambar referensi dan target noise dipatchify secara independen dan digabungkan menjadi urutan patch datar. Mendukung gambar referensi dengan resolusi variabel.

Format input: [B, max_patches, C, pt, ph, pw] (6D padded patches).

forward[[diffusers.JoyImageEditPlusTransformer3DModel.forward]]

forward(hidden_states: Tensor, timestep: Tensor, encoder_hidden_states: Tensor, encoder_hidden_states_mask: typing.Optional[torch.Tensor] = None, shape_list: list[list[tuple[int, int, int]]] = None, return_dict: bool = True)

Sumber

Parameter:

hidden_states : [B, max_patches, C, pt, ph, pw] - input laten yang telah di-patchify.

timestep : [B] - langkah waktu difusi.

encoder_hidden_states : [B, L, D] - keluaran text encoder.

encoder_hidden_states_mask : [B, L] - attention mask untuk token teks.

shape_list : Daftar per sampel dari tuple (t, h, w) untuk setiap komponen (target + referensi).

return_dict : Apakah akan mengembalikan dict atau tuple.

Mengembalikan:

Jika return_dict bernilai True, sebuah Transformer2DModelOutput akan dikembalikan, selain itu sebuah tuple di mana elemen pertama adalah tensor sampel.

Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput(sample: torch.Tensor)

Sumber

Parameter:

sample (torch.Tensor dengan bentuk (batch_size, num_channels, height, width) atau (batch size, num_vector_embeds - 1, num_latent_pixels) jika Transformer2DModel bersifat diskrit) : Output hidden states yang dikondisikan pada input encoder_hidden_states. Jika diskrit, mengembalikan distribusi probabilitas untuk piksel laten yang tidak berisik.

Output dari Transformer2DModel.