diffusers/main/fr/api/models/transformer_joyimage_edit_plus.md

JoyImageEditPlusTransformer3DModel

Le modèle peut être chargé à l'aide du fragment de code suivant.

from diffusers import JoyImageEditPlusTransformer3DModel

transformer = JoyImageEditPlusTransformer3DModel.from_pretrained("jdopensource/JoyAI-Image-Edit-Plus-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

JoyImageEditPlusTransformer3DModel[[diffusers.JoyImageEditPlusTransformer3DModel]]

diffusers.JoyImageEditPlusTransformer3DModel[[diffusers.JoyImageEditPlusTransformer3DModel]]

diffusers.JoyImageEditPlusTransformer3DModel(patch_size: list[int] = [1, 2, 2], in_channels: int = 16, out_channels: int | None = None, hidden_size: int = 3072, num_attention_heads: int = 24, text_dim: int = 4096, mlp_width_ratio: float = 4.0, num_layers: int = 20, rope_dim_list: list[int] = [16, 56, 56], rope_type: str = 'rope', theta: int = 256)

Source

Paramètres :

patch_size (list, par défaut [1, 2, 2]) : Taille des patches pour la patchification de l'entrée latente le long des dimensions (t, h, w).

in_channels (int, par défaut 16) : Le nombre de canaux dans le latent d'entrée.

out_channels (int, facultatif, par défaut None) : Le nombre de canaux dans la sortie. S'il n'est pas spécifié, il est défini sur in_channels par défaut.

hidden_size (int, par défaut 3072) : La dimension des représentations cachées.

num_attention_heads (int, par défaut 24) : Le nombre de têtes d'attention.

text_dim (int, par défaut 4096) : La dimensionnalité de la sortie du codeur de texte.

mlp_width_ratio (float, par défaut 4.0) : Le ratio de la dimension cachée du MLP par rapport à hidden_size.

num_layers (int, par défaut 20) : Le nombre de blocs de transformateur à double flux.

rope_dim_list (list[int], par défaut [16, 56, 56]) : Les dimensions des embeddings positionnels rotatifs 3D le long de (t, h, w).

rope_type (str, par défaut "rope") : Le type d'incorporation positionnelle rotative.

theta (int, par défaut 256) : La fréquence de base pour les embeddings rotatifs.

JoyImage Edit Plus Transformer pour l'édition multi-images.

Utilise une approche de patchification + bourrage (padding) où chaque image de référence et le bruit cible sont patchifiés indépendamment puis concaténés en une séquence plate de patches. Prend en charge les images de référence à résolution variable.

Format d'entrée : [B, max_patches, C, pt, ph, pw] (patches 6D avec bourrage).

forward[[diffusers.JoyImageEditPlusTransformer3DModel.forward]]

forward(hidden_states: Tensor, timestep: Tensor, encoder_hidden_states: Tensor, encoder_hidden_states_mask: typing.Optional[torch.Tensor] = None, shape_list: list[list[tuple[int, int, int]]] = None, return_dict: bool = True)

Source

Paramètres :

hidden_states : [B, max_patches, C, pt, ph, pw] - entrée latente patchifiée.

timestep : [B] - pas de diffusion.

encoder_hidden_states : [B, L, D] - sorties de l'encodeur de texte.

encoder_hidden_states_mask : [B, L] - masque d'attention pour les jetons de texte.

shape_list : Liste par échantillon de tuples (t, h, w) pour chaque composant (cible + références).

return_dict : Indique s'il faut retourner un dictionnaire ou un tuple.

Retourne :

Si return_dict est True, un Transformer2DModelOutput est renvoyé, sinon un tuple dont le premier élément est le tenseur d'échantillon.

Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput(sample: torch.Tensor)

Source

Paramètres :

sample (torch.Tensor de forme (batch_size, num_channels, height, width) ou (batch size, num_vector_embeds - 1, num_latent_pixels) si Transformer2DModel est discret) : Les états cachés en sortie, conditionnés par l'entrée encoder_hidden_states. Si discret, renvoie les distributions de probabilité pour les pixels latents non bruités.

La sortie de Transformer2DModel.