diffusers/main/es/api/models/transformer_joyimage_edit_plus.md

JoyImageEditPlusTransformer3DModel

El modelo se puede cargar con el siguiente fragmento de código.

from diffusers import JoyImageEditPlusTransformer3DModel

transformer = JoyImageEditPlusTransformer3DModel.from_pretrained("jdopensource/JoyAI-Image-Edit-Plus-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

JoyImageEditPlusTransformer3DModel[[diffusers.JoyImageEditPlusTransformer3DModel]]

diffusers.JoyImageEditPlusTransformer3DModel[[diffusers.JoyImageEditPlusTransformer3DModel]]

diffusers.JoyImageEditPlusTransformer3DModel(patch_size: list[int] = [1, 2, 2], in_channels: int = 16, out_channels: int | None = None, hidden_size: int = 3072, num_attention_heads: int = 24, text_dim: int = 4096, mlp_width_ratio: float = 4.0, num_layers: int = 20, rope_dim_list: list[int] = [16, 56, 56], rope_type: str = 'rope', theta: int = 256)

Fuente

Parámetros:

patch_size (list, por defecto [1, 2, 2]) : Tamaño del parche para aplicar patchify a la entrada latente a lo largo de las dimensiones (t, h, w).

in_channels (int, por defecto 16) : El número de canales en el latente de entrada.

out_channels (int, opcional, valor predeterminado None) : El número de canales en la salida. Si no se especifica, el valor predeterminado es in_channels.

hidden_size (int, por defecto 3072) : La dimensionalidad de las representaciones ocultas.

num_attention_heads (int, por defecto 24) : El número de cabezas de atención.

text_dim (int, por defecto 4096) : La dimensionalidad de la salida del codificador de texto.

mlp_width_ratio (float, por defecto 4.0) : La proporción de la dimensión oculta de MLP respecto a hidden_size.

num_layers (int, por defecto 20) : El número de bloques de transformador de doble flujo.

rope_dim_list (list[int], por defecto [16, 56, 56]) : Las dimensiones para los embeddings posicionales rotatorios 3D a lo largo de (t, h, w).

rope_type (str, por defecto "rope") : El tipo de incrustación posicional rotativa.

theta (int, por defecto 256) : La frecuencia base para las incrustaciones rotativas.

JoyImage Edit Plus Transformer para la edición de múltiples imágenes.

Utiliza un enfoque de patchify+padding en el que cada imagen de referencia y el ruido objetivo se patchifican de forma independiente y se concatenan en una secuencia plana de parches. Admite imágenes de referencia con resolución variable.

Formato de entrada: [B, max_patches, C, pt, ph, pw] (6D parches rellenos).

forward[[diffusers.JoyImageEditPlusTransformer3DModel.forward]]

forward(hidden_states: Tensor, timestep: Tensor, encoder_hidden_states: Tensor, encoder_hidden_states_mask: typing.Optional[torch.Tensor] = None, shape_list: list[list[tuple[int, int, int]]] = None, return_dict: bool = True)

Fuente

Parámetros:

hidden_states : [B, max_patches, C, pt, ph, pw] - entrada latente en parches.

timestep : [B] - paso de difusión.

encoder_hidden_states : [B, L, D] - salidas del codificador de texto.

encoder_hidden_states_mask : [B, L] - máscara de atención para los tokens de texto.

shape_list : Lista por muestra de tuplas (t, h, w) para cada componente (objetivo + referencias).

return_dict : Si se debe devolver un diccionario o una tupla.

Devuelve:

Si return_dict es True, se devuelve un Transformer2DModelOutput; en caso contrario, se devuelve una tuple cuyo primer elemento es el tensor de la muestra.

Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput(sample: torch.Tensor)

Fuente

Parámetros:

sample (torch.Tensor de forma (batch_size, num_channels, height, width) o (batch size, num_vector_embeds - 1, num_latent_pixels) si Transformer2DModel es discreto): las salidas de estados ocultos condicionadas a la entrada encoder_hidden_states. Si es discreto, devuelve distribuciones de probabilidad para los píxeles latentes sin ruido.

La salida de Transformer2DModel.