diffusers/main/ru/api/models/transformer_joyimage_edit_plus.md

JoyImageEditPlusTransformer3DModel

Модель можно загрузить с помощью следующего фрагмента кода.

from diffusers import JoyImageEditPlusTransformer3DModel

transformer = JoyImageEditPlusTransformer3DModel.from_pretrained("jdopensource/JoyAI-Image-Edit-Plus-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

JoyImageEditPlusTransformer3DModel[[diffusers.JoyImageEditPlusTransformer3DModel]]

diffusers.JoyImageEditPlusTransformer3DModel[[diffusers.JoyImageEditPlusTransformer3DModel]]

diffusers.JoyImageEditPlusTransformer3DModel(patch_size: list[int] = [1, 2, 2], in_channels: int = 16, out_channels: int | None = None, hidden_size: int = 3072, num_attention_heads: int = 24, text_dim: int = 4096, mlp_width_ratio: float = 4.0, num_layers: int = 20, rope_dim_list: list[int] = [16, 56, 56], rope_type: str = 'rope', theta: int = 256)

Источник

Параметры:

patch_size (list, по умолчанию [1, 2, 2]) : Размер патча для разбиения латентного входа на патчи вдоль измерений (t, h, w).

in_channels (int, по умолчанию 16) : Количество каналов во входном латентном представлении.

out_channels (int, необязательный, по умолчанию None) : Количество каналов на выходе. Если не указано, по умолчанию используется in_channels.

hidden_size (int, по умолчанию 3072) : Размерность скрытых представлений.

num_attention_heads (int, по умолчанию 24) : Количество головок внимания.

text_dim (int, по умолчанию 4096) : размерность выходных данных текстового энкодера.

mlp_width_ratio (float, по умолчанию 4.0) : Соотношение скрытого размера MLP к hidden_size.

num_layers (int, по умолчанию 20) : Количество блоков двойного потокового трансформера.

rope_dim_list (list[int], по умолчанию [16, 56, 56]) : Размеры для 3D-вращательных позиционных эмбеддингов вдоль (t, h, w).

rope_type (str, по умолчанию "rope") : Тип вращательного позиционного встраивания.

theta (int, по умолчанию 256) : Базовая частота для вращательных эмбеддингов.

JoyImage Edit Plus Transformer для редактирования нескольких изображений.

Использует подход patchify+padding, при котором каждое эталонное изображение и целевой шум независимо преобразуются в патчи и конкатенируются в плоскую последовательность патчей. Поддерживает эталонные изображения с переменным разрешением.

Формат входных данных: [B, max_patches, C, pt, ph, pw] (6D-патчи с дополнением).

forward[[diffusers.JoyImageEditPlusTransformer3DModel.forward]]

forward(hidden_states: Tensor, timestep: Tensor, encoder_hidden_states: Tensor, encoder_hidden_states_mask: typing.Optional[torch.Tensor] = None, shape_list: list[list[tuple[int, int, int]]] = None, return_dict: bool = True)

Источник

Параметры:

hidden_states : [B, max_patches, C, pt, ph, pw] - вход в латентном пространстве, разбитый на патчи.

timestep : [B] - шаг диффузии.

encoder_hidden_states : [B, L, D] - выходные данные текстового энкодера.

encoder_hidden_states_mask : [B, L] - маска внимания для текстовых токенов.

shape_list : Список кортежей (t, h, w) для каждого компонента (target + references) по каждому образцу.

return_dict : Указывает, следует ли возвращать словарь или кортеж.

Возвращает:

Если return_dict равно True, возвращается Transformer2DModelOutput, иначе — tuple, первым элементом которого является тензор выборки.

Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput(sample: torch.Tensor)

Источник

Параметры:

sample (torch.Tensor формы (batch_size, num_channels, height, width) или (batch size, num_vector_embeds - 1, num_latent_pixels), если Transformer2DModel дискретный): выходные скрытые состояния, обусловленные входом encoder_hidden_states. Если модель дискретная, возвращает распределения вероятностей для ненашумленных латентных пикселей.

Вывод Transformer2DModel.