diffusers/main/ru/api/models/wan_transformer_3d.md

WanTransformer3DModel

Модель Diffusion Transformer для 3D-видеоподобных данных была представлена в Wan 2.1 командой Alibaba Wan Team.

Модель можно загрузить с помощью следующего фрагмента кода.

from diffusers import WanTransformer3DModel

transformer = WanTransformer3DModel.from_pretrained("Wan-AI/Wan2.1-T2V-1.3B-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

WanTransformer3DModel[[diffusers.WanTransformer3DModel]]

diffusers.WanTransformer3DModel[[diffusers.WanTransformer3DModel]]

diffusers.WanTransformer3DModel(patch_size: tuple[int, ...] = (1, 2, 2), num_attention_heads: int = 40, attention_head_dim: int = 128, in_channels: int = 16, out_channels: int = 16, text_dim: int = 4096, freq_dim: int = 256, ffn_dim: int = 13824, num_layers: int = 40, cross_attn_norm: bool = True, qk_norm: str | None = 'rms_norm_across_heads', eps: float = 1e-06, image_dim: int | None = None, added_kv_proj_dim: int | None = None, rope_max_seq_len: int = 1024, pos_embed_seq_len: int | None = None)

Источник

Параметры:

patch_size (tuple[int], по умолчанию (1, 2, 2)) : размеры 3D-патчей для встраивания видео (t_patch, h_patch, w_patch).

num_attention_heads (int, по умолчанию 40) : фиксированная длина для текстовых эмбеддингов.

attention_head_dim (int, по умолчанию 128) : количество каналов в каждой голове.

in_channels (int, по умолчанию 16) : количество каналов на входе.

out_channels (int, по умолчанию 16) : Количество каналов на выходе.

text_dim (int, по умолчанию 512) : Размерность входных векторов для текстовых эмбеддингов.

freq_dim (int, по умолчанию 256) : Размерность для синусоидных временных эмбеддингов.

ffn_dim (int, по умолчанию 13824) : Промежуточное измерение в полносвязной сети.

num_layers (int, по умолчанию 40) : Количество используемых блоков трансформера.

window_size (tuple[int], по умолчанию (-1, -1)) : Размер окна для локального внимания (-1 означает глобальное внимание).

cross_attn_norm (bool, по умолчанию True) : Включает нормализацию кросс-внимания.

qk_norm (bool, по умолчанию True) : Включает нормализацию запросов/ключей.

eps (float, по умолчанию 1e-6) : Значение эпсилона для слоёв нормализации.

add_img_emb (bool, по умолчанию False) : Использовать ли img_emb.

added_kv_proj_dim (int, необязательный, по умолчанию None) : Количество каналов, используемых для добавленных проекций ключей и значений. Если None, проекция не используется.

Модель Transformer для видеоподобных данных, используемая в модели Wan.

forward[[diffusers.WanTransformer3DModel.forward]]

forward(hidden_states: Tensor, timestep: LongTensor, encoder_hidden_states: Tensor, encoder_hidden_states_image: typing.Optional[torch.Tensor] = None, return_dict: bool = True, attention_kwargs: dict[str, typing.Any] | None = None)

Источник

Параметры:

hidden_states (torch.Tensor формы (batch_size, num_channels, num_frames, height, width)) : входные hidden_states.

timestep (torch.LongTensor) : Используется для указания шага денойзинга.

encoder_hidden_states (torch.Tensor формы (batch_size, sequence_len, embed_dims)) : Условные эмбеддинги (эмбеддинги, вычисленные на основе входных условий, таких как промпты), которые следует использовать.

encoder_hidden_states_image (torch.Tensor, необязательный) : Условные эмбеддинги изображений для генерации с условием на изображение.

return_dict (bool, необязательный, по умолчанию True) : Возвращать ли ~models.transformer_2d.Transformer2DModelOutput вместо обычного кортежа.

attention_kwargs (dict, необязательный) : Словарь kwargs, который при указании передается в AttentionProcessor, определенный в self.processor в diffusers.models.attention_processor.

Возвращает:

Если return_dict равно True, возвращается ~models.transformer_2d.Transformer2DModelOutput, иначе — tuple, первым элементом которого является тензор выборки.

Метод forward модели WanTransformer3DModel.

Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput(sample: torch.Tensor)

Источник

Параметры:

sample (torch.Tensor формы (batch_size, num_channels, height, width) или (batch size, num_vector_embeds - 1, num_latent_pixels), если Transformer2DModel дискретный): выходные скрытые состояния, обусловленные входом encoder_hidden_states. Если модель дискретная, возвращает распределения вероятностей для ненашумленных латентных пикселей.

Вывод Transformer2DModel.