diffusers/main/vi/api/models/wan_transformer_3d.md

WanTransformer3DModel

Một mô hình Diffusion Transformer cho dữ liệu dạng video 3D đã được giới thiệu trong Wan 2.1 bởi Alibaba Wan Team.

Mô hình có thể được tải bằng đoạn mã sau.

from diffusers import WanTransformer3DModel

transformer = WanTransformer3DModel.from_pretrained("Wan-AI/Wan2.1-T2V-1.3B-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

WanTransformer3DModel[[diffusers.WanTransformer3DModel]]

diffusers.WanTransformer3DModel[[diffusers.WanTransformer3DModel]]

diffusers.WanTransformer3DModel(patch_size: tuple[int, ...] = (1, 2, 2), num_attention_heads: int = 40, attention_head_dim: int = 128, in_channels: int = 16, out_channels: int = 16, text_dim: int = 4096, freq_dim: int = 256, ffn_dim: int = 13824, num_layers: int = 40, cross_attn_norm: bool = True, qk_norm: str | None = 'rms_norm_across_heads', eps: float = 1e-06, image_dim: int | None = None, added_kv_proj_dim: int | None = None, rope_max_seq_len: int = 1024, pos_embed_seq_len: int | None = None)

Nguồn

Tham số:

patch_size (tuple[int], mặc định là (1, 2, 2)) : Kích thước patch 3D cho nhúng video (t_patch, h_patch, w_patch).

num_attention_heads (int, mặc định là 40) : Độ dài cố định cho các vector nhúng văn bản.

attention_head_dim (int, mặc định là 128) : Số lượng kênh trong mỗi head.

in_channels (int, mặc định là 16) : Số lượng kênh trong đầu vào.

out_channels (int, mặc định là 16) : Số lượng kênh trong đầu ra.

text_dim (int, mặc định là 512) : Kích thước đầu vào cho nhúng văn bản.

freq_dim (int, mặc định là 256) : Kích thước cho các nhúng thời gian hình sin.

ffn_dim (int, mặc định là 13824) : Kích thước chiều trung gian trong mạng feed-forward.

num_layers (int, mặc định là 40) : Số lượng lớp khối transformer cần sử dụng.

window_size (tuple[int], mặc định là (-1, -1)) : Kích thước cửa sổ cho chú ý cục bộ (-1 chỉ ra chú ý toàn cục).

cross_attn_norm (bool, mặc định là True) : Bật chuẩn hóa cross-attention.

qk_norm (bool, mặc định là True) : Bật chuẩn hóa truy vấn/chìa khóa.

eps (float, mặc định là 1e-6) : Giá trị epsilon cho các lớp chuẩn hóa.

add_img_emb (bool, mặc định là False) : Có sử dụng img_emb hay không.

added_kv_proj_dim (int, tuỳ chọn, mặc định là None) : Số lượng kênh được sử dụng cho các phép chiếu key và value được thêm vào. Nếu là None, sẽ không sử dụng phép chiếu.

Một mô hình Transformer cho dữ liệu dạng video được sử dụng trong mô hình Wan.

forward[[diffusers.WanTransformer3DModel.forward]]

forward(hidden_states: Tensor, timestep: LongTensor, encoder_hidden_states: Tensor, encoder_hidden_states_image: typing.Optional[torch.Tensor] = None, return_dict: bool = True, attention_kwargs: dict[str, typing.Any] | None = None)

Nguồn

Tham số:

hidden_states (torch.Tensor có hình dạng (batch_size, num_channels, num_frames, height, width)) : hidden_states đầu vào.

timestep (torch.LongTensor) : Dùng để chỉ bước khử nhiễu.

encoder_hidden_states (torch.Tensor có shape (batch_size, sequence_len, embed_dims)) : Các embeddings điều kiện (embeddings được tính từ các điều kiện đầu vào như prompts) cần sử dụng.

encoder_hidden_states_image (torch.Tensor, tùy chọn) : Nhúng ảnh điều kiện cho việc tạo ảnh có điều kiện.

return_dict (bool, tùy chọn, mặc định là True) : Có nên trả về một ~models.transformer_2d.Transformer2DModelOutput thay vì một tuple thông thường hay không.

attention_kwargs (dict, tùy chọn) : Một từ điển kwargs mà nếu được chỉ định sẽ được truyền đến AttentionProcessor như đã định nghĩa dưới self.processor trong diffusers.models.attention_processor.

Trả về:

Nếu return_dict là True, một ~models.transformer_2d.Transformer2DModelOutput sẽ được trả về, ngược lại một tuple trong đó phần tử đầu tiên là tensor mẫu.

Phương thức forward của WanTransformer3DModel.

Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput(sample: torch.Tensor)

Nguồn

Tham số:

sample (torch.Tensor có shape (batch_size, num_channels, height, width) hoặc (batch size, num_vector_embeds - 1, num_latent_pixels) nếu Transformer2DModel là discrete) : Đầu ra của hidden states được điều kiện bởi đầu vào encoder_hidden_states. Nếu là discrete, trả về các phân phối xác suất cho các latent pixels chưa bị nhiễu.

Đầu ra của Transformer2DModel.