diffusers/main/vi/api/models/pan2_transformer3d.md

PAN2Transformer3DModel

Biến đổi khuếch tán của PAN 2. Nó chạy chú ý liên hợp trên các token video và các token văn bản, với các phép chiếu và mạng truyền thẳng riêng biệt cho từng luồng.

Đầu vào video xếp chồng các latent nhiễu, các latent điều kiện và một mặt nạ điều kiện một kênh, nhờ đó cùng một mô hình phục vụ cả text-to-video và image-to-video.

import torch
from diffusers import PAN2Transformer3DModel

transformer = PAN2Transformer3DModel.from_pretrained("IFM/PAN2", subfolder="transformer", dtype=torch.bfloat16)

PAN2Transformer3DModel[[diffusers.PAN2Transformer3DModel]]

diffusers.PAN2Transformer3DModel[[diffusers.PAN2Transformer3DModel]]

diffusers.PAN2Transformer3DModel(patch_size: tuple[int, int, int] = (1, 2, 2), in_channels: int = 97, out_channels: int = 48, num_attention_heads: int = 32, attention_head_dim: int = 128, num_layers: int = 44, num_refiner_layers: int = 4, mlp_ratio: float = 8.0, context_mlp_ratio: float = 4.0, refiner_mlp_ratio: float = 4.0, text_embed_dim: int = 4096, rope_axes_dim: tuple[int, int, int] = (16, 56, 56), rope_theta: float = 256.0, rope_temporal_scale: float = 0.6666666666666666)

Nguồn

Tham số:

patch_size (tuple[int, int, int], mặc định là (1, 2, 2)) : Kích thước patch (t, h, w) của patch embedding.

in_channels (int, mặc định là 97) : Số lượng kênh đầu vào: latents nhiễu, latents điều kiện và một kênh mask điều kiện.

out_channels (int, mặc định là 48) : Số lượng kênh đầu ra.

num_attention_heads (int, mặc định là 32) : Số lượng đầu chú ý.

attention_head_dim (int, mặc định là 128) : Số lượng kênh trong mỗi đầu chú ý.

num_layers (int, mặc định là 44) : Số lượng khối joint-attention.

num_refiner_layers (int, mặc định là 4) : Số lượng khối token refiner được áp dụng cho các nhúng văn bản.

mlp_ratio (float, mặc định là 8.0) : Tỷ lệ giữa chiều trong của lớp feed-forward trong video và chiều ẩn.

context_mlp_ratio (float, mặc định là 4.0) : Tỷ lệ giữa chiều trong của lớp feed-forward văn bản và chiều ẩn.

refiner_mlp_ratio (float, mặc định là 4.0) : Tỷ lệ giữa chiều trong của mạng feed-forward của token refiner và chiều ẩn.

text_embed_dim (int, mặc định là 4096) : Kích thước của các trạng thái ẩn của bộ mã hóa văn bản.

rope_axes_dim (tuple[int, int, int], mặc định là (16, 56, 56)) : Số kênh của mỗi trục (t, h, w) trong nhúng quay (rotary embedding).

rope_theta (float, mặc định là 256.0) : Cơ số của rotary embedding.

rope_temporal_scale (float, mặc định là 16 / 24) : Hệ số nhân với vị trí khung của nhúng xoay: tốc độ khung tham chiếu của nhúng xoay trên tốc độ khung của video (16 trên 24 fps).

Transformer khuếch tán của PAN 2.

Một chồng các khối joint-attention trên phép nối của các latents video đã được patchify và các token văn bản đã được tinh chỉnh. Đầu vào video mang theo các latents nhiễu, các latents điều kiện và một mặt nạ điều kiện được xếp chồng dọc theo trục kênh, nhờ đó cùng một mô hình phục vụ cho cả text-to-video và image-to-video.

forward[[diffusers.PAN2Transformer3DModel.forward]]

forward(hidden_states: Tensor, timestep: Tensor, encoder_hidden_states: Tensor, attention_kwargs: dict[str, typing.Any] | None = None, return_dict: bool = True)

Nguồn

Tham số:

hidden_states (torch.Tensor có hình dạng (batch_size, in_channels, num_frames, height, width)) : Các latents nhiễu, các latents điều kiện và mặt nạ điều kiện, được nối theo chiều kênh.

timestep (torch.Tensor có hình dạng (batch_size,)) : Bước thời gian khử nhiễu trong [0, 1000].

encoder_hidden_states (torch.Tensor có hình dạng (batch_size, text_seq_len, text_embed_dim)) : Trạng thái ẩn của bộ mã hóa văn bản.

attention_kwargs (dict, tùy chọn) : Một từ điển kwargs được truyền đến AttentionProcessor; chỉ được sử dụng cho tỷ lệ LoRA.

return_dict (bool, tùy chọn, mặc định là True) : Có nên trả về một Transformer2DModelOutput thay vì một tuple thông thường hay không.

Trả về: Transformer2DModelOutput hoặc tuple

Tốc độ dự đoán có hình dạng (batch_size, out_channels, num_frames, height, width).

Phương thức forward của PAN2Transformer3DModel.