Buckets:
LTXVideoTransformer3DModel
Một mô hình Diffusion Transformer cho dữ liệu 3D từ LTX đã được giới thiệu bởi Lightricks.
Mô hình có thể được tải bằng đoạn mã sau.
from diffusers import LTXVideoTransformer3DModel
transformer = LTXVideoTransformer3DModel.from_pretrained("Lightricks/LTX-Video", subfolder="transformer", dtype=torch.bfloat16).to("cuda") # or "mps", "xpu", "cpu"
LTXVideoTransformer3DModel[[diffusers.LTXVideoTransformer3DModel]]
diffusers.LTXVideoTransformer3DModel[[diffusers.LTXVideoTransformer3DModel]]
diffusers.LTXVideoTransformer3DModel(in_channels: int = 128, out_channels: int = 128, patch_size: int = 1, patch_size_t: int = 1, num_attention_heads: int = 32, attention_head_dim: int = 64, cross_attention_dim: int = 2048, num_layers: int = 28, activation_fn: str = 'gelu-approximate', qk_norm: str = 'rms_norm_across_heads', norm_elementwise_affine: bool = False, norm_eps: float = 1e-06, caption_channels: int = 4096, attention_bias: bool = True, attention_out_bias: bool = True)
Tham số:
in_channels (int, mặc định là 128) : Số lượng kênh trong đầu vào.
out_channels (int, mặc định là 128) : Số lượng kênh trong đầu ra.
patch_size (int, mặc định là 1) : Kích thước của các patch không gian được sử dụng trong lớp nhúng patch.
patch_size_t (int, mặc định là 1) : Kích thước của các patch thời gian (temporal patches) được sử dụng trong lớp nhúng patch (patch embedding layer).
num_attention_heads (int, mặc định là 32) : Số lượng đầu (heads) được sử dụng cho chú ý đa đầu (multi-head attention).
attention_head_dim (int, mặc định là 64) : Số lượng kênh trong mỗi head.
cross_attention_dim (int, mặc định là 2048 ) : Số kênh cho các đầu chú ý chéo (cross attention).
num_layers (int, mặc định là 28) : Số lượng lớp khối Transformer cần sử dụng.
activation_fn (str, mặc định là "gelu-approximate") : Hàm kích hoạt được sử dụng trong mạng truyền thẳng.
qk_norm (str, mặc định là "rms_norm_across_heads") : Lớp chuẩn hóa cần sử dụng.
Một mô hình Transformer cho dữ liệu dạng video được sử dụng trong LTX.
forward[[diffusers.LTXVideoTransformer3DModel.forward]]
forward(hidden_states: Tensor, encoder_hidden_states: Tensor, timestep: LongTensor, encoder_attention_mask: Tensor, num_frames: int | None = None, height: int | None = None, width: int | None = None, rope_interpolation_scale: typing.Union[tuple[float, float, float], torch.Tensor, NoneType] = None, video_coords: typing.Optional[torch.Tensor] = None, attention_kwargs: dict[str, typing.Any] | None = None, return_dict: bool = True)
Tham số:
hidden_states (torch.Tensor có hình dạng (batch_size, sequence_length, in_channels)) : hidden_states đầu vào.
encoder_hidden_states (torch.Tensor có shape (batch_size, sequence_len, embed_dims)) : Các embeddings điều kiện (embeddings được tính từ các điều kiện đầu vào như prompts) cần sử dụng.
timestep (torch.LongTensor) : Dùng để chỉ bước khử nhiễu.
encoder_attention_mask (torch.Tensor) : Mặt nạ được áp dụng cho encoder_hidden_states trong quá trình chú ý.
num_frames (int, tuỳ chọn) : Số khung hình trong video được sử dụng để tính các nhúng vị trí quay (rotary positional embeddings).
height (int, optional) : Chiều cao của latent được dùng để tính các nhúng vị trí quay (rotary positional embeddings).
width (int, tuỳ chọn) : Độ rộng của latent được dùng để tính các nhúng vị trí quay (rotary positional embeddings).
rope_interpolation_scale (tuple của float hoặc torch.Tensor, tùy chọn) : Thang nội suy được sử dụng bởi các nhúng vị trí quay (rotary positional embeddings).
video_coords (torch.Tensor, tùy chọn) : Tọa độ video đã tính trước được sử dụng bởi các nhúng vị trí quay (rotary positional embeddings).
attention_kwargs (dict, tùy chọn) : Một từ điển kwargs mà nếu được chỉ định sẽ được truyền đến AttentionProcessor như đã định nghĩa dưới self.processor trong diffusers.models.attention_processor.
return_dict (bool, tùy chọn, mặc định là True) : Có nên trả về một ~models.transformer_2d.Transformer2DModelOutput thay vì một tuple thông thường hay không.
Trả về: torch.Tensor
Tensor đầu ra đã khử nhiễu có hình dạng (batch_size, sequence_length, out_channels).
Phương thức forward của LTXVideoTransformer3DModel.
Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]
diffusers.models.modeling_outputs.Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]
diffusers.models.modeling_outputs.Transformer2DModelOutput(sample: torch.Tensor)
Tham số:
sample (torch.Tensor có shape (batch_size, num_channels, height, width) hoặc (batch size, num_vector_embeds - 1, num_latent_pixels) nếu Transformer2DModel là discrete) : Đầu ra của hidden states được điều kiện bởi đầu vào encoder_hidden_states. Nếu là discrete, trả về các phân phối xác suất cho các latent pixels chưa bị nhiễu.
Đầu ra của Transformer2DModel.
Xet Storage Details
- Size:
- 6.45 kB
- Xet hash:
- 637d361c9836a18984b209bf16f8ad56e287eca703ffa3ff5c735b7030ca80a1
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.