diffusers/main/vi/api/models/longcat_image_transformer2d.md

LongCatImageTransformer2DModel

Mô hình có thể được tải bằng đoạn mã sau.

from diffusers import LongCatImageTransformer2DModel

transformer = LongCatImageTransformer2DModel.from_pretrained("meituan-longcat/LongCat-Image ", subfolder="transformer", dtype=torch.bfloat16)

LongCatImageTransformer2DModel[[diffusers.LongCatImageTransformer2DModel]]

diffusers.LongCatImageTransformer2DModel[[diffusers.LongCatImageTransformer2DModel]]

diffusers.LongCatImageTransformer2DModel(patch_size: int = 1, in_channels: int = 64, num_layers: int = 19, num_single_layers: int = 38, attention_head_dim: int = 128, num_attention_heads: int = 24, joint_attention_dim: int = 3584, pooled_projection_dim: int = 3584, axes_dims_rope: list[int] = [16, 56, 56])

Nguồn

Mô hình Transformer được giới thiệu trong Longcat-Image.

forward[[diffusers.LongCatImageTransformer2DModel.forward]]

forward(hidden_states: Tensor, encoder_hidden_states: Tensor = None, timestep: LongTensor = None, img_ids: Tensor = None, txt_ids: Tensor = None, guidance: Tensor = None, return_dict: bool = True)

Nguồn

Tham số:

hidden_states (torch.FloatTensor có hình dạng (batch size, channel, height, width)) : hidden_states đầu vào.

encoder_hidden_states (torch.FloatTensor có shape (batch size, sequence_len, embed_dims)) : Các embeddings điều kiện (embeddings được tính từ các điều kiện đầu vào như prompts) cần sử dụng.

timestep ( torch.LongTensor) : Dùng để chỉ bước khử nhiễu.

img_ids (torch.Tensor) : Các id vị trí ảnh được sử dụng để tính các nhúng vị trí quay (rotary positional embeddings).

txt_ids (torch.Tensor) : Các id vị trí văn bản được sử dụng để tính các nhúng vị trí quay (rotary positional embeddings).

guidance (torch.Tensor, tùy chọn) : Nhúng thang độ dẫn hướng được sử dụng cho các biến thể đã chưng cất dẫn hướng của mô hình.

return_dict (bool, tùy chọn, mặc định là True) : Có nên trả về một ~models.transformer_2d.Transformer2DModelOutput thay vì một tuple thông thường hay không.

Trả về:

Nếu return_dict là True, một ~models.transformer_2d.Transformer2DModelOutput sẽ được trả về, ngược lại một tuple trong đó phần tử đầu tiên là tensor mẫu.

Phương thức forward.