diffusers/main/vi/api/models/bria_transformer.md

BriaTransformer2DModel

Mô hình Transformer flux đã được sửa đổi từ Bria.

BriaTransformer2DModel[[diffusers.BriaTransformer2DModel]]

diffusers.BriaTransformer2DModel[[diffusers.BriaTransformer2DModel]]

diffusers.BriaTransformer2DModel(patch_size: int = 1, in_channels: int = 64, num_layers: int = 19, num_single_layers: int = 38, attention_head_dim: int = 128, num_attention_heads: int = 24, joint_attention_dim: int = 4096, pooled_projection_dim: int = None, guidance_embeds: bool = False, axes_dims_rope: list[int] = [16, 56, 56], rope_theta = 10000, time_theta = 10000)

Nguồn

Tham số:

patch_size (int) : Kích thước patch để chuyển dữ liệu đầu vào thành các patch nhỏ.

in_channels (int, tuỳ chọn, mặc định là 16) : Số lượng kênh trong đầu vào.

num_layers (int, tuỳ chọn, mặc định là 18) : Số lượng lớp của các khối MMDiT được sử dụng.

num_single_layers (int, tuỳ chọn, mặc định là 18) : Số lượng lớp của các khối DiT đơn cần sử dụng.

attention_head_dim (int, tuỳ chọn, mặc định là 64) : Số lượng kênh trong mỗi đầu.

num_attention_heads (int, tuỳ chọn, mặc định là 18) : Số lượng đầu (heads) được sử dụng cho chú ý đa đầu (multi-head attention).

joint_attention_dim (int, optional) : Số chiều của encoder_hidden_states cần sử dụng.

pooled_projection_dim (int) : Số chiều cần sử dụng khi chiếu pooled_projections.

guidance_embeds (bool, mặc định là False) : Có sử dụng guidance embeddings hay không.

Mô hình Transformer được giới thiệu trong Flux. Dựa trên FluxPipeline với một số thay đổi:

• không có embedding được pool
• Chúng tôi sử dụng zero padding cho prompts
• Không có guidance embedding vì đây không phải là phiên bản đã được distilled Tham khảo: https://blackforestlabs.ai/announcing-black-forest-labs/

forward[[diffusers.BriaTransformer2DModel.forward]]

forward(hidden_states: Tensor, encoder_hidden_states: Tensor = None, pooled_projections: Tensor = None, timestep: LongTensor = None, img_ids: Tensor = None, txt_ids: Tensor = None, guidance: Tensor = None, attention_kwargs: dict[str, typing.Any] | None = None, return_dict: bool = True, controlnet_block_samples = None, controlnet_single_block_samples = None)

Nguồn

Tham số:

hidden_states (torch.FloatTensor có hình dạng (batch size, channel, height, width)) : hidden_states đầu vào.

encoder_hidden_states (torch.FloatTensor có shape (batch size, sequence_len, embed_dims)) : Các embeddings điều kiện (embeddings được tính từ các điều kiện đầu vào như prompts) cần sử dụng.

pooled_projections (torch.FloatTensor có hình dạng (batch_size, projection_dim)) : Các embedding được chiếu từ các embedding của các điều kiện đầu vào.

timestep ( torch.LongTensor) : Dùng để chỉ bước khử nhiễu.

img_ids (torch.Tensor) : Các id vị trí ảnh được sử dụng để tính các nhúng vị trí quay (rotary positional embeddings).

txt_ids (torch.Tensor) : Các id vị trí văn bản được sử dụng để tính các nhúng vị trí quay (rotary positional embeddings).

guidance (torch.Tensor, tùy chọn) : Nhúng thang độ dẫn hướng được sử dụng cho các biến thể đã chưng cất dẫn hướng của mô hình.

controlnet_block_samples (list của torch.Tensor, tùy chọn) : Một danh sách các tensor mà nếu được chỉ định sẽ được cộng vào phần dư (residuals) của các khối transformer.

controlnet_single_block_samples (list của torch.Tensor, tùy chọn) : Một danh sách các tensor mà nếu được chỉ định sẽ được cộng vào phần dư (residuals) của các khối transformer đơn lẻ.

attention_kwargs (dict, tùy chọn) : Một từ điển kwargs mà nếu được chỉ định sẽ được truyền đến AttentionProcessor như đã định nghĩa dưới self.processor trong diffusers.models.attention_processor.

return_dict (bool, tùy chọn, mặc định là True) : Có nên trả về một ~models.transformer_2d.Transformer2DModelOutput thay vì một tuple thông thường hay không.

Trả về:

Nếu return_dict là True, một ~models.transformer_2d.Transformer2DModelOutput sẽ được trả về, ngược lại một tuple trong đó phần tử đầu tiên là tensor mẫu.

Phương thức forward của BriaTransformer2DModel.