diffusers/main/vi/api/models/transformer_bria_fibo.md

BriaFiboTransformer2DModel

Mô hình Transformer flux đã được chỉnh sửa từ Bria

BriaFiboTransformer2DModel[[diffusers.BriaFiboTransformer2DModel]]

diffusers.BriaFiboTransformer2DModel[[diffusers.BriaFiboTransformer2DModel]]

diffusers.BriaFiboTransformer2DModel(patch_size: int = 1, in_channels: int = 64, num_layers: int = 19, num_single_layers: int = 38, attention_head_dim: int = 128, num_attention_heads: int = 24, joint_attention_dim: int = 4096, pooled_projection_dim: int = None, guidance_embeds: bool = False, axes_dims_rope: list[int] = [16, 56, 56], rope_theta = 10000, time_theta = 10000, text_encoder_dim: int = 2048)

Nguồn

Tham số:

patch_size (int) : Kích thước patch để chuyển dữ liệu đầu vào thành các patch nhỏ.

in_channels (int, tuỳ chọn, mặc định là 16) : Số lượng kênh trong đầu vào.

num_layers (int, tuỳ chọn, mặc định là 18) : Số lượng lớp của các khối MMDiT được sử dụng.

num_single_layers (int, tuỳ chọn, mặc định là 18) : Số lượng lớp của các khối DiT đơn cần sử dụng.

attention_head_dim (int, tuỳ chọn, mặc định là 64) : Số lượng kênh trong mỗi đầu.

num_attention_heads (int, tuỳ chọn, mặc định là 18) : Số lượng đầu (heads) được sử dụng cho chú ý đa đầu (multi-head attention).

joint_attention_dim (int, optional) : Số chiều của encoder_hidden_states cần sử dụng.

pooled_projection_dim (int) : Số chiều cần sử dụng khi chiếu pooled_projections.

guidance_embeds (bool, mặc định là False) : Có sử dụng guidance embeddings hay không.

... --

forward[[diffusers.BriaFiboTransformer2DModel.forward]]

forward(hidden_states: Tensor, encoder_hidden_states: Tensor = None, text_encoder_layers: list = None, pooled_projections: Tensor = None, timestep: LongTensor = None, img_ids: Tensor = None, txt_ids: Tensor = None, guidance: Tensor = None, joint_attention_kwargs: dict[str, typing.Any] | None = None, return_dict: bool = True)

Nguồn

Tham số:

hidden_states (torch.FloatTensor có hình dạng (batch size, channel, height, width)) : hidden_states đầu vào.

encoder_hidden_states (torch.FloatTensor có shape (batch size, sequence_len, embed_dims)) : Các embeddings điều kiện (embeddings được tính từ các điều kiện đầu vào như prompts) cần sử dụng.

text_encoder_layers (list của torch.Tensor) : Trạng thái ẩn của bộ mã hóa văn bản theo khối, mỗi khối transformer có một tensor.

pooled_projections (torch.FloatTensor có hình dạng (batch_size, projection_dim)) : Các embedding được chiếu từ các embedding của các điều kiện đầu vào.

timestep ( torch.LongTensor) : Dùng để chỉ bước khử nhiễu.

img_ids (torch.Tensor) : Các id vị trí ảnh được sử dụng để tính các nhúng vị trí quay (rotary positional embeddings).

txt_ids (torch.Tensor) : Các id vị trí văn bản được sử dụng để tính các nhúng vị trí quay (rotary positional embeddings).

guidance (torch.Tensor, tùy chọn) : Nhúng thang độ dẫn hướng được sử dụng cho các biến thể đã chưng cất dẫn hướng của mô hình.

joint_attention_kwargs (dict, tùy chọn) : Một từ điển kwargs mà nếu được chỉ định sẽ được truyền đến AttentionProcessor như đã định nghĩa dưới self.processor trong diffusers.models.attention_processor.

return_dict (bool, tùy chọn, mặc định là True) : Có nên trả về một ~models.transformer_2d.Transformer2DModelOutput thay vì một tuple thông thường hay không.

Trả về:

Nếu return_dict là True, một ~models.transformer_2d.Transformer2DModelOutput sẽ được trả về, ngược lại một tuple trong đó phần tử đầu tiên là tensor mẫu.