diffusers/main/vi/api/models/transformer_bria_fibo2.md

BriaFibo2Transformer2DModel

Transformer single-stream của Fibo 2.0 từ Bria, được xây dựng trên khối Z-Image. Điều kiện văn bản của nó đến từ Qwen3-VL theo hai cách: một Perceiver resampler chuyển đổi các trạng thái ẩn của bộ mã hóa văn bản thành các gist token, chia sẻ luồng với các token hình ảnh, và năm khối bổ sung cross-attention có cổng vào tập hợp các lớp Qwen3-VL riêng của chúng. Để chỉnh sửa, các latent của các hình ảnh cần chỉnh sửa sẽ tham gia vào luồng dưới dạng các token sạch, mỗi hình ảnh nằm trên một mặt phẳng RoPE riêng.

BriaFibo2Transformer2DModel[[diffusers.BriaFibo2Transformer2DModel]]

diffusers.BriaFibo2Transformer2DModel[[diffusers.BriaFibo2Transformer2DModel]]

diffusers.BriaFibo2Transformer2DModel(in_channels: int = 32, patch_size: int = 2, dim: int = 3584, n_layers: int = 44, n_refiner_layers: int = 2, n_heads: int = 28, norm_eps: float = 1e-05, cap_feat_dim: int = 7680, injection_layer_ids: tuple[int, ...] = (6, 14, 22, 30, 38), perceiver_num_layers: int = 2, min_num_gist_tokens: int = 256, max_num_gist_tokens: int = 512, gist_step: int = 64, gist_min_text_len: int = 256, gist_max_text_len: int = 2048, rope_theta: float = 256.0, t_scale: float = 1000.0, axes_dims: tuple[int, ...] = (32, 48, 48), axes_lens: tuple[int, ...] = (2048, 512, 512))

Nguồn

forward[[diffusers.BriaFibo2Transformer2DModel.forward]]

forward(hidden_states: Tensor, timestep: Tensor, encoder_hidden_states: Tensor, encoder_attention_mask: typing.Optional[torch.Tensor] = None, context_latents: list[torch.Tensor] | None = None, return_dict: bool = True)

Nguồn

Tham số:

hidden_states (torch.Tensor có shape (batch_size, in_channels, height, width)) : Latent VAE đã được chuẩn hóa của hình ảnh đang được tạo ra.

timestep (torch.Tensor có hình dạng (batch_size,)) : Mức nhiễu trong [0, 1]: 1 là nhiễu thuần túy, 0 là ảnh sạch.

encoder_hidden_states (torch.Tensor có hình dạng (batch_size, 1 + len(injection_layer_ids), text_len, cap_feat_dim)) : Các đặc trưng của bộ mã hóa văn bản: trước tiên là bó (bundle) của Perceiver, sau đó là một bó cho mỗi khối tiêm (injection block).

encoder_attention_mask (torch.Tensor có shape (batch_size, text_len), tùy chọn) : Bool mask của các token văn bản thực, cho một batch các prompt được pad về cùng độ dài. Để là None khi không có gì được pad.

context_latents (list[torch.Tensor], optional) : Các latents VAE đã chuẩn hóa của các hình ảnh cần chỉnh sửa, mỗi hình ảnh tương ứng với một tensor có shape (batch_size, in_channels, height, width), theo thứ tự. Mỗi hình ảnh có thể có kích thước riêng. Các token của chúng đóng vai trò điều kiện cho quá trình sinh dưới dạng các token sạch và không được dự đoán.

return_dict (bool, mặc định là True) : Có nên trả về một Transformer2DModelOutput thay vì một tuple hay không.

Trả về: Transformer2DModelOutput hoặc tuple

Tốc độ dự đoán, có hình dạng của hidden_states. Nếu return_dict là False, một tuple mà phần tử đầu tiên là tensor đó.