diffusers/main/id/api/models/transformer_bria_fibo2.md

BriaFibo2Transformer2DModel

Transformer single-stream dari Fibo 2.0 milik Bria, yang dibangun di atas blok Z-Image. Kondisioning teksnya berasal dari Qwen3-VL melalui dua cara: Perceiver resampler mengubah hidden states dari text encoder menjadi gist tokens yang berbagi stream dengan image tokens, dan lima blok menambahkan gated cross-attention ke bundle lapisan Qwen3-VL mereka sendiri. Untuk melakukan edit, latents dari gambar yang akan diedit bergabung ke dalam stream sebagai clean tokens, dengan masing-masing gambar berada di bidang RoPE-nya sendiri.

BriaFibo2Transformer2DModel[[diffusers.BriaFibo2Transformer2DModel]]

diffusers.BriaFibo2Transformer2DModel[[diffusers.BriaFibo2Transformer2DModel]]

diffusers.BriaFibo2Transformer2DModel(in_channels: int = 32, patch_size: int = 2, dim: int = 3584, n_layers: int = 44, n_refiner_layers: int = 2, n_heads: int = 28, norm_eps: float = 1e-05, cap_feat_dim: int = 7680, injection_layer_ids: tuple[int, ...] = (6, 14, 22, 30, 38), perceiver_num_layers: int = 2, min_num_gist_tokens: int = 256, max_num_gist_tokens: int = 512, gist_step: int = 64, gist_min_text_len: int = 256, gist_max_text_len: int = 2048, rope_theta: float = 256.0, t_scale: float = 1000.0, axes_dims: tuple[int, ...] = (32, 48, 48), axes_lens: tuple[int, ...] = (2048, 512, 512))

Sumber

forward[[diffusers.BriaFibo2Transformer2DModel.forward]]

forward(hidden_states: Tensor, timestep: Tensor, encoder_hidden_states: Tensor, encoder_attention_mask: typing.Optional[torch.Tensor] = None, context_latents: list[torch.Tensor] | None = None, return_dict: bool = True)

Sumber

Parameter:

hidden_states (torch.Tensor dengan bentuk (batch_size, in_channels, height, width)) : Laten VAE ternormalisasi dari gambar yang sedang dibuat.

timestep (torch.Tensor dengan bentuk (batch_size,)) : Tingkat noise dalam [0, 1]: 1 adalah noise murni, 0 adalah gambar bersih.

encoder_hidden_states (torch.Tensor dengan bentuk (batch_size, 1 + len(injection_layer_ids), text_len, cap_feat_dim)) : Fitur encoder teks: bundle Perceiver terlebih dahulu, kemudian satu bundle per blok injeksi.

encoder_attention_mask (torch.Tensor dengan bentuk (batch_size, text_len), opsional) : Mask bool untuk token teks asli, untuk batch prompt yang di-pad hingga panjang yang sama. Biarkan sebagai None jika tidak ada yang di-pad.

context_latents (list[torch.Tensor], opsional) : Laten VAE ternormalisasi dari gambar yang akan diedit, satu tensor dengan bentuk (batch_size, in_channels, height, width) per gambar, sesuai urutannya. Setiap gambar dapat memiliki ukuran sendiri. Token-token mereka mengondisikan generasi sebagai token bersih dan tidak diprediksi.

return_dict (bool, defaultnya True) : Apakah akan mengembalikan Transformer2DModelOutput alih-alih tuple.

Mengembalikan: Transformer2DModelOutput atau tuple

Kecepatan yang diprediksi, dengan bentuk hidden_states. Jika return_dict adalah False, sebuah tuple yang elemen pertamanya adalah tensor tersebut.