Diffusers documentation
BriaFibo2Transformer2DModel
BriaFibo2Transformer2DModel
Bria의 Fibo 2.0에 사용된 단일 스트림 transformer로, Z-Image 블록을 기반으로 구축되었습니다. 텍스트 조건화는 Qwen3-VL을 통해 두 가지 방식으로 제공됩니다. Perceiver resampler는 텍스트 인코더의 hidden states를 gist tokens로 변환하여 이미지 토큰과 동일한 스트림을 공유하게 하고, 다섯 개의 블록은 자체 Qwen3-VL 레이어 번들에 게이트드 크로스 어텐션을 추가합니다. 편집을 위해 편집 대상 이미지의 latents는 클린 토큰으로 스트림에 합류하며, 각 이미지는 자체 RoPE 평면을 사용합니다.
BriaFibo2Transformer2DModel
class diffusers.BriaFibo2Transformer2DModel
< source >( in_channels: int = 32patch_size: int = 2dim: int = 3584n_layers: int = 44n_refiner_layers: int = 2n_heads: int = 28norm_eps: float = 1e-05cap_feat_dim: int = 7680injection_layer_ids: tuple[int, ...] = (6, 14, 22, 30, 38)perceiver_num_layers: int = 2min_num_gist_tokens: int = 256max_num_gist_tokens: int = 512gist_step: int = 64gist_min_text_len: int = 256gist_max_text_len: int = 2048rope_theta: float = 256.0t_scale: float = 1000.0axes_dims: tuple[int, ...] = (32, 48, 48)axes_lens: tuple[int, ...] = (2048, 512, 512) )
forward
< source >( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensorencoder_attention_mask: typing.Optional[torch.Tensor] = Nonecontext_latents: list[torch.Tensor] | None = Nonereturn_dict: bool = True ) → Transformer2DModelOutput or tuple
매개변수
- hidden_states (
torch.Tensor, shape(batch_size, in_channels, height, width)) — 생성 중인 이미지의 정규화된 VAE latents입니다. - timestep (
torch.Tensor, shape(batch_size,)) —[0, 1]범위의 노이즈 레벨: 1은 순수 노이즈, 0은 깨끗한 이미지입니다. - encoder_hidden_states (
torch.Tensor, shape(batch_size, 1 + len(injection_layer_ids), text_len, cap_feat_dim)) — 텍스트 인코더 특징: Perceiver의 번들, 그 다음 각 인젝션 블록당 하나의 번들. - encoder_attention_mask (
torch.Tensor, shape(batch_size, text_len), 선택 사항) — 같은 길이로 패딩된 프롬프트 배치에 대해 실제 텍스트 토큰을 나타내는 Bool 마스크입니다. 패딩이 없는 경우None으로 두세요. - context_latents (
list[torch.Tensor], 선택 사항) — 편집할 이미지의 정규화된 VAE latents입니다. 각 이미지에 대해(batch_size, in_channels, height, width)모양의 텐서가 순서대로 하나씩 포함됩니다. 각 이미지는 서로 다른 크기를 가질 수 있습니다. 이 토큰들은 clean tokens로서 생성을 조건화하며 예측 대상이 아닙니다. - return_dict (
bool, 기본값True) — tuple 대신 Transformer2DModelOutput를 반환할지 여부.
반환값
Transformer2DModelOutput 또는 tuple
hidden_states의 형태를 가진 예측 속도. return_dict가 False인 경우, 첫 번째 요소가 해당 텐서인 튜플.