diffusers/main/ko/api/models/bria_transformer.md

BriaTransformer2DModel

Bria에서 수정한 flux Transformer 모델

BriaTransformer2DModel[[diffusers.BriaTransformer2DModel]]

diffusers.BriaTransformer2DModel[[diffusers.BriaTransformer2DModel]]

diffusers.BriaTransformer2DModel(patch_size: int = 1, in_channels: int = 64, num_layers: int = 19, num_single_layers: int = 38, attention_head_dim: int = 128, num_attention_heads: int = 24, joint_attention_dim: int = 4096, pooled_projection_dim: int = None, guidance_embeds: bool = False, axes_dims_rope: list = [16, 56, 56], rope_theta = 10000, time_theta = 10000)

소스

매개변수:

patch_size (int) : 입력 데이터를 작은 패치로 변환하기 위한 패치 크기.

in_channels (int, 선택 사항, 기본값 16) : 입력의 채널 수.

num_layers (int, 선택 사항, 기본값 18) : 사용할 MMDiT 블록의 레이어 수입니다.

num_single_layers (int, 선택 사항, 기본값 18) : 사용할 단일 DiT 블록의 레이어 수입니다.

attention_head_dim (int, 선택 사항, 기본값 64) : 각 헤드당 채널 수입니다.

num_attention_heads (int, 선택 사항, 기본값 18) : 멀티 헤드 어텐션에 사용할 헤드 수입니다.

joint_attention_dim (int, 선택 사항) : 사용할 encoder_hidden_states 차원의 수입니다.

pooled_projection_dim (int) : pooled_projections을 투사할 때 사용할 차원의 수.

guidance_embeds (bool, 기본값 False) : guidance embeddings를 사용할지 여부.

Flux에서 도입된 Transformer 모델입니다. FluxPipeline을 기반으로 몇 가지 변경 사항이 적용되었습니다:

• 풀링된 임베딩 없음
• 프롬프트에는 zero padding을 사용합니다
• 이것은 증류된 버전이 아니므로 guidance embedding이 없습니다 참고: https://blackforestlabs.ai/announcing-black-forest-labs/

forward[[diffusers.BriaTransformer2DModel.forward]]

forward(hidden_states: Tensor, encoder_hidden_states: Tensor = None, pooled_projections: Tensor = None, timestep: LongTensor = None, img_ids: Tensor = None, txt_ids: Tensor = None, guidance: Tensor = None, attention_kwargs: dict[str, typing.Any] | None = None, return_dict: bool = True, controlnet_block_samples = None, controlnet_single_block_samples = None)

소스

매개변수:

hidden_states (torch.FloatTensor, shape (batch size, channel, height, width)) : 입력 hidden_states.

encoder_hidden_states (torch.FloatTensor, shape (batch size, sequence_len, embed_dims)) : 사용할 조건 임베딩(프롬프트와 같은 입력 조건에서 계산된 임베딩).

pooled_projections (torch.FloatTensor, shape (batch_size, projection_dim)) : 입력 조건의 임베딩에서 투영된 임베딩.

timestep ( torch.LongTensor) : 노이즈 제거 단계를 나타내는 데 사용됩니다.

img_ids (torch.Tensor) : 회전 위치 임베딩을 계산하는 데 사용되는 이미지 위치 ID입니다.

txt_ids (torch.Tensor) : 회전 위치 임베딩을 계산하는 데 사용되는 텍스트 위치 ID입니다.

guidance (torch.Tensor, 선택 사항) : 모델의 guidance-distilled 변형에 사용되는 guidance scale 임베딩입니다.

controlnet_block_samples (list of torch.Tensor, 선택 사항) : 지정된 경우, Transformer 블록의 잔차(residuals)에 추가되는 텐서 목록입니다.

controlnet_single_block_samples (list of torch.Tensor, 선택 사항) : 지정된 경우 단일 transformer 블록의 잔차(residuals)에 추가되는 텐서 목록입니다.

attention_kwargs (dict, 선택 사항) : 지정된 경우 diffusers.models.attention_processor의 self.processor 아래에서 정의된 AttentionProcessor로 전달되는 kwargs 사전입니다.

return_dict (bool, 선택 사항, 기본값 True) : 일반 튜플 대신 ~models.transformer_2d.Transformer2DModelOutput을 반환할지 여부.

반환값:

return_dict가 True이면 ~models.transformer_2d.Transformer2DModelOutput이 반환되고, 그렇지 않으면 첫 번째 요소가 샘플 텐서인 tuple이 반환됩니다.

BriaTransformer2DModel의 forward 메서드입니다.