diffusers/main/ko/api/models/aura_flow_transformer2d.md

AuraFlowTransformer2DModel

AuraFlow의 이미지형 데이터용 Transformer 모델입니다.

AuraFlowTransformer2DModel[[diffusers.AuraFlowTransformer2DModel]]

diffusers.AuraFlowTransformer2DModel[[diffusers.AuraFlowTransformer2DModel]]

diffusers.AuraFlowTransformer2DModel(sample_size: int = 64, patch_size: int = 2, in_channels: int = 4, num_mmdit_layers: int = 4, num_single_dit_layers: int = 32, attention_head_dim: int = 256, num_attention_heads: int = 12, joint_attention_dim: int = 2048, caption_projection_dim: int = 3072, out_channels: int = 4, pos_embed_max_size: int = 1024)

소스

매개변수:

sample_size (int) : 잠재 이미지(latent images)의 너비입니다. 학습 중에 위치 임베딩(position embeddings)의 수를 학습하는 데 사용되므로 고정됩니다.

patch_size (int) : 입력 데이터를 작은 패치로 변환하기 위한 패치 크기.

in_channels (int, 선택 사항, 기본값 4) : 입력의 채널 수.

num_mmdit_layers (int, 선택 사항, 기본값 4) : 사용할 MMDiT Transformer 블록의 레이어 수입니다.

num_single_dit_layers (int, 선택 사항, 기본값 32) : 사용할 Transformer 블록의 레이어 수입니다. 이 블록들은 연결된 이미지 및 텍스트 표현을 사용합니다.

attention_head_dim (int, 선택 사항, 기본값 256) : 각 헤드(head)의 채널 수입니다.

num_attention_heads (int, 선택 사항, 기본값 12) : 멀티 헤드 어텐션에 사용할 헤드 수입니다.

joint_attention_dim (int, 선택 사항) : 사용할 encoder_hidden_states 차원의 수입니다.

caption_projection_dim (int) : encoder_hidden_states를 투영할 때 사용할 차원의 수.

out_channels (int, 기본값 4) : 출력 채널 수.

pos_embed_max_size (int, 기본값 1024) : 이미지 latents에서 임베딩할 최대 위치 수.

AuraFlow(https://blog.fal.ai/auraflow/)에서 소개한 2D Transformer 모델입니다.

forward[[diffusers.AuraFlowTransformer2DModel.forward]]

forward(hidden_states: FloatTensor, encoder_hidden_states: FloatTensor = None, timestep: LongTensor = None, attention_kwargs: dict[str, typing.Any] | None = None, return_dict: bool = True)

소스

매개변수:

hidden_states (torch.FloatTensor, shape (batch size, channel, height, width)) : 입력 hidden_states.

encoder_hidden_states (torch.FloatTensor, shape (batch size, sequence_len, embed_dims)) : 사용할 조건 임베딩(프롬프트와 같은 입력 조건에서 계산된 임베딩).

timestep (torch.LongTensor) : 노이즈 제거 단계를 나타내는 데 사용됩니다.

attention_kwargs (dict, 선택 사항) : 지정된 경우 diffusers.models.attention_processor의 self.processor 아래에서 정의된 AttentionProcessor로 전달되는 kwargs 사전입니다.

return_dict (bool, 선택 사항, 기본값 True) : 일반 튜플 대신 ~models.transformer_2d.Transformer2DModelOutput을 반환할지 여부.

반환값:

return_dict가 True이면 ~models.transformer_2d.Transformer2DModelOutput이 반환되고, 그렇지 않으면 첫 번째 요소가 샘플 텐서인 tuple이 반환됩니다.

AuraFlowTransformer2DModel의 forward 메서드입니다.

fuse_qkv_projections[[diffusers.AuraFlowTransformer2DModel.fuse_qkv_projections]]

fuse_qkv_projections()

소스

융합된 QKV 투영을 활성화합니다. 셀프 어텐션 모듈의 경우, 모든 투영 행렬(즉, 쿼리, 키, 값)이 융합됩니다. 크로스 어텐션 모듈의 경우, 키와 값 투영 행렬이 융합됩니다.

> 이 API는 🧪 실험적입니다.

unfuse_qkv_projections[[diffusers.AuraFlowTransformer2DModel.unfuse_qkv_projections]]

unfuse_qkv_projections()

소스

활성화된 경우, 융합된 QKV 투영을 비활성화합니다.

> 이 API는 🧪 실험적입니다.