Hugging Face's logo

Diffusers documentation

AuraFlowTransformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

AuraFlowTransformer2DModel

AuraFlow의 이미지형 데이터용 Transformer 모델입니다.

AuraFlowTransformer2DModel

클래스 diffusers.AuraFlowTransformer2DModel

< >

( sample_size: int = 64patch_size: int = 2in_channels: int = 4num_mmdit_layers: int = 4num_single_dit_layers: int = 32attention_head_dim: int = 256num_attention_heads: int = 12joint_attention_dim: int = 2048caption_projection_dim: int = 3072out_channels: int = 4pos_embed_max_size: int = 1024 )

매개변수

  • sample_size (int) — 잠재 이미지(latent images)의 너비입니다. 학습 중에 위치 임베딩(position embeddings)의 수를 학습하는 데 사용되므로 고정됩니다.
  • patch_size (int) — 입력 데이터를 작은 패치로 변환할 때 사용할 패치 크기.
  • in_channels (int, 선택 사항, 기본값 4) — 입력의 채널 수입니다.
  • num_mmdit_layers (int, 선택 사항, 기본값 4) — 사용할 MMDiT Transformer 블록의 레이어 수입니다.
  • num_single_dit_layers (int, 선택 사항, 기본값 32) — 사용할 Transformer 블록의 레이어 수입니다. 이 블록들은 연결된 이미지와 텍스트 표현을 사용합니다.
  • attention_head_dim (int, 선택 사항, 기본값 256) — 각 헤드당 채널 수입니다.
  • num_attention_heads (int, 선택 사항, 기본값 12) — 멀티헤드 어텐션에 사용할 헤드의 수입니다.
  • joint_attention_dim (int, 선택 사항) — 사용할 encoder_hidden_states 차원의 수입니다.
  • caption_projection_dim (int) — encoder_hidden_states를 투영할 때 사용할 차원 수.
  • out_channels (int, 기본값 4) — 출력 채널의 수.
  • pos_embed_max_size (int, 기본값 1024) — 이미지 latent에서 임베딩할 최대 위치 수.

AuraFlow(https://blog.fal.ai/auraflow/)에서 소개한 2D Transformer 모델입니다.

forward

< >

( hidden_states: FloatTensorencoder_hidden_states: FloatTensor = Nonetimestep: LongTensor = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )

매개변수

  • hidden_states (torch.FloatTensor, shape (batch size, channel, height, width)) — 입력 hidden_states.
  • encoder_hidden_states (torch.FloatTensor, shape (batch size, sequence_len, embed_dims)) — 사용할 조건 임베딩(프롬프트와 같은 입력 조건에서 계산된 임베딩).
  • timestep (torch.LongTensor) — 디노이징 단계를 나타내는 데 사용됩니다.
  • attention_kwargs (dict, 선택 사항) — 지정된 경우 diffusers.models.attention_processor의 self.processor에서 정의된 AttentionProcessor로 전달되는 kwargs 사전입니다.
  • return_dict (bool, 선택 사항, 기본값 True) — 단순 tuple 대신 ~models.transformer_2d.Transformer2DModelOutput를 반환할지 여부.

AuraFlowTransformer2DModel의 forward 메서드입니다.

fuse_qkv_projections

< >

( )

융합된 QKV 투영을 활성화합니다. 셀프 어텐션 모듈의 경우, 모든 투영 행렬(즉, 쿼리, 키, 값)이 융합됩니다. 크로스 어텐션 모듈의 경우, 키와 값 투영 행렬이 융합됩니다.

> 이 API는 🧪 실험적입니다.

unfuse_qkv_projections

< >

( )

활성화된 경우, 융합된 QKV 투영을 비활성화합니다.

> 이 API는 🧪 실험적입니다.

Update on GitHub

←AnyFlowTransformer3DModel BriaFibo2Transformer2DModel→