# DiTTransformer2DModel

[DiT](https://huggingface.co/papers/2212.09748)의 이미지형 데이터용 Transformer 모델입니다.

## DiTTransformer2DModel[[diffusers.DiTTransformer2DModel]]

#### diffusers.DiTTransformer2DModel[[diffusers.DiTTransformer2DModel]]

```python
diffusers.DiTTransformer2DModel(num_attention_heads: int = 16, attention_head_dim: int = 72, in_channels: int = 4, out_channels: int | None = None, num_layers: int = 28, dropout: float = 0.0, norm_num_groups: int = 32, attention_bias: bool = True, sample_size: int = 32, patch_size: int = 2, activation_fn: str = 'gelu-approximate', num_embeds_ada_norm: int | None = 1000, upcast_attention: bool = False, norm_type: str = 'ada_norm_zero', norm_elementwise_affine: bool = False, norm_eps: float = 1e-05)
```

[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/transformers/dit_transformer_2d.py#L31)

**매개변수:**

num_attention_heads (int, optional, 기본값 16) : multi-head attention에 사용할 head의 수입니다.

attention_head_dim (int, optional, 기본값 72) : 각 헤드(head)의 채널 수.

in_channels (int, 기본값 4) : 입력의 채널 수.

out_channels (int, optional) : 출력의 채널 수입니다. 출력이 입력과 다른 채널 수를 가질 경우 이 매개변수를 지정합니다.

num_layers (int, optional, 기본값 28) : 사용할 Transformer 블록의 레이어 수입니다.

dropout (float, optional, 기본값 0.0) : Transformer 블록 내에서 사용할 dropout 확률입니다.

norm_num_groups (int, optional, 기본값 32) : Transformer 블록 내에서 그룹 정규화에 사용할 그룹 수.

attention_bias (bool, optional, 기본값 True) : Transformer 블록의 attention에 bias 매개변수를 포함할지 구성합니다.

sample_size (int, 기본값 32) : 잠재 이미지의 너비입니다. 이 매개변수는 학습 중에 고정됩니다.

patch_size (int, 기본값 2) : 모델이 처리하는 패치의 크기입니다. 순차적이지 않은 데이터를 다루는 아키텍처에 관련이 있습니다.

activation_fn (str, optional, 기본값 "gelu-approximate") : Transformer 블록 내 피드포워드 네트워크에서 사용할 활성화 함수.

num_embeds_ada_norm (int, optional, 기본값 1000) : AdaLayerNorm의 임베딩 수입니다. 학습 중에 고정되며 추론 시 최대 디노이징 스텝에 영향을 줍니다.

upcast_attention (bool, optional, 기본값 False) : true인 경우, 성능 향상을 위해 attention 메커니즘의 차원을 upcast합니다.

norm_type (str, optional, 기본값 "ada_norm_zero") : 사용할 정규화 유형을 지정하며, 'ada_norm_zero'를 사용할 수 있습니다.

norm_elementwise_affine (bool, optional, 기본값 False) : true인 경우, 정규화 레이어에서 요소별(affine) 파라미터를 활성화합니다.

norm_eps (float, optional, 기본값 1e-5) : 정규화 레이어의 분모에 더해져 0으로 나누는 것을 방지하는 작은 상수입니다.

DiT(https://huggingface.co/papers/2212.09748)에서 소개한 2D Transformer 모델입니다.

#### forward[[diffusers.DiTTransformer2DModel.forward]]

```python
forward(hidden_states: Tensor, timestep: typing.Optional[torch.LongTensor] = None, class_labels: typing.Optional[torch.LongTensor] = None, cross_attention_kwargs: dict = None, return_dict: bool = True)
```

[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/transformers/dit_transformer_2d.py#L148)

**매개변수:**

hidden_states (`torch.LongTensor`의 경우 `(batch size, num latent pixels)` 형태, `torch.FloatTensor`의 경우 `(batch size, channel, height, width)` 형태) : 입력 `hidden_states`.

timestep ( `torch.LongTensor`, *선택 사항*) : 노이즈 제거 단계를 나타내는 데 사용됩니다. `AdaLayerNorm`에서 임베딩으로 적용될 선택적 타임스텝입니다.

class_labels ( `torch.LongTensor`, shape `(batch size, num classes)`, *선택 사항*) : 클래스 레이블 조건화를 나타내는 데 사용됩니다. `AdaLayerZeroNorm`에서 임베딩으로 적용될 선택적 클래스 레이블입니다.

cross_attention_kwargs ( `dict[str, Any]`, *선택*) : 지정된 경우 [diffusers.models.attention_processor](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py)의 `self.processor` 아래에서 정의된 `AttentionProcessor`로 전달되는 kwargs 사전입니다.

return_dict (`bool`, *선택 사항*, 기본값 `True`) : 일반 튜플 대신 [UNet2DConditionOutput](/docs/diffusers/main/ko/api/models/unet2d-cond#diffusers.models.unets.unet_2d_condition.UNet2DConditionOutput)을 반환할지 여부.

**반환값:**

`return_dict`가 True이면 `~models.transformer_2d.Transformer2DModelOutput`이 반환되고, 그렇지 않으면 첫 번째 요소가 샘플 텐서인 `tuple`이 반환됩니다.

[DiTTransformer2DModel](/docs/diffusers/main/ko/api/models/dit_transformer2d#diffusers.DiTTransformer2DModel)의 forward 메서드입니다.