# OvisImageTransformer2DModel

다음 코드 스니펫으로 모델을 로드할 수 있습니다.

```python
from diffusers import OvisImageTransformer2DModel

transformer = OvisImageTransformer2DModel.from_pretrained("AIDC-AI/Ovis-Image-7B", subfolder="transformer", dtype=torch.bfloat16)
```

## OvisImageTransformer2DModel[[diffusers.OvisImageTransformer2DModel]]

#### diffusers.OvisImageTransformer2DModel[[diffusers.OvisImageTransformer2DModel]]

```python
diffusers.OvisImageTransformer2DModel(patch_size: int = 1, in_channels: int = 64, out_channels: int | None = 64, num_layers: int = 6, num_single_layers: int = 27, attention_head_dim: int = 128, num_attention_heads: int = 24, joint_attention_dim: int = 2048, axes_dims_rope: tuple = (16, 56, 56))
```

[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/transformers/transformer_ovis_image.py#L384)

**매개변수:**

patch_size (`int`, 기본값 `1`) : 입력 데이터를 작은 패치로 변환하기 위한 패치 크기.

in_channels (`int`, 기본값 `64`) : 입력의 채널 수.

out_channels (`int`, *선택 사항*, 기본값 `None`) : 출력의 채널 수입니다. 지정하지 않으면 기본값은 `in_channels`입니다.

num_layers (`int`, 기본값 `6`) : 사용할 dual stream DiT 블록의 레이어 수입니다.

num_single_layers (`int`, 기본값 `27`) : 사용할 단일 스트림 DiT 블록의 레이어 수입니다.

attention_head_dim (`int`, 기본값 `128`) : 각 attention head에 사용할 차원의 수입니다.

num_attention_heads (`int`, 기본값 `24`) : 사용할 attention head의 수입니다.

joint_attention_dim (`int`, 기본값 `2048`) : 결합된 어텐션에 사용할 차원의 수(`encoder_hidden_states`의 임베딩/채널 차원).

axes_dims_rope (`tuple[int]`, 기본값 `(16, 56, 56)`) : 회전 위치 임베딩에 사용할 차원입니다.

Ovis-Image에 소개된 Transformer 모델.

Reference: https://github.com/AIDC-AI/Ovis-Image

#### forward[[diffusers.OvisImageTransformer2DModel.forward]]

```python
forward(hidden_states: Tensor, encoder_hidden_states: Tensor = None, timestep: LongTensor = None, img_ids: Tensor = None, txt_ids: Tensor = None, joint_attention_kwargs: dict[str, typing.Any] | None = None, return_dict: bool = True)
```

[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/transformers/transformer_ovis_image.py#L476)

**매개변수:**

hidden_states (`torch.Tensor`, shape `(batch_size, image_sequence_length, in_channels)`) : 입력 `hidden_states`.

encoder_hidden_states (`torch.Tensor`, shape `(batch_size, text_sequence_length, joint_attention_dim)`) : 사용할 조건 임베딩(프롬프트와 같은 입력 조건에서 계산된 임베딩).

timestep (`torch.LongTensor`) : 노이즈 제거 단계를 나타내는 데 사용됩니다.

img_ids : (`torch.Tensor`): 이미지 토큰의 위치 ID입니다.

txt_ids (`torch.Tensor`) : 텍스트 토큰의 위치 ID입니다.

joint_attention_kwargs (`dict`, *선택 사항*) : 지정된 경우 [diffusers.models.attention_processor](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py)의 `self.processor` 아래에서 정의된 `AttentionProcessor`로 전달되는 kwargs 사전입니다.

return_dict (`bool`, *선택 사항*, 기본값 `True`) : 일반 튜플 대신 `~models.transformer_2d.Transformer2DModelOutput`을 반환할지 여부.

**반환값:**

`return_dict`가 True이면 `~models.transformer_2d.Transformer2DModelOutput`이 반환되고, 그렇지 않으면 첫 번째 요소가 샘플 텐서인 `tuple`이 반환됩니다.

[OvisImageTransformer2DModel](/docs/diffusers/main/ko/api/models/ovisimage_transformer2d#diffusers.OvisImageTransformer2DModel)의 forward 메서드입니다.