Buckets:
| # OvisImageTransformer2DModel | |
| 다음 코드 스니펫으로 모델을 로드할 수 있습니다. | |
| ```python | |
| from diffusers import OvisImageTransformer2DModel | |
| transformer = OvisImageTransformer2DModel.from_pretrained("AIDC-AI/Ovis-Image-7B", subfolder="transformer", dtype=torch.bfloat16) | |
| ``` | |
| ## OvisImageTransformer2DModel[[diffusers.OvisImageTransformer2DModel]] | |
| #### diffusers.OvisImageTransformer2DModel[[diffusers.OvisImageTransformer2DModel]] | |
| ```python | |
| diffusers.OvisImageTransformer2DModel(patch_size: int = 1, in_channels: int = 64, out_channels: int | None = 64, num_layers: int = 6, num_single_layers: int = 27, attention_head_dim: int = 128, num_attention_heads: int = 24, joint_attention_dim: int = 2048, axes_dims_rope: tuple = (16, 56, 56)) | |
| ``` | |
| [소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/transformers/transformer_ovis_image.py#L384) | |
| **매개변수:** | |
| patch_size (`int`, 기본값 `1`) : 입력 데이터를 작은 패치로 변환하기 위한 패치 크기. | |
| in_channels (`int`, 기본값 `64`) : 입력의 채널 수. | |
| out_channels (`int`, *선택 사항*, 기본값 `None`) : 출력의 채널 수입니다. 지정하지 않으면 기본값은 `in_channels`입니다. | |
| num_layers (`int`, 기본값 `6`) : 사용할 dual stream DiT 블록의 레이어 수입니다. | |
| num_single_layers (`int`, 기본값 `27`) : 사용할 단일 스트림 DiT 블록의 레이어 수입니다. | |
| attention_head_dim (`int`, 기본값 `128`) : 각 attention head에 사용할 차원의 수입니다. | |
| num_attention_heads (`int`, 기본값 `24`) : 사용할 attention head의 수입니다. | |
| joint_attention_dim (`int`, 기본값 `2048`) : 결합된 어텐션에 사용할 차원의 수(`encoder_hidden_states`의 임베딩/채널 차원). | |
| axes_dims_rope (`tuple[int]`, 기본값 `(16, 56, 56)`) : 회전 위치 임베딩에 사용할 차원입니다. | |
| Ovis-Image에 소개된 Transformer 모델. | |
| Reference: https://github.com/AIDC-AI/Ovis-Image | |
| #### forward[[diffusers.OvisImageTransformer2DModel.forward]] | |
| ```python | |
| forward(hidden_states: Tensor, encoder_hidden_states: Tensor = None, timestep: LongTensor = None, img_ids: Tensor = None, txt_ids: Tensor = None, joint_attention_kwargs: dict[str, typing.Any] | None = None, return_dict: bool = True) | |
| ``` | |
| [소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/transformers/transformer_ovis_image.py#L476) | |
| **매개변수:** | |
| hidden_states (`torch.Tensor`, shape `(batch_size, image_sequence_length, in_channels)`) : 입력 `hidden_states`. | |
| encoder_hidden_states (`torch.Tensor`, shape `(batch_size, text_sequence_length, joint_attention_dim)`) : 사용할 조건 임베딩(프롬프트와 같은 입력 조건에서 계산된 임베딩). | |
| timestep (`torch.LongTensor`) : 노이즈 제거 단계를 나타내는 데 사용됩니다. | |
| img_ids : (`torch.Tensor`): 이미지 토큰의 위치 ID입니다. | |
| txt_ids (`torch.Tensor`) : 텍스트 토큰의 위치 ID입니다. | |
| joint_attention_kwargs (`dict`, *선택 사항*) : 지정된 경우 [diffusers.models.attention_processor](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py)의 `self.processor` 아래에서 정의된 `AttentionProcessor`로 전달되는 kwargs 사전입니다. | |
| return_dict (`bool`, *선택 사항*, 기본값 `True`) : 일반 튜플 대신 `~models.transformer_2d.Transformer2DModelOutput`을 반환할지 여부. | |
| **반환값:** | |
| `return_dict`가 True이면 `~models.transformer_2d.Transformer2DModelOutput`이 반환되고, 그렇지 않으면 첫 번째 요소가 샘플 텐서인 `tuple`이 반환됩니다. | |
| [OvisImageTransformer2DModel](/docs/diffusers/main/ko/api/models/ovisimage_transformer2d#diffusers.OvisImageTransformer2DModel)의 forward 메서드입니다. | |
Xet Storage Details
- Size:
- 3.81 kB
- Xet hash:
- 216d74744dd9e21dcdf25b1eb11cf2acee10e4932fc652ed3ed2c18cb45ea998
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.