diffusers/main/ko/api/models/longcat_image_transformer2d.md

LongCatImageTransformer2DModel

다음 코드 스니펫으로 모델을 로드할 수 있습니다.

from diffusers import LongCatImageTransformer2DModel

transformer = LongCatImageTransformer2DModel.from_pretrained("meituan-longcat/LongCat-Image ", subfolder="transformer", dtype=torch.bfloat16)

LongCatImageTransformer2DModel[[diffusers.LongCatImageTransformer2DModel]]

diffusers.LongCatImageTransformer2DModel[[diffusers.LongCatImageTransformer2DModel]]

diffusers.LongCatImageTransformer2DModel(patch_size: int = 1, in_channels: int = 64, num_layers: int = 19, num_single_layers: int = 38, attention_head_dim: int = 128, num_attention_heads: int = 24, joint_attention_dim: int = 3584, pooled_projection_dim: int = 3584, axes_dims_rope: list = [16, 56, 56])

소스

Longcat-Image에 소개된 Transformer 모델.

forward[[diffusers.LongCatImageTransformer2DModel.forward]]

forward(hidden_states: Tensor, encoder_hidden_states: Tensor = None, timestep: LongTensor = None, img_ids: Tensor = None, txt_ids: Tensor = None, guidance: Tensor = None, return_dict: bool = True)

소스

매개변수:

hidden_states (torch.FloatTensor, shape (batch size, channel, height, width)) : 입력 hidden_states.

encoder_hidden_states (torch.FloatTensor, shape (batch size, sequence_len, embed_dims)) : 사용할 조건 임베딩(프롬프트와 같은 입력 조건에서 계산된 임베딩).

timestep ( torch.LongTensor) : 노이즈 제거 단계를 나타내는 데 사용됩니다.

img_ids (torch.Tensor) : 회전 위치 임베딩을 계산하는 데 사용되는 이미지 위치 ID입니다.

txt_ids (torch.Tensor) : 회전 위치 임베딩을 계산하는 데 사용되는 텍스트 위치 ID입니다.

guidance (torch.Tensor, 선택 사항) : 모델의 guidance-distilled 변형에 사용되는 guidance scale 임베딩입니다.

return_dict (bool, 선택 사항, 기본값 True) : 일반 튜플 대신 ~models.transformer_2d.Transformer2DModelOutput을 반환할지 여부.

반환값:

return_dict가 True이면 ~models.transformer_2d.Transformer2DModelOutput이 반환되고, 그렇지 않으면 첫 번째 요소가 샘플 텐서인 tuple이 반환됩니다.

forward 메서드입니다.