diffusers/main/ko/api/models/qwenimage_transformer2d.md

QwenImageTransformer2DModel

다음 코드 스니펫으로 모델을 로드할 수 있습니다.

from diffusers import QwenImageTransformer2DModel

transformer = QwenImageTransformer2DModel.from_pretrained("Qwen/QwenImage-20B", subfolder="transformer", dtype=torch.bfloat16)

QwenImageTransformer2DModel[[diffusers.QwenImageTransformer2DModel]]

diffusers.QwenImageTransformer2DModel[[diffusers.QwenImageTransformer2DModel]]

diffusers.QwenImageTransformer2DModel(patch_size: int = 2, in_channels: int = 64, out_channels: int | None = 16, num_layers: int = 60, attention_head_dim: int = 128, num_attention_heads: int = 24, joint_attention_dim: int = 3584, guidance_embeds: bool = False, axes_dims_rope: tuple = (16, 56, 56), zero_cond_t: bool = False, use_additional_t_cond: bool = False, use_layer3d_rope: bool = False)

소스

매개변수:

patch_size (int, 기본값 2) : 입력 데이터를 작은 패치로 변환하기 위한 패치 크기.

in_channels (int, 기본값 64) : 입력의 채널 수.

out_channels (int, 선택 사항, 기본값 None) : 출력의 채널 수입니다. 지정하지 않으면 기본값은 in_channels입니다.

num_layers (int, 기본값 60) : 사용할 dual stream DiT 블록의 레이어 수입니다.

attention_head_dim (int, 기본값 128) : 각 attention head에 사용할 차원의 수입니다.

num_attention_heads (int, 기본값 24) : 사용할 attention head의 수입니다.

joint_attention_dim (int, 기본값 3584) : 결합된 어텐션에 사용할 차원의 수(encoder_hidden_states의 임베딩/채널 차원).

guidance_embeds (bool, 기본값 False) : 모델의 guidance-distilled 변형에 guidance embeddings를 사용할지 여부.

axes_dims_rope (tuple[int], 기본값 (16, 56, 56)) : 회전 위치 임베딩에 사용할 차원입니다.

Qwen에 소개된 Transformer 모델.

forward[[diffusers.QwenImageTransformer2DModel.forward]]

forward(hidden_states: Tensor, encoder_hidden_states: Tensor = None, encoder_hidden_states_mask: Tensor = None, timestep: LongTensor = None, img_shapes: list[tuple[int, int, int]] | None = None, guidance: Tensor = None, attention_kwargs: dict[str, typing.Any] | None = None, controlnet_block_samples = None, additional_t_cond = None, return_dict: bool = True)

소스

매개변수:

hidden_states (torch.Tensor, shape (batch_size, image_sequence_length, in_channels)) : 입력 hidden_states.

encoder_hidden_states (torch.Tensor, shape (batch_size, text_sequence_length, joint_attention_dim)) : 사용할 조건 임베딩(프롬프트와 같은 입력 조건에서 계산된 임베딩).

encoder_hidden_states_mask (torch.Tensor, shape (batch_size, text_sequence_length), 선택 사항) : 인코더 히든 상태에 대한 마스크. 유효한 토큰은 1.0, 패딩 토큰은 0.0을 가져야 합니다. 어텐션 프로세서에서 패딩 토큰에 대한 어텐션을 방지하는 데 사용됩니다. 어텐션에서 요소별로 적용되므로, 마스크는 연속적인 유효 토큰 뒤에 패딩이 오는 패턴 외에도 임의의 패턴을 가질 수 있습니다.

timestep ( torch.LongTensor) : 노이즈 제거 단계를 나타내는 데 사용됩니다.

img_shapes (list[tuple[int, int, int]], 선택 사항) : RoPE 계산에 사용되는 이미지 형상.

guidance (torch.Tensor, 선택 사항) : 조건부 생성을 위한 가이던스 텐서.

attention_kwargs (dict, 선택 사항) : 지정된 경우 diffusers.models.attention_processor의 self.processor 아래에서 정의된 AttentionProcessor로 전달되는 kwargs 사전입니다.

controlnet_block_samples (선택 사항) : transformer 블록에 추가할 ControlNet 블록 샘플.

additional_t_cond (torch.Tensor, 선택 사항) : timestep 임베딩에 추가되는 추가 timestep 조건부 입력입니다.

return_dict (bool, 선택 사항, 기본값 True) : 일반 튜플 대신 ~models.transformer_2d.Transformer2DModelOutput을 반환할지 여부.

반환값:

return_dict가 True이면 ~models.transformer_2d.Transformer2DModelOutput이 반환되고, 그렇지 않으면 첫 번째 요소가 샘플 텐서인 tuple이 반환됩니다.

QwenTransformer2DModel의 forward 메서드입니다.

Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput(sample: torch.Tensor)

소스

매개변수:

sample (torch.Tensor, shape (batch_size, num_channels, height, width) 또는 Transformer2DModel이 discrete인 경우 (batch size, num_vector_embeds - 1, num_latent_pixels)) : encoder_hidden_states 입력에 조건부인 hidden states 출력입니다. discrete인 경우, 노이즈가 제거된 latent 픽셀에 대한 확률 분포를 반환합니다.

Transformer2DModel의 출력입니다.