diffusers/main/ko/api/models/transformer_joyimage.md

JoyImageEditTransformer3DModel

다음 코드 스니펫으로 모델을 로드할 수 있습니다.

from diffusers import JoyImageEditTransformer3DModel

transformer = JoyImageEditTransformer3DModel.from_pretrained("jdopensource/JoyAI-Image-Edit-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

JoyImageEditTransformer3DModel[[diffusers.JoyImageEditTransformer3DModel]]

diffusers.JoyImageEditTransformer3DModel[[diffusers.JoyImageEditTransformer3DModel]]

diffusers.JoyImageEditTransformer3DModel(patch_size: list = [1, 2, 2], in_channels: int = 16, out_channels: int | None = None, hidden_size: int = 3072, num_attention_heads: int = 24, text_dim: int = 4096, mlp_width_ratio: float = 4.0, num_layers: int = 20, rope_dim_list: list = [16, 56, 56], rope_type: str = 'rope', theta: int = 256)

소스

이미지 생성/편집을 위한 JoyImage Transformer 모델.

WAN 스타일 조건 임베딩과 사용자 정의 회전 위치 임베딩을 갖춘 Dual-stream DiT 아키텍처.

forward[[diffusers.JoyImageEditTransformer3DModel.forward]]

forward(hidden_states: Tensor, timestep: Tensor, encoder_hidden_states: Tensor = None, return_dict: bool = True)

소스

매개변수:

hidden_states (torch.Tensor, shape (batch_size, num_channels, num_frames, height, width) 또는 (batch_size, num_items, num_channels, num_frames, height, width)) : 입력 hidden_states.

timestep (torch.LongTensor) : 노이즈 제거 단계를 나타내는 데 사용됩니다.

encoder_hidden_states (torch.Tensor, 선택 사항) : 사용할 조건 임베딩(프롬프트와 같은 입력 조건에서 계산된 임베딩).

return_dict (bool, 선택 사항, 기본값 True) : 일반 튜플 대신 ~models.transformer_2d.Transformer2DModelOutput을 반환할지 여부.

반환값:

return_dict가 True이면 ~models.transformer_2d.Transformer2DModelOutput이 반환되고, 그렇지 않으면 첫 번째 요소가 샘플 텐서인 tuple이 반환됩니다.

JoyImageEditTransformer3DModel의 forward 메서드입니다.

Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput(sample: torch.Tensor)

소스

매개변수:

sample (torch.Tensor, shape (batch_size, num_channels, height, width) 또는 Transformer2DModel이 discrete인 경우 (batch size, num_vector_embeds - 1, num_latent_pixels)) : encoder_hidden_states 입력에 조건부인 hidden states 출력입니다. discrete인 경우, 노이즈가 제거된 latent 픽셀에 대한 확률 분포를 반환합니다.

Transformer2DModel의 출력입니다.