Hugging Face's logo

Diffusers documentation

GlmImageTransformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

GlmImageTransformer2DModel

GlmImageTransformer2DModel의 2D 데이터를 위한 Diffusion Transformer 모델 (TODO).

GlmImageTransformer2DModel

클래스 diffusers.GlmImageTransformer2DModel

< >

( patch_size: int = 2in_channels: int = 16out_channels: int = 16num_layers: int = 30attention_head_dim: int = 40num_attention_heads: int = 64text_embed_dim: int = 1472time_embed_dim: int = 512condition_dim: int = 256prior_vq_quantizer_codebook_size: int = 16384 )

매개변수

  • patch_size (int, 기본값 2) — 패치 임베딩 레이어에서 사용할 패치의 크기입니다.
  • in_channels (int, 기본값 16) — 입력의 채널 수입니다.
  • num_layers (int, 기본값 30) — 사용할 Transformer 블록의 레이어 수입니다.
  • attention_head_dim (int, 기본값 40) — 각 헤드당 채널 수입니다.
  • num_attention_heads (int, 기본값 64) — 멀티헤드 어텐션에 사용할 헤드의 수입니다.
  • out_channels (int, 기본값 16) — 출력의 채널 수입니다.
  • text_embed_dim (int, 기본값 1472) — 텍스트 인코더에서 생성된 텍스트 임베딩의 입력 차원입니다.
  • time_embed_dim (int, 기본값 512) — timestep 임베딩의 출력 차원입니다.
  • condition_dim (int, 기본값 256) — 입력 SDXL 스타일 해상도 조건(original_size, target_size, crop_coords)의 임베딩 차원입니다.
  • pos_embed_max_size (int, 기본값 128) — 위치 임베딩의 최대 해상도입니다. 여기서 H x W 모양의 슬라이스를 잘라 입력 패치된 잠재 변수(latents)에 더합니다. H와 W는 각각 잠재 변수의 높이와 너비를 나타냅니다. 값이 128인 경우 이미지 생성에서 지원하는 최대 높이와 너비는 128 * vae_scale_factor * patch_size => 128 * 8 * 2 => 2048입니다.
  • sample_size (int, 기본값 128) — 입력 latents의 기본 해상도입니다. 생성 시 height/width가 제공되지 않으면 이 값을 사용하여 sample_size * vae_scale_factor => 128 * 8 => 1024로 해상도를 결정합니다.

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensorprior_token_id: Tensorprior_token_drop: Tensortimestep: LongTensortarget_size: Tensorcrop_coords: Tensorattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = Trueattention_mask: typing.Optional[torch.Tensor] = Nonekv_caches: diffusers.models.transformers.transformer_glm_image.GlmImageKVCache | None = Noneimage_rotary_emb: tuple[torch.Tensor, torch.Tensor] | list[tuple[torch.Tensor, torch.Tensor]] | None = None )

매개변수

  • hidden_states (torch.Tensor, shape (batch_size, in_channels, height, width)) — 입력 hidden_states.
  • encoder_hidden_states (torch.Tensor, shape (batch_size, sequence_len, embed_dims)) — 사용할 조건 임베딩(프롬프트와 같은 입력 조건에서 계산된 임베딩).
  • prior_token_id (torch.Tensor) — 이전 임베딩 조회에 사용되는 토큰 ID입니다.
  • prior_token_drop (torch.Tensor) — 제거(0으로 설정)할 이전 임베딩을 나타내는 불리언 마스크입니다.
  • timestep (torch.LongTensor) — 디노이징 단계를 나타내는 데 사용됩니다.
  • target_size (torch.Tensor) — 대상 이미지 크기 조건.
  • crop_coords (torch.Tensor) — 크롭 좌표 조건.
  • attention_kwargs (dict, 선택 사항) — 지정된 경우 diffusers.models.attention_processor의 self.processor에서 정의된 AttentionProcessor로 전달되는 kwargs 사전입니다.
  • return_dict (bool, 선택 사항, 기본값 True) — 단순 tuple 대신 ~models.transformer_2d.Transformer2DModelOutput를 반환할지 여부.
  • attention_mask (torch.Tensor, 선택 사항) — Attention score에 적용되는 마스크입니다.
  • kv_caches (GlmImageKVCache, 선택 사항) — 추론 속도를 높이기 위해 사전 계산된 키/밸류 캐시입니다.
  • image_rotary_emb (tuple of torch.Tensor, 선택 사항) — 사전 계산된 회전 위치 임베딩입니다.

GlmImageTransformer2DModel의 forward 메서드입니다.

Update on GitHub

←FluxTransformer2DModel HeliosTransformer3DModel→