Diffusers documentation
CogView4Transformer2DModel
CogView4Transformer2DModel
CogView4의 2D 데이터를 위한 Diffusion Transformer 모델
다음 코드 스니펫으로 모델을 로드할 수 있습니다.
from diffusers import CogView4Transformer2DModel
transformer = CogView4Transformer2DModel.from_pretrained("THUDM/CogView4-6B", subfolder="transformer", dtype=torch.bfloat16).to("cuda") # or "mps", "xpu", "cpu"CogView4Transformer2DModel
클래스 diffusers.CogView4Transformer2DModel
< source >( patch_size: int = 2in_channels: int = 16out_channels: int = 16num_layers: int = 30attention_head_dim: int = 40num_attention_heads: int = 64text_embed_dim: int = 4096time_embed_dim: int = 512condition_dim: int = 256pos_embed_max_size: int = 128sample_size: int = 128rope_axes_dim: tuple = (256, 256) )
매개변수
- patch_size (
int, 기본값2) — 패치 임베딩 레이어에서 사용할 패치의 크기입니다. - in_channels (
int, 기본값16) — 입력의 채널 수입니다. - num_layers (
int, 기본값30) — 사용할 Transformer 블록의 레이어 수입니다. - attention_head_dim (
int, 기본값40) — 각 헤드당 채널 수입니다. - num_attention_heads (
int, 기본값64) — 멀티헤드 어텐션에 사용할 헤드의 수입니다. - out_channels (
int, 기본값16) — 출력의 채널 수입니다. - text_embed_dim (
int, 기본값4096) — 텍스트 인코더에서 생성된 텍스트 임베딩의 입력 차원입니다. - time_embed_dim (
int, 기본값512) — timestep 임베딩의 출력 차원입니다. - condition_dim (
int, 기본값256) — 입력 SDXL 스타일 해상도 조건(original_size, target_size, crop_coords)의 임베딩 차원입니다. - pos_embed_max_size (
int, 기본값128) — 위치 임베딩의 최대 해상도입니다. 여기서H x W모양의 슬라이스를 잘라 입력 패치된 잠재 변수(latents)에 더합니다.H와W는 각각 잠재 변수의 높이와 너비를 나타냅니다. 값이 128인 경우 이미지 생성에서 지원하는 최대 높이와 너비는128 * vae_scale_factor * patch_size => 128 * 8 * 2 => 2048입니다. - sample_size (
int, 기본값128) — 입력 latents의 기본 해상도입니다. 생성 시 height/width가 제공되지 않으면 이 값을 사용하여sample_size * vae_scale_factor => 128 * 8 => 1024로 해상도를 결정합니다.
forward
< source >( hidden_states: Tensorencoder_hidden_states: Tensortimestep: LongTensororiginal_size: Tensortarget_size: Tensorcrop_coords: Tensorattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = Trueattention_mask: typing.Optional[torch.Tensor] = Noneimage_rotary_emb: tuple[torch.Tensor, torch.Tensor] | list[tuple[torch.Tensor, torch.Tensor]] | None = None )
매개변수
- hidden_states (
torch.Tensor, shape(batch_size, in_channels, height, width)) — 입력hidden_states. - encoder_hidden_states (
torch.Tensor, shape(batch_size, sequence_len, embed_dims)) — 사용할 조건 임베딩(프롬프트와 같은 입력 조건에서 계산된 임베딩). - timestep (
torch.LongTensor) — 디노이징 단계를 나타내는 데 사용됩니다. - original_size (
torch.Tensor) — 원본 이미지 크기 조건. - target_size (
torch.Tensor) — 대상 이미지 크기 조건. - crop_coords (
torch.Tensor) — 크롭 좌표 조건. - attention_kwargs (
dict, 선택 사항) — 지정된 경우 diffusers.models.attention_processor의self.processor에서 정의된AttentionProcessor로 전달되는 kwargs 사전입니다. - return_dict (
bool, 선택 사항, 기본값True) — 단순 tuple 대신~models.transformer_2d.Transformer2DModelOutput를 반환할지 여부. - attention_mask (
torch.Tensor, 선택 사항) — Attention score에 적용되는 마스크입니다. - image_rotary_emb (
tupleoftorch.Tensor, 선택 사항) — 사전 계산된 회전 위치 임베딩입니다.
CogView4Transformer2DModel의 forward 메서드입니다.
Transformer2DModelOutput
클래스 diffusers.models.modeling_outputs.Transformer2DModelOutput
< source >( sample: torch.Tensor )
매개변수
- sample (
torch.Tensor, shape(batch_size, num_channels, height, width)또는 Transformer2DModel이 discrete인 경우(batch size, num_vector_embeds - 1, num_latent_pixels)) —encoder_hidden_states입력에 조건부인 hidden states 출력입니다. discrete인 경우, 노이즈가 제거된 latent 픽셀에 대한 확률 분포를 반환합니다.
Transformer2DModel의 출력입니다.