Hugging Face's logo

Diffusers documentation

CogView4Transformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

CogView4Transformer2DModel

CogView4'ten 2B veriler için bir Diffusion Transformer modeli

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import CogView4Transformer2DModel

transformer = CogView4Transformer2DModel.from_pretrained("THUDM/CogView4-6B", subfolder="transformer", dtype=torch.bfloat16).to("cuda")  # or "mps", "xpu", "cpu"

CogView4Transformer2DModel

sınıf diffusers.CogView4Transformer2DModel

< >

( patch_size: int = 2in_channels: int = 16out_channels: int = 16num_layers: int = 30attention_head_dim: int = 40num_attention_heads: int = 64text_embed_dim: int = 4096time_embed_dim: int = 512condition_dim: int = 256pos_embed_max_size: int = 128sample_size: int = 128rope_axes_dim: tuple = (256, 256) )

Parametreler

  • patch_size (int, varsayılan 2) — Patch gömme katmanında kullanılacak yamaların boyutu.
  • in_channels (int, varsayılan 16) — Girdideki kanal sayısı.
  • num_layers (int, varsayılan 30) — Kullanılacak Transformer bloklarının katman sayısı.
  • attention_head_dim (int, varsayılan 40) — Her baştaki kanal sayısı.
  • num_attention_heads (int, varsayılan 64) — Çok başlı dikkat (multi-head attention) için kullanılacak baş sayısı.
  • out_channels (int, varsayılan 16) — Çıktıdaki kanal sayısı.
  • text_embed_dim (int, varsayılan 4096) — Metin kodlayıcıdan gelen metin gömme girdi boyutu.
  • time_embed_dim (int, varsayılan 512) — Zaman adımı gömme çıktısının boyutu.
  • condition_dim (int, varsayılan 256) — Girdi SDXL tarzı çözünürlük koşullarının (original_size, target_size, crop_coords) gömme boyutu.
  • pos_embed_max_size (int, varsayılan 128) — Konumsal gömme (positional embeddings) çözünürlüğünün üst sınırı. Girdi yamalı (patched) latentlere eklenen H x W biçiminde dilimler bu sınırdan alınır; burada H ve W sırasıyla latent yükseklik ve genişliktir. 128 değeri, görüntü üretimi için desteklenen maksimum yükseklik ve genişliğin 128 * vae_scale_factor * patch_size => 128 * 8 * 2 => 2048 olduğunu ifade eder.
  • sample_size (int, varsayılan 128) — Girdi latentlerinin temel çözünürlüğü. Üretim sırasında yükseklik/genişlik belirtilmezse, çözünürlüğü belirlemek için bu değer kullanılır: sample_size * vae_scale_factor => 128 * 8 => 1024

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensortimestep: LongTensororiginal_size: Tensortarget_size: Tensorcrop_coords: Tensorattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = Trueattention_mask: typing.Optional[torch.Tensor] = Noneimage_rotary_emb: tuple[torch.Tensor, torch.Tensor] | list[tuple[torch.Tensor, torch.Tensor]] | None = None )

Parametreler

  • hidden_states (torch.Tensor, şekli (batch_size, in_channels, height, width)) — Girdi hidden_states.
  • encoder_hidden_states (torch.Tensor, şekli (batch_size, sequence_len, embed_dims)) — Kullanılacak koşullu gömme değerleri (prompt gibi girdi koşullarından hesaplanan gömme değerleri).
  • timestep (torch.LongTensor) — Gürültü azaltma adımını belirtmek için kullanılır.
  • original_size (torch.Tensor) — Orijinal görüntü boyutu koşullandırması.
  • target_size (torch.Tensor) — Hedef görüntü boyutu koşullandırması.
  • crop_coords (torch.Tensor) — Kırpma koordinatları koşullandırması.
  • attention_kwargs (dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindeki self.processor altında tanımlanan AttentionProcessor'a iletilen bir kwargs sözlüğü.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmemesi.
  • attention_mask (torch.Tensor, isteğe bağlı) — Dikkat skorlarına uygulanan maske.
  • image_rotary_emb (tuple of torch.Tensor, opsiyonel) — Önceden hesaplanmış döner konumsal gömme (embedding) değerleri.

CogView4Transformer2DModel ileri yöntemi.

Transformer2DModelOutput

sınıf diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parametreler

  • sample (torch.Tensor, şekli (batch_size, num_channels, height, width) veya Transformer2DModel ayrık (discrete) ise (batch size, num_vector_embeds - 1, num_latent_pixels)) — encoder_hidden_states girdisine koşullu gizli durum (hidden states) çıktısı. Ayrık (discrete) ise, gürültüsü kaldırılmış (unnoised) gizli (latent) pikseller için olasılık dağıtımlarını döndürür.

Transformer2DModel'nin çıktısı.

Update on GitHub

←CogView3PlusTransformer2DModel ConsisIDTransformer3DModel→