Hugging Face's logo

Diffusers documentation

CogView3PlusTransformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

CogView3PlusTransformer2DModel

CogView3Plus'tan 2B veriler için bir Diffusion Transformer modeli, Tsinghua University & ZhipuAI tarafından CogView3: Finer and Faster Text-to-Image Generation via Relay Diffusion makalesinde tanıtılmıştır.

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import CogView3PlusTransformer2DModel

transformer = CogView3PlusTransformer2DModel.from_pretrained("THUDM/CogView3Plus-3b", subfolder="transformer", dtype=torch.bfloat16).to("cuda")  # or "mps", "xpu", "cpu"

CogView3PlusTransformer2DModel

sınıf diffusers.CogView3PlusTransformer2DModel

< >

( patch_size: int = 2in_channels: int = 16num_layers: int = 30attention_head_dim: int = 40num_attention_heads: int = 64out_channels: int = 16text_embed_dim: int = 4096time_embed_dim: int = 512condition_dim: int = 256pos_embed_max_size: int = 128sample_size: int = 128 )

Parametreler

  • patch_size (int, varsayılan 2) — Patch gömme katmanında kullanılacak yamaların boyutu.
  • in_channels (int, varsayılan 16) — Girdideki kanal sayısı.
  • num_layers (int, varsayılan 30) — Kullanılacak Transformer bloklarının katman sayısı.
  • attention_head_dim (int, varsayılan 40) — Her baştaki kanal sayısı.
  • num_attention_heads (int, varsayılan 64) — Çok başlı dikkat (multi-head attention) için kullanılacak baş sayısı.
  • out_channels (int, varsayılan 16) — Çıktıdaki kanal sayısı.
  • text_embed_dim (int, varsayılan 4096) — Metin kodlayıcıdan gelen metin gömme girdi boyutu.
  • time_embed_dim (int, varsayılan 512) — Zaman adımı gömme çıktısının boyutu.
  • condition_dim (int, varsayılan 256) — Girdi SDXL tarzı çözünürlük koşullarının (original_size, target_size, crop_coords) gömme boyutu.
  • pos_embed_max_size (int, varsayılan 128) — Konumsal gömme (positional embeddings) çözünürlüğünün üst sınırı. Girdi yamalı (patched) latentlere eklenen H x W biçiminde dilimler bu sınırdan alınır; burada H ve W sırasıyla latent yükseklik ve genişliktir. 128 değeri, görüntü üretimi için desteklenen maksimum yükseklik ve genişliğin 128 * vae_scale_factor * patch_size => 128 * 8 * 2 => 2048 olduğunu ifade eder.
  • sample_size (int, varsayılan 128) — Girdi latentlerinin temel çözünürlüğü. Üretim sırasında yükseklik/genişlik belirtilmezse, çözünürlüğü belirlemek için bu değer kullanılır: sample_size * vae_scale_factor => 128 * 8 => 1024

CogView3: Finer and Faster Text-to-Image Generation via Relay Diffusion makalesinde tanıtılan Transformer modeli.

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensortimestep: LongTensororiginal_size: Tensortarget_size: Tensorcrop_coords: Tensorreturn_dict: bool = True ) → torch.Tensor or ~models.transformer_2d.Transformer2DModelOutput

Parametreler

  • hidden_states (torch.Tensor) — (batch size, channel, height, width) boyutunda girdi hidden_states.
  • encoder_hidden_states (torch.Tensor) — (batch_size, sequence_len, text_embed_dim) biçiminde, koşullu gömlemeler (prompt gibi giriş koşullarından hesaplanan gömlemeler)
  • timestep (torch.LongTensor) — Gürültü azaltma adımını belirtmek için kullanılır.
  • original_size (torch.Tensor) — CogView3, orijinal görüntü boyutu için SDXL benzeri mikro-konumlama kullanır; bu, https://huggingface.co/papers/2307.01952 adresindeki makalenin 2.2 bölümünde açıklanmıştır.
  • target_size (torch.Tensor) — CogView3, hedef görüntü boyutu için SDXL benzeri mikro-konumlama kullanır; bu, https://huggingface.co/papers/2307.01952 adresindeki makalenin 2.2 bölümünde açıklanmıştır.
  • crop_coords (torch.Tensor) — CogView3, https://huggingface.co/papers/2307.01952 adresindeki makalenin 2.2 bölümünde açıklandığı gibi, kırpma koordinatları için SDXL benzeri mikro-konumlama kullanır.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmemesi.

Dönüş değeri

torch.Tensor veya ~models.transformer_2d.Transformer2DModelOutput

Sağlanan girdilerin koşullandırma olarak kullanıldığı gürültüsü azaltılmış latentler.

CogView3PlusTransformer2DModel ileri yöntemi.

Transformer2DModelOutput

sınıf diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parametreler

  • sample (torch.Tensor, şekli (batch_size, num_channels, height, width) veya Transformer2DModel ayrık (discrete) ise (batch size, num_vector_embeds - 1, num_latent_pixels)) — encoder_hidden_states girdisine koşullu gizli durum (hidden states) çıktısı. Ayrık (discrete) ise, gürültüsü kaldırılmış (unnoised) gizli (latent) pikseller için olasılık dağıtımlarını döndürür.

Transformer2DModel'nin çıktısı.

Update on GitHub

←CogVideoXTransformer3DModel CogView4Transformer2DModel→