diffusers/main/tr/api/models/cogview3plus_transformer2d.md

CogView3PlusTransformer2DModel

CogView3Plus'tan 2B veriler için bir Diffusion Transformer modeli, Tsinghua University & ZhipuAI tarafından CogView3: Finer and Faster Text-to-Image Generation via Relay Diffusion makalesinde tanıtılmıştır.

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import CogView3PlusTransformer2DModel

transformer = CogView3PlusTransformer2DModel.from_pretrained("THUDM/CogView3Plus-3b", subfolder="transformer", dtype=torch.bfloat16).to("cuda")  # or "mps", "xpu", "cpu"

CogView3PlusTransformer2DModel[[diffusers.CogView3PlusTransformer2DModel]]

diffusers.CogView3PlusTransformer2DModel[[diffusers.CogView3PlusTransformer2DModel]]

diffusers.CogView3PlusTransformer2DModel(patch_size: int = 2, in_channels: int = 16, num_layers: int = 30, attention_head_dim: int = 40, num_attention_heads: int = 64, out_channels: int = 16, text_embed_dim: int = 4096, time_embed_dim: int = 512, condition_dim: int = 256, pos_embed_max_size: int = 128, sample_size: int = 128)

Kaynak

Parametreler:

patch_size (int, varsayılan 2) : Yama gömme katmanında kullanılacak yamaların boyutu.

in_channels (int, varsayılan 16) : Girdideki kanal sayısı.

num_layers (int, varsayılan 30) : Kullanılacak Transformer bloğu katman sayısı.

attention_head_dim (int, varsayılan 40) : Her baştaki kanal sayısı.

num_attention_heads (int, varsayılan 64) : Çok başlı dikkat için kullanılacak baş sayısı.

out_channels (int, varsayılan 16) : Çıktıdaki kanal sayısı.

text_embed_dim (int, varsayılan 4096) : Metin kodlayıcısından gelen metin gömme girdi boyutu.

time_embed_dim (int, varsayılan 512) : Zaman adımları gömme çıktısının boyutu.

condition_dim (int, varsayılan 256) : Girdi SDXL tarzı çözünürlük koşullarının (original_size, target_size, crop_coords) gömme boyutu.

pos_embed_max_size (int, varsayılan 128) : Konumsal gömme (positional embeddings) için maksimum çözünürlük. Girdi yamalı (patched) latentlere eklenen H x W biçiminde dilimler bu çözünürlükten alınır; burada H ve W sırasıyla latent yükseklik ve genişliktir. 128 değeri, görüntü üretimi için desteklenen maksimum yükseklik ve genişliğin 128 * vae_scale_factor * patch_size => 128 * 8 * 2 => 2048 olduğunu ifade eder.

sample_size (int, varsayılan 128) : Girdi latentlerinin temel çözünürlüğü. Üretim sırasında yükseklik/genişlik sağlanmazsa, bu değer çözünürlüğü sample_size * vae_scale_factor => 128 * 8 => 1024 olarak belirlemek için kullanılır.

CogView3: Finer and Faster Text-to-Image Generation via Relay Diffusion makalesinde tanıtılan Transformer modeli.

forward[[diffusers.CogView3PlusTransformer2DModel.forward]]

forward(hidden_states: Tensor, encoder_hidden_states: Tensor, timestep: LongTensor, original_size: Tensor, target_size: Tensor, crop_coords: Tensor, return_dict: bool = True)

Kaynak

Parametreler:

hidden_states (torch.Tensor) : (batch size, channel, height, width) biçiminde girdi hidden_states.

encoder_hidden_states (torch.Tensor) : (batch_size, sequence_len, text_embed_dim) boyutunda koşullu gömlemeler (prompt gibi giriş koşullarından hesaplanan gömlemeler)

timestep (torch.LongTensor) : Gürültü azaltma adımını belirtmek için kullanılır.

original_size (torch.Tensor) : CogView3, https://huggingface.co/papers/2307.01952 makalesinin 2.2 bölümünde açıklandığı gibi, orijinal görüntü boyutu için SDXL benzeri mikro-konumlama kullanır.

target_size (torch.Tensor) : CogView3, hedef görüntü boyutu için https://huggingface.co/papers/2307.01952 makalesinin 2.2 bölümünde açıklandığı gibi SDXL benzeri mikro-konumlama kullanır.

crop_coords (torch.Tensor) : CogView3, https://huggingface.co/papers/2307.01952 makalesinin 2.2 bölümünde açıklandığı gibi, kırpma koordinatları için SDXL benzeri mikro-konumlama kullanır.

return_dict (bool, isteğe bağlı, varsayılan True) : Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmediğini belirtir.

Dönüş: torch.Tensor veya ~models.transformer_2d.Transformer2DModelOutput

Sağlanan girdilerin koşullandırma olarak kullanıldığı gürültüsü azaltılmış latentler.

CogView3PlusTransformer2DModel ileri yöntemi.

Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput[[diffusers.models.modeling_outputs.Transformer2DModelOutput]]

diffusers.models.modeling_outputs.Transformer2DModelOutput(sample: torch.Tensor)

Kaynak

Parametreler:

sample (torch.Tensor, şekli (batch_size, num_channels, height, width) veya Transformer2DModel ayrık (discrete) ise (batch size, num_vector_embeds - 1, num_latent_pixels)) : encoder_hidden_states girdisine koşullu gizli durum (hidden states) çıktısı. Ayrık (discrete) ise, gürültüsü olmayan (unnoised) gizli (latent) pikseller için olasılık dağılımlarını döndürür.

Transformer2DModel'nin çıktısı.