diffusers/main/tr/api/models/pixart_transformer2d.md

PixArtTransformer2DModel

PixArt-Alpha ve PixArt-Sigma'dan görüntü benzeri veriler için bir Transformer modeli.

PixArtTransformer2DModel[[diffusers.PixArtTransformer2DModel]]

diffusers.PixArtTransformer2DModel[[diffusers.PixArtTransformer2DModel]]

diffusers.PixArtTransformer2DModel(num_attention_heads: int = 16, attention_head_dim: int = 72, in_channels: int = 4, out_channels: int | None = 8, num_layers: int = 28, dropout: float = 0.0, norm_num_groups: int = 32, cross_attention_dim: int | None = 1152, attention_bias: bool = True, sample_size: int = 128, patch_size: int = 2, activation_fn: str = 'gelu-approximate', num_embeds_ada_norm: int | None = 1000, upcast_attention: bool = False, norm_type: str = 'ada_norm_single', norm_elementwise_affine: bool = False, norm_eps: float = 1e-06, interpolation_scale: int | None = None, use_additional_conditions: bool | None = None, caption_channels: int | None = None, attention_type: str | None = 'default')

Kaynak

Parametreler:

num_attention_heads (int, isteğe bağlı, varsayılan 16) : Çok başlı dikkat için kullanılacak baş sayısı.

attention_head_dim (int, isteğe bağlı, varsayılan 72) : Her baştaki kanal sayısı.

in_channels (int, varsayılan 4) : Girdideki kanal sayısı.

out_channels (int, isteğe bağlı) : Çıktıdaki kanal sayısı. Çıktı kanal sayısı girişten farklıysa bu parametreyi belirtin.

num_layers (int, isteğe bağlı, varsayılan 28) : Kullanılacak Transformer bloğu katman sayısı.

dropout (float, isteğe bağlı, varsayılan 0.0) : Transformer blokları içinde kullanılacak dropout olasılığı.

norm_num_groups (int, isteğe bağlı, varsayılan 32) : Transformer blokları içinde grup normalizasyonu için grup sayısı.

cross_attention_dim (int, isteğe bağlı) : Çapraz dikkat katmanları için boyut, genellikle kodlayıcının gizli boyutuyla eşleşir.

attention_bias (bool, isteğe bağlı, varsayılan olarak True) : Transformer bloklarının dikkat (attention) mekanizmasının bir bias (yanal terim) parametresi içermesini yapılandırır.

sample_size (int, varsayılan 128) : Latent görüntülerin genişliği. Bu parametre eğitim sırasında sabittir.

patch_size (int, varsayılan 2) : Modelin işlediği yama boyutu, sıralı olmayan verilerle çalışan mimariler için geçerlidir.

activation_fn (str, isteğe bağlı, varsayılan "gelu-approximate") : Transformer blokları içindeki ileri beslemeli ağlarda kullanılacak aktivasyon fonksiyonu.

num_embeds_ada_norm (int, isteğe bağlı, varsayılan 1000) : AdaLayerNorm için gömme sayısı, eğitim sırasında sabitlenir ve çıkarım sırasında maksimum gürültü azaltma adımlarını etkiler.

upcast_attention (bool, isteğe bağlı, varsayılan olarak False) : True ise, potansiyel olarak daha iyi performans için dikkat mekanizması boyutlarını yukarı dönüştürür.

norm_type (str, isteğe bağlı, varsayılan "ada_norm_zero") : Kullanılan normalizasyon türünü belirtir, 'ada_norm_zero' olabilir.

norm_elementwise_affine (bool, isteğe bağlı, varsayılan olarak False) : True ise, normalizasyon katmanlarında öge bazlı afin parametreleri etkinleştirir.

norm_eps (float, isteğe bağlı, varsayılan 1e-6) : Sıfıra bölünmeyi önlemek için normalizasyon katmanlarında paydaya eklenen küçük bir sabit.

interpolation_scale (int, isteğe bağlı) : Konum gömme (position embeddings) interpolasyonu sırasında kullanılacak ölçek faktörü.

use_additional_conditions (bool, isteğe bağlı) : Girdi olarak ek koşullar kullanılıyorsa.

attention_type (str, isteğe bağlı, varsayılan "default") : Kullanılacak dikkat mekanizmasının türü.

caption_channels (int, isteğe bağlı, varsayılan None) : Başlık gömme projeksiyonu için kullanılacak kanal sayısı.

use_linear_projection (bool, isteğe bağlı, varsayılan olarak False) : Kullanımdan kaldırılmış argüman. Gelecekteki bir sürümde kaldırılacak.

num_vector_embeds (bool, isteğe bağlı, varsayılan olarak False) : Kullanımdan kaldırılmış argüman. Gelecekteki bir sürümde kaldırılacak.

PixArt model ailesinde tanıtılan 2B Transformer modeli (https://huggingface.co/papers/2310.00426, https://huggingface.co/papers/2403.04692).

forward[[diffusers.PixArtTransformer2DModel.forward]]

forward(hidden_states: Tensor, encoder_hidden_states: typing.Optional[torch.Tensor] = None, timestep: typing.Optional[torch.LongTensor] = None, added_cond_kwargs: dict = None, cross_attention_kwargs: dict = None, attention_mask: typing.Optional[torch.Tensor] = None, encoder_attention_mask: typing.Optional[torch.Tensor] = None, return_dict: bool = True)

Kaynak

Parametreler:

hidden_states (torch.FloatTensor, şekli (batch size, channel, height, width)) : Girdi hidden_states.

encoder_hidden_states (torch.FloatTensor, şekli (batch size, sequence len, embed dims), isteğe bağlı) : Çapraz dikkat katmanı için koşullu gömme değerleri. Verilmezse, çapraz dikkat varsayılan olarak kendine dikkat (self-attention) olarak çalışır.

timestep (torch.LongTensor, isteğe bağlı) : Gürültü azaltma adımını belirtmek için kullanılır. AdaLayerNorm içinde gömme olarak uygulanacak isteğe bağlı zaman adımı.

added_cond_kwargs : (dict[str, Any], isteğe bağlı): Girdi olarak kullanılacak ek koşullar.

cross_attention_kwargs ( dict[str, Any], isteğe bağlı) : Belirtilirse, diffusers.models.attention_processor içindeki self.processor altında tanımlanan AttentionProcessor'ye aktarılan bir kwargs sözlüğü.

attention_mask ( torch.Tensor, isteğe bağlı) : (batch, key_tokens) biçimindeki bir dikkat maskesi, encoder_hidden_states üzerine uygulanır. Değer 1 ise maske korunur, aksi halde 0 ise atılır. Maske, "at" token'larına karşılık gelen dikkat puanlarına büyük negatif değerler ekleyen bir önyargıya dönüştürülür.

encoder_attention_mask ( torch.Tensor, isteğe bağlı) : encoder_hidden_states uygulanan çapraz dikkat maskesi. İki format desteklenir: * Mask (batch, sequence_length) True = koru, False = at. * Bias (batch, 1, sequence_length) 0 = koru, -10000 = at. ndim == 2 ise: bir maske olarak yorumlanır, ardından yukarıdaki formata uygun bir bias'a dönüştürülür. Bu bias, çapraz dikkat puanlarına eklenir.

return_dict (bool, isteğe bağlı, varsayılan True) : Düz bir tuple yerine UNet2DConditionOutput döndürülecek mi?

Dönüş:

return_dict True ise, ~models.transformer_2d.Transformer2DModelOutput döndürülür, aksi takdirde ilk öğesi örnek tensörü olan bir tuple döndürülür.

PixArtTransformer2DModel ileri yöntemi.

fuse_qkv_projections[[diffusers.PixArtTransformer2DModel.fuse_qkv_projections]]

fuse_qkv_projections()

Kaynak

Füzyonlu QKV projeksiyonlarını etkinleştirir. Kendi dikkat (self-attention) modülleri için tüm projeksiyon matrisleri (yani sorgu, anahtar, değer) füzyonlanır. Çapraz dikkat (cross-attention) modülleri için anahtar ve değer projeksiyon matrisleri füzyonlanır.

> Bu API 🧪 deneyseldir.

set_default_attn_processor[[diffusers.PixArtTransformer2DModel.set_default_attn_processor]]

set_default_attn_processor()

Kaynak

Özel dikkat işleyicilerini devre dışı bırakır ve varsayılan dikkat uygulamasını ayarlar.

Varsayılan modelde PixArt'ın sıra dışı dikkat işlemcileri olmadığından, yalnızca AttnProcessor() kullanmak güvenlidir.

unfuse_qkv_projections[[diffusers.PixArtTransformer2DModel.unfuse_qkv_projections]]

unfuse_qkv_projections()

Kaynak

Etkinleştirilmişse birleşik QKV projeksiyonunu devre dışı bırakır.

> Bu API 🧪 deneyseldir.