diffusers/main/tr/api/models/aura_flow_transformer2d.md

AuraFlowTransformer2DModel

AuraFlow'dan görüntü benzeri veriler için bir Transformer modeli.

AuraFlowTransformer2DModel[[diffusers.AuraFlowTransformer2DModel]]

diffusers.AuraFlowTransformer2DModel[[diffusers.AuraFlowTransformer2DModel]]

diffusers.AuraFlowTransformer2DModel(sample_size: int = 64, patch_size: int = 2, in_channels: int = 4, num_mmdit_layers: int = 4, num_single_dit_layers: int = 32, attention_head_dim: int = 256, num_attention_heads: int = 12, joint_attention_dim: int = 2048, caption_projection_dim: int = 3072, out_channels: int = 4, pos_embed_max_size: int = 1024)

Kaynak

Parametreler:

sample_size (int) : Gizil görüntülerin genişliği. Bu, konum gömme sayısını öğrenmek için kullanıldığından eğitim sırasında sabittir.

patch_size (int) : Girdi verisini küçük yamalar (patch) haline getirmek için yama boyutu.

in_channels (int, isteğe bağlı, varsayılan 4) : Girdideki kanal sayısı.

num_mmdit_layers (int, isteğe bağlı, varsayılan 4) : Kullanılacak MMDiT Transformer bloğu katman sayısı.

num_single_dit_layers (int, isteğe bağlı, varsayılan 32) : Kullanılacak Transformer bloğu katman sayısı. Bu bloklar, birleştirilmiş görüntü ve metin temsillerini kullanır.

attention_head_dim (int, isteğe bağlı, varsayılan 256) : Her baştaki kanal sayısı.

num_attention_heads (int, isteğe bağlı, varsayılan 12) : Çok başlı dikkat için kullanılacak baş sayısı.

joint_attention_dim (int, isteğe bağlı) : Kullanılacak encoder_hidden_states boyutlarının sayısı.

caption_projection_dim (int) : encoder_hidden_states projeksiyonunda kullanılacak boyut sayısı.

out_channels (int, varsayılan 4) : Çıkış kanalı sayısı.

pos_embed_max_size (int, varsayılan 1024) : Görsel latentlerden gömülecek en fazla konum sayısı.

AuraFlow'da (https://blog.fal.ai/auraflow/) tanıtılan 2B Transformer modeli.

forward[[diffusers.AuraFlowTransformer2DModel.forward]]

forward(hidden_states: FloatTensor, encoder_hidden_states: FloatTensor = None, timestep: LongTensor = None, attention_kwargs: dict[str, typing.Any] | None = None, return_dict: bool = True)

Kaynak

Parametreler:

hidden_states (torch.FloatTensor, şekli (batch size, channel, height, width)) : Girdi hidden_states.

encoder_hidden_states (torch.FloatTensor, şekli (batch size, sequence_len, embed_dims)) : Kullanılacak koşullu gömlemeler (giriş koşullarından, örneğin istemlerden hesaplanan gömlemeler).

timestep (torch.LongTensor) : Gürültü azaltma adımını belirtmek için kullanılır.

attention_kwargs (dict, isteğe bağlı) : Belirtilirse, diffusers.models.attention_processor içinde self.processor altında tanımlanan AttentionProcessor'a iletilen bir kwargs sözlüğü.

return_dict (bool, isteğe bağlı, varsayılan True) : Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmediğini belirtir.

Dönüş:

return_dict True ise, ~models.transformer_2d.Transformer2DModelOutput döndürülür, aksi takdirde ilk öğesi örnek tensörü olan bir tuple döndürülür.

AuraFlowTransformer2DModel ileri yöntemi.

fuse_qkv_projections[[diffusers.AuraFlowTransformer2DModel.fuse_qkv_projections]]

fuse_qkv_projections()

Kaynak

Füzyonlu QKV projeksiyonlarını etkinleştirir. Kendi dikkat (self-attention) modülleri için tüm projeksiyon matrisleri (yani sorgu, anahtar, değer) füzyonlanır. Çapraz dikkat (cross-attention) modülleri için anahtar ve değer projeksiyon matrisleri füzyonlanır.

> Bu API 🧪 deneyseldir.

unfuse_qkv_projections[[diffusers.AuraFlowTransformer2DModel.unfuse_qkv_projections]]

unfuse_qkv_projections()

Kaynak

Etkinleştirilmişse birleşik QKV projeksiyonunu devre dışı bırakır.

> Bu API 🧪 deneyseldir.