diffusers/main/tr/api/attnprocessor.md

Dikkat İşleyicisi

Bir dikkat işlemcisi, farklı türde dikkat mekanizmalarını uygulamak için kullanılan bir sınıftır.

AttnProcessor[[diffusers.models.attention_processor.AttnProcessor]]

diffusers.models.attention_processor.AttnProcessor[[diffusers.models.attention_processor.AttnProcessor]]

diffusers.models.attention_processor.AttnProcessor()

Kaynak

Dikkatle ilgili hesaplamaları gerçekleştirmek için varsayılan işlemci.

diffusers.models.attention_processor.AttnProcessor2_0[[diffusers.models.attention_processor.AttnProcessor2_0]]

diffusers.models.attention_processor.AttnProcessor2_0()

Kaynak

Ölçekli nokta çarpımı dikkatini uygulayan işlemci (PyTorch 2.0 kullanıyorsanız varsayılan olarak etkinleştirilir).

diffusers.models.attention_processor.AttnAddedKVProcessor[[diffusers.models.attention_processor.AttnAddedKVProcessor]]

diffusers.models.attention_processor.AttnAddedKVProcessor()

Kaynak

Metin kodlayıcı için ek öğrenilebilir anahtar ve değer matrisleriyle dikkat ile ilgili hesaplamaları gerçekleştirmek için kullanılan işlemci.

diffusers.models.attention_processor.AttnAddedKVProcessor2_0[[diffusers.models.attention_processor.AttnAddedKVProcessor2_0]]

diffusers.models.attention_processor.AttnAddedKVProcessor2_0()

Kaynak

Ölçekli nokta çarpımı dikkatini (PyTorch 2.0 kullanıyorsanız varsayılan olarak etkinleştirilir) gerçekleştirmek için işlemci, metin kodlayıcı için ek öğrenilebilir anahtar ve değer matrislerine sahiptir.

diffusers.models.attention_processor.AttnProcessorNPU[[diffusers.models.attention_processor.AttnProcessorNPU]]

diffusers.models.attention_processor.AttnProcessorNPU()

Kaynak

torch_npu kullanarak flash attention uygulaması için işlemci. Torch_npu yalnızca fp16 ve bf16 veri türlerini destekler. fp32 kullanılırsa, hesaplama için F.scaled_dot_product_attention kullanılır, ancak NPU üzerindeki hızlandırma etkisi belirgin değildir.

diffusers.models.attention_processor.FusedAttnProcessor2_0[[diffusers.models.attention_processor.FusedAttnProcessor2_0]]

diffusers.models.attention_processor.FusedAttnProcessor2_0()

Kaynak

Ölçekli nokta çarpımı dikkatini (PyTorch 2.0 kullanıyorsanız varsayılan olarak etkin) uygulayan işlemci. Birleşik projeksiyon katmanları kullanır. Kendi-dikkat modülleri için tüm projeksiyon matrisleri (yani sorgu, anahtar, değer) birleştirilir. Çapraz-dikkat modülleri için anahtar ve değer projeksiyon matrisleri birleştirilir.

> Bu API şu anda 🧪 deneysel niteliktedir ve gelecekte değişebilir.

Allegro[[diffusers.models.attention_processor.AllegroAttnProcessor2_0]]

diffusers.models.attention_processor.AllegroAttnProcessor2_0[[diffusers.models.attention_processor.AllegroAttnProcessor2_0]]

diffusers.models.attention_processor.AllegroAttnProcessor2_0()

Kaynak

Ölçekli nokta çarpımı dikkatini (PyTorch 2.0 kullanıyorsanız varsayılan olarak etkin) uygulayan işlemci. Bu, Allegro modelinde kullanılır. Sorgu ve anahtar vektörlerine bir normalizasyon katmanı ve döner gömme uygular.

AuraFlow[[diffusers.models.attention_processor.AuraFlowAttnProcessor2_0]]

diffusers.models.attention_processor.AuraFlowAttnProcessor2_0[[diffusers.models.attention_processor.AuraFlowAttnProcessor2_0]]

diffusers.models.attention_processor.AuraFlowAttnProcessor2_0()

Kaynak

Genellikle Aura Flow işlemlerinde kullanılan dikkat işlemcisi.

diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0[[diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0]]

diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0()

Kaynak

Genellikle füzyonlu projeksiyonlarla Aura Flow işlenmesinde kullanılan dikkat işlemcisi.

CogVideoX[[diffusers.models.attention_processor.CogVideoXAttnProcessor2_0]]

diffusers.models.attention_processor.CogVideoXAttnProcessor2_0[[diffusers.models.attention_processor.CogVideoXAttnProcessor2_0]]

diffusers.models.attention_processor.CogVideoXAttnProcessor2_0()

Kaynak

CogVideoX modeli için ölçekli nokta çarpımı dikkatini (scaled dot-product attention) uygulamak üzere tasarlanmış işlemci. Sorgu ve anahtar vektörlerine döner gömme (rotary embedding) uygular ancak uzamsal normalizasyon içermez.

diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0[[diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0]]

diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0()

Kaynak

CogVideoX modeli için ölçekli nokta çarpımı dikkatini (scaled dot-product attention) uygulamak üzere tasarlanmış işlemci. Sorgu ve anahtar vektörlerine döner gömme (rotary embedding) uygular ancak uzamsal normalizasyon içermez.

DreamLite[[diffusers.models.unets.unet_dreamlite.DreamLiteAttnProcessor2_0]]

diffusers.models.unets.unet_dreamlite.DreamLiteAttnProcessor2_0[[diffusers.models.unets.unet_dreamlite.DreamLiteAttnProcessor2_0]]

diffusers.models.unets.unet_dreamlite.DreamLiteAttnProcessor2_0()

Kaynak

Grouped Query Attention (GQA / MQA) desteğiyle ölçekli nokta çarpımı dikkatini (scaled dot-product attention) uygulamak için işlemci.

AttnProcessor2_0 ile aynıdır; ancak anahtar/değer yeniden şekillendirme dalı, K/V'yi kv_heads olarak yeniden şekillendirip ardından repeat_interleave ile attn.heads sayısına kadar çoğaltarak attn.kv_heads != attn.heads durumunu doğru şekilde ele alır. Bu, GQA'yı qk_norm ile birleştiren DreamLite UNet için gereklidir; varsayılan AttnProcessor2_0 bu kombinasyonu desteklemez. SDPA, diffusers dikkat arka uçlarından herhangi birinin (yerel PyTorch SDPA, FlashAttention vb.) kullanılabilmesi için dispatch_attention_fn işlevine devredilir.

Özel Difüzyon[[diffusers.models.attention_processor.CustomDiffusionAttnProcessor]]

diffusers.models.attention_processor.CustomDiffusionAttnProcessor[[diffusers.models.attention_processor.CustomDiffusionAttnProcessor]]

diffusers.models.attention_processor.CustomDiffusionAttnProcessor(train_kv: bool = True, train_q_out: bool = True, hidden_size: int | None = None, cross_attention_dim: int | None = None, out_bias: bool = True, dropout: float = 0.0)

Kaynak

Parametreler:

train_kv (bool, varsayılan True) : Metin özelliklerine karşılık gelen anahtar ve değer matrislerinin yeni mi eğitileceği.

train_q_out (bool, varsayılan True) : Gizli görüntü özelliklerine karşılık gelen sorgu matrislerinin yeni mi eğitileceği.

hidden_size (int, isteğe bağlı, varsayılan None) : Dikkat katmanının gizli boyutu.

cross_attention_dim (int, isteğe bağlı, varsayılan None) : encoder_hidden_states içindeki kanal sayısı.

out_bias (bool, varsayılan True) : train_q_out içinde bias parametresinin dahil edilip edilmeyeceğini belirtir.

dropout (float, opsiyonel, varsayılan 0.0) : Kullanılacak dropout olasılığı.

Custom Diffusion yöntemi için dikkat (attention) uygulamasını gerçekleştiren işlemci (processor).

diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0[[diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0]]

diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0(train_kv: bool = True, train_q_out: bool = True, hidden_size: int | None = None, cross_attention_dim: int | None = None, out_bias: bool = True, dropout: float = 0.0)

Kaynak

Parametreler:

train_kv (bool, varsayılan True) : Metin özelliklerine karşılık gelen anahtar ve değer matrislerinin yeni mi eğitileceği.

train_q_out (bool, varsayılan True) : Gizli görüntü özelliklerine karşılık gelen sorgu matrislerinin yeni mi eğitileceği.

hidden_size (int, isteğe bağlı, varsayılan None) : Dikkat katmanının gizli boyutu.

cross_attention_dim (int, isteğe bağlı, varsayılan None) : encoder_hidden_states içindeki kanal sayısı.

out_bias (bool, varsayılan True) : train_q_out içinde bias parametresinin dahil edilip edilmeyeceğini belirtir.

dropout (float, opsiyonel, varsayılan 0.0) : Kullanılacak dropout olasılığı.

PyTorch 2.0'ın bellek verimli ölçekli nokta çarpımı dikkatini kullanarak Custom Diffusion yöntemi için dikkat uygulayan işlemci.

diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor[[diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor]]

diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor(train_kv: bool = True, train_q_out: bool = False, hidden_size: int | None = None, cross_attention_dim: int | None = None, out_bias: bool = True, dropout: float = 0.0, attention_op: Callable | None = None)

Kaynak

Parametreler:

train_kv (bool, varsayılan True) : Metin özelliklerine karşılık gelen anahtar ve değer matrislerinin yeni mi eğitileceği.

train_q_out (bool, varsayılan True) : Gizli görüntü özelliklerine karşılık gelen sorgu matrislerinin yeni mi eğitileceği.

hidden_size (int, isteğe bağlı, varsayılan None) : Dikkat katmanının gizli boyutu.

cross_attention_dim (int, isteğe bağlı, varsayılan None) : encoder_hidden_states içindeki kanal sayısı.

out_bias (bool, varsayılan True) : train_q_out içinde bias parametresinin dahil edilip edilmeyeceğini belirtir.

dropout (float, opsiyonel, varsayılan 0.0) : Kullanılacak dropout olasılığı.

attention_op (Callable, isteğe bağlı, varsayılan None) : Dikkat operatörü olarak kullanılacak temel operatör. None olarak ayarlanmasına ve en iyi operatörün seçilmesinin xFormers'a bırakılmasına önerilir.

Custom Diffusion yöntemi için xFormers kullanarak bellek verimli dikkat (attention) uygulayan işlemci (Processor).

Flux[[diffusers.models.attention_processor.FluxAttnProcessor2_0]]

diffusers.models.attention_processor.FluxAttnProcessor2_0[[diffusers.models.attention_processor.FluxAttnProcessor2_0]]

diffusers.models.attention_processor.FluxAttnProcessor2_0(*args, **kwargs)

Kaynak

diffusers.models.attention_processor.FusedFluxAttnProcessor2_0[[diffusers.models.attention_processor.FusedFluxAttnProcessor2_0]]

diffusers.models.attention_processor.FusedFluxAttnProcessor2_0(*args, **kwargs)

Kaynak

diffusers.models.attention_processor.FluxSingleAttnProcessor2_0[[diffusers.models.attention_processor.FluxSingleAttnProcessor2_0]]

diffusers.models.attention_processor.FluxSingleAttnProcessor2_0(*args, **kwargs)

Kaynak

Ölçekli nokta çarpımı dikkatini uygulayan işlemci (PyTorch 2.0 kullanıyorsanız varsayılan olarak etkinleştirilir).

Hunyuan[[diffusers.models.attention_processor.HunyuanAttnProcessor2_0]]

diffusers.models.attention_processor.HunyuanAttnProcessor2_0[[diffusers.models.attention_processor.HunyuanAttnProcessor2_0]]

diffusers.models.attention_processor.HunyuanAttnProcessor2_0()

Kaynak

Ölçekli nokta çarpımı dikkatini (PyTorch 2.0 kullanıyorsanız varsayılan olarak etkin) uygulayan işlemci. Bu, HunyuanDiT modelinde kullanılır. Sorgu ve anahtar vektörlerine bir s normalizasyon katmanı ve döner gömme uygular.

diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0[[diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0]]

diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0()

Kaynak

Ölçekli nokta çarpımı dikkatini (PyTorch 2.0 kullanıyorsanız varsayılan olarak etkinleştirilir) füzyonlu projeksiyon katmanlarıyla uygulayan işlemci. Bu, HunyuanDiT modelinde kullanılır. Sorgu ve anahtar vektörlerine bir s normalizasyon katmanı ve döner gömme uygular.

diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0[[diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0]]

diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0()

Kaynak

Ölçekli nokta çarpımı dikkatini (PyTorch 2.0 kullanıyorsanız varsayılan olarak etkin) uygulayan işlemci. Bu, HunyuanDiT modelinde kullanılır. Sorgu ve anahtar vektörlerine bir normalizasyon katmanı ve döner gömme uygular. Bu işlemci varyantı Pertubed Attention Guidance kullanır.

diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0[[diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0]]

diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0()

Kaynak

Ölçekli nokta çarpımı dikkatini (PyTorch 2.0 kullanıyorsanız varsayılan olarak etkin) uygulayan işlemci. Bu, HunyuanDiT modelinde kullanılır. Sorgu ve anahtar vektörlerine bir normalizasyon katmanı ve döner gömme uygular. Bu işlemci varyantı Pertubed Attention Guidance kullanır.

IdentitySelfAttnProcessor2_0[[diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0]]

diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0[[diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0]]

diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0()

Kaynak

Ölçekli nokta çarpımı dikkati kullanarak PAG uygulaması için işlemci (PyTorch 2.0 kullanıyorsanız varsayılan olarak etkinleştirilir). PAG referansı: https://huggingface.co/papers/2403.17377

diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0[[diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0]]

diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0()

Kaynak

Ölçekli nokta çarpımı dikkati kullanarak PAG uygulaması için işlemci (PyTorch 2.0 kullanıyorsanız varsayılan olarak etkinleştirilir). PAG referansı: https://huggingface.co/papers/2403.17377

IP-Adapter[[diffusers.models.attention_processor.IPAdapterAttnProcessor]]

diffusers.models.attention_processor.IPAdapterAttnProcessor[[diffusers.models.attention_processor.IPAdapterAttnProcessor]]

diffusers.models.attention_processor.IPAdapterAttnProcessor(hidden_size, cross_attention_dim = None, num_tokens = (4,), scale = 1.0)

Kaynak

Parametreler:

hidden_size (int) : Dikkat katmanının gizli boyutu.

cross_attention_dim (int) : encoder_hidden_states içindeki kanal sayısı.

num_tokens (int, tuple[int] veya list[int], varsayılan (4,)) : Görüntü özelliklerinin bağlam uzunluğu.

scale (float veya listfloat, varsayılan 1.0) : görüntü isteminin ağırlık ölçeği.

Çoklu IP-Adapters için dikkat işlemcisi.

diffusers.models.attention_processor.IPAdapterAttnProcessor2_0[[diffusers.models.attention_processor.IPAdapterAttnProcessor2_0]]

diffusers.models.attention_processor.IPAdapterAttnProcessor2_0(hidden_size, cross_attention_dim = None, num_tokens = (4,), scale = 1.0)

Kaynak

Parametreler:

hidden_size (int) : Dikkat katmanının gizli boyutu.

cross_attention_dim (int) : encoder_hidden_states içindeki kanal sayısı.

num_tokens (int, tuple[int] veya list[int], varsayılan (4,)) : Görüntü özelliklerinin bağlam uzunluğu.

scale (float veya list[float], varsayılan 1.0) : görüntü isteminin ağırlık ölçeği.

PyTorch 2.0 için IP-Adapter dikkat işleyicisi.

diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0[[diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0]]

diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0(hidden_size: int, ip_hidden_states_dim: int, head_dim: int, timesteps_emb_dim: int = 1280, scale: float = 0.5)

Kaynak

Parametreler:

hidden_size (int) : Gizli kanal sayısı.

ip_hidden_states_dim (int) : Görüntü özelliği boyutu.

head_dim (int) : Baş kanal sayısı.

timesteps_emb_dim (int, varsayılan 1280) : Zaman adımı gömme için giriş kanal sayısı.

scale (float, varsayılan 0.5) : IP-Adapter ölçeği.

Genellikle SD3 benzeri öz-dikkat projeksiyonlarının işlenmesinde, ek görüntü tabanlı bilgiler ve zaman adımı gömme (embedding) bilgileriyle birlikte kullanılan IP-Adapter için dikkat (attention) işleyicisi.

JointAttnProcessor2_0[[diffusers.models.attention_processor.JointAttnProcessor2_0]]

diffusers.models.attention_processor.JointAttnProcessor2_0[[diffusers.models.attention_processor.JointAttnProcessor2_0]]

diffusers.models.attention_processor.JointAttnProcessor2_0()

Kaynak

Genellikle SD3 benzeri öz-dikkat projeksiyonlarını işlerken kullanılan dikkat işlemcisi.

diffusers.models.attention_processor.PAGJointAttnProcessor2_0[[diffusers.models.attention_processor.PAGJointAttnProcessor2_0]]

diffusers.models.attention_processor.PAGJointAttnProcessor2_0()

Kaynak

Genellikle SD3 benzeri öz-dikkat projeksiyonlarını işlerken kullanılan dikkat işlemcisi.

diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0[[diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0]]

diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0()

Kaynak

Genellikle SD3 benzeri öz-dikkat projeksiyonlarını işlerken kullanılan dikkat işlemcisi.

diffusers.models.attention_processor.FusedJointAttnProcessor2_0[[diffusers.models.attention_processor.FusedJointAttnProcessor2_0]]

diffusers.models.attention_processor.FusedJointAttnProcessor2_0()

Kaynak

Genellikle SD3 benzeri öz-dikkat projeksiyonlarını işlerken kullanılan dikkat işlemcisi.

LoRA[[diffusers.models.attention_processor.LoRAAttnProcessor]]

diffusers.models.attention_processor.LoRAAttnProcessor[[diffusers.models.attention_processor.LoRAAttnProcessor]]

diffusers.models.attention_processor.LoRAAttnProcessor()

Kaynak

LoRA ile dikkat (attention) uygulaması için işlemci.

diffusers.models.attention_processor.LoRAAttnProcessor2_0[[diffusers.models.attention_processor.LoRAAttnProcessor2_0]]

diffusers.models.attention_processor.LoRAAttnProcessor2_0()

Kaynak

LoRA ile dikkat (attention) uygulamasını gerçekleştiren işlemci (PyTorch 2.0 kullanıyorsanız varsayılan olarak etkinleştirilir).

diffusers.models.attention_processor.LoRAAttnAddedKVProcessor[[diffusers.models.attention_processor.LoRAAttnAddedKVProcessor]]

diffusers.models.attention_processor.LoRAAttnAddedKVProcessor()

Kaynak

Metin kodlayıcı için ek öğrenilebilir anahtar ve değer matrislerine sahip LoRA ile dikkat uygulamasını gerçekleştiren işlemci.

diffusers.models.attention_processor.LoRAXFormersAttnProcessor[[diffusers.models.attention_processor.LoRAXFormersAttnProcessor]]

diffusers.models.attention_processor.LoRAXFormersAttnProcessor()

Kaynak

xFormers kullanarak LoRA ile dikkat (attention) uygulaması için işlemci.

Lumina-T2X[[diffusers.models.attention_processor.LuminaAttnProcessor2_0]]

diffusers.models.attention_processor.LuminaAttnProcessor2_0[[diffusers.models.attention_processor.LuminaAttnProcessor2_0]]

diffusers.models.attention_processor.LuminaAttnProcessor2_0()

Kaynak

Ölçekli nokta çarpımı dikkatini (PyTorch 2.0 kullanıyorsanız varsayılan olarak etkin) uygulayan işlemci. Bu, LuminaNextDiT modelinde kullanılır. Sorgu ve anahtar vektörlerine bir s normalizasyon katmanı ve döner gömme uygular.

Mochi[[diffusers.models.attention_processor.MochiAttnProcessor2_0]]

diffusers.models.attention_processor.MochiAttnProcessor2_0[[diffusers.models.attention_processor.MochiAttnProcessor2_0]]

diffusers.models.attention_processor.MochiAttnProcessor2_0()

Kaynak

Mochi'de kullanılan dikkat işlemcisi.

diffusers.models.attention_processor.MochiVaeAttnProcessor2_0[[diffusers.models.attention_processor.MochiVaeAttnProcessor2_0]]

diffusers.models.attention_processor.MochiVaeAttnProcessor2_0()

Kaynak

Mochi VAE'de kullanılan dikkat işlemcisi.

Sana[[diffusers.models.attention_processor.SanaLinearAttnProcessor2_0]]

diffusers.models.attention_processor.SanaLinearAttnProcessor2_0[[diffusers.models.attention_processor.SanaLinearAttnProcessor2_0]]

diffusers.models.attention_processor.SanaLinearAttnProcessor2_0()

Kaynak

Ölçekli nokta çarpımı doğrusal dikkati uygulayan işlemci.

diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0[[diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0]]

diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0()

Kaynak

Çok ölçekli kuadratik dikkat (quadratic attention) uygulaması için işlemci.

diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0[[diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0]]

diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0()

Kaynak

Ölçekli nokta çarpımı doğrusal dikkati uygulayan işlemci.

diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0[[diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0]]

diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0()

Kaynak

Ölçekli nokta çarpımı doğrusal dikkati uygulayan işlemci.

Stable Audio[[diffusers.models.attention_processor.StableAudioAttnProcessor2_0]]

diffusers.models.attention_processor.StableAudioAttnProcessor2_0[[diffusers.models.attention_processor.StableAudioAttnProcessor2_0]]

diffusers.models.attention_processor.StableAudioAttnProcessor2_0()

Kaynak

Ölçekli nokta çarpımı dikkatini (PyTorch 2.0 kullanıyorsanız varsayılan olarak etkin) uygulayan işlemci. Bu, Stable Audio modelinde kullanılır. Sorgu ve anahtar vektörlerine döner gömme uygular ve MHA, GQA veya MQA'ya izin verir.

SlicedAttnProcessor[[diffusers.models.attention_processor.SlicedAttnProcessor]]

diffusers.models.attention_processor.SlicedAttnProcessor[[diffusers.models.attention_processor.SlicedAttnProcessor]]

diffusers.models.attention_processor.SlicedAttnProcessor(slice_size: int)

Kaynak

Parametreler:

slice_size (int, isteğe bağlı) : Dikkat hesaplanacak adım sayısı. attention_head_dim // slice_size kadar dilim kullanır ve attention_head_dim, slice_size'in katı olmalıdır.

Dilimlenmiş dikkat (sliced attention) uygulaması için işlemci.

diffusers.models.attention_processor.SlicedAttnAddedKVProcessor[[diffusers.models.attention_processor.SlicedAttnAddedKVProcessor]]

diffusers.models.attention_processor.SlicedAttnAddedKVProcessor(slice_size)

Kaynak

Parametreler:

slice_size (int, isteğe bağlı) : Dikkat hesaplanacak adım sayısı. attention_head_dim // slice_size kadar dilim kullanır ve attention_head_dim, slice_size'in katı olmalıdır.

Metin kodlayıcı için ek öğrenilebilir anahtar ve değer matrisleriyle dilimlenmiş dikkat (sliced attention) uygulayan işlemci.

XFormersAttnProcessor[[diffusers.models.attention_processor.XFormersAttnProcessor]]

diffusers.models.attention_processor.XFormersAttnProcessor[[diffusers.models.attention_processor.XFormersAttnProcessor]]

diffusers.models.attention_processor.XFormersAttnProcessor(attention_op: Callable | None = None)

Kaynak

Parametreler:

attention_op (Callable, isteğe bağlı, varsayılan None) : Dikkat operatörü olarak kullanılacak temel operatör. None olarak ayarlanmasına ve en iyi operatörün seçilmesinin xFormers'a bırakılmasına önerilir.

xFormers kullanarak bellek verimli dikkat (attention) uygulaması için işlemci.

diffusers.models.attention_processor.XFormersAttnAddedKVProcessor[[diffusers.models.attention_processor.XFormersAttnAddedKVProcessor]]

diffusers.models.attention_processor.XFormersAttnAddedKVProcessor(attention_op: Callable | None = None)

Kaynak

Parametreler:

attention_op (Callable, isteğe bağlı, varsayılan None) : Dikkat operatörü olarak kullanılacak temel operatör. None olarak ayarlanmasına ve en iyi operatörün seçilmesinin xFormers'a bırakılmasına önerilir.

xFormers kullanarak bellek verimli dikkat (attention) uygulaması için işlemci.

XLAFlashAttnProcessor2_0[[diffusers.models.attention_processor.XLAFlashAttnProcessor2_0]]

diffusers.models.attention_processor.XLAFlashAttnProcessor2_0[[diffusers.models.attention_processor.XLAFlashAttnProcessor2_0]]

diffusers.models.attention_processor.XLAFlashAttnProcessor2_0(partition_spec: tuple[str | None, ...] | None = None)

Kaynak

torch_xla kullanılıyorsa pallas flash attention çekirdeği ile ölçekli nokta çarpımı dikkatini uygulayan işlemci.

XFormersJointAttnProcessor[[diffusers.models.attention_processor.XFormersJointAttnProcessor]]

diffusers.models.attention_processor.XFormersJointAttnProcessor[[diffusers.models.attention_processor.XFormersJointAttnProcessor]]

diffusers.models.attention_processor.XFormersJointAttnProcessor(attention_op: Callable | None = None)

Kaynak

Parametreler:

attention_op (Callable, isteğe bağlı, varsayılan None) : Dikkat operatörü olarak kullanılacak temel operatör. None olarak ayarlanmasına ve en iyi operatörün seçilmesinin xFormers'a bırakılmasına önerilir.

xFormers kullanarak bellek verimli dikkat (attention) uygulaması için işlemci.

IPAdapterXFormersAttnProcessor[[diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor]]

diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor[[diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor]]

diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor(hidden_size, cross_attention_dim = None, num_tokens = (4,), scale = 1.0, attention_op: Callable | None = None)

Kaynak

Parametreler:

hidden_size (int) : Dikkat katmanının gizli boyutu.

cross_attention_dim (int) : encoder_hidden_states içindeki kanal sayısı.

num_tokens (int, tuple[int] veya list[int], varsayılan (4,)) : Görüntü özelliklerinin bağlam uzunluğu.

scale (float veya list[float], varsayılan 1.0) : görüntü isteminin ağırlık ölçeği.

attention_op (Callable, isteğe bağlı, varsayılan None) : Dikkat operatörü olarak kullanılacak temel operatör. None olarak ayarlanmasına ve en iyi operatörün seçilmesinin xFormers'a bırakılmasına önerilir.

xFormers kullanan IP-Adapter için dikkat işlemcisi.

FluxIPAdapterJointAttnProcessor2_0[[diffusers.models.attention_processor.FluxIPAdapterJointAttnProcessor2_0]]

diffusers.models.attention_processor.FluxIPAdapterJointAttnProcessor2_0[[diffusers.models.attention_processor.FluxIPAdapterJointAttnProcessor2_0]]

diffusers.models.attention_processor.FluxIPAdapterJointAttnProcessor2_0(*args, **kwargs)

Kaynak

XLAFluxFlashAttnProcessor2_0[[diffusers.models.attention_processor.XLAFluxFlashAttnProcessor2_0]]

diffusers.models.attention_processor.XLAFluxFlashAttnProcessor2_0[[diffusers.models.attention_processor.XLAFluxFlashAttnProcessor2_0]]

diffusers.models.attention_processor.XLAFluxFlashAttnProcessor2_0(*args, **kwargs)

Kaynak

torch_xla kullanılıyorsa pallas flash attention çekirdeği ile ölçekli nokta çarpımı dikkatini uygulayan işlemci.