# Attention Processor

Attention processor adalah kelas untuk menerapkan berbagai jenis mekanisme perhatian.

## AttnProcessor[[diffusers.models.attention_processor.AttnProcessor]]

#### diffusers.models.attention_processor.AttnProcessor[[diffusers.models.attention_processor.AttnProcessor]]

```python
diffusers.models.attention_processor.AttnProcessor()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L1103)

Pemroses default untuk melakukan komputasi terkait perhatian.

#### diffusers.models.attention_processor.AttnProcessor2_0[[diffusers.models.attention_processor.AttnProcessor2_0]]

```python
diffusers.models.attention_processor.AttnProcessor2_0()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L2684)

Processor untuk menerapkan scaled dot-product attention (diaktifkan secara default jika Anda menggunakan PyTorch 2.0).

#### diffusers.models.attention_processor.AttnAddedKVProcessor[[diffusers.models.attention_processor.AttnAddedKVProcessor]]

```python
diffusers.models.attention_processor.AttnAddedKVProcessor()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L1279)

Processor untuk melakukan komputasi terkait perhatian dengan matriks kunci dan nilai yang dapat dipelajari tambahan untuk encoder teks.

#### diffusers.models.attention_processor.AttnAddedKVProcessor2_0[[diffusers.models.attention_processor.AttnAddedKVProcessor2_0]]

```python
diffusers.models.attention_processor.AttnAddedKVProcessor2_0()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L1346)

Processor untuk melakukan scaled dot-product attention (diaktifkan secara default jika Anda menggunakan PyTorch 2.0), dengan matriks key dan value yang dapat dipelajari tambahan untuk text encoder.

#### diffusers.models.attention_processor.AttnProcessorNPU[[diffusers.models.attention_processor.AttnProcessorNPU]]

```python
diffusers.models.attention_processor.AttnProcessorNPU()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L2570)

Processor untuk menerapkan flash attention menggunakan torch_npu. Torch_npu hanya mendukung tipe data fp16 dan bf16. Jika fp32 digunakan, F.scaled_dot_product_attention akan digunakan untuk komputasi, tetapi efek akselerasi pada NPU tidak signifikan.

#### diffusers.models.attention_processor.FusedAttnProcessor2_0[[diffusers.models.attention_processor.FusedAttnProcessor2_0]]

```python
diffusers.models.attention_processor.FusedAttnProcessor2_0()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L3656)

Processor untuk menerapkan scaled dot-product attention (diaktifkan secara default jika Anda menggunakan PyTorch 2.0). Ini menggunakan lapisan proyusi yang digabungkan. Untuk modul self-attention, semua matriks proyusi (yaitu, query, key, value) digabungkan. Untuk modul cross-attention, matriks proyusi key dan value digabungkan.

> [!WARNING] > API ini saat ini bersifat 🧪 eksperimental dan dapat berubah di masa depan.

## Allegro[[diffusers.models.attention_processor.AllegroAttnProcessor2_0]]

#### diffusers.models.attention_processor.AllegroAttnProcessor2_0[[diffusers.models.attention_processor.AllegroAttnProcessor2_0]]

```python
diffusers.models.attention_processor.AllegroAttnProcessor2_0()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L1993)

Processor untuk menerapkan scaled dot-product attention (diaktifkan secara default jika Anda menggunakan PyTorch 2.0). Ini digunakan dalam model Allegro. Ia menerapkan lapisan normalisasi dan rotary embedding pada vektor query dan key.

## AuraFlow[[diffusers.models.attention_processor.AuraFlowAttnProcessor2_0]]

#### diffusers.models.attention_processor.AuraFlowAttnProcessor2_0[[diffusers.models.attention_processor.AuraFlowAttnProcessor2_0]]

```python
diffusers.models.attention_processor.AuraFlowAttnProcessor2_0()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L2087)

Processor perhatian yang biasanya digunakan dalam pemrosesan Aura Flow.

#### diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0[[diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0]]

```python
diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L2174)

Processor perhatian yang biasanya digunakan dalam pemrosesan Aura Flow dengan proyeksi yang digabungkan.

## CogVideoX[[diffusers.models.attention_processor.CogVideoXAttnProcessor2_0]]

#### diffusers.models.attention_processor.CogVideoXAttnProcessor2_0[[diffusers.models.attention_processor.CogVideoXAttnProcessor2_0]]

```python
diffusers.models.attention_processor.CogVideoXAttnProcessor2_0()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L2265)

Processor untuk menerapkan scaled dot-product attention pada model CogVideoX. Ini menerapkan rotary embedding pada vektor query dan key, tetapi tidak termasuk normalisasi spasial.

#### diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0[[diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0]]

```python
diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L2334)

Processor untuk menerapkan scaled dot-product attention pada model CogVideoX. Ini menerapkan rotary embedding pada vektor query dan key, tetapi tidak termasuk normalisasi spasial.

## DreamLite[[diffusers.models.unets.unet_dreamlite.DreamLiteAttnProcessor2_0]]

#### diffusers.models.unets.unet_dreamlite.DreamLiteAttnProcessor2_0[[diffusers.models.unets.unet_dreamlite.DreamLiteAttnProcessor2_0]]

```python
diffusers.models.unets.unet_dreamlite.DreamLiteAttnProcessor2_0()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/unets/unet_dreamlite.py#L285)

Processor untuk menerapkan scaled dot-product attention dengan dukungan Grouped Query Attention (GQA / MQA).

Identik dengan `AttnProcessor2_0` kecuali cabang reshape key/value yang menangani `attn.kv_heads != attn.heads` dengan benar, yaitu dengan melakukan reshape K/V menjadi `kv_heads` dan kemudian memperluasnya hingga `attn.heads` menggunakan `repeat_interleave`. Hal ini diperlukan oleh DreamLite UNet, yang menggabungkan GQA dengan `qk_norm` — sebuah kombinasi yang tidak ditangani oleh `AttnProcessor2_0` bawaan. SDPA didelegasikan ke `dispatch_attention_fn` sehingga backend attention diffusers mana pun (native PyTorch SDPA, FlashAttention, dll.) dapat digunakan.

## Custom Diffusion[[diffusers.models.attention_processor.CustomDiffusionAttnProcessor]]

#### diffusers.models.attention_processor.CustomDiffusionAttnProcessor[[diffusers.models.attention_processor.CustomDiffusionAttnProcessor]]

```python
diffusers.models.attention_processor.CustomDiffusionAttnProcessor(train_kv: bool = True, train_q_out: bool = True, hidden_size: int | None = None, cross_attention_dim: int | None = None, out_bias: bool = True, dropout: float = 0.0)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L1175)

**Parameter:**

train_kv (`bool`, defaultnya `True`) : Apakah akan melatih ulang matriks kunci dan nilai yang sesuai dengan fitur teks.

train_q_out (`bool`, defaultnya `True`) : Apakah akan melatih ulang matriks query yang sesuai dengan fitur gambar laten.

hidden_size (`int`, *opsional*, defaultnya `None`) : Ukuran tersembunyi dari lapisan perhatian.

cross_attention_dim (`int`, *opsional*, defaultnya `None`) : Jumlah channel dalam `encoder_hidden_states`.

out_bias (`bool`, defaultnya `True`) : Apakah akan menyertakan parameter bias di `train_q_out`.

dropout (`float`, *opsional*, default 0.0) : Probabilitas dropout yang akan digunakan.

Processor untuk menerapkan perhatian (attention) untuk metode Custom Diffusion.

#### diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0[[diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0]]

```python
diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0(train_kv: bool = True, train_q_out: bool = True, hidden_size: int | None = None, cross_attention_dim: int | None = None, out_bias: bool = True, dropout: float = 0.0)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L3874)

**Parameter:**

train_kv (`bool`, defaultnya `True`) : Apakah akan melatih ulang matriks kunci dan nilai yang sesuai dengan fitur teks.

train_q_out (`bool`, defaultnya `True`) : Apakah akan melatih ulang matriks query yang sesuai dengan fitur gambar laten.

hidden_size (`int`, *opsional*, defaultnya `None`) : Ukuran tersembunyi dari lapisan perhatian.

cross_attention_dim (`int`, *opsional*, defaultnya `None`) : Jumlah channel dalam `encoder_hidden_states`.

out_bias (`bool`, defaultnya `True`) : Apakah akan menyertakan parameter bias di `train_q_out`.

dropout (`float`, *opsional*, default 0.0) : Probabilitas dropout yang akan digunakan.

Processor untuk menerapkan perhatian (attention) untuk metode Custom Diffusion menggunakan scaled dot-product attention yang hemat memori dari PyTorch 2.0.

#### diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor[[diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor]]

```python
diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor(train_kv: bool = True, train_q_out: bool = False, hidden_size: int | None = None, cross_attention_dim: int | None = None, out_bias: bool = True, dropout: float = 0.0, attention_op: Callable | None = None)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L3758)

**Parameter:**

train_kv (`bool`, defaultnya `True`) : Apakah akan melatih ulang matriks kunci dan nilai yang sesuai dengan fitur teks.

train_q_out (`bool`, defaultnya `True`) : Apakah akan melatih ulang matriks query yang sesuai dengan fitur gambar laten.

hidden_size (`int`, *opsional*, defaultnya `None`) : Ukuran tersembunyi dari lapisan perhatian.

cross_attention_dim (`int`, *opsional*, defaultnya `None`) : Jumlah channel dalam `encoder_hidden_states`.

out_bias (`bool`, defaultnya `True`) : Apakah akan menyertakan parameter bias di `train_q_out`.

dropout (`float`, *opsional*, default 0.0) : Probabilitas dropout yang akan digunakan.

attention_op (`Callable`, *opsional*, defaultnya `None`) : [operator](https://facebookresearch.github.io/xformers/components/ops.html#xformers.ops.AttentionOpBase) dasar yang digunakan sebagai operator perhatian. Disarankan untuk diset ke `None`, dan membiarkan xFormers memilih operator terbaik.

Processor untuk menerapkan perhatian yang efisien memori menggunakan xFormers untuk metode Custom Diffusion.

## Flux[[diffusers.models.attention_processor.FluxAttnProcessor2_0]]

#### diffusers.models.attention_processor.FluxAttnProcessor2_0[[diffusers.models.attention_processor.FluxAttnProcessor2_0]]

```python
diffusers.models.attention_processor.FluxAttnProcessor2_0(*args, **kwargs)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5493)

#### diffusers.models.attention_processor.FusedFluxAttnProcessor2_0[[diffusers.models.attention_processor.FusedFluxAttnProcessor2_0]]

```python
diffusers.models.attention_processor.FusedFluxAttnProcessor2_0(*args, **kwargs)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5517)

#### diffusers.models.attention_processor.FluxSingleAttnProcessor2_0[[diffusers.models.attention_processor.FluxSingleAttnProcessor2_0]]

```python
diffusers.models.attention_processor.FluxSingleAttnProcessor2_0(*args, **kwargs)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5503)

Processor untuk menerapkan scaled dot-product attention (diaktifkan secara default jika Anda menggunakan PyTorch 2.0).

## Hunyuan[[diffusers.models.attention_processor.HunyuanAttnProcessor2_0]]

#### diffusers.models.attention_processor.HunyuanAttnProcessor2_0[[diffusers.models.attention_processor.HunyuanAttnProcessor2_0]]

```python
diffusers.models.attention_processor.HunyuanAttnProcessor2_0()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L3112)

Processor untuk menerapkan scaled dot-product attention (diaktifkan secara default jika Anda menggunakan PyTorch 2.0). Ini digunakan dalam model HunyuanDiT. Menerapkan lapisan normalisasi s dan rotary embedding pada vektor query dan key.

#### diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0[[diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0]]

```python
diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L3210)

Processor untuk menerapkan scaled dot-product attention (diaktifkan secara default jika Anda menggunakan PyTorch 2.0) dengan lapisan proyeksi yang digabungkan. Ini digunakan dalam model HunyuanDiT. Ini menerapkan lapisan normalisasi s dan rotary embedding pada vektor query dan key.

#### diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0[[diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0]]

```python
diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L3313)

Processor untuk menerapkan scaled dot-product attention (diaktifkan secara default jika Anda menggunakan PyTorch 2.0). Ini digunakan dalam model HunyuanDiT. Ia menerapkan lapisan normalisasi dan rotary embedding pada vektor query dan key. Varian processor ini menggunakan [Pertubed Attention Guidance](https://huggingface.co/papers/2403.17377).

#### diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0[[diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0]]

```python
diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L3436)

Processor untuk menerapkan scaled dot-product attention (diaktifkan secara default jika Anda menggunakan PyTorch 2.0). Ini digunakan dalam model HunyuanDiT. Ia menerapkan lapisan normalisasi dan rotary embedding pada vektor query dan key. Varian processor ini menggunakan [Pertubed Attention Guidance](https://huggingface.co/papers/2403.17377).

## IdentitySelfAttnProcessor2_0[[diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0]]

#### diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0[[diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0]]

```python
diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5031)

Processor untuk menerapkan PAG menggunakan scaled dot-product attention (diaktifkan secara default jika Anda menggunakan PyTorch 2.0). Referensi PAG: https://huggingface.co/papers/2403.17377

#### diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0[[diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0]]

```python
diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5130)

Processor untuk menerapkan PAG menggunakan scaled dot-product attention (diaktifkan secara default jika Anda menggunakan PyTorch 2.0). Referensi PAG: https://huggingface.co/papers/2403.17377

## IP-Adapter[[diffusers.models.attention_processor.IPAdapterAttnProcessor]]

#### diffusers.models.attention_processor.IPAdapterAttnProcessor[[diffusers.models.attention_processor.IPAdapterAttnProcessor]]

```python
diffusers.models.attention_processor.IPAdapterAttnProcessor(hidden_size, cross_attention_dim = None, num_tokens = (4,), scale = 1.0)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L4196)

**Parameter:**

hidden_size (`int`) : Ukuran tersembunyi dari lapisan perhatian.

cross_attention_dim (`int`) : Jumlah channel dalam `encoder_hidden_states`.

num_tokens (`int`, `tuple[int]` atau `list[int]`, defaultnya `(4,)`) : Panjang konteks dari fitur gambar.

scale (`float` atau list`float`, default 1.0) : skala bobot untuk prompt gambar.

Processor perhatian untuk beberapa IP-Adapter.

#### diffusers.models.attention_processor.IPAdapterAttnProcessor2_0[[diffusers.models.attention_processor.IPAdapterAttnProcessor2_0]]

```python
diffusers.models.attention_processor.IPAdapterAttnProcessor2_0(hidden_size, cross_attention_dim = None, num_tokens = (4,), scale = 1.0)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L4396)

**Parameter:**

hidden_size (`int`) : Ukuran tersembunyi dari lapisan perhatian.

cross_attention_dim (`int`) : Jumlah channel dalam `encoder_hidden_states`.

num_tokens (`int`, `tuple[int]` atau `list[int]`, defaultnya `(4,)`) : Panjang konteks dari fitur gambar.

scale (`float` atau `list[float]`, default 1.0) : skala bobot untuk prompt gambar.

Processor perhatian untuk IP-Adapter untuk PyTorch 2.0.

#### diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0[[diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0]]

```python
diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0(hidden_size: int, ip_hidden_states_dim: int, head_dim: int, timesteps_emb_dim: int = 1280, scale: float = 0.5)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L4860)

**Parameter:**

hidden_size (`int`) : Jumlah kanal tersembunyi.

ip_hidden_states_dim (`int`) : Dimensi fitur gambar.

head_dim (`int`) : Jumlah kanal head.

timesteps_emb_dim (`int`, defaultnya 1280) : Jumlah saluran input untuk embedding timestep.

scale (`float`, default 0.5) : skala IP-Adapter.

Attention processor untuk IP-Adapter yang biasanya digunakan dalam memproses proyeksi self-attention mirip SD3, dengan informasi berbasis gambar tambahan dan timestep embeddings.

## JointAttnProcessor2_0[[diffusers.models.attention_processor.JointAttnProcessor2_0]]

#### diffusers.models.attention_processor.JointAttnProcessor2_0[[diffusers.models.attention_processor.JointAttnProcessor2_0]]

```python
diffusers.models.attention_processor.JointAttnProcessor2_0()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L1422)

Attention processor yang biasanya digunakan dalam memproses proyeksi self-attention yang mirip SD3.

#### diffusers.models.attention_processor.PAGJointAttnProcessor2_0[[diffusers.models.attention_processor.PAGJointAttnProcessor2_0]]

```python
diffusers.models.attention_processor.PAGJointAttnProcessor2_0()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L1508)

Attention processor yang biasanya digunakan dalam memproses proyeksi self-attention yang mirip SD3.

#### diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0[[diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0]]

```python
diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L1664)

Attention processor yang biasanya digunakan dalam memproses proyeksi self-attention yang mirip SD3.

#### diffusers.models.attention_processor.FusedJointAttnProcessor2_0[[diffusers.models.attention_processor.FusedJointAttnProcessor2_0]]

```python
diffusers.models.attention_processor.FusedJointAttnProcessor2_0()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L1829)

Attention processor yang biasanya digunakan dalam memproses proyeksi self-attention yang mirip SD3.

## LoRA[[diffusers.models.attention_processor.LoRAAttnProcessor]]

#### diffusers.models.attention_processor.LoRAAttnProcessor[[diffusers.models.attention_processor.LoRAAttnProcessor]]

```python
diffusers.models.attention_processor.LoRAAttnProcessor()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5293)

Processor untuk menerapkan perhatian dengan LoRA.

#### diffusers.models.attention_processor.LoRAAttnProcessor2_0[[diffusers.models.attention_processor.LoRAAttnProcessor2_0]]

```python
diffusers.models.attention_processor.LoRAAttnProcessor2_0()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5302)

Processor untuk menerapkan perhatian dengan LoRA (diaktifkan secara default jika Anda menggunakan PyTorch 2.0).

#### diffusers.models.attention_processor.LoRAAttnAddedKVProcessor[[diffusers.models.attention_processor.LoRAAttnAddedKVProcessor]]

```python
diffusers.models.attention_processor.LoRAAttnAddedKVProcessor()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5320)

Processor untuk menerapkan perhatian dengan LoRA dengan matriks kunci dan nilai yang dapat dipelajari tambahan untuk pengkode teks.

#### diffusers.models.attention_processor.LoRAXFormersAttnProcessor[[diffusers.models.attention_processor.LoRAXFormersAttnProcessor]]

```python
diffusers.models.attention_processor.LoRAXFormersAttnProcessor()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5311)

Processor untuk menerapkan perhatian dengan LoRA menggunakan xFormers.

## Lumina-T2X[[diffusers.models.attention_processor.LuminaAttnProcessor2_0]]

#### diffusers.models.attention_processor.LuminaAttnProcessor2_0[[diffusers.models.attention_processor.LuminaAttnProcessor2_0]]

```python
diffusers.models.attention_processor.LuminaAttnProcessor2_0()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L3560)

Processor untuk menerapkan scaled dot-product attention (diaktifkan secara default jika Anda menggunakan PyTorch 2.0). Ini digunakan dalam model LuminaNextDiT. Menerapkan lapisan normalisasi s dan rotary embedding pada vektor query dan key.

## Mochi[[diffusers.models.attention_processor.MochiAttnProcessor2_0]]

#### diffusers.models.attention_processor.MochiAttnProcessor2_0[[diffusers.models.attention_processor.MochiAttnProcessor2_0]]

```python
diffusers.models.attention_processor.MochiAttnProcessor2_0()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L998)

Attention processor yang digunakan dalam Mochi.

#### diffusers.models.attention_processor.MochiVaeAttnProcessor2_0[[diffusers.models.attention_processor.MochiVaeAttnProcessor2_0]]

```python
diffusers.models.attention_processor.MochiVaeAttnProcessor2_0()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L2894)

Attention processor yang digunakan dalam Mochi VAE.

## Sana[[diffusers.models.attention_processor.SanaLinearAttnProcessor2_0]]

#### diffusers.models.attention_processor.SanaLinearAttnProcessor2_0[[diffusers.models.attention_processor.SanaLinearAttnProcessor2_0]]

```python
diffusers.models.attention_processor.SanaLinearAttnProcessor2_0()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5329)

Processor untuk menerapkan perhatian linear dot-product berskala.

#### diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0[[diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0]]

```python
diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5233)

Processor untuk menerapkan perhatian kuadratis multiscale.

#### diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0[[diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0]]

```python
diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5381)

Processor untuk menerapkan perhatian linear dot-product berskala.

#### diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0[[diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0]]

```python
diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5436)

Processor untuk menerapkan perhatian linear dot-product berskala.

## Stable Audio[[diffusers.models.attention_processor.StableAudioAttnProcessor2_0]]

#### diffusers.models.attention_processor.StableAudioAttnProcessor2_0[[diffusers.models.attention_processor.StableAudioAttnProcessor2_0]]

```python
diffusers.models.attention_processor.StableAudioAttnProcessor2_0()
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L2979)

Processor untuk menerapkan scaled dot-product attention (diaktifkan secara default jika Anda menggunakan PyTorch 2.0). Ini digunakan dalam model Stable Audio. Menerapkan rotary embedding pada vektor query dan key, serta memungkinkan MHA, GQA, atau MQA.

## SlicedAttnProcessor[[diffusers.models.attention_processor.SlicedAttnProcessor]]

#### diffusers.models.attention_processor.SlicedAttnProcessor[[diffusers.models.attention_processor.SlicedAttnProcessor]]

```python
diffusers.models.attention_processor.SlicedAttnProcessor(slice_size: int)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L3988)

**Parameter:**

slice_size (`int`, *opsional*) : Jumlah langkah untuk menghitung perhatian. Menggunakan sebanyak `attention_head_dim // slice_size` irisan, dan `attention_head_dim` harus merupakan kelipatan dari `slice_size`.

Processor untuk menerapkan sliced attention.

#### diffusers.models.attention_processor.SlicedAttnAddedKVProcessor[[diffusers.models.attention_processor.SlicedAttnAddedKVProcessor]]

```python
diffusers.models.attention_processor.SlicedAttnAddedKVProcessor(slice_size)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L4075)

**Parameter:**

slice_size (`int`, *opsional*) : Jumlah langkah untuk menghitung perhatian. Menggunakan sebanyak `attention_head_dim // slice_size` irisan, dan `attention_head_dim` harus merupakan kelipatan dari `slice_size`.

Processor untuk menerapkan sliced attention dengan matriks key dan value yang dapat dipelajari tambahan untuk text encoder.

## XFormersAttnProcessor[[diffusers.models.attention_processor.XFormersAttnProcessor]]

#### diffusers.models.attention_processor.XFormersAttnProcessor[[diffusers.models.attention_processor.XFormersAttnProcessor]]

```python
diffusers.models.attention_processor.XFormersAttnProcessor(attention_op: Callable | None = None)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L2476)

**Parameter:**

attention_op (`Callable`, *opsional*, defaultnya `None`) : [operator](https://facebookresearch.github.io/xformers/components/ops.html#xformers.ops.AttentionOpBase) dasar yang digunakan sebagai operator perhatian. Disarankan untuk diset ke `None`, dan membiarkan xFormers memilih operator terbaik.

Processor untuk menerapkan perhatian yang hemat memori menggunakan xFormers.

#### diffusers.models.attention_processor.XFormersAttnAddedKVProcessor[[diffusers.models.attention_processor.XFormersAttnAddedKVProcessor]]

```python
diffusers.models.attention_processor.XFormersAttnAddedKVProcessor(attention_op: Callable | None = None)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L2405)

**Parameter:**

attention_op (`Callable`, *opsional*, defaultnya `None`) : [operator](https://facebookresearch.github.io/xformers/components/ops.html#xformers.ops.AttentionOpBase) dasar yang digunakan sebagai operator perhatian. Disarankan untuk diset ke `None`, dan membiarkan xFormers memilih operator terbaik.

Processor untuk menerapkan perhatian yang hemat memori menggunakan xFormers.

## XLAFlashAttnProcessor2_0[[diffusers.models.attention_processor.XLAFlashAttnProcessor2_0]]

#### diffusers.models.attention_processor.XLAFlashAttnProcessor2_0[[diffusers.models.attention_processor.XLAFlashAttnProcessor2_0]]

```python
diffusers.models.attention_processor.XLAFlashAttnProcessor2_0(partition_spec: tuple[str | None, ...] | None = None)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L2778)

Processor untuk menerapkan scaled dot-product attention dengan kernel pallas flash attention jika menggunakan `torch_xla`.

## XFormersJointAttnProcessor[[diffusers.models.attention_processor.XFormersJointAttnProcessor]]

#### diffusers.models.attention_processor.XFormersJointAttnProcessor[[diffusers.models.attention_processor.XFormersJointAttnProcessor]]

```python
diffusers.models.attention_processor.XFormersJointAttnProcessor(attention_op: Callable | None = None)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L1908)

**Parameter:**

attention_op (`Callable`, *opsional*, defaultnya `None`) : [operator](https://facebookresearch.github.io/xformers/components/ops.html#xformers.ops.AttentionOpBase) dasar yang digunakan sebagai operator perhatian. Disarankan untuk diset ke `None`, dan membiarkan xFormers memilih operator terbaik.

Processor untuk menerapkan perhatian yang hemat memori menggunakan xFormers.

## IPAdapterXFormersAttnProcessor[[diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor]]

#### diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor[[diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor]]

```python
diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor(hidden_size, cross_attention_dim = None, num_tokens = (4,), scale = 1.0, attention_op: Callable | None = None)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L4628)

**Parameter:**

hidden_size (`int`) : Ukuran tersembunyi dari lapisan perhatian.

cross_attention_dim (`int`) : Jumlah channel dalam `encoder_hidden_states`.

num_tokens (`int`, `tuple[int]` atau `list[int]`, defaultnya `(4,)`) : Panjang konteks dari fitur gambar.

scale (`float` atau `list[float]`, default 1.0) : skala bobot untuk prompt gambar.

attention_op (`Callable`, *opsional*, defaultnya `None`) : [operator](https://facebookresearch.github.io/xformers/components/ops.html#xformers.ops.AttentionOpBase) dasar yang digunakan sebagai operator perhatian. Disarankan untuk diset ke `None`, dan membiarkan xFormers memilih operator terbaik.

Processor perhatian untuk IP-Adapter menggunakan xFormers.

## FluxIPAdapterJointAttnProcessor2_0[[diffusers.models.attention_processor.FluxIPAdapterJointAttnProcessor2_0]]

#### diffusers.models.attention_processor.FluxIPAdapterJointAttnProcessor2_0[[diffusers.models.attention_processor.FluxIPAdapterJointAttnProcessor2_0]]

```python
diffusers.models.attention_processor.FluxIPAdapterJointAttnProcessor2_0(*args, **kwargs)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5527)

## XLAFluxFlashAttnProcessor2_0[[diffusers.models.attention_processor.XLAFluxFlashAttnProcessor2_0]]

#### diffusers.models.attention_processor.XLAFluxFlashAttnProcessor2_0[[diffusers.models.attention_processor.XLAFluxFlashAttnProcessor2_0]]

```python
diffusers.models.attention_processor.XLAFluxFlashAttnProcessor2_0(*args, **kwargs)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5567)

Processor untuk menerapkan scaled dot-product attention dengan kernel pallas flash attention jika menggunakan `torch_xla`.