Buckets:

hf-doc-build
/

doc

Files

xet

hf-doc-build/doc / diffusers /main /id /api /attnprocessor.md

mishig

2 days ago

preview code

download

raw

32.9 kB

Attention Processor

Attention processor adalah kelas untuk menerapkan berbagai jenis mekanisme perhatian.

AttnProcessor[[diffusers.models.attention_processor.AttnProcessor]]

diffusers.models.attention_processor.AttnProcessor[[diffusers.models.attention_processor.AttnProcessor]]

diffusers.models.attention_processor.AttnProcessor()

Sumber

Pemroses default untuk melakukan komputasi terkait perhatian.

diffusers.models.attention_processor.AttnProcessor2_0[[diffusers.models.attention_processor.AttnProcessor2_0]]

diffusers.models.attention_processor.AttnProcessor2_0()

Sumber

Processor untuk menerapkan scaled dot-product attention (diaktifkan secara default jika Anda menggunakan PyTorch 2.0).

diffusers.models.attention_processor.AttnAddedKVProcessor[[diffusers.models.attention_processor.AttnAddedKVProcessor]]

diffusers.models.attention_processor.AttnAddedKVProcessor()

Sumber

Processor untuk melakukan komputasi terkait perhatian dengan matriks kunci dan nilai yang dapat dipelajari tambahan untuk encoder teks.

diffusers.models.attention_processor.AttnAddedKVProcessor2_0[[diffusers.models.attention_processor.AttnAddedKVProcessor2_0]]

diffusers.models.attention_processor.AttnAddedKVProcessor2_0()

Sumber

Processor untuk melakukan scaled dot-product attention (diaktifkan secara default jika Anda menggunakan PyTorch 2.0), dengan matriks key dan value yang dapat dipelajari tambahan untuk text encoder.

diffusers.models.attention_processor.AttnProcessorNPU[[diffusers.models.attention_processor.AttnProcessorNPU]]

diffusers.models.attention_processor.AttnProcessorNPU()

Sumber

Processor untuk menerapkan flash attention menggunakan torch_npu. Torch_npu hanya mendukung tipe data fp16 dan bf16. Jika fp32 digunakan, F.scaled_dot_product_attention akan digunakan untuk komputasi, tetapi efek akselerasi pada NPU tidak signifikan.

diffusers.models.attention_processor.FusedAttnProcessor2_0[[diffusers.models.attention_processor.FusedAttnProcessor2_0]]

diffusers.models.attention_processor.FusedAttnProcessor2_0()

Sumber

Processor untuk menerapkan scaled dot-product attention (diaktifkan secara default jika Anda menggunakan PyTorch 2.0). Ini menggunakan lapisan proyusi yang digabungkan. Untuk modul self-attention, semua matriks proyusi (yaitu, query, key, value) digabungkan. Untuk modul cross-attention, matriks proyusi key dan value digabungkan.

> API ini saat ini bersifat 🧪 eksperimental dan dapat berubah di masa depan.

Allegro[[diffusers.models.attention_processor.AllegroAttnProcessor2_0]]

diffusers.models.attention_processor.AllegroAttnProcessor2_0[[diffusers.models.attention_processor.AllegroAttnProcessor2_0]]

diffusers.models.attention_processor.AllegroAttnProcessor2_0()

Sumber

Processor untuk menerapkan scaled dot-product attention (diaktifkan secara default jika Anda menggunakan PyTorch 2.0). Ini digunakan dalam model Allegro. Ia menerapkan lapisan normalisasi dan rotary embedding pada vektor query dan key.

AuraFlow[[diffusers.models.attention_processor.AuraFlowAttnProcessor2_0]]

diffusers.models.attention_processor.AuraFlowAttnProcessor2_0[[diffusers.models.attention_processor.AuraFlowAttnProcessor2_0]]

diffusers.models.attention_processor.AuraFlowAttnProcessor2_0()

Sumber

Processor perhatian yang biasanya digunakan dalam pemrosesan Aura Flow.

diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0[[diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0]]

diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0()

Sumber

Processor perhatian yang biasanya digunakan dalam pemrosesan Aura Flow dengan proyeksi yang digabungkan.

CogVideoX[[diffusers.models.attention_processor.CogVideoXAttnProcessor2_0]]

diffusers.models.attention_processor.CogVideoXAttnProcessor2_0[[diffusers.models.attention_processor.CogVideoXAttnProcessor2_0]]

diffusers.models.attention_processor.CogVideoXAttnProcessor2_0()

Sumber

Processor untuk menerapkan scaled dot-product attention pada model CogVideoX. Ini menerapkan rotary embedding pada vektor query dan key, tetapi tidak termasuk normalisasi spasial.

diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0[[diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0]]

diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0()

Sumber

Processor untuk menerapkan scaled dot-product attention pada model CogVideoX. Ini menerapkan rotary embedding pada vektor query dan key, tetapi tidak termasuk normalisasi spasial.

DreamLite[[diffusers.models.unets.unet_dreamlite.DreamLiteAttnProcessor2_0]]

diffusers.models.unets.unet_dreamlite.DreamLiteAttnProcessor2_0[[diffusers.models.unets.unet_dreamlite.DreamLiteAttnProcessor2_0]]

diffusers.models.unets.unet_dreamlite.DreamLiteAttnProcessor2_0()

Sumber

Processor untuk menerapkan scaled dot-product attention dengan dukungan Grouped Query Attention (GQA / MQA).

Identik dengan AttnProcessor2_0 kecuali cabang reshape key/value yang menangani attn.kv_heads != attn.heads dengan benar, yaitu dengan melakukan reshape K/V menjadi kv_heads dan kemudian memperluasnya hingga attn.heads menggunakan repeat_interleave. Hal ini diperlukan oleh DreamLite UNet, yang menggabungkan GQA dengan qk_norm — sebuah kombinasi yang tidak ditangani oleh AttnProcessor2_0 bawaan. SDPA didelegasikan ke dispatch_attention_fn sehingga backend attention diffusers mana pun (native PyTorch SDPA, FlashAttention, dll.) dapat digunakan.

Custom Diffusion[[diffusers.models.attention_processor.CustomDiffusionAttnProcessor]]

diffusers.models.attention_processor.CustomDiffusionAttnProcessor[[diffusers.models.attention_processor.CustomDiffusionAttnProcessor]]

diffusers.models.attention_processor.CustomDiffusionAttnProcessor(train_kv: bool = True, train_q_out: bool = True, hidden_size: int | None = None, cross_attention_dim: int | None = None, out_bias: bool = True, dropout: float = 0.0)

Sumber

Parameter:

train_kv (bool, defaultnya True) : Apakah akan melatih ulang matriks kunci dan nilai yang sesuai dengan fitur teks.

train_q_out (bool, defaultnya True) : Apakah akan melatih ulang matriks query yang sesuai dengan fitur gambar laten.

hidden_size (int, opsional, defaultnya None) : Ukuran tersembunyi dari lapisan perhatian.

cross_attention_dim (int, opsional, defaultnya None) : Jumlah channel dalam encoder_hidden_states.

out_bias (bool, defaultnya True) : Apakah akan menyertakan parameter bias di train_q_out.

dropout (float, opsional, default 0.0) : Probabilitas dropout yang akan digunakan.

Processor untuk menerapkan perhatian (attention) untuk metode Custom Diffusion.

diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0[[diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0]]

diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0(train_kv: bool = True, train_q_out: bool = True, hidden_size: int | None = None, cross_attention_dim: int | None = None, out_bias: bool = True, dropout: float = 0.0)

Sumber

Parameter:

train_kv (bool, defaultnya True) : Apakah akan melatih ulang matriks kunci dan nilai yang sesuai dengan fitur teks.

train_q_out (bool, defaultnya True) : Apakah akan melatih ulang matriks query yang sesuai dengan fitur gambar laten.

hidden_size (int, opsional, defaultnya None) : Ukuran tersembunyi dari lapisan perhatian.

cross_attention_dim (int, opsional, defaultnya None) : Jumlah channel dalam encoder_hidden_states.

out_bias (bool, defaultnya True) : Apakah akan menyertakan parameter bias di train_q_out.

dropout (float, opsional, default 0.0) : Probabilitas dropout yang akan digunakan.

Processor untuk menerapkan perhatian (attention) untuk metode Custom Diffusion menggunakan scaled dot-product attention yang hemat memori dari PyTorch 2.0.

diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor[[diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor]]

diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor(train_kv: bool = True, train_q_out: bool = False, hidden_size: int | None = None, cross_attention_dim: int | None = None, out_bias: bool = True, dropout: float = 0.0, attention_op: Callable | None = None)

Sumber

Parameter:

train_kv (bool, defaultnya True) : Apakah akan melatih ulang matriks kunci dan nilai yang sesuai dengan fitur teks.

train_q_out (bool, defaultnya True) : Apakah akan melatih ulang matriks query yang sesuai dengan fitur gambar laten.

hidden_size (int, opsional, defaultnya None) : Ukuran tersembunyi dari lapisan perhatian.

cross_attention_dim (int, opsional, defaultnya None) : Jumlah channel dalam encoder_hidden_states.

out_bias (bool, defaultnya True) : Apakah akan menyertakan parameter bias di train_q_out.

dropout (float, opsional, default 0.0) : Probabilitas dropout yang akan digunakan.

attention_op (Callable, opsional, defaultnya None) : operator dasar yang digunakan sebagai operator perhatian. Disarankan untuk diset ke None, dan membiarkan xFormers memilih operator terbaik.

Processor untuk menerapkan perhatian yang efisien memori menggunakan xFormers untuk metode Custom Diffusion.

Flux[[diffusers.models.attention_processor.FluxAttnProcessor2_0]]

diffusers.models.attention_processor.FluxAttnProcessor2_0[[diffusers.models.attention_processor.FluxAttnProcessor2_0]]

diffusers.models.attention_processor.FluxAttnProcessor2_0(*args, **kwargs)

Sumber

diffusers.models.attention_processor.FusedFluxAttnProcessor2_0[[diffusers.models.attention_processor.FusedFluxAttnProcessor2_0]]

diffusers.models.attention_processor.FusedFluxAttnProcessor2_0(*args, **kwargs)

Sumber

diffusers.models.attention_processor.FluxSingleAttnProcessor2_0[[diffusers.models.attention_processor.FluxSingleAttnProcessor2_0]]

diffusers.models.attention_processor.FluxSingleAttnProcessor2_0(*args, **kwargs)

Sumber

Processor untuk menerapkan scaled dot-product attention (diaktifkan secara default jika Anda menggunakan PyTorch 2.0).

Hunyuan[[diffusers.models.attention_processor.HunyuanAttnProcessor2_0]]

diffusers.models.attention_processor.HunyuanAttnProcessor2_0[[diffusers.models.attention_processor.HunyuanAttnProcessor2_0]]

diffusers.models.attention_processor.HunyuanAttnProcessor2_0()

Sumber

Processor untuk menerapkan scaled dot-product attention (diaktifkan secara default jika Anda menggunakan PyTorch 2.0). Ini digunakan dalam model HunyuanDiT. Menerapkan lapisan normalisasi s dan rotary embedding pada vektor query dan key.

diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0[[diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0]]

diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0()

Sumber

Processor untuk menerapkan scaled dot-product attention (diaktifkan secara default jika Anda menggunakan PyTorch 2.0) dengan lapisan proyeksi yang digabungkan. Ini digunakan dalam model HunyuanDiT. Ini menerapkan lapisan normalisasi s dan rotary embedding pada vektor query dan key.

diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0[[diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0]]

diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0()

Sumber

Processor untuk menerapkan scaled dot-product attention (diaktifkan secara default jika Anda menggunakan PyTorch 2.0). Ini digunakan dalam model HunyuanDiT. Ia menerapkan lapisan normalisasi dan rotary embedding pada vektor query dan key. Varian processor ini menggunakan Pertubed Attention Guidance.

diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0[[diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0]]

diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0()

Sumber

IdentitySelfAttnProcessor2_0[[diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0]]

diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0[[diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0]]

diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0()

Sumber

Processor untuk menerapkan PAG menggunakan scaled dot-product attention (diaktifkan secara default jika Anda menggunakan PyTorch 2.0). Referensi PAG: https://huggingface.co/papers/2403.17377

diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0[[diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0]]

diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0()

Sumber

Processor untuk menerapkan PAG menggunakan scaled dot-product attention (diaktifkan secara default jika Anda menggunakan PyTorch 2.0). Referensi PAG: https://huggingface.co/papers/2403.17377

IP-Adapter[[diffusers.models.attention_processor.IPAdapterAttnProcessor]]

diffusers.models.attention_processor.IPAdapterAttnProcessor[[diffusers.models.attention_processor.IPAdapterAttnProcessor]]

diffusers.models.attention_processor.IPAdapterAttnProcessor(hidden_size, cross_attention_dim = None, num_tokens = (4,), scale = 1.0)

Sumber

Parameter:

hidden_size (int) : Ukuran tersembunyi dari lapisan perhatian.

cross_attention_dim (int) : Jumlah channel dalam encoder_hidden_states.

num_tokens (int, tuple[int] atau list[int], defaultnya (4,)) : Panjang konteks dari fitur gambar.

scale (float atau listfloat, default 1.0) : skala bobot untuk prompt gambar.

Processor perhatian untuk beberapa IP-Adapter.

diffusers.models.attention_processor.IPAdapterAttnProcessor2_0[[diffusers.models.attention_processor.IPAdapterAttnProcessor2_0]]

diffusers.models.attention_processor.IPAdapterAttnProcessor2_0(hidden_size, cross_attention_dim = None, num_tokens = (4,), scale = 1.0)

Sumber

Parameter:

hidden_size (int) : Ukuran tersembunyi dari lapisan perhatian.

cross_attention_dim (int) : Jumlah channel dalam encoder_hidden_states.

num_tokens (int, tuple[int] atau list[int], defaultnya (4,)) : Panjang konteks dari fitur gambar.

scale (float atau list[float], default 1.0) : skala bobot untuk prompt gambar.

Processor perhatian untuk IP-Adapter untuk PyTorch 2.0.

diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0[[diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0]]

diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0(hidden_size: int, ip_hidden_states_dim: int, head_dim: int, timesteps_emb_dim: int = 1280, scale: float = 0.5)

Sumber

Parameter:

hidden_size (int) : Jumlah kanal tersembunyi.

ip_hidden_states_dim (int) : Dimensi fitur gambar.

head_dim (int) : Jumlah kanal head.

timesteps_emb_dim (int, defaultnya 1280) : Jumlah saluran input untuk embedding timestep.

scale (float, default 0.5) : skala IP-Adapter.

Attention processor untuk IP-Adapter yang biasanya digunakan dalam memproses proyeksi self-attention mirip SD3, dengan informasi berbasis gambar tambahan dan timestep embeddings.

JointAttnProcessor2_0[[diffusers.models.attention_processor.JointAttnProcessor2_0]]

diffusers.models.attention_processor.JointAttnProcessor2_0[[diffusers.models.attention_processor.JointAttnProcessor2_0]]

diffusers.models.attention_processor.JointAttnProcessor2_0()

Sumber

Attention processor yang biasanya digunakan dalam memproses proyeksi self-attention yang mirip SD3.

diffusers.models.attention_processor.PAGJointAttnProcessor2_0[[diffusers.models.attention_processor.PAGJointAttnProcessor2_0]]

diffusers.models.attention_processor.PAGJointAttnProcessor2_0()

Sumber

Attention processor yang biasanya digunakan dalam memproses proyeksi self-attention yang mirip SD3.

diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0[[diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0]]

diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0()

Sumber

Attention processor yang biasanya digunakan dalam memproses proyeksi self-attention yang mirip SD3.

diffusers.models.attention_processor.FusedJointAttnProcessor2_0[[diffusers.models.attention_processor.FusedJointAttnProcessor2_0]]

diffusers.models.attention_processor.FusedJointAttnProcessor2_0()

Sumber

Attention processor yang biasanya digunakan dalam memproses proyeksi self-attention yang mirip SD3.

LoRA[[diffusers.models.attention_processor.LoRAAttnProcessor]]

diffusers.models.attention_processor.LoRAAttnProcessor[[diffusers.models.attention_processor.LoRAAttnProcessor]]

diffusers.models.attention_processor.LoRAAttnProcessor()

Sumber

Processor untuk menerapkan perhatian dengan LoRA.

diffusers.models.attention_processor.LoRAAttnProcessor2_0[[diffusers.models.attention_processor.LoRAAttnProcessor2_0]]

diffusers.models.attention_processor.LoRAAttnProcessor2_0()

Sumber

Processor untuk menerapkan perhatian dengan LoRA (diaktifkan secara default jika Anda menggunakan PyTorch 2.0).

diffusers.models.attention_processor.LoRAAttnAddedKVProcessor[[diffusers.models.attention_processor.LoRAAttnAddedKVProcessor]]

diffusers.models.attention_processor.LoRAAttnAddedKVProcessor()

Sumber

Processor untuk menerapkan perhatian dengan LoRA dengan matriks kunci dan nilai yang dapat dipelajari tambahan untuk pengkode teks.

diffusers.models.attention_processor.LoRAXFormersAttnProcessor[[diffusers.models.attention_processor.LoRAXFormersAttnProcessor]]

diffusers.models.attention_processor.LoRAXFormersAttnProcessor()

Sumber

Processor untuk menerapkan perhatian dengan LoRA menggunakan xFormers.

Lumina-T2X[[diffusers.models.attention_processor.LuminaAttnProcessor2_0]]

diffusers.models.attention_processor.LuminaAttnProcessor2_0[[diffusers.models.attention_processor.LuminaAttnProcessor2_0]]

diffusers.models.attention_processor.LuminaAttnProcessor2_0()

Sumber

Processor untuk menerapkan scaled dot-product attention (diaktifkan secara default jika Anda menggunakan PyTorch 2.0). Ini digunakan dalam model LuminaNextDiT. Menerapkan lapisan normalisasi s dan rotary embedding pada vektor query dan key.

Mochi[[diffusers.models.attention_processor.MochiAttnProcessor2_0]]

diffusers.models.attention_processor.MochiAttnProcessor2_0[[diffusers.models.attention_processor.MochiAttnProcessor2_0]]

diffusers.models.attention_processor.MochiAttnProcessor2_0()

Sumber

Attention processor yang digunakan dalam Mochi.

diffusers.models.attention_processor.MochiVaeAttnProcessor2_0[[diffusers.models.attention_processor.MochiVaeAttnProcessor2_0]]

diffusers.models.attention_processor.MochiVaeAttnProcessor2_0()

Sumber

Attention processor yang digunakan dalam Mochi VAE.

Sana[[diffusers.models.attention_processor.SanaLinearAttnProcessor2_0]]

diffusers.models.attention_processor.SanaLinearAttnProcessor2_0[[diffusers.models.attention_processor.SanaLinearAttnProcessor2_0]]

diffusers.models.attention_processor.SanaLinearAttnProcessor2_0()

Sumber

Processor untuk menerapkan perhatian linear dot-product berskala.

diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0[[diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0]]

diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0()

Sumber

Processor untuk menerapkan perhatian kuadratis multiscale.

diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0[[diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0]]

diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0()

Sumber

Processor untuk menerapkan perhatian linear dot-product berskala.

diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0[[diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0]]

diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0()

Sumber

Processor untuk menerapkan perhatian linear dot-product berskala.

Stable Audio[[diffusers.models.attention_processor.StableAudioAttnProcessor2_0]]

diffusers.models.attention_processor.StableAudioAttnProcessor2_0[[diffusers.models.attention_processor.StableAudioAttnProcessor2_0]]

diffusers.models.attention_processor.StableAudioAttnProcessor2_0()

Sumber

Processor untuk menerapkan scaled dot-product attention (diaktifkan secara default jika Anda menggunakan PyTorch 2.0). Ini digunakan dalam model Stable Audio. Menerapkan rotary embedding pada vektor query dan key, serta memungkinkan MHA, GQA, atau MQA.

SlicedAttnProcessor[[diffusers.models.attention_processor.SlicedAttnProcessor]]

diffusers.models.attention_processor.SlicedAttnProcessor[[diffusers.models.attention_processor.SlicedAttnProcessor]]

diffusers.models.attention_processor.SlicedAttnProcessor(slice_size: int)

Sumber

Parameter:

slice_size (int, opsional) : Jumlah langkah untuk menghitung perhatian. Menggunakan sebanyak attention_head_dim // slice_size irisan, dan attention_head_dim harus merupakan kelipatan dari slice_size.

Processor untuk menerapkan sliced attention.

diffusers.models.attention_processor.SlicedAttnAddedKVProcessor[[diffusers.models.attention_processor.SlicedAttnAddedKVProcessor]]

diffusers.models.attention_processor.SlicedAttnAddedKVProcessor(slice_size)

Sumber

Parameter:

Processor untuk menerapkan sliced attention dengan matriks key dan value yang dapat dipelajari tambahan untuk text encoder.

XFormersAttnProcessor[[diffusers.models.attention_processor.XFormersAttnProcessor]]

diffusers.models.attention_processor.XFormersAttnProcessor[[diffusers.models.attention_processor.XFormersAttnProcessor]]

diffusers.models.attention_processor.XFormersAttnProcessor(attention_op: Callable | None = None)

Sumber

Parameter:

Processor untuk menerapkan perhatian yang hemat memori menggunakan xFormers.

diffusers.models.attention_processor.XFormersAttnAddedKVProcessor[[diffusers.models.attention_processor.XFormersAttnAddedKVProcessor]]

diffusers.models.attention_processor.XFormersAttnAddedKVProcessor(attention_op: Callable | None = None)

Sumber

Parameter:

Processor untuk menerapkan perhatian yang hemat memori menggunakan xFormers.

XLAFlashAttnProcessor2_0[[diffusers.models.attention_processor.XLAFlashAttnProcessor2_0]]

diffusers.models.attention_processor.XLAFlashAttnProcessor2_0[[diffusers.models.attention_processor.XLAFlashAttnProcessor2_0]]

diffusers.models.attention_processor.XLAFlashAttnProcessor2_0(partition_spec: tuple[str | None, ...] | None = None)

Sumber

Processor untuk menerapkan scaled dot-product attention dengan kernel pallas flash attention jika menggunakan torch_xla.

XFormersJointAttnProcessor[[diffusers.models.attention_processor.XFormersJointAttnProcessor]]

diffusers.models.attention_processor.XFormersJointAttnProcessor[[diffusers.models.attention_processor.XFormersJointAttnProcessor]]

diffusers.models.attention_processor.XFormersJointAttnProcessor(attention_op: Callable | None = None)

Sumber

Parameter:

Processor untuk menerapkan perhatian yang hemat memori menggunakan xFormers.

IPAdapterXFormersAttnProcessor[[diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor]]

diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor[[diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor]]

diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor(hidden_size, cross_attention_dim = None, num_tokens = (4,), scale = 1.0, attention_op: Callable | None = None)

Sumber

Parameter:

hidden_size (int) : Ukuran tersembunyi dari lapisan perhatian.

cross_attention_dim (int) : Jumlah channel dalam encoder_hidden_states.

num_tokens (int, tuple[int] atau list[int], defaultnya (4,)) : Panjang konteks dari fitur gambar.

scale (float atau list[float], default 1.0) : skala bobot untuk prompt gambar.

Processor perhatian untuk IP-Adapter menggunakan xFormers.

FluxIPAdapterJointAttnProcessor2_0[[diffusers.models.attention_processor.FluxIPAdapterJointAttnProcessor2_0]]

diffusers.models.attention_processor.FluxIPAdapterJointAttnProcessor2_0[[diffusers.models.attention_processor.FluxIPAdapterJointAttnProcessor2_0]]

diffusers.models.attention_processor.FluxIPAdapterJointAttnProcessor2_0(*args, **kwargs)

Sumber

XLAFluxFlashAttnProcessor2_0[[diffusers.models.attention_processor.XLAFluxFlashAttnProcessor2_0]]

diffusers.models.attention_processor.XLAFluxFlashAttnProcessor2_0[[diffusers.models.attention_processor.XLAFluxFlashAttnProcessor2_0]]

diffusers.models.attention_processor.XLAFluxFlashAttnProcessor2_0(*args, **kwargs)

Sumber

Processor untuk menerapkan scaled dot-product attention dengan kernel pallas flash attention jika menggunakan torch_xla.

Xet Storage Details

Size:: 32.9 kB
Xet hash:: a8c462184ebca94f219d1e8c9ad82493aec6be31f392fb2736e4482f8b54e429

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.