diffusers/main/vi/api/attnprocessor.md

Bộ xử lý chú ý

Attention processor là một lớp để áp dụng các loại cơ chế chú ý khác nhau.

AttnProcessor[[diffusers.models.attention_processor.AttnProcessor]]

diffusers.models.attention_processor.AttnProcessor[[diffusers.models.attention_processor.AttnProcessor]]

diffusers.models.attention_processor.AttnProcessor()

Nguồn

Bộ xử lý mặc định để thực hiện các phép tính liên quan đến chú ý.

diffusers.models.attention_processor.AttnProcessor2_0[[diffusers.models.attention_processor.AttnProcessor2_0]]

diffusers.models.attention_processor.AttnProcessor2_0()

Nguồn

Bộ xử lý để triển khai chú ý tích vô hướng có tỷ lệ (được bật theo mặc định nếu bạn đang sử dụng PyTorch 2.0).

diffusers.models.attention_processor.AttnAddedKVProcessor[[diffusers.models.attention_processor.AttnAddedKVProcessor]]

diffusers.models.attention_processor.AttnAddedKVProcessor()

Nguồn

Bộ xử lý để thực hiện các phép tính liên quan đến chú ý với các ma trận khóa và giá trị có thể học thêm cho bộ mã hóa văn bản.

diffusers.models.attention_processor.AttnAddedKVProcessor2_0[[diffusers.models.attention_processor.AttnAddedKVProcessor2_0]]

diffusers.models.attention_processor.AttnAddedKVProcessor2_0()

Nguồn

Bộ xử lý để thực hiện chú ý tích vô hướng có tỷ lệ (được bật theo mặc định nếu bạn đang sử dụng PyTorch 2.0), với các ma trận khóa và giá trị có thể học thêm cho bộ mã hóa văn bản.

diffusers.models.attention_processor.AttnProcessorNPU[[diffusers.models.attention_processor.AttnProcessorNPU]]

diffusers.models.attention_processor.AttnProcessorNPU()

Nguồn

Bộ xử lý để triển khai flash attention sử dụng torch_npu. Torch_npu chỉ hỗ trợ các kiểu dữ liệu fp16 và bf16. Nếu sử dụng fp32, F.scaled_dot_product_attention sẽ được dùng để tính toán, nhưng hiệu quả tăng tốc trên NPU không đáng kể.

diffusers.models.attention_processor.FusedAttnProcessor2_0[[diffusers.models.attention_processor.FusedAttnProcessor2_0]]

diffusers.models.attention_processor.FusedAttnProcessor2_0()

Nguồn

Bộ xử lý để triển khai chú ý tích cóp có tỷ lệ (được bật mặc định nếu bạn đang sử dụng PyTorch 2.0). Nó sử dụng các lớp chiếu hợp nhất. Đối với các mô-đun tự chú ý, tất cả các ma trận chiếu (tức là truy vấn, khóa, giá trị) đều được hợp nhất. Đối với các mô-đun chú ý chéo, các ma trận chiếu khóa và giá trị được hợp nhất.

> API này hiện tại mang tính chất 🧪 thử nghiệm và có thể thay đổi trong tương lai.

Allegro[[diffusers.models.attention_processor.AllegroAttnProcessor2_0]]

diffusers.models.attention_processor.AllegroAttnProcessor2_0[[diffusers.models.attention_processor.AllegroAttnProcessor2_0]]

diffusers.models.attention_processor.AllegroAttnProcessor2_0()

Nguồn

Bộ xử lý để triển khai chú ý tích vô hướng có tỷ lệ (được bật mặc định nếu bạn đang sử dụng PyTorch 2.0). Nó được sử dụng trong mô hình Allegro. Nó áp dụng một lớp chuẩn hóa và nhúng quay (rotary embedding) lên vector truy vấn và khóa.

AuraFlow[[diffusers.models.attention_processor.AuraFlowAttnProcessor2_0]]

diffusers.models.attention_processor.AuraFlowAttnProcessor2_0[[diffusers.models.attention_processor.AuraFlowAttnProcessor2_0]]

diffusers.models.attention_processor.AuraFlowAttnProcessor2_0()

Nguồn

Bộ xử lý chú ý thường được sử dụng trong quá trình xử lý Aura Flow.

diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0[[diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0]]

diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0()

Nguồn

Bộ xử lý chú ý thường được sử dụng trong xử lý Aura Flow với các phép chiếu đã hợp nhất.

CogVideoX[[diffusers.models.attention_processor.CogVideoXAttnProcessor2_0]]

diffusers.models.attention_processor.CogVideoXAttnProcessor2_0[[diffusers.models.attention_processor.CogVideoXAttnProcessor2_0]]

diffusers.models.attention_processor.CogVideoXAttnProcessor2_0()

Nguồn

Bộ xử lý để triển khai chú ý tích vô hướng có tỷ lệ cho mô hình CogVideoX. Nó áp dụng nhúng quay (rotary embedding) lên các vector truy vấn và khóa, nhưng không bao gồm chuẩn hóa không gian.

diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0[[diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0]]

diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0()

Nguồn

Bộ xử lý để triển khai chú ý tích vô hướng có tỷ lệ cho mô hình CogVideoX. Nó áp dụng nhúng quay (rotary embedding) lên các vector truy vấn và khóa, nhưng không bao gồm chuẩn hóa không gian.

DreamLite[[diffusers.models.unets.unet_dreamlite.DreamLiteAttnProcessor2_0]]

diffusers.models.unets.unet_dreamlite.DreamLiteAttnProcessor2_0[[diffusers.models.unets.unet_dreamlite.DreamLiteAttnProcessor2_0]]

diffusers.models.unets.unet_dreamlite.DreamLiteAttnProcessor2_0()

Nguồn

Bộ xử lý để triển khai chú ý tích cóp có tỷ lệ (scaled dot-product attention) với hỗ trợ Chú vấn truy vấn nhóm (Grouped Query Attention (GQA / MQA)).

Giống hệt AttnProcessor2_0 ngoại trừ nhánh reshape key/value xử lý chính xác trường hợp attn.kv_heads != attn.heads bằng cách reshape K/V thành kv_heads rồi repeat_interleave chúng lên đến attn.heads. Điều này là bắt buộc đối với DreamLite UNet, kết hợp GQA với qk_norm — một tổ hợp mà AttnProcessor2_0 mặc định không xử lý. SDPA được ủy quyền cho dispatch_attention_fn để có thể sử dụng bất kỳ backend attention nào của diffusers (native PyTorch SDPA, FlashAttention, v.v.).

Custom Diffusion[[diffusers.models.attention_processor.CustomDiffusionAttnProcessor]]

diffusers.models.attention_processor.CustomDiffusionAttnProcessor[[diffusers.models.attention_processor.CustomDiffusionAttnProcessor]]

diffusers.models.attention_processor.CustomDiffusionAttnProcessor(train_kv: bool = True, train_q_out: bool = True, hidden_size: int | None = None, cross_attention_dim: int | None = None, out_bias: bool = True, dropout: float = 0.0)

Nguồn

Tham số:

train_kv (bool, mặc định là True) : Có huấn luyện mới các ma trận key và value tương ứng với các đặc trưng văn bản hay không.

train_q_out (bool, mặc định là True) : Có huấn luyện mới các ma trận truy vấn tương ứng với các đặc trưng ảnh tiềm ẩn hay không.

hidden_size (int, tùy chọn, mặc định là None) : Kích thước ẩn của lớp chú ý.

cross_attention_dim (int, tùy chọn, mặc định là None) : Số lượng kênh trong encoder_hidden_states.

out_bias (bool, mặc định là True) : Có bao gồm tham số bias trong train_q_out hay không.

dropout (float, tuỳ chọn, mặc định là 0.0) : Xác suất dropout cần sử dụng.

Bộ xử lý để triển khai chú ý cho phương pháp Custom Diffusion.

diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0[[diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0]]

diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0(train_kv: bool = True, train_q_out: bool = True, hidden_size: int | None = None, cross_attention_dim: int | None = None, out_bias: bool = True, dropout: float = 0.0)

Nguồn

Tham số:

train_kv (bool, mặc định là True) : Có huấn luyện mới các ma trận key và value tương ứng với các đặc trưng văn bản hay không.

train_q_out (bool, mặc định là True) : Có huấn luyện mới các ma trận truy vấn tương ứng với các đặc trưng ảnh tiềm ẩn hay không.

hidden_size (int, tùy chọn, mặc định là None) : Kích thước ẩn của lớp chú ý.

cross_attention_dim (int, tùy chọn, mặc định là None) : Số lượng kênh trong encoder_hidden_states.

out_bias (bool, mặc định là True) : Có bao gồm tham số bias trong train_q_out hay không.

dropout (float, tuỳ chọn, mặc định là 0.0) : Xác suất dropout cần sử dụng.

Bộ xử lý để triển khai chú ý (attention) cho phương pháp Custom Diffusion bằng cách sử dụng chú ý tích chập có điểm chuẩn hiệu quả về bộ nhớ của PyTorch 2.0.

diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor[[diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor]]

diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor(train_kv: bool = True, train_q_out: bool = False, hidden_size: int | None = None, cross_attention_dim: int | None = None, out_bias: bool = True, dropout: float = 0.0, attention_op: Callable | None = None)

Nguồn

Tham số:

train_kv (bool, mặc định là True) : Có huấn luyện mới các ma trận key và value tương ứng với các đặc trưng văn bản hay không.

train_q_out (bool, mặc định là True) : Có huấn luyện mới các ma trận truy vấn tương ứng với các đặc trưng ảnh tiềm ẩn hay không.

hidden_size (int, tùy chọn, mặc định là None) : Kích thước ẩn của lớp chú ý.

cross_attention_dim (int, tùy chọn, mặc định là None) : Số lượng kênh trong encoder_hidden_states.

out_bias (bool, mặc định là True) : Có bao gồm tham số bias trong train_q_out hay không.

dropout (float, tuỳ chọn, mặc định là 0.0) : Xác suất dropout cần sử dụng.

attention_op (Callable, tùy chọn, mặc định là None) : operator cơ bản được sử dụng làm operator cho attention. Khuyến nghị đặt thành None và để xFormers tự chọn operator tối ưu nhất.

Bộ xử lý để triển khai chú ý hiệu quả bộ nhớ sử dụng xFormers cho phương pháp Custom Diffusion.

Flux[[diffusers.models.attention_processor.FluxAttnProcessor2_0]]

diffusers.models.attention_processor.FluxAttnProcessor2_0[[diffusers.models.attention_processor.FluxAttnProcessor2_0]]

diffusers.models.attention_processor.FluxAttnProcessor2_0(*args, **kwargs)

Nguồn

diffusers.models.attention_processor.FusedFluxAttnProcessor2_0[[diffusers.models.attention_processor.FusedFluxAttnProcessor2_0]]

diffusers.models.attention_processor.FusedFluxAttnProcessor2_0(*args, **kwargs)

Nguồn

diffusers.models.attention_processor.FluxSingleAttnProcessor2_0[[diffusers.models.attention_processor.FluxSingleAttnProcessor2_0]]

diffusers.models.attention_processor.FluxSingleAttnProcessor2_0(*args, **kwargs)

Nguồn

Bộ xử lý để triển khai chú ý tích vô hướng có tỷ lệ (được bật theo mặc định nếu bạn đang sử dụng PyTorch 2.0).

Hunyuan[[diffusers.models.attention_processor.HunyuanAttnProcessor2_0]]

diffusers.models.attention_processor.HunyuanAttnProcessor2_0[[diffusers.models.attention_processor.HunyuanAttnProcessor2_0]]

diffusers.models.attention_processor.HunyuanAttnProcessor2_0()

Nguồn

Bộ xử lý để triển khai chú ý tích vô hướng có tỷ lệ (được bật mặc định nếu bạn đang sử dụng PyTorch 2.0). Nó được sử dụng trong mô hình HunyuanDiT. Nó áp dụng một lớp chuẩn hóa s và nhúng quay (rotary embedding) lên vector truy vấn và khóa.

diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0[[diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0]]

diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0()

Nguồn

Bộ xử lý để triển khai chú ý tích vô hướng có tỷ lệ (được bật mặc định nếu bạn đang sử dụng PyTorch 2.0) với các lớp chiếu đã hợp nhất. Thành phần này được sử dụng trong mô hình HunyuanDiT. Nó áp dụng một lớp chuẩn hóa s và nhúng quay (rotary embedding) lên vector truy vấn và vector khóa.

diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0[[diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0]]

diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0()

Nguồn

Bộ xử lý để triển khai chú ý tích vô hướng có tỷ lệ (được bật mặc định nếu bạn đang sử dụng PyTorch 2.0). Nó được sử dụng trong mô hình HunyuanDiT. Nó áp dụng một lớp chuẩn hóa và nhúng quay (rotary embedding) lên vector truy vấn và khóa. Biến thể của bộ xử lý này sử dụng Pertubed Attention Guidance.

diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0[[diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0]]

diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0()

Nguồn

Bộ xử lý để triển khai chú ý tích vô hướng có tỷ lệ (được bật mặc định nếu bạn đang sử dụng PyTorch 2.0). Nó được sử dụng trong mô hình HunyuanDiT. Nó áp dụng một lớp chuẩn hóa và nhúng quay (rotary embedding) lên vector truy vấn và khóa. Biến thể của bộ xử lý này sử dụng Pertubed Attention Guidance.

IdentitySelfAttnProcessor2_0[[diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0]]

diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0[[diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0]]

diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0()

Nguồn

Bộ xử lý để triển khai PAG bằng cách sử dụng chú ý tích vô hướng có tỷ lệ (được bật theo mặc định nếu bạn đang sử dụng PyTorch 2.0). Tham chiếu PAG: https://huggingface.co/papers/2403.17377

diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0[[diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0]]

diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0()

Nguồn

Bộ xử lý để triển khai PAG bằng cách sử dụng chú ý tích vô hướng có tỷ lệ (được bật theo mặc định nếu bạn đang sử dụng PyTorch 2.0). Tham chiếu PAG: https://huggingface.co/papers/2403.17377

IP-Adapter[[diffusers.models.attention_processor.IPAdapterAttnProcessor]]

diffusers.models.attention_processor.IPAdapterAttnProcessor[[diffusers.models.attention_processor.IPAdapterAttnProcessor]]

diffusers.models.attention_processor.IPAdapterAttnProcessor(hidden_size, cross_attention_dim = None, num_tokens = (4,), scale = 1.0)

Nguồn

Tham số:

hidden_size (int) : Kích thước ẩn của lớp chú ý.

cross_attention_dim (int) : Số lượng kênh trong encoder_hidden_states.

num_tokens (int, tuple[int] hoặc list[int], mặc định là (4,)) : Độ dài ngữ cảnh của các đặc trưng hình ảnh.

scale (float hoặc listfloat, mặc định là 1.0) : hệ số trọng số của image prompt.

Bộ xử lý chú ý cho nhiều IP-Adapter.

diffusers.models.attention_processor.IPAdapterAttnProcessor2_0[[diffusers.models.attention_processor.IPAdapterAttnProcessor2_0]]

diffusers.models.attention_processor.IPAdapterAttnProcessor2_0(hidden_size, cross_attention_dim = None, num_tokens = (4,), scale = 1.0)

Nguồn

Tham số:

hidden_size (int) : Kích thước ẩn của lớp chú ý.

cross_attention_dim (int) : Số lượng kênh trong encoder_hidden_states.

num_tokens (int, tuple[int] hoặc list[int], mặc định là (4,)) : Độ dài ngữ cảnh của các đặc trưng hình ảnh.

scale (float hoặc list[float], mặc định là 1.0) : hệ số trọng số của image prompt.

Bộ xử lý chú ý cho IP-Adapter cho PyTorch 2.0.

diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0[[diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0]]

diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0(hidden_size: int, ip_hidden_states_dim: int, head_dim: int, timesteps_emb_dim: int = 1280, scale: float = 0.5)

Nguồn

Tham số:

hidden_size (int) : Số lượng kênh ẩn.

ip_hidden_states_dim (int) : Kích thước chiều đặc trưng của ảnh.

head_dim (int) : Số lượng kênh đầu.

timesteps_emb_dim (int, mặc định là 1280) : Số lượng kênh đầu vào cho nhúng bước thời gian (timestep embedding).

scale (float, mặc định là 0.5) : Thang IP-Adapter.

Bộ xử lý chú ý cho IP-Adapter, thường được sử dụng trong việc xử lý các phép chiếu tự chú ý kiểu SD3, với thông tin dựa trên hình ảnh bổ sung và nhúng bước thời gian.

JointAttnProcessor2_0[[diffusers.models.attention_processor.JointAttnProcessor2_0]]

diffusers.models.attention_processor.JointAttnProcessor2_0[[diffusers.models.attention_processor.JointAttnProcessor2_0]]

diffusers.models.attention_processor.JointAttnProcessor2_0()

Nguồn

Bộ xử lý chú ý thường được sử dụng trong việc xử lý các phép chiếu tự chú ý kiểu SD3.

diffusers.models.attention_processor.PAGJointAttnProcessor2_0[[diffusers.models.attention_processor.PAGJointAttnProcessor2_0]]

diffusers.models.attention_processor.PAGJointAttnProcessor2_0()

Nguồn

Bộ xử lý chú ý thường được sử dụng trong việc xử lý các phép chiếu tự chú ý kiểu SD3.

diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0[[diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0]]

diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0()

Nguồn

Bộ xử lý chú ý thường được sử dụng trong việc xử lý các phép chiếu tự chú ý kiểu SD3.

diffusers.models.attention_processor.FusedJointAttnProcessor2_0[[diffusers.models.attention_processor.FusedJointAttnProcessor2_0]]

diffusers.models.attention_processor.FusedJointAttnProcessor2_0()

Nguồn

Bộ xử lý chú ý thường được sử dụng trong việc xử lý các phép chiếu tự chú ý kiểu SD3.

LoRA[[diffusers.models.attention_processor.LoRAAttnProcessor]]

diffusers.models.attention_processor.LoRAAttnProcessor[[diffusers.models.attention_processor.LoRAAttnProcessor]]

diffusers.models.attention_processor.LoRAAttnProcessor()

Nguồn

Bộ xử lý để triển khai chú ý với LoRA.

diffusers.models.attention_processor.LoRAAttnProcessor2_0[[diffusers.models.attention_processor.LoRAAttnProcessor2_0]]

diffusers.models.attention_processor.LoRAAttnProcessor2_0()

Nguồn

Bộ xử lý để triển khai attention với LoRA (được bật mặc định nếu bạn đang sử dụng PyTorch 2.0).

diffusers.models.attention_processor.LoRAAttnAddedKVProcessor[[diffusers.models.attention_processor.LoRAAttnAddedKVProcessor]]

diffusers.models.attention_processor.LoRAAttnAddedKVProcessor()

Nguồn

Bộ xử lý để triển khai chú ý với LoRA kèm theo các ma trận khóa và giá trị có thể học bổ sung cho bộ mã hóa văn bản.

diffusers.models.attention_processor.LoRAXFormersAttnProcessor[[diffusers.models.attention_processor.LoRAXFormersAttnProcessor]]

diffusers.models.attention_processor.LoRAXFormersAttnProcessor()

Nguồn

Bộ xử lý để triển khai chú ý với LoRA sử dụng xFormers.

Lumina-T2X[[diffusers.models.attention_processor.LuminaAttnProcessor2_0]]

diffusers.models.attention_processor.LuminaAttnProcessor2_0[[diffusers.models.attention_processor.LuminaAttnProcessor2_0]]

diffusers.models.attention_processor.LuminaAttnProcessor2_0()

Nguồn

Bộ xử lý để triển khai chú ý tích vô hướng có tỷ lệ (được bật mặc định nếu bạn đang sử dụng PyTorch 2.0). Nó được sử dụng trong mô hình LuminaNextDiT. Nó áp dụng một lớp chuẩn hóa s và nhúng quay (rotary embedding) lên vector truy vấn và khóa.

Mochi[[diffusers.models.attention_processor.MochiAttnProcessor2_0]]

diffusers.models.attention_processor.MochiAttnProcessor2_0[[diffusers.models.attention_processor.MochiAttnProcessor2_0]]

diffusers.models.attention_processor.MochiAttnProcessor2_0()

Nguồn

Bộ xử lý chú ý được sử dụng trong Mochi.

diffusers.models.attention_processor.MochiVaeAttnProcessor2_0[[diffusers.models.attention_processor.MochiVaeAttnProcessor2_0]]

diffusers.models.attention_processor.MochiVaeAttnProcessor2_0()

Nguồn

Bộ xử lý chú ý được sử dụng trong Mochi VAE.

Sana[[diffusers.models.attention_processor.SanaLinearAttnProcessor2_0]]

diffusers.models.attention_processor.SanaLinearAttnProcessor2_0[[diffusers.models.attention_processor.SanaLinearAttnProcessor2_0]]

diffusers.models.attention_processor.SanaLinearAttnProcessor2_0()

Nguồn

Bộ xử lý để triển khai chú ý tuyến tính tích vô hướng có tỷ lệ.

diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0[[diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0]]

diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0()

Nguồn

Bộ xử lý để triển khai chú ý bậc hai đa tỷ lệ.

diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0[[diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0]]

diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0()

Nguồn

Bộ xử lý để triển khai chú ý tuyến tính tích vô hướng có tỷ lệ.

diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0[[diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0]]

diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0()

Nguồn

Bộ xử lý để triển khai chú ý tuyến tính tích vô hướng có tỷ lệ.

Stable Audio[[diffusers.models.attention_processor.StableAudioAttnProcessor2_0]]

diffusers.models.attention_processor.StableAudioAttnProcessor2_0[[diffusers.models.attention_processor.StableAudioAttnProcessor2_0]]

diffusers.models.attention_processor.StableAudioAttnProcessor2_0()

Nguồn

Bộ xử lý để triển khai chú ý tích vô hướng có tỷ lệ (được bật mặc định nếu bạn đang sử dụng PyTorch 2.0). Nó được sử dụng trong mô hình Stable Audio. Nó áp dụng nhúng quay (rotary embedding) lên vector truy vấn và khóa, và cho phép MHA, GQA hoặc MQA.

SlicedAttnProcessor[[diffusers.models.attention_processor.SlicedAttnProcessor]]

diffusers.models.attention_processor.SlicedAttnProcessor[[diffusers.models.attention_processor.SlicedAttnProcessor]]

diffusers.models.attention_processor.SlicedAttnProcessor(slice_size: int)

Nguồn

Tham số:

slice_size (int, optional) : Số bước để tính attention. Sử dụng nhiều lát cắt bằng attention_head_dim // slice_size, và attention_head_dim phải là bội số của slice_size.

Bộ xử lý để triển khai chú ý phân lát.

diffusers.models.attention_processor.SlicedAttnAddedKVProcessor[[diffusers.models.attention_processor.SlicedAttnAddedKVProcessor]]

diffusers.models.attention_processor.SlicedAttnAddedKVProcessor(slice_size)

Nguồn

Tham số:

slice_size (int, optional) : Số bước để tính attention. Sử dụng nhiều lát cắt bằng attention_head_dim // slice_size, và attention_head_dim phải là bội số của slice_size.

Bộ xử lý để triển khai chú ý lát cắt với các ma trận khóa và giá trị học được bổ sung cho bộ mã hóa văn bản.

XFormersAttnProcessor[[diffusers.models.attention_processor.XFormersAttnProcessor]]

diffusers.models.attention_processor.XFormersAttnProcessor[[diffusers.models.attention_processor.XFormersAttnProcessor]]

diffusers.models.attention_processor.XFormersAttnProcessor(attention_op: Callable | None = None)

Nguồn

Tham số:

attention_op (Callable, tùy chọn, mặc định là None) : operator cơ bản được sử dụng làm operator cho attention. Khuyến nghị đặt thành None và để xFormers tự chọn operator tối ưu nhất.

Bộ xử lý để triển khai chú ý tiết kiệm bộ nhớ bằng xFormers.

diffusers.models.attention_processor.XFormersAttnAddedKVProcessor[[diffusers.models.attention_processor.XFormersAttnAddedKVProcessor]]

diffusers.models.attention_processor.XFormersAttnAddedKVProcessor(attention_op: Callable | None = None)

Nguồn

Tham số:

attention_op (Callable, tùy chọn, mặc định là None) : operator cơ bản được sử dụng làm operator cho attention. Khuyến nghị đặt thành None và để xFormers tự chọn operator tối ưu nhất.

Bộ xử lý để triển khai chú ý tiết kiệm bộ nhớ bằng xFormers.

XLAFlashAttnProcessor2_0[[diffusers.models.attention_processor.XLAFlashAttnProcessor2_0]]

diffusers.models.attention_processor.XLAFlashAttnProcessor2_0[[diffusers.models.attention_processor.XLAFlashAttnProcessor2_0]]

diffusers.models.attention_processor.XLAFlashAttnProcessor2_0(partition_spec: tuple[str | None, ...] | None = None)

Nguồn

Bộ xử lý để triển khai chú ý tích cóp có tỷ lệ với kernel flash attention pallas nếu đang sử dụng torch_xla.

XFormersJointAttnProcessor[[diffusers.models.attention_processor.XFormersJointAttnProcessor]]

diffusers.models.attention_processor.XFormersJointAttnProcessor[[diffusers.models.attention_processor.XFormersJointAttnProcessor]]

diffusers.models.attention_processor.XFormersJointAttnProcessor(attention_op: Callable | None = None)

Nguồn

Tham số:

attention_op (Callable, tùy chọn, mặc định là None) : operator cơ bản được sử dụng làm operator cho attention. Khuyến nghị đặt thành None và để xFormers tự chọn operator tối ưu nhất.

Bộ xử lý để triển khai chú ý tiết kiệm bộ nhớ bằng xFormers.

IPAdapterXFormersAttnProcessor[[diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor]]

diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor[[diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor]]

diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor(hidden_size, cross_attention_dim = None, num_tokens = (4,), scale = 1.0, attention_op: Callable | None = None)

Nguồn

Tham số:

hidden_size (int) : Kích thước ẩn của lớp chú ý.

cross_attention_dim (int) : Số lượng kênh trong encoder_hidden_states.

num_tokens (int, tuple[int] hoặc list[int], mặc định là (4,)) : Độ dài ngữ cảnh của các đặc trưng hình ảnh.

scale (float hoặc list[float], mặc định là 1.0) : hệ số trọng số của image prompt.

attention_op (Callable, tùy chọn, mặc định là None) : operator cơ bản được sử dụng làm operator cho attention. Khuyến nghị đặt thành None và để xFormers tự chọn operator tối ưu nhất.

Bộ xử lý chú ý cho IP-Adapter sử dụng xFormers.

FluxIPAdapterJointAttnProcessor2_0[[diffusers.models.attention_processor.FluxIPAdapterJointAttnProcessor2_0]]

diffusers.models.attention_processor.FluxIPAdapterJointAttnProcessor2_0[[diffusers.models.attention_processor.FluxIPAdapterJointAttnProcessor2_0]]

diffusers.models.attention_processor.FluxIPAdapterJointAttnProcessor2_0(*args, **kwargs)

Nguồn

XLAFluxFlashAttnProcessor2_0[[diffusers.models.attention_processor.XLAFluxFlashAttnProcessor2_0]]

diffusers.models.attention_processor.XLAFluxFlashAttnProcessor2_0[[diffusers.models.attention_processor.XLAFluxFlashAttnProcessor2_0]]

diffusers.models.attention_processor.XLAFluxFlashAttnProcessor2_0(*args, **kwargs)

Nguồn

Bộ xử lý để triển khai chú ý tích cóp có tỷ lệ với kernel flash attention pallas nếu đang sử dụng torch_xla.