diffusers/main/ja/api/attnprocessor.md

アテンションプロセッサ

Attention processorは、異なるタイプのattentionメカニズムを適用するためのクラスです。

AttnProcessor[[diffusers.models.attention_processor.AttnProcessor]]

diffusers.models.attention_processor.AttnProcessor[[diffusers.models.attention_processor.AttnProcessor]]

diffusers.models.attention_processor.AttnProcessor()

ソース

注意関連の計算を実行するためのデフォルトのプロセッサ。

diffusers.models.attention_processor.AttnProcessor2_0[[diffusers.models.attention_processor.AttnProcessor2_0]]

diffusers.models.attention_processor.AttnProcessor2_0()

ソース

スケーリングドット積アテンションを実装するためのプロセッサ（PyTorch 2.0 を使用している場合、デフォルトで有効になります）。

diffusers.models.attention_processor.AttnAddedKVProcessor[[diffusers.models.attention_processor.AttnAddedKVProcessor]]

diffusers.models.attention_processor.AttnAddedKVProcessor()

ソース

テキストエンコーダー用の、追加の学習可能なキー行列とバリュー行列を用いてアテンション関連の計算を実行するProcessorです。

diffusers.models.attention_processor.AttnAddedKVProcessor2_0[[diffusers.models.attention_processor.AttnAddedKVProcessor2_0]]

diffusers.models.attention_processor.AttnAddedKVProcessor2_0()

ソース

スケーリングドット積アテンションを実行するためのプロセッサ（PyTorch 2.0 を使用している場合はデフォルトで有効化されます）。テキストエンコーダー用の追加の学習可能なキー行列とバリュー行列を備えています。

diffusers.models.attention_processor.AttnProcessorNPU[[diffusers.models.attention_processor.AttnProcessorNPU]]

diffusers.models.attention_processor.AttnProcessorNPU()

ソース

torch_npu を使用してフラッシュアテンションを実装するためのプロセッサです。Torch_npu は fp16 と bf16 のデータ型のみをサポートしています。fp32 を使用すると F.scaled_dot_product_attention が計算に使用されますが、NPU における高速化効果は顕著ではありません。

diffusers.models.attention_processor.FusedAttnProcessor2_0[[diffusers.models.attention_processor.FusedAttnProcessor2_0]]

diffusers.models.attention_processor.FusedAttnProcessor2_0()

ソース

スケーリングドット積アテンションを実装するためのプロセッサです（PyTorch 2.0 を使用している場合はデフォルトで有効になります）。フュージョンされた投影層を使用します。自己アテンションモジュールでは、すべての投影行列（つまり、クエリ、キー、バリュー）がフュージョンされます。クロスアテンションモジュールでは、キーとバリューの投影行列がフュージョンされます。

> このAPIは現在🧪実験的な性質を有しており、将来変更される可能性があります。

Allegro[[diffusers.models.attention_processor.AllegroAttnProcessor2_0]]

diffusers.models.attention_processor.AllegroAttnProcessor2_0[[diffusers.models.attention_processor.AllegroAttnProcessor2_0]]

diffusers.models.attention_processor.AllegroAttnProcessor2_0()

ソース

スケーリングドット積アテンションを実装するためのプロセッサです（PyTorch 2.0 を使用している場合はデフォルトで有効になります）。これは Allegro モデルで使用されます。クエリベクトルとキーベクトルに対して、正規化レイヤーとロータリー埋め込みを適用します。

AuraFlow[[diffusers.models.attention_processor.AuraFlowAttnProcessor2_0]]

diffusers.models.attention_processor.AuraFlowAttnProcessor2_0[[diffusers.models.attention_processor.AuraFlowAttnProcessor2_0]]

diffusers.models.attention_processor.AuraFlowAttnProcessor2_0()

ソース

Aura Flowの処理で通常使用されるAttentionプロセッサ。

diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0[[diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0]]

diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0()

ソース

Attention processorは、通常、融合投影（fused projections）を伴うAura Flowの処理で使用されます。

CogVideoX[[diffusers.models.attention_processor.CogVideoXAttnProcessor2_0]]

diffusers.models.attention_processor.CogVideoXAttnProcessor2_0[[diffusers.models.attention_processor.CogVideoXAttnProcessor2_0]]

diffusers.models.attention_processor.CogVideoXAttnProcessor2_0()

ソース

CogVideoXモデルのスケーリングドット積アテンションを実装するためのProcessorです。クエリベクトルとキーベクトルにロータリー埋め込みを適用しますが、空間正規化は含まれません。

diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0[[diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0]]

diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0()

ソース

CogVideoXモデルのスケーリングドット積アテンションを実装するためのProcessorです。クエリベクトルとキーベクトルにロータリー埋め込みを適用しますが、空間正規化は含まれません。

DreamLite[[diffusers.models.unets.unet_dreamlite.DreamLiteAttnProcessor2_0]]

diffusers.models.unets.unet_dreamlite.DreamLiteAttnProcessor2_0[[diffusers.models.unets.unet_dreamlite.DreamLiteAttnProcessor2_0]]

diffusers.models.unets.unet_dreamlite.DreamLiteAttnProcessor2_0()

ソース

Grouped Query Attention (GQA / MQA) 対応のスケーリングドットプロダクトアテンションを実装するためのプロセッサ。

AttnProcessor2_0 と同一ですが、キー/バリューのリシェイプ分岐が attn.kv_heads != attn.heads を正しく処理するように修正されています。具体的には、K/V を kv_heads にリシェイプした上で、repeat_interleave を用いて attn.heads まで複製します。これは、GQA と qk_norm を組み合わせて使用する DreamLite UNet に必要であり、デフォルトの AttnProcessor2_0 ではこの組み合わせを処理できません。SDPA は dispatch_attention_fn に委譲されるため、diffusers のアテンションバックエンド（ネイティブ PyTorch SDPA、FlashAttention など）のいずれも利用できます。

Custom Diffusion[[diffusers.models.attention_processor.CustomDiffusionAttnProcessor]]

diffusers.models.attention_processor.CustomDiffusionAttnProcessor[[diffusers.models.attention_processor.CustomDiffusionAttnProcessor]]

diffusers.models.attention_processor.CustomDiffusionAttnProcessor(train_kv: bool = True, train_q_out: bool = True, hidden_size: int | None = None, cross_attention_dim: int | None = None, out_bias: bool = True, dropout: float = 0.0)

ソース

パラメータ:

train_kv (bool、デフォルトはTrue) : テキスト特徴量に対応するキー行列とバリュー行列を新規に学習するかどうかを指定します。

train_q_out (bool、デフォルトはTrue) : 潜在画像特徴に対応するクエリ行列を新規に学習するかどうかを指定します。

hidden_size (int、任意、デフォルトはNone) : attention層の隠れ層サイズです。

cross_attention_dim (int、任意、デフォルトはNone) : encoder_hidden_statesのチャネル数。

out_bias (bool、デフォルトはTrue) : train_q_outにバイアスパラメータを含めるかどうか。

dropout (float、任意、デフォルトは 0.0) : 使用する dropout の確率。

Custom Diffusion 手法でアテンションを実装するためのプロセッサ。

diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0[[diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0]]

diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0(train_kv: bool = True, train_q_out: bool = True, hidden_size: int | None = None, cross_attention_dim: int | None = None, out_bias: bool = True, dropout: float = 0.0)

ソース

パラメータ:

train_kv (bool、デフォルトはTrue) : テキスト特徴量に対応するキー行列とバリュー行列を新規に学習するかどうかを指定します。

train_q_out (bool、デフォルトはTrue) : 潜在画像特徴に対応するクエリ行列を新規に学習するかどうかを指定します。

hidden_size (int、任意、デフォルトはNone) : attention層の隠れ層サイズです。

cross_attention_dim (int、任意、デフォルトはNone) : encoder_hidden_statesのチャネル数。

out_bias (bool、デフォルトはTrue) : train_q_outにバイアスパラメータを含めるかどうか。

dropout (float、任意、デフォルトは 0.0) : 使用する dropout の確率。

PyTorch 2.0のメモリ効率の高いスケーリングドットプロダクトアテンションを用いて、Custom Diffusion手法のアテンションを実装するためのプロセッサ。

diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor[[diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor]]

diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor(train_kv: bool = True, train_q_out: bool = False, hidden_size: int | None = None, cross_attention_dim: int | None = None, out_bias: bool = True, dropout: float = 0.0, attention_op: Callable | None = None)

ソース

パラメータ:

train_kv (bool、デフォルトはTrue) : テキスト特徴量に対応するキー行列とバリュー行列を新規に学習するかどうかを指定します。

train_q_out (bool、デフォルトはTrue) : 潜在画像特徴に対応するクエリ行列を新規に学習するかどうかを指定します。

hidden_size (int、任意、デフォルトはNone) : attention層の隠れ層サイズです。

cross_attention_dim (int、任意、デフォルトはNone) : encoder_hidden_statesのチャネル数。

out_bias (bool、デフォルトはTrue) : train_q_outにバイアスパラメータを含めるかどうか。

dropout (float、任意、デフォルトは 0.0) : 使用する dropout の確率。

attention_op (Callable、任意、デフォルトはNone) : 注意機構の演算子として使用するベースのoperatorです。Noneに設定し、xFormersが最適な演算子を選択できるようにすることを推奨します。

Custom Diffusion 手法において xFormers を使用してメモリ効率の高いアテンションを実装するためのプロセッサ。

Flux[[diffusers.models.attention_processor.FluxAttnProcessor2_0]]

diffusers.models.attention_processor.FluxAttnProcessor2_0[[diffusers.models.attention_processor.FluxAttnProcessor2_0]]

diffusers.models.attention_processor.FluxAttnProcessor2_0(*args, **kwargs)

ソース

diffusers.models.attention_processor.FusedFluxAttnProcessor2_0[[diffusers.models.attention_processor.FusedFluxAttnProcessor2_0]]

diffusers.models.attention_processor.FusedFluxAttnProcessor2_0(*args, **kwargs)

ソース

diffusers.models.attention_processor.FluxSingleAttnProcessor2_0[[diffusers.models.attention_processor.FluxSingleAttnProcessor2_0]]

diffusers.models.attention_processor.FluxSingleAttnProcessor2_0(*args, **kwargs)

ソース

スケーリングドット積アテンションを実装するためのプロセッサ（PyTorch 2.0 を使用している場合、デフォルトで有効になります）。

Hunyuan[[diffusers.models.attention_processor.HunyuanAttnProcessor2_0]]

diffusers.models.attention_processor.HunyuanAttnProcessor2_0[[diffusers.models.attention_processor.HunyuanAttnProcessor2_0]]

diffusers.models.attention_processor.HunyuanAttnProcessor2_0()

ソース

PyTorch 2.0 を使用している場合、デフォルトで有効になります。HunyuanDiT モデルで使用される、スケーリングドットプロダクトアテンションを実装するためのプロセッサです。クエリベクトルとキーベクトルに s 正規化レイヤーとロータリー埋め込みを適用します。

diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0[[diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0]]

diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0()

ソース

PyTorch 2.0 を使用している場合、デフォルトで有効になります。融合された投影層を備えた、スケーリングドットプロダクトアテンションを実装するためのプロセッサです。HunyuanDiT モデルで使用されます。クエリベクトルとキーベクトルに、s 正規化層とロータリー埋め込みを適用します。

diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0[[diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0]]

diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0()

ソース

スケーリングドット積アテンションを実装するためのプロセッサです（PyTorch 2.0 を使用している場合はデフォルトで有効になります）。これは HunyuanDiT モデルで使用されます。クエリベクトルとキーベクトルに対して正規化レイヤーとロータリー埋め込みを適用します。このプロセッサのバリアントは Pertubed Attention Guidance を採用しています。

diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0[[diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0]]

diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0()

ソース

スケーリングドット積アテンションを実装するためのプロセッサです（PyTorch 2.0 を使用している場合はデフォルトで有効になります）。これは HunyuanDiT モデルで使用されます。クエリベクトルとキーベクトルに対して正規化レイヤーとロータリー埋め込みを適用します。このプロセッサのバリアントは Pertubed Attention Guidance を採用しています。

IdentitySelfAttnProcessor2_0[[diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0]]

diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0[[diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0]]

diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0()

ソース

PyTorch 2.0 を使用している場合、デフォルトで有効になります。スケーリングドットプロダクトアテンションを用いた PAG の実装を行うプロセッサです。PAG の参考資料: https://huggingface.co/papers/2403.17377

diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0[[diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0]]

diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0()

ソース

PyTorch 2.0 を使用している場合、デフォルトで有効になります。スケーリングドットプロダクトアテンションを用いた PAG の実装を行うプロセッサです。PAG の参考資料: https://huggingface.co/papers/2403.17377

IP-Adapter[[diffusers.models.attention_processor.IPAdapterAttnProcessor]]

diffusers.models.attention_processor.IPAdapterAttnProcessor[[diffusers.models.attention_processor.IPAdapterAttnProcessor]]

diffusers.models.attention_processor.IPAdapterAttnProcessor(hidden_size, cross_attention_dim = None, num_tokens = (4,), scale = 1.0)

ソース

パラメータ:

hidden_size (int) : アテンション層の隠れ層サイズ。

cross_attention_dim (int) : encoder_hidden_statesのチャネル数。

num_tokens (int、tuple[int]またはlist[int]、デフォルトは(4,)) : 画像特徴のコンテキスト長です。

scale (float または float のリスト、デフォルトは 1.0) : 画像プロンプトの重みスケール。

Multiple IP-Adapters用のAttentionプロセッサ。

diffusers.models.attention_processor.IPAdapterAttnProcessor2_0[[diffusers.models.attention_processor.IPAdapterAttnProcessor2_0]]

diffusers.models.attention_processor.IPAdapterAttnProcessor2_0(hidden_size, cross_attention_dim = None, num_tokens = (4,), scale = 1.0)

ソース

パラメータ:

hidden_size (int) : アテンション層の隠れ層サイズ。

cross_attention_dim (int) : encoder_hidden_statesのチャネル数。

num_tokens (int、tuple[int]またはlist[int]、デフォルトは(4,)) : 画像特徴のコンテキスト長です。

scale (float または list[float]、デフォルトは 1.0) : 画像プロンプトの重みスケール。

PyTorch 2.0 用の IP-Adapter 向けの Attention プロセッサ。

diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0[[diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0]]

diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0(hidden_size: int, ip_hidden_states_dim: int, head_dim: int, timesteps_emb_dim: int = 1280, scale: float = 0.5)

ソース

パラメータ:

hidden_size (int) : 隠れチャネルの数。

ip_hidden_states_dim (int) : 画像特徴の次元数。

head_dim (int) : ヘッドチャネルの数。

timesteps_emb_dim (int、デフォルトは 1280) : タイムステップ埋め込みの入力チャネル数。

scale (float、デフォルトは 0.5) : IP-Adapter のスケール。

IP-Adapterで使用されるAttentionプロセッサです。通常、SD3系の自己注意（self-attention）の射影処理に用いられ、追加の画像ベースの情報とタイムステップ埋め込みを扱います。

JointAttnProcessor2_0[[diffusers.models.attention_processor.JointAttnProcessor2_0]]

diffusers.models.attention_processor.JointAttnProcessor2_0[[diffusers.models.attention_processor.JointAttnProcessor2_0]]

diffusers.models.attention_processor.JointAttnProcessor2_0()

ソース

SD3系の自己注意投影の処理に通常使用されるAttentionプロセッサ。

diffusers.models.attention_processor.PAGJointAttnProcessor2_0[[diffusers.models.attention_processor.PAGJointAttnProcessor2_0]]

diffusers.models.attention_processor.PAGJointAttnProcessor2_0()

ソース

SD3系の自己注意投影の処理に通常使用されるAttentionプロセッサ。

diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0[[diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0]]

diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0()

ソース

SD3系の自己注意投影の処理に通常使用されるAttentionプロセッサ。

diffusers.models.attention_processor.FusedJointAttnProcessor2_0[[diffusers.models.attention_processor.FusedJointAttnProcessor2_0]]

diffusers.models.attention_processor.FusedJointAttnProcessor2_0()

ソース

SD3系の自己注意投影の処理に通常使用されるAttentionプロセッサ。

LoRA[[diffusers.models.attention_processor.LoRAAttnProcessor]]

diffusers.models.attention_processor.LoRAAttnProcessor[[diffusers.models.attention_processor.LoRAAttnProcessor]]

diffusers.models.attention_processor.LoRAAttnProcessor()

ソース

LoRAによるアテンションを実装するためのプロセッサ。

diffusers.models.attention_processor.LoRAAttnProcessor2_0[[diffusers.models.attention_processor.LoRAAttnProcessor2_0]]

diffusers.models.attention_processor.LoRAAttnProcessor2_0()

ソース

LoRA によるアテンションを実装するためのプロセッサ（PyTorch 2.0 を使用している場合、デフォルトで有効になります）。

diffusers.models.attention_processor.LoRAAttnAddedKVProcessor[[diffusers.models.attention_processor.LoRAAttnAddedKVProcessor]]

diffusers.models.attention_processor.LoRAAttnAddedKVProcessor()

ソース

テキストエンコーダー用の、追加の学習可能なキー行列とバリュー行列を備えたLoRAによるアテンションを実装するためのプロセッサ。

diffusers.models.attention_processor.LoRAXFormersAttnProcessor[[diffusers.models.attention_processor.LoRAXFormersAttnProcessor]]

diffusers.models.attention_processor.LoRAXFormersAttnProcessor()

ソース

xFormers を使用して LoRA によるアテンションを実装するためのプロセッサ。

Lumina-T2X[[diffusers.models.attention_processor.LuminaAttnProcessor2_0]]

diffusers.models.attention_processor.LuminaAttnProcessor2_0[[diffusers.models.attention_processor.LuminaAttnProcessor2_0]]

diffusers.models.attention_processor.LuminaAttnProcessor2_0()

ソース

PyTorch 2.0 を使用している場合、デフォルトで有効化される、スケーリングドット積アテンションを実装するためのプロセッサです。これは LuminaNextDiT モデルで使用されます。クエリベクトルとキーベクトルに s 正規化レイヤーとロータリー埋め込みを適用します。

Mochi[[diffusers.models.attention_processor.MochiAttnProcessor2_0]]

diffusers.models.attention_processor.MochiAttnProcessor2_0[[diffusers.models.attention_processor.MochiAttnProcessor2_0]]

diffusers.models.attention_processor.MochiAttnProcessor2_0()

ソース

Mochiで使用されるAttentionプロセッサ。

diffusers.models.attention_processor.MochiVaeAttnProcessor2_0[[diffusers.models.attention_processor.MochiVaeAttnProcessor2_0]]

diffusers.models.attention_processor.MochiVaeAttnProcessor2_0()

ソース

Mochi VAEで使用されるAttentionプロセッサ。

Sana[[diffusers.models.attention_processor.SanaLinearAttnProcessor2_0]]

diffusers.models.attention_processor.SanaLinearAttnProcessor2_0[[diffusers.models.attention_processor.SanaLinearAttnProcessor2_0]]

diffusers.models.attention_processor.SanaLinearAttnProcessor2_0()

ソース

スケーリングドット積線形アテンションを実装するためのプロセッサ。

diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0[[diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0]]

diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0()

ソース

マルチスケール二次注意を実装するためのプロセッサ。

diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0[[diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0]]

diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0()

ソース

スケーリングドット積線形アテンションを実装するためのプロセッサ。

diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0[[diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0]]

diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0()

ソース

スケーリングドット積線形アテンションを実装するためのプロセッサ。

Stable Audio[[diffusers.models.attention_processor.StableAudioAttnProcessor2_0]]

diffusers.models.attention_processor.StableAudioAttnProcessor2_0[[diffusers.models.attention_processor.StableAudioAttnProcessor2_0]]

diffusers.models.attention_processor.StableAudioAttnProcessor2_0()

ソース

PyTorch 2.0 を使用している場合、デフォルトで有効になります。Stable Audio モデルで使用される、スケーリングドットプロダクトアテンションを実装するためのプロセッサです。クエリベクトルとキーベクトルにロータリー埋め込みを適用し、MHA、GQA、MQA のいずれもサポートします。

SlicedAttnProcessor[[diffusers.models.attention_processor.SlicedAttnProcessor]]

diffusers.models.attention_processor.SlicedAttnProcessor[[diffusers.models.attention_processor.SlicedAttnProcessor]]

diffusers.models.attention_processor.SlicedAttnProcessor(slice_size: int)

ソース

パラメータ:

slice_size (int, optional) : 注意を計算するステップ数。attention_head_dim // slice_size 個のスライスを使用し、attention_head_dim は slice_size の倍数である必要があります。

スライスされたアテンションを実装するためのプロセッサ。

diffusers.models.attention_processor.SlicedAttnAddedKVProcessor[[diffusers.models.attention_processor.SlicedAttnAddedKVProcessor]]

diffusers.models.attention_processor.SlicedAttnAddedKVProcessor(slice_size)

ソース

パラメータ:

slice_size (int, optional) : 注意を計算するステップ数。attention_head_dim // slice_size 個のスライスを使用し、attention_head_dim は slice_size の倍数である必要があります。

テキストエンコーダー用の、追加の学習可能なキー行列とバリュー行列を備えたスライスアテンションを実装するためのプロセッサ。

XFormersAttnProcessor[[diffusers.models.attention_processor.XFormersAttnProcessor]]

diffusers.models.attention_processor.XFormersAttnProcessor[[diffusers.models.attention_processor.XFormersAttnProcessor]]

diffusers.models.attention_processor.XFormersAttnProcessor(attention_op: Callable | None = None)

ソース

パラメータ:

attention_op (Callable、任意、デフォルトはNone) : 注意機構の演算子として使用するベースのoperatorです。Noneに設定し、xFormersが最適な演算子を選択できるようにすることを推奨します。

xFormers を使用してメモリ効率の高いアテンションを実装するためのプロセッサ。

diffusers.models.attention_processor.XFormersAttnAddedKVProcessor[[diffusers.models.attention_processor.XFormersAttnAddedKVProcessor]]

diffusers.models.attention_processor.XFormersAttnAddedKVProcessor(attention_op: Callable | None = None)

ソース

パラメータ:

attention_op (Callable、任意、デフォルトはNone) : 注意機構の演算子として使用するベースのoperatorです。Noneに設定し、xFormersが最適な演算子を選択できるようにすることを推奨します。

xFormers を使用してメモリ効率の高いアテンションを実装するためのプロセッサ。

XLAFlashAttnProcessor2_0[[diffusers.models.attention_processor.XLAFlashAttnProcessor2_0]]

diffusers.models.attention_processor.XLAFlashAttnProcessor2_0[[diffusers.models.attention_processor.XLAFlashAttnProcessor2_0]]

diffusers.models.attention_processor.XLAFlashAttnProcessor2_0(partition_spec: tuple[str | None, ...] | None = None)

ソース

torch_xlaを使用する場合、pallas flash attentionカーネルを用いたスケーリングドットプロダクトアテンションを実装するためのプロセッサ。

XFormersJointAttnProcessor[[diffusers.models.attention_processor.XFormersJointAttnProcessor]]

diffusers.models.attention_processor.XFormersJointAttnProcessor[[diffusers.models.attention_processor.XFormersJointAttnProcessor]]

diffusers.models.attention_processor.XFormersJointAttnProcessor(attention_op: Callable | None = None)

ソース

パラメータ:

attention_op (Callable、任意、デフォルトはNone) : 注意機構の演算子として使用するベースのoperatorです。Noneに設定し、xFormersが最適な演算子を選択できるようにすることを推奨します。

xFormers を使用してメモリ効率の高いアテンションを実装するためのプロセッサ。

IPAdapterXFormersAttnProcessor[[diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor]]

diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor[[diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor]]

diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor(hidden_size, cross_attention_dim = None, num_tokens = (4,), scale = 1.0, attention_op: Callable | None = None)

ソース

パラメータ:

hidden_size (int) : アテンション層の隠れ層サイズ。

cross_attention_dim (int) : encoder_hidden_statesのチャネル数。

num_tokens (int、tuple[int]またはlist[int]、デフォルトは(4,)) : 画像特徴のコンテキスト長です。

scale (float または list[float]、デフォルトは 1.0) : 画像プロンプトの重みスケール。

attention_op (Callable、任意、デフォルトはNone) : 注意機構の演算子として使用するベースのoperatorです。Noneに設定し、xFormersが最適な演算子を選択できるようにすることを推奨します。

xFormers を使用した IP-Adapter 用のアテンションプロセッサ。

FluxIPAdapterJointAttnProcessor2_0[[diffusers.models.attention_processor.FluxIPAdapterJointAttnProcessor2_0]]

diffusers.models.attention_processor.FluxIPAdapterJointAttnProcessor2_0[[diffusers.models.attention_processor.FluxIPAdapterJointAttnProcessor2_0]]

diffusers.models.attention_processor.FluxIPAdapterJointAttnProcessor2_0(*args, **kwargs)

ソース

XLAFluxFlashAttnProcessor2_0[[diffusers.models.attention_processor.XLAFluxFlashAttnProcessor2_0]]

diffusers.models.attention_processor.XLAFluxFlashAttnProcessor2_0[[diffusers.models.attention_processor.XLAFluxFlashAttnProcessor2_0]]

diffusers.models.attention_processor.XLAFluxFlashAttnProcessor2_0(*args, **kwargs)

ソース

torch_xlaを使用する場合、pallas flash attentionカーネルを用いたスケーリングドットプロダクトアテンションを実装するためのプロセッサ。