diffusers/main/es/api/attnprocessor.md

Procesador de atención

Un procesador de atención es una clase para aplicar diferentes tipos de mecanismos de atención.

AttnProcessor[[diffusers.models.attention_processor.AttnProcessor]]

diffusers.models.attention_processor.AttnProcessor[[diffusers.models.attention_processor.AttnProcessor]]

diffusers.models.attention_processor.AttnProcessor()

Fuente

Procesador predeterminado para realizar cálculos relacionados con la atención.

diffusers.models.attention_processor.AttnProcessor2_0[[diffusers.models.attention_processor.AttnProcessor2_0]]

diffusers.models.attention_processor.AttnProcessor2_0()

Fuente

Procesador para implementar la atención de producto escalar (habilitado de forma predeterminada si está utilizando PyTorch 2.0).

diffusers.models.attention_processor.AttnAddedKVProcessor[[diffusers.models.attention_processor.AttnAddedKVProcessor]]

diffusers.models.attention_processor.AttnAddedKVProcessor()

Fuente

Procesador para realizar cálculos relacionados con la atención con matrices de clave y valor adicionales y aprendibles para el codificador de texto.

diffusers.models.attention_processor.AttnAddedKVProcessor2_0[[diffusers.models.attention_processor.AttnAddedKVProcessor2_0]]

diffusers.models.attention_processor.AttnAddedKVProcessor2_0()

Fuente

Procesador para realizar atención de producto escalar (habilitado de forma predeterminada si está utilizando PyTorch 2.0), con matrices adicionales de clave y valor aprendibles para el codificador de texto.

diffusers.models.attention_processor.AttnProcessorNPU[[diffusers.models.attention_processor.AttnProcessorNPU]]

diffusers.models.attention_processor.AttnProcessorNPU()

Fuente

Procesador para implementar flash attention usando torch_npu. Torch_npu solo admite los tipos de datos fp16 y bf16. Si se usa fp32, se empleará F.scaled_dot_product_attention para el cálculo, pero el efecto de aceleración en la NPU no es significativo.

diffusers.models.attention_processor.FusedAttnProcessor2_0[[diffusers.models.attention_processor.FusedAttnProcessor2_0]]

diffusers.models.attention_processor.FusedAttnProcessor2_0()

Fuente

Procesador para implementar la atención de producto escalar (activado de forma predeterminada si está usando PyTorch 2.0). Utiliza capas de proyección fusionadas. Para los módulos de autoatención, todas las matrices de proyección (es decir, query, key, value) se fusionan. Para los módulos de atención cruzada, las matrices de proyección de key y value se fusionan.

> Esta API es actualmente 🧪 experimental y puede cambiar en el futuro.

Allegro[[diffusers.models.attention_processor.AllegroAttnProcessor2_0]]

diffusers.models.attention_processor.AllegroAttnProcessor2_0[[diffusers.models.attention_processor.AllegroAttnProcessor2_0]]

diffusers.models.attention_processor.AllegroAttnProcessor2_0()

Fuente

Procesador para implementar la atención de producto escalar (habilitado de forma predeterminada si está utilizando PyTorch 2.0). Se utiliza en el modelo Allegro. Aplica una capa de normalización y un embebido rotatorio en los vectores de consulta y clave.

AuraFlow[[diffusers.models.attention_processor.AuraFlowAttnProcessor2_0]]

diffusers.models.attention_processor.AuraFlowAttnProcessor2_0[[diffusers.models.attention_processor.AuraFlowAttnProcessor2_0]]

diffusers.models.attention_processor.AuraFlowAttnProcessor2_0()

Fuente

Procesador de atención utilizado típicamente en el procesamiento de Aura Flow.

diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0[[diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0]]

diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0()

Fuente

Procesador de atención utilizado típicamente en el procesamiento de Aura Flow con proyecciones fusionadas.

CogVideoX[[diffusers.models.attention_processor.CogVideoXAttnProcessor2_0]]

diffusers.models.attention_processor.CogVideoXAttnProcessor2_0[[diffusers.models.attention_processor.CogVideoXAttnProcessor2_0]]

diffusers.models.attention_processor.CogVideoXAttnProcessor2_0()

Fuente

Procesador para implementar la atención de producto escalar para el modelo CogVideoX. Aplica un embebido rotacional a los vectores de consulta y clave, pero no incluye normalización espacial.

diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0[[diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0]]

diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0()

Fuente

Procesador para implementar la atención de producto escalar para el modelo CogVideoX. Aplica un embebido rotacional a los vectores de consulta y clave, pero no incluye normalización espacial.

DreamLite[[diffusers.models.unets.unet_dreamlite.DreamLiteAttnProcessor2_0]]

diffusers.models.unets.unet_dreamlite.DreamLiteAttnProcessor2_0[[diffusers.models.unets.unet_dreamlite.DreamLiteAttnProcessor2_0]]

diffusers.models.unets.unet_dreamlite.DreamLiteAttnProcessor2_0()

Fuente

Procesador para implementar la atención de producto escalar con soporte para Grouped Query Attention (GQA / MQA).

Idéntico a AttnProcessor2_0 excepto que la rama de reshape de key/value maneja correctamente attn.kv_heads != attn.heads al hacer reshape de K/V a kv_heads y luego aplicar repeat_interleave hasta attn.heads. Esto es requerido por el DreamLite UNet, que combina GQA con qk_norm — una combinación que el AttnProcessor2_0 predeterminado no maneja. SDPA se delega a dispatch_attention_fn para que se pueda utilizar cualquiera de los backends de atención de diffusers (SDPA nativo de PyTorch, FlashAttention, etc.).

Custom Diffusion[[diffusers.models.attention_processor.CustomDiffusionAttnProcessor]]

diffusers.models.attention_processor.CustomDiffusionAttnProcessor[[diffusers.models.attention_processor.CustomDiffusionAttnProcessor]]

diffusers.models.attention_processor.CustomDiffusionAttnProcessor(train_kv: bool = True, train_q_out: bool = True, hidden_size: int | None = None, cross_attention_dim: int | None = None, out_bias: bool = True, dropout: float = 0.0)

Fuente

Parámetros:

train_kv (bool, por defecto True) : Si se deben entrenar de nuevo las matrices de clave y valor correspondientes a las características de texto.

train_q_out (bool, por defecto True) : Si se deben entrenar nuevas matrices de consulta correspondientes a las características latentes de la imagen.

hidden_size (int, opcional, valor predeterminado None) : El tamaño oculto de la capa de atención.

cross_attention_dim (int, opcional, valor predeterminado None) : El número de canales en encoder_hidden_states.

out_bias (bool, por defecto True) : Si se incluye el parámetro de sesgo en train_q_out.

dropout (float, opcional, valor predeterminado 0.0) : La probabilidad de dropout a utilizar.

Procesador para implementar la atención en el método Custom Diffusion.

diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0[[diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0]]

diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0(train_kv: bool = True, train_q_out: bool = True, hidden_size: int | None = None, cross_attention_dim: int | None = None, out_bias: bool = True, dropout: float = 0.0)

Fuente

Parámetros:

train_kv (bool, por defecto True) : Si se deben entrenar de nuevo las matrices de clave y valor correspondientes a las características de texto.

train_q_out (bool, por defecto True) : Si se deben entrenar nuevas matrices de consulta correspondientes a las características latentes de la imagen.

hidden_size (int, opcional, valor predeterminado None) : El tamaño oculto de la capa de atención.

cross_attention_dim (int, opcional, valor predeterminado None) : El número de canales en encoder_hidden_states.

out_bias (bool, por defecto True) : Si se incluye el parámetro de sesgo en train_q_out.

dropout (float, opcional, valor predeterminado 0.0) : La probabilidad de dropout a utilizar.

Procesador para implementar la atención en el método Custom Diffusion utilizando la atención de producto escalar de puntos eficiente en memoria de PyTorch 2.0.

diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor[[diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor]]

diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor(train_kv: bool = True, train_q_out: bool = False, hidden_size: int | None = None, cross_attention_dim: int | None = None, out_bias: bool = True, dropout: float = 0.0, attention_op: Callable | None = None)

Fuente

Parámetros:

train_kv (bool, por defecto True) : Si se deben entrenar de nuevo las matrices de clave y valor correspondientes a las características de texto.

train_q_out (bool, por defecto True) : Si se deben entrenar nuevas matrices de consulta correspondientes a las características latentes de la imagen.

hidden_size (int, opcional, valor predeterminado None) : El tamaño oculto de la capa de atención.

cross_attention_dim (int, opcional, valor predeterminado None) : El número de canales en encoder_hidden_states.

out_bias (bool, por defecto True) : Si se incluye el parámetro de sesgo en train_q_out.

dropout (float, opcional, valor predeterminado 0.0) : La probabilidad de dropout a utilizar.

attention_op (Callable, opcional, valor predeterminado None) : El operador base que se utilizará como operador de atención. Se recomienda establecerlo en None y permitir que xFormers elija el mejor operador.

Procesador para implementar atención eficiente en memoria usando xFormers para el método Custom Diffusion.

Flux[[diffusers.models.attention_processor.FluxAttnProcessor2_0]]

diffusers.models.attention_processor.FluxAttnProcessor2_0[[diffusers.models.attention_processor.FluxAttnProcessor2_0]]

diffusers.models.attention_processor.FluxAttnProcessor2_0(*args, **kwargs)

Fuente

diffusers.models.attention_processor.FusedFluxAttnProcessor2_0[[diffusers.models.attention_processor.FusedFluxAttnProcessor2_0]]

diffusers.models.attention_processor.FusedFluxAttnProcessor2_0(*args, **kwargs)

Fuente

diffusers.models.attention_processor.FluxSingleAttnProcessor2_0[[diffusers.models.attention_processor.FluxSingleAttnProcessor2_0]]

diffusers.models.attention_processor.FluxSingleAttnProcessor2_0(*args, **kwargs)

Fuente

Procesador para implementar la atención de producto escalar (habilitado de forma predeterminada si está utilizando PyTorch 2.0).

Hunyuan[[diffusers.models.attention_processor.HunyuanAttnProcessor2_0]]

diffusers.models.attention_processor.HunyuanAttnProcessor2_0[[diffusers.models.attention_processor.HunyuanAttnProcessor2_0]]

diffusers.models.attention_processor.HunyuanAttnProcessor2_0()

Fuente

Procesador para implementar la atención de producto escalar (habilitado de forma predeterminada si está utilizando PyTorch 2.0). Se utiliza en el modelo HunyuanDiT. Aplica una capa de normalización s y un embebido rotatorio en los vectores de consulta y clave.

diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0[[diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0]]

diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0()

Fuente

Procesador para implementar la atención de producto punto escalado (habilitado de forma predeterminada si está utilizando PyTorch 2.0) con capas de proyección fusionadas. Se utiliza en el modelo HunyuanDiT. Aplica una capa de normalización s y un embebido rotatorio en los vectores de consulta y clave.

diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0[[diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0]]

diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0()

Fuente

Procesador para implementar la atención de producto escalar (habilitado de forma predeterminada si está utilizando PyTorch 2.0). Se utiliza en el modelo HunyuanDiT. Aplica una capa de normalización y un embebido rotatorio en los vectores de consulta y clave. Esta variante del procesador emplea Pertubed Attention Guidance.

diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0[[diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0]]

diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0()

Fuente

Procesador para implementar la atención de producto escalar (habilitado de forma predeterminada si está utilizando PyTorch 2.0). Se utiliza en el modelo HunyuanDiT. Aplica una capa de normalización y un embebido rotatorio en los vectores de consulta y clave. Esta variante del procesador emplea Pertubed Attention Guidance.

IdentitySelfAttnProcessor2_0[[diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0]]

diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0[[diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0]]

diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0()

Fuente

Procesador para implementar PAG usando atención de producto escalar (habilitado de forma predeterminada si estás usando PyTorch 2.0). Referencia de PAG: https://huggingface.co/papers/2403.17377

diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0[[diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0]]

diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0()

Fuente

Procesador para implementar PAG usando atención de producto escalar (habilitado de forma predeterminada si estás usando PyTorch 2.0). Referencia de PAG: https://huggingface.co/papers/2403.17377

IP-Adapter[[diffusers.models.attention_processor.IPAdapterAttnProcessor]]

diffusers.models.attention_processor.IPAdapterAttnProcessor[[diffusers.models.attention_processor.IPAdapterAttnProcessor]]

diffusers.models.attention_processor.IPAdapterAttnProcessor(hidden_size, cross_attention_dim = None, num_tokens = (4,), scale = 1.0)

Fuente

Parámetros:

hidden_size (int) : El tamaño oculto de la capa de atención.

cross_attention_dim (int) : El número de canales en encoder_hidden_states.

num_tokens (int, tuple[int] o list[int], por defecto (4,)) : La longitud de contexto de las características de la imagen.

scale (float o listafloat, por defecto 1.0) : la escala de peso del prompt de imagen.

Procesador de atención para múltiples IP-Adapters.

diffusers.models.attention_processor.IPAdapterAttnProcessor2_0[[diffusers.models.attention_processor.IPAdapterAttnProcessor2_0]]

diffusers.models.attention_processor.IPAdapterAttnProcessor2_0(hidden_size, cross_attention_dim = None, num_tokens = (4,), scale = 1.0)

Fuente

Parámetros:

hidden_size (int) : El tamaño oculto de la capa de atención.

cross_attention_dim (int) : El número de canales en encoder_hidden_states.

num_tokens (int, tuple[int] o list[int], por defecto (4,)) : La longitud de contexto de las características de la imagen.

scale (float o list[float], por defecto 1.0) : la escala de peso del prompt de imagen.

Procesador de atención para IP-Adapter para PyTorch 2.0.

diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0[[diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0]]

diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0(hidden_size: int, ip_hidden_states_dim: int, head_dim: int, timesteps_emb_dim: int = 1280, scale: float = 0.5)

Fuente

Parámetros:

hidden_size (int) : El número de canales ocultos.

ip_hidden_states_dim (int) : La dimensión de las características de la imagen.

head_dim (int) : El número de canales de cabezas.

timesteps_emb_dim (int, por defecto 1280) : El número de canales de entrada para la incrustación del paso de tiempo.

scale (float, por defecto 0.5) : Escala de IP-Adapter.

Procesador de atención para IP-Adapter, utilizado típicamente en el procesamiento de las proyecciones de autoatención similares a SD3, con información adicional basada en imágenes y embeddings de timestep.

JointAttnProcessor2_0[[diffusers.models.attention_processor.JointAttnProcessor2_0]]

diffusers.models.attention_processor.JointAttnProcessor2_0[[diffusers.models.attention_processor.JointAttnProcessor2_0]]

diffusers.models.attention_processor.JointAttnProcessor2_0()

Fuente

Procesador de atención utilizado típicamente en el procesamiento de las proyecciones de autoatención similares a SD3.

diffusers.models.attention_processor.PAGJointAttnProcessor2_0[[diffusers.models.attention_processor.PAGJointAttnProcessor2_0]]

diffusers.models.attention_processor.PAGJointAttnProcessor2_0()

Fuente

Procesador de atención utilizado típicamente en el procesamiento de las proyecciones de autoatención similares a SD3.

diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0[[diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0]]

diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0()

Fuente

Procesador de atención utilizado típicamente en el procesamiento de las proyecciones de autoatención similares a SD3.

diffusers.models.attention_processor.FusedJointAttnProcessor2_0[[diffusers.models.attention_processor.FusedJointAttnProcessor2_0]]

diffusers.models.attention_processor.FusedJointAttnProcessor2_0()

Fuente

Procesador de atención utilizado típicamente en el procesamiento de las proyecciones de autoatención similares a SD3.

LoRA[[diffusers.models.attention_processor.LoRAAttnProcessor]]

diffusers.models.attention_processor.LoRAAttnProcessor[[diffusers.models.attention_processor.LoRAAttnProcessor]]

diffusers.models.attention_processor.LoRAAttnProcessor()

Fuente

Procesador para implementar atención con LoRA.

diffusers.models.attention_processor.LoRAAttnProcessor2_0[[diffusers.models.attention_processor.LoRAAttnProcessor2_0]]

diffusers.models.attention_processor.LoRAAttnProcessor2_0()

Fuente

Procesador para implementar la atención con LoRA (habilitado de forma predeterminada si estás usando PyTorch 2.0).

diffusers.models.attention_processor.LoRAAttnAddedKVProcessor[[diffusers.models.attention_processor.LoRAAttnAddedKVProcessor]]

diffusers.models.attention_processor.LoRAAttnAddedKVProcessor()

Fuente

Procesador para implementar atención con LoRA con matrices adicionales de clave y valor aprendibles para el codificador de texto.

diffusers.models.attention_processor.LoRAXFormersAttnProcessor[[diffusers.models.attention_processor.LoRAXFormersAttnProcessor]]

diffusers.models.attention_processor.LoRAXFormersAttnProcessor()

Fuente

Procesador para implementar atención con LoRA usando xFormers.

Lumina-T2X[[diffusers.models.attention_processor.LuminaAttnProcessor2_0]]

diffusers.models.attention_processor.LuminaAttnProcessor2_0[[diffusers.models.attention_processor.LuminaAttnProcessor2_0]]

diffusers.models.attention_processor.LuminaAttnProcessor2_0()

Fuente

Procesador para implementar la atención de producto escalar (habilitado de forma predeterminada si está utilizando PyTorch 2.0). Se utiliza en el modelo LuminaNextDiT. Aplica una capa de normalización s y un embebido rotatorio en los vectores de consulta y clave.

Mochi[[diffusers.models.attention_processor.MochiAttnProcessor2_0]]

diffusers.models.attention_processor.MochiAttnProcessor2_0[[diffusers.models.attention_processor.MochiAttnProcessor2_0]]

diffusers.models.attention_processor.MochiAttnProcessor2_0()

Fuente

Procesador de atención utilizado en Mochi.

diffusers.models.attention_processor.MochiVaeAttnProcessor2_0[[diffusers.models.attention_processor.MochiVaeAttnProcessor2_0]]

diffusers.models.attention_processor.MochiVaeAttnProcessor2_0()

Fuente

Procesador de atención utilizado en Mochi VAE.

Sana[[diffusers.models.attention_processor.SanaLinearAttnProcessor2_0]]

diffusers.models.attention_processor.SanaLinearAttnProcessor2_0[[diffusers.models.attention_processor.SanaLinearAttnProcessor2_0]]

diffusers.models.attention_processor.SanaLinearAttnProcessor2_0()

Fuente

Procesador para implementar atención lineal de producto escalar.

diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0[[diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0]]

diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0()

Fuente

Procesador para implementar atención cuadrática multiescala.

diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0[[diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0]]

diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0()

Fuente

Procesador para implementar atención lineal de producto escalar.

diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0[[diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0]]

diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0()

Fuente

Procesador para implementar atención lineal de producto escalar.

Stable Audio[[diffusers.models.attention_processor.StableAudioAttnProcessor2_0]]

diffusers.models.attention_processor.StableAudioAttnProcessor2_0[[diffusers.models.attention_processor.StableAudioAttnProcessor2_0]]

diffusers.models.attention_processor.StableAudioAttnProcessor2_0()

Fuente

Procesador para implementar la atención de producto escalar (habilitado de forma predeterminada si está utilizando PyTorch 2.0). Se utiliza en el modelo Stable Audio. Aplica la incrustación rotacional en los vectores de consulta y clave, y permite MHA, GQA o MQA.

SlicedAttnProcessor[[diffusers.models.attention_processor.SlicedAttnProcessor]]

diffusers.models.attention_processor.SlicedAttnProcessor[[diffusers.models.attention_processor.SlicedAttnProcessor]]

diffusers.models.attention_processor.SlicedAttnProcessor(slice_size: int)

Fuente

Parámetros:

slice_size (int, opcional) : El número de pasos para calcular la atención. Utiliza tantas rebanadas como attention_head_dim // slice_size, y attention_head_dim debe ser un múltiplo de slice_size.

Procesador para implementar atención segmentada.

diffusers.models.attention_processor.SlicedAttnAddedKVProcessor[[diffusers.models.attention_processor.SlicedAttnAddedKVProcessor]]

diffusers.models.attention_processor.SlicedAttnAddedKVProcessor(slice_size)

Fuente

Parámetros:

slice_size (int, opcional) : El número de pasos para calcular la atención. Utiliza tantas rebanadas como attention_head_dim // slice_size, y attention_head_dim debe ser un múltiplo de slice_size.

Procesador para implementar atención segmentada con matrices de clave y valor adicionales y aprendibles para el codificador de texto.

XFormersAttnProcessor[[diffusers.models.attention_processor.XFormersAttnProcessor]]

diffusers.models.attention_processor.XFormersAttnProcessor[[diffusers.models.attention_processor.XFormersAttnProcessor]]

diffusers.models.attention_processor.XFormersAttnProcessor(attention_op: Callable | None = None)

Fuente

Parámetros:

attention_op (Callable, opcional, valor predeterminado None) : El operador base que se utilizará como operador de atención. Se recomienda establecerlo en None y permitir que xFormers elija el mejor operador.

Procesador para implementar atención eficiente en memoria usando xFormers.

diffusers.models.attention_processor.XFormersAttnAddedKVProcessor[[diffusers.models.attention_processor.XFormersAttnAddedKVProcessor]]

diffusers.models.attention_processor.XFormersAttnAddedKVProcessor(attention_op: Callable | None = None)

Fuente

Parámetros:

attention_op (Callable, opcional, valor predeterminado None) : El operador base que se utilizará como operador de atención. Se recomienda establecerlo en None y permitir que xFormers elija el mejor operador.

Procesador para implementar atención eficiente en memoria usando xFormers.

XLAFlashAttnProcessor2_0[[diffusers.models.attention_processor.XLAFlashAttnProcessor2_0]]

diffusers.models.attention_processor.XLAFlashAttnProcessor2_0[[diffusers.models.attention_processor.XLAFlashAttnProcessor2_0]]

diffusers.models.attention_processor.XLAFlashAttnProcessor2_0(partition_spec: tuple[str | None, ...] | None = None)

Fuente

Procesador para implementar la atención de producto escalar con el kernel de pallas flash attention si se usa torch_xla.

XFormersJointAttnProcessor[[diffusers.models.attention_processor.XFormersJointAttnProcessor]]

diffusers.models.attention_processor.XFormersJointAttnProcessor[[diffusers.models.attention_processor.XFormersJointAttnProcessor]]

diffusers.models.attention_processor.XFormersJointAttnProcessor(attention_op: Callable | None = None)

Fuente

Parámetros:

attention_op (Callable, opcional, valor predeterminado None) : El operador base que se utilizará como operador de atención. Se recomienda establecerlo en None y permitir que xFormers elija el mejor operador.

Procesador para implementar atención eficiente en memoria usando xFormers.

IPAdapterXFormersAttnProcessor[[diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor]]

diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor[[diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor]]

diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor(hidden_size, cross_attention_dim = None, num_tokens = (4,), scale = 1.0, attention_op: Callable | None = None)

Fuente

Parámetros:

hidden_size (int) : El tamaño oculto de la capa de atención.

cross_attention_dim (int) : El número de canales en encoder_hidden_states.

num_tokens (int, tuple[int] o list[int], por defecto (4,)) : La longitud de contexto de las características de la imagen.

scale (float o list[float], por defecto 1.0) : la escala de peso del prompt de imagen.

attention_op (Callable, opcional, valor predeterminado None) : El operador base que se utilizará como operador de atención. Se recomienda establecerlo en None y permitir que xFormers elija el mejor operador.

Procesador de atención para IP-Adapter que utiliza xFormers.

FluxIPAdapterJointAttnProcessor2_0[[diffusers.models.attention_processor.FluxIPAdapterJointAttnProcessor2_0]]

diffusers.models.attention_processor.FluxIPAdapterJointAttnProcessor2_0[[diffusers.models.attention_processor.FluxIPAdapterJointAttnProcessor2_0]]

diffusers.models.attention_processor.FluxIPAdapterJointAttnProcessor2_0(*args, **kwargs)

Fuente

XLAFluxFlashAttnProcessor2_0[[diffusers.models.attention_processor.XLAFluxFlashAttnProcessor2_0]]

diffusers.models.attention_processor.XLAFluxFlashAttnProcessor2_0[[diffusers.models.attention_processor.XLAFluxFlashAttnProcessor2_0]]

diffusers.models.attention_processor.XLAFluxFlashAttnProcessor2_0(*args, **kwargs)

Fuente

Procesador para implementar la atención de producto escalar con el kernel de pallas flash attention si se usa torch_xla.