diffusers/main/es/api/loaders/transformer_sd3.md

SD3Transformer2D

Esta clase es útil cuando solo se cargan pesos en un SD3Transformer2DModel. Si necesitas cargar pesos en el codificador de texto o en un codificador de texto y un SD3Transformer2DModel, consulta en su lugar la clase SD3LoraLoaderMixin.

La clase SD3Transformer2DLoadersMixin actualmente solo carga pesos de IP-Adapter, pero se utilizará en el futuro para guardar pesos y cargar LoRAs.

Para obtener más información sobre cómo cargar los pesos de LoRA, consulte la guía de carga de LoRA.

SD3Transformer2DLoadersMixin[[diffusers.loaders.SD3Transformer2DLoadersMixin]]

diffusers.loaders.SD3Transformer2DLoadersMixin[[diffusers.loaders.SD3Transformer2DLoadersMixin]]

diffusers.loaders.SD3Transformer2DLoadersMixin()

Fuente

Carga adaptadores IP y capas LoRA en un [SD3Transformer2DModel].

_load_ip_adapter_weights[[diffusers.loaders.SD3Transformer2DLoadersMixin._load_ip_adapter_weights]]

_load_ip_adapter_weights(state_dict: dict, low_cpu_mem_usage: bool = True)

Fuente

Parámetros:

state_dict (Dict) : Diccionario de estado con las claves "ip_adapter", que contiene los parámetros para los procesadores de atención, e "image_proj", que contiene los parámetros para la red de proyección de imagen.

low_cpu_mem_usage (bool, opcional, por defecto True si la versión de torch >= 1.9.0, en caso contrario False) : Acelera la carga del modelo cargando solo los pesos preentrenados y no inicializando los pesos. Esto también intenta no usar más de 1x el tamaño del modelo en la memoria de CPU (incluida la memoria pico) mientras se carga el modelo. Solo se admite para PyTorch >= 1.9.0. Si estás usando una versión anterior de PyTorch, establecer este argumento en True generará un error.

Establece los procesadores de atención de IP-Adapter, la proyección de imagen y carga state_dict.