diffusers/main/ru/api/loaders/transformer_sd3.md

SD3Transformer2D

Этот класс полезен, когда только загружаются веса в SD3Transformer2DModel. Если вам нужно загрузить веса в текстовый энкодер или в текстовый энкодер и SD3Transformer2DModel, используйте вместо этого класс SD3LoraLoaderMixin.

Класс SD3Transformer2DLoadersMixin на данный момент загружает только веса IP-Adapter, но в будущем будет использоваться для сохранения весов и загрузки LoRA.

Чтобы узнать больше о том, как загрузить веса LoRA, см. руководство по загрузке LoRA.

SD3Transformer2DLoadersMixin[[diffusers.loaders.SD3Transformer2DLoadersMixin]]

diffusers.loaders.SD3Transformer2DLoadersMixin[[diffusers.loaders.SD3Transformer2DLoadersMixin]]

diffusers.loaders.SD3Transformer2DLoadersMixin()

Источник

Загрузите IP-Adapters и слои LoRA в [SD3Transformer2DModel].

_load_ip_adapter_weights[[diffusers.loaders.SD3Transformer2DLoadersMixin._load_ip_adapter_weights]]

_load_ip_adapter_weights(state_dict: dict, low_cpu_mem_usage: bool = True)

Источник

Параметры:

state_dict (Dict) : Словарь состояния с ключами "ip_adapter", содержащим параметры для процессоров внимания, и "image_proj", содержащим параметры для сети проекции изображений.

low_cpu_mem_usage (bool, необязательный, по умолчанию True, если версия torch >= 1.9.0, иначе False) : Ускоряет загрузку модели, загружая только предобученные веса и не инициализируя их. Также это позволяет не использовать больше 1x размера модели в оперативной памяти (включая пиковое потребление) при загрузке модели. Поддерживается только для PyTorch >= 1.9.0. Если вы используете более старую версию PyTorch, установка этого аргумента в True вызовет ошибку.

Устанавливает процессоры внимания IP-Adapter, проекцию изображения и загружает state_dict.