Hugging Face's logo

Diffusers documentation

SD3Transformer2D

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.43.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

SD3Transformer2D

Этот класс полезен, когда только загружаются веса в SD3Transformer2DModel. Если вам нужно загрузить веса в текстовый энкодер или в текстовый энкодер и SD3Transformer2DModel, используйте вместо этого класс SD3LoraLoaderMixin.

Класс SD3Transformer2DLoadersMixin на данный момент загружает только веса IP-Adapter, но в будущем будет использоваться для сохранения весов и загрузки LoRA.

Чтобы узнать больше о том, как загрузить веса LoRA, см. руководство по загрузке LoRA.

SD3Transformer2DLoadersMixin

класс diffusers.loaders.SD3Transformer2DLoadersMixin

< >

( )

Загрузите IP-Adapters и слои LoRA в [SD3Transformer2DModel].

_load_ip_adapter_weights

< >

( state_dict: dictlow_cpu_mem_usage: bool = True )

Параметры

  • state_dict (Dict) — Словарь состояний с ключами “ip_adapter”, содержащим параметры для процессоров внимания, и “image_proj”, содержащим параметры для сети проекции изображений.
  • low_cpu_mem_usage (bool, необязательный, по умолчанию True, если версия torch >= 1.9.0, иначе False) — Ускоряет загрузку модели, загружая только предобученные веса и не инициализируя их. Это также позволяет не использовать более 1x размера модели в оперативной памяти CPU (включая пиковое потребление) при загрузке модели. Поддерживается только для PyTorch >= 1.9.0. Если вы используете более старую версию PyTorch, установка этого аргумента в True вызовет ошибку.

Устанавливает процессоры внимания IP-Adapter, проекцию изображения и загружает state_dict.

Update on GitHub

←UNet PEFT→