diffusers/main/ru/api/loaders/peft.md

PEFT

Diffusers поддерживает загрузку адаптеров, таких как LoRA, с помощью библиотеки PEFT и класса PeftAdapterMixin. Это позволяет классам моделирования в Diffusers, таким как UNet2DConditionModel и SD3Transformer2DModel, работать с адаптером.

См. учебник Inference with PEFT для обзора того, как использовать PEFT в Diffusers для инференса.

PeftAdapterMixin[[diffusers.loaders.PeftAdapterMixin]]

diffusers.loaders.PeftAdapterMixin[[diffusers.loaders.PeftAdapterMixin]]

diffusers.loaders.PeftAdapterMixin()

Источник

Класс, содержащий все функции для загрузки и использования весов адаптеров, поддерживаемых в библиотеке PEFT. Дополнительные сведения об адаптерах и их внедрении в базовую модель см. в документации PEFT.

Установите последнюю версию PEFT и используйте этот миксин, чтобы:

• Подключите новые адаптеры к модели.
• Подключайте несколько адаптеров и последовательно активируйте/деактивируйте их.
• Активировать/деактивировать все адаптеры из модели.
• Получите список активных адаптеров.

active_adapters[[diffusers.loaders.PeftAdapterMixin.active_adapters]]

active_adapters()

Источник

Получает текущий список активных адаптеров модели.

Если вы не знакомы с адаптерами и методами PEFT, мы приглашаем вас прочитать о них подробнее в документации PEFT.

add_adapter[[diffusers.loaders.PeftAdapterMixin.add_adapter]]

add_adapter(adapter_config, adapter_name: str = 'default')

Источник

Параметры:

adapter_config ([~peft.PeftConfig]) : конфигурация добавляемого адаптера; поддерживаются методы non-prefix tuning и adaption prompt.

adapter_name (str, необязательный, по умолчанию "default") : Имя добавляемого адаптера. Если имя не передано, адаптеру будет присвоено имя по умолчанию.

Добавляет новый адаптер к текущей модели для обучения. Если имя адаптера не передано, ему назначается имя по умолчанию в соответствии с конвенцией библиотеки PEFT.

Если вы не знакомы с адаптерами и методами PEFT, мы приглашаем вас прочитать о них подробнее в документации PEFT.

delete_adapters[[diffusers.loaders.PeftAdapterMixin.delete_adapters]]

delete_adapters(adapter_names: list[str] | str)

Источник

Параметры:

adapter_names (list[str, str]) : Имена (одна строка или список строк) адаптера, который нужно удалить.

Удалите слои LoRA адаптера из базовой модели.

Пример:

from diffusers import AutoPipelineForText2Image
import torch

pipeline = AutoPipelineForText2Image.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16
).to("cuda")
pipeline.load_lora_weights(
    "jbilcke-hf/sdxl-cinematic-1", weight_name="pytorch_lora_weights.safetensors", adapter_names="cinematic"
)
pipeline.unet.delete_adapters("cinematic")

disable_adapters[[diffusers.loaders.PeftAdapterMixin.disable_adapters]]

disable_adapters()

Источник

Отключите все адаптеры, подключенные к модели, и вернитесь к инференсу только с базовой моделью.

Если вы не знакомы с адаптерами и методами PEFT, мы приглашаем вас прочитать о них подробнее в документации PEFT.

disable_lora[[diffusers.loaders.PeftAdapterMixin.disable_lora]]

disable_lora()

Источник

Отключает активные слои LoRA базовой модели.

Пример:

from diffusers import AutoPipelineForText2Image
import torch

pipeline = AutoPipelineForText2Image.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16
).to("cuda")
pipeline.load_lora_weights(
    "jbilcke-hf/sdxl-cinematic-1", weight_name="pytorch_lora_weights.safetensors", adapter_name="cinematic"
)
pipeline.unet.disable_lora()

enable_adapters[[diffusers.loaders.PeftAdapterMixin.enable_adapters]]

enable_adapters()

Источник

Включает адаптеры, привязанные к модели. Модель использует self.active_adapters() для получения списка адаптеров, которые необходимо включить.

Если вы не знакомы с адаптерами и методами PEFT, мы приглашаем вас прочитать о них подробнее в документации PEFT.

enable_lora[[diffusers.loaders.PeftAdapterMixin.enable_lora]]

enable_lora()

Источник

Включает активные слои LoRA базовой модели.

Пример:

from diffusers import AutoPipelineForText2Image
import torch

pipeline = AutoPipelineForText2Image.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16
).to("cuda")
pipeline.load_lora_weights(
    "jbilcke-hf/sdxl-cinematic-1", weight_name="pytorch_lora_weights.safetensors", adapter_name="cinematic"
)
pipeline.unet.enable_lora()

enable_lora_hotswap[[diffusers.loaders.PeftAdapterMixin.enable_lora_hotswap]]

enable_lora_hotswap(target_rank: int = 128, check_compiled: typing.Literal['error', 'warn', 'ignore'] = 'error')

Источник

Параметры:

target_rank (int, необязательный, по умолчанию 128) : Наибольший ранг среди всех адаптеров, которые будут загружены.

check_compiled (str, необязательный, по умолчанию "error") : способ обработки случая, когда модель уже скомпилирована, чего следует избегать. Варианты: - "error" (по умолчанию): вызвать ошибку - "warn": вывести предупреждение - "ignore": ничего не делать

Включает возможность горячей замены адаптеров LoRA.

Вызов этого метода необходим только при горячей замене адаптеров, если модель скомпилирована или ранги загруженных адаптеров различаются.

load_lora_adapter[[diffusers.loaders.PeftAdapterMixin.load_lora_adapter]]

load_lora_adapter(pretrained_model_name_or_path_or_dict, prefix = 'transformer', hotswap: bool = False, **kwargs)

Источник

Параметры:

pretrained_model_name_or_path_or_dict (str или os.PathLike или dict) : Может быть одним из следующих: - Строка, model id (например, google/ddpm-celebahq-256) предобученной модели, размещенной на Hub. - Путь к каталогу (например, ./my_model_directory), содержащему веса модели, сохраненные с помощью ModelMixin.save_pretrained(). - torch state dict.

prefix (str, необязательный) : Префикс для фильтрации state dict.

cache_dir (str | os.PathLike, необязательный) : Путь к каталогу, в котором кэшируется конфигурация загруженной предобученной модели, если стандартный кэш не используется.

force_download (bool, необязательный, по умолчанию False) : Указывает, следует ли принудительно (пере)скачивать веса модели и файлы конфигурации, заменяя кэшированные версии, если они существуют.

proxies (dict[str, str], необязательный) : Словарь прокси-серверов для использования по протоколу или конечной точке, например, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}. Прокси используются при каждом запросе.

local_files_only (bool, необязательный, по умолчанию False) : Загружать только локальные веса модели и файлы конфигурации или нет. Если установлено в True, модель не будет скачана с Hub.

token (str или bool, необязательный) : Токен, используемый в качестве HTTP bearer-авторизации для удалённых файлов. Если True, используется токен, сгенерированный командой diffusers-cli login (сохранённый в ~/.huggingface).

revision (str, необязательный, по умолчанию "main") : Конкретная версия модели, которую следует использовать. Может быть именем ветки, именем тега, идентификатором коммита или любым другим идентификатором, поддерживаемым Git.

subfolder (str, необязательный, по умолчанию "") : Путь к подпапке, в которой находится файл модели в составе более крупного репозитория моделей на Hub или локально.

network_alphas (dict[str, float]) : Значение альфы сети, используемое для стабильного обучения и предотвращения подтекания. Это значение имеет тот же смысл, что и опция --network_alpha в скрипте обучения kohya-ss. См. эту ссылку.

low_cpu_mem_usage (bool, необязательный) : Ускоряет загрузку модели, загружая только предобученные веса LoRA и не инициализируя случайные веса.

hotswap : (bool, необязательный) По умолчанию False. Определяет, следует ли заменить существующий адаптер (LoRA) на вновь загруженный адаптер на месте. Это означает, что вместо загрузки дополнительного адаптера будут взяты веса существующего адаптера и заменены весами нового адаптера. Это может быть быстрее и экономнее по памяти. Однако главное преимущество горячей замены заключается в том, что при компиляции модели с помощью torch.compile загрузка нового адаптера не требует повторной компиляции модели. При использовании горячей замены переданный adapter_name должен быть именем уже загруженного адаптера. Если у нового и старого адаптеров разные ранги и/или значения LoRA alpha (т.е. масштабирование), перед загрузкой адаптера необходимо вызвать дополнительный метод: py pipeline = ... # load diffusers pipeline max_rank = ... # the highest rank among all LoRAs that you want to load # call *before* compiling and loading the LoRA adapter pipeline.enable_lora_hotswap(target_rank=max_rank) pipeline.load_lora_weights(file_name) # optionally compile the model now Обратите внимание, что горячая замена адаптеров текстового кодировщика пока не поддерживается. У этой техники есть некоторые дополнительные ограничения, которые описаны здесь: https://huggingface.co/docs/peft/main/en/package_reference/hotswap

metadata : метаданные адаптера LoRA. Если они переданы, метаданные, выведенные из state dict, не используются для инициализации LoraConfig.

Загружает адаптер LoRA в базовую модель.

save_lora_adapter[[diffusers.loaders.PeftAdapterMixin.save_lora_adapter]]

save_lora_adapter(save_directory, adapter_name: str = 'default', upcast_before_saving: bool = False, safe_serialization: bool = True, weight_name: str | None = None)

Источник

Параметры:

save_directory (str или os.PathLike) : Каталог для сохранения параметров LoRA. Будет создан, если не существует.

adapter_name : (str, по умолчанию "default"): имя адаптера для сериализации. Полезно, если в базовой модели загружено несколько адаптеров.

upcast_before_saving (bool, по умолчанию False) : Преобразовать ли базовую модель в torch.float32 перед сериализацией.

safe_serialization (bool, необязательный, по умолчанию True) : Сохранять ли модель с помощью safetensors или традиционным способом PyTorch с использованием pickle.

weight_name : (str, необязательный, по умолчанию None): Имя файла, в который сериализовать state dict.

Сохраните параметры LoRA, соответствующие базовой модели.

set_adapter[[diffusers.loaders.PeftAdapterMixin.set_adapter]]

set_adapter(adapter_name: str | list[str])

Источник

Параметры:

adapter_name (str | list[str])) : список адаптеров для установки или имя адаптера в случае с одним адаптером.

Устанавливает конкретный адаптер, принудительно заставляя модель использовать только его и отключая остальные адаптеры.

Если вы не знакомы с адаптерами и методами PEFT, мы приглашаем вас прочитать о них подробнее в документации PEFT.

set_adapters[[diffusers.loaders.PeftAdapterMixin.set_adapters]]

set_adapters(adapter_names: list[str] | str, weights: float | dict | list[float] | list[dict] | list[None] | None = None)

Источник

Параметры:

adapter_names (list[str] или str) : Имена адаптеров, которые следует использовать.

weights (Union[List[float], float], необязательный) : Веса адаптера(ов), используемые с UNet. Если None, веса устанавливаются в 1.0 для всех адаптеров.

Установите адаптеры, активные в данный момент, для использования в диффузионной сети (например, unet, transformer и т. д.).

Пример:

from diffusers import AutoPipelineForText2Image
import torch

pipeline = AutoPipelineForText2Image.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16
).to("cuda")
pipeline.load_lora_weights(
    "jbilcke-hf/sdxl-cinematic-1", weight_name="pytorch_lora_weights.safetensors", adapter_name="cinematic"
)
pipeline.load_lora_weights("nerijs/pixel-art-xl", weight_name="pixel-art-xl.safetensors", adapter_name="pixel")
pipeline.unet.set_adapters(["cinematic", "pixel"], weights=[0.5, 0.5])