diffusers/v0.43.0/ru/modular_diffusers/components_manager.md

ComponentsManager

ComponentsManager всё ещё активно разрабатывается, и его API может измениться.

ComponentsManager — это система реестра и управления моделями для Modular Diffusers. Он добавляет и отслеживает модели, хранит полезную метаданные (размер модели, размещение на устройстве, адаптеры) и поддерживает выгрузку (offloading).

В этом руководстве показано, как использовать ComponentsManager для управления компонентами и памятью устройства.

Подключение к конвейеру

Create a ComponentsManager and pass it to a ModularPipeline with either from_pretrained() or init_pipeline().

from diffusers import ModularPipeline, ComponentsManager
import torch

manager = ComponentsManager()
pipe = ModularPipeline.from_pretrained("Tongyi-MAI/Z-Image-Turbo", components_manager=manager)
pipe.load_components(dtype=torch.bfloat16)

from diffusers import ModularPipelineBlocks, ComponentsManager
import torch
manager = ComponentsManager()
blocks = ModularPipelineBlocks.from_pretrained("diffusers/Florence2-image-Annotator", trust_remote_code=True)
pipe= blocks.init_pipeline(components_manager=manager)
pipe.load_components(dtype=torch.bfloat16)

Компоненты, загруженные с помощью pipeline, автоматически регистрируются в менеджере. Вы можете сразу же их проверить.

Осмотр компонентов

Выведите ComponentsManager, чтобы увидеть все зарегистрированные компоненты, включая их класс, расположение на устройстве, dtype, размер памяти и идентификатор загрузки.

Результат, приведённый ниже, соответствует примеру from_pretrained выше.

Components:
=============================================================================================================================
Models:
-----------------------------------------------------------------------------------------------------------------------------
Name_ID                      | Class                    | Device: act(exec) | Dtype          | Size (GB) | Load ID
-----------------------------------------------------------------------------------------------------------------------------
text_encoder_140458257514752 | Qwen3Model               | cpu               | torch.bfloat16 | 7.49      | Tongyi-MAI/Z-Image-Turbo|text_encoder|null|null
vae_140458257515376          | AutoencoderKL            | cpu               | torch.bfloat16 | 0.16      | Tongyi-MAI/Z-Image-Turbo|vae|null|null
transformer_140458257515616  | ZImageTransformer2DModel | cpu               | torch.bfloat16 | 11.46     | Tongyi-MAI/Z-Image-Turbo|transformer|null|null
-----------------------------------------------------------------------------------------------------------------------------

Other Components:
-----------------------------------------------------------------------------------------------------------------------------
ID                           | Class                           | Collection
-----------------------------------------------------------------------------------------------------------------------------
scheduler_140461023555264    | FlowMatchEulerDiscreteScheduler | N/A
tokenizer_140458256346432    | Qwen2Tokenizer                  | N/A
-----------------------------------------------------------------------------------------------------------------------------

Таблица отображает модели (с информацией об устройстве, типе данных и памяти) отдельно от других компонентов, таких как планировщики и токенизаторы. Если к каким-либо моделям применены адаптеры LoRA, IP-Adapters или квантование, эта информация выводится в дополнительном разделе внизу.

Выгрузка

Метод enable_auto_cpu_offload() представляет собой глобальную стратегию выгрузки, которая работает со всеми моделями независимо от того, какой пайплайн их использует. После включения вам не нужно беспокоиться о размещении на устройствах при добавлении или удалении компонентов.

manager.enable_auto_cpu_offload(device="cuda")  # or "mps", "xpu", "cpu"

Все модели изначально загружаются на CPU, а ComponentsManager перемещает их на соответствующее устройство непосредственно перед использованием и возвращает другие модели на CPU при нехватке памяти GPU.

Вызовите disable_auto_cpu_offload(), чтобы отключить выгрузку.

manager.disable_auto_cpu_offload()