Buckets:
| # ComponentsManager | |
| > [!WARNING] | |
| > [ComponentsManager](/docs/diffusers/v0.43.0/ru/api/modular_diffusers/pipeline_components#diffusers.ComponentsManager) всё ещё активно разрабатывается, и его API может измениться. | |
| [ComponentsManager](/docs/diffusers/v0.43.0/ru/api/modular_diffusers/pipeline_components#diffusers.ComponentsManager) — это система реестра и управления моделями для Modular Diffusers. Он добавляет и отслеживает модели, хранит полезную метаданные (размер модели, размещение на устройстве, адаптеры) и поддерживает выгрузку (offloading). | |
| В этом руководстве показано, как использовать [ComponentsManager](/docs/diffusers/v0.43.0/ru/api/modular_diffusers/pipeline_components#diffusers.ComponentsManager) для управления компонентами и памятью устройства. | |
| ## Подключение к конвейеру | |
| Create a [ComponentsManager](/docs/diffusers/v0.43.0/ru/api/modular_diffusers/pipeline_components#diffusers.ComponentsManager) and pass it to a [ModularPipeline](/docs/diffusers/v0.43.0/ru/api/modular_diffusers/pipeline#diffusers.ModularPipeline) with either [from_pretrained()](/docs/diffusers/v0.43.0/ru/api/modular_diffusers/pipeline#diffusers.ModularPipeline.from_pretrained) or [init_pipeline()](/docs/diffusers/v0.43.0/ru/api/modular_diffusers/pipeline_blocks#diffusers.ModularPipelineBlocks.init_pipeline). | |
| ```py | |
| from diffusers import ModularPipeline, ComponentsManager | |
| import torch | |
| manager = ComponentsManager() | |
| pipe = ModularPipeline.from_pretrained("Tongyi-MAI/Z-Image-Turbo", components_manager=manager) | |
| pipe.load_components(dtype=torch.bfloat16) | |
| ``` | |
| ```py | |
| from diffusers import ModularPipelineBlocks, ComponentsManager | |
| import torch | |
| manager = ComponentsManager() | |
| blocks = ModularPipelineBlocks.from_pretrained("diffusers/Florence2-image-Annotator", trust_remote_code=True) | |
| pipe= blocks.init_pipeline(components_manager=manager) | |
| pipe.load_components(dtype=torch.bfloat16) | |
| ``` | |
| Компоненты, загруженные с помощью pipeline, автоматически регистрируются в менеджере. Вы можете сразу же их проверить. | |
| ## Осмотр компонентов | |
| Выведите [ComponentsManager](/docs/diffusers/v0.43.0/ru/api/modular_diffusers/pipeline_components#diffusers.ComponentsManager), чтобы увидеть все зарегистрированные компоненты, включая их класс, расположение на устройстве, dtype, размер памяти и идентификатор загрузки. | |
| Результат, приведённый ниже, соответствует примеру `from_pretrained` выше. | |
| ```py | |
| Components: | |
| ============================================================================================================================= | |
| Models: | |
| ----------------------------------------------------------------------------------------------------------------------------- | |
| Name_ID | Class | Device: act(exec) | Dtype | Size (GB) | Load ID | |
| ----------------------------------------------------------------------------------------------------------------------------- | |
| text_encoder_140458257514752 | Qwen3Model | cpu | torch.bfloat16 | 7.49 | Tongyi-MAI/Z-Image-Turbo|text_encoder|null|null | |
| vae_140458257515376 | AutoencoderKL | cpu | torch.bfloat16 | 0.16 | Tongyi-MAI/Z-Image-Turbo|vae|null|null | |
| transformer_140458257515616 | ZImageTransformer2DModel | cpu | torch.bfloat16 | 11.46 | Tongyi-MAI/Z-Image-Turbo|transformer|null|null | |
| ----------------------------------------------------------------------------------------------------------------------------- | |
| Other Components: | |
| ----------------------------------------------------------------------------------------------------------------------------- | |
| ID | Class | Collection | |
| ----------------------------------------------------------------------------------------------------------------------------- | |
| scheduler_140461023555264 | FlowMatchEulerDiscreteScheduler | N/A | |
| tokenizer_140458256346432 | Qwen2Tokenizer | N/A | |
| ----------------------------------------------------------------------------------------------------------------------------- | |
| ``` | |
| Таблица отображает модели (с информацией об устройстве, типе данных и памяти) отдельно от других компонентов, таких как планировщики и токенизаторы. Если к каким-либо моделям применены адаптеры LoRA, IP-Adapters или квантование, эта информация выводится в дополнительном разделе внизу. | |
| ## Выгрузка | |
| Метод [enable_auto_cpu_offload()](/docs/diffusers/v0.43.0/ru/api/modular_diffusers/pipeline_components#diffusers.ComponentsManager.enable_auto_cpu_offload) представляет собой глобальную стратегию выгрузки, которая работает со всеми моделями независимо от того, какой пайплайн их использует. После включения вам не нужно беспокоиться о размещении на устройствах при добавлении или удалении компонентов. | |
| ```py | |
| manager.enable_auto_cpu_offload(device="cuda") # or "mps", "xpu", "cpu" | |
| ``` | |
| Все модели изначально загружаются на CPU, а [ComponentsManager](/docs/diffusers/v0.43.0/ru/api/modular_diffusers/pipeline_components#diffusers.ComponentsManager) перемещает их на соответствующее устройство непосредственно перед использованием и возвращает другие модели на CPU при нехватке памяти GPU. | |
| Вызовите [disable_auto_cpu_offload()](/docs/diffusers/v0.43.0/ru/api/modular_diffusers/pipeline_components#diffusers.ComponentsManager.disable_auto_cpu_offload), чтобы отключить выгрузку. | |
| ```py | |
| manager.disable_auto_cpu_offload() | |
| ``` | |
Xet Storage Details
- Size:
- 6.63 kB
- Xet hash:
- cb5969ba9c34e1496d886764e5746ec0a8e79aac126d2b4daf6215dab71d9bdb
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.