Buckets:

hf-doc-build/doc / diffusers /main /ru /tutorials /autopipeline.md
mishig's picture
|
download
raw
6.12 kB
# AutoPipeline
[AutoPipeline](../api/pipelines/auto_pipeline) — это конвейер *«задача-модель»*, который автоматически выбирает правильный подкласс конвейера на основе задачи. Он снимает с пользователя необходимость знать конкретное имя подкласса конвейера, самостоятельно обрабатывая загрузку различных подклассов.
В отличие от [DiffusionPipeline](/docs/diffusers/main/ru/api/pipelines/overview#diffusers.DiffusionPipeline), это *только модель* пайплайн, который автоматически выбирает подкласс пайплайна на основе модели.
```text
AutoPipelineForImage2Image.from_pretrained(model_id)
|
+-- read model_index.json (e.g. StableDiffusionXLPipeline)
+-- task mapping (image-to-image)
|
v
StableDiffusionXLImg2ImgPipeline // returned instance
```
[AutoPipelineForImage2Image](/docs/diffusers/main/ru/api/pipelines/auto_pipeline#diffusers.AutoPipelineForImage2Image) возвращает подкласс, специфичный для задачи (например, [StableDiffusionXLImg2ImgPipeline](/docs/diffusers/main/ru/api/pipelines/stable_diffusion/stable_diffusion_xl#diffusers.StableDiffusionXLImg2ImgPipeline)), который можно использовать только для задач преобразования изображения в изображение.
```py
import torch
from diffusers import AutoPipelineForImage2Image
pipeline = AutoPipelineForImage2Image.from_pretrained(
"RunDiffusion/Juggernaut-XL-v9", dtype=torch.bfloat16, device_map="cuda", # or "mps", "xpu", "cpu"
)
print(pipeline)
# StableDiffusionXLImg2ImgPipeline {
# "_class_name": "StableDiffusionXLImg2ImgPipeline",
# ...
# }
```
Загрузка той же модели с помощью [DiffusionPipeline](/docs/diffusers/main/ru/api/pipelines/overview#diffusers.DiffusionPipeline) возвращает подкласс по умолчанию для генерации изображений по тексту, [StableDiffusionXLPipeline](/docs/diffusers/main/ru/api/pipelines/stable_diffusion/stable_diffusion_xl#diffusers.StableDiffusionXLPipeline). Этот пайплайн предназначен для генерации изображений по тексту. Для задач image-to-image или inpainting загрузите соответствующий AutoPipeline, например [AutoPipelineForImage2Image](/docs/diffusers/main/ru/api/pipelines/auto_pipeline#diffusers.AutoPipelineForImage2Image) или [AutoPipelineForInpainting](/docs/diffusers/main/ru/api/pipelines/auto_pipeline#diffusers.AutoPipelineForInpainting), либо подкласс, специфичный для конкретной задачи.
```py
import torch
from diffusers import DiffusionPipeline
pipeline = DiffusionPipeline.from_pretrained(
"RunDiffusion/Juggernaut-XL-v9", dtype=torch.bfloat16, device_map="cuda", # or "mps", "xpu", "cpu"
)
print(pipeline)
# StableDiffusionXLPipeline {
# "_class_name": "StableDiffusionXLPipeline",
# ...
# }
```
## Переключение задач с помощью from_pipe
Загрузите задачу AutoPipeline один раз, а затем переключайте задачи с помощью [from_pipe()](/docs/diffusers/main/ru/api/pipelines/auto_pipeline#diffusers.AutoPipelineForImage2Image.from_pipe), не скачивая веса повторно. Компоненты переиспользуются из исходного конвейера.
```py
import torch
from diffusers import AutoPipelineForText2Image, AutoPipelineForImage2Image
pipeline_t2i = AutoPipelineForText2Image.from_pretrained(
"RunDiffusion/Juggernaut-XL-v9", dtype=torch.bfloat16, device_map="cuda", # or "mps", "xpu", "cpu"
)
pipeline_i2i = AutoPipelineForImage2Image.from_pipe(pipeline_t2i)
```
Подробнее см. в разделе [Повторное использование моделей в нескольких конвейерах](../using-diffusers/loading#reusing-models-in-multiple-pipelines).
Проверьте [соответствия](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py), чтобы узнать, поддерживается ли модель. Попытка загрузить неподдерживаемую модель приводит к ошибке.
```py
import torch
from diffusers import AutoPipelineForImage2Image
pipeline = AutoPipelineForImage2Image.from_pretrained(
"openai/shap-e-img2img", dtype=torch.float16,
)
"ValueError: AutoPipeline can't find a pipeline linked to ShapEImg2ImgPipeline for None"
```
Существует четыре типа классов [AutoPipeline](../api/pipelines/auto_pipeline):
- [AutoPipelineForText2Image](/docs/diffusers/main/ru/api/pipelines/auto_pipeline#diffusers.AutoPipelineForText2Image)
- [AutoPipelineForImage2Image](/docs/diffusers/main/ru/api/pipelines/auto_pipeline#diffusers.AutoPipelineForImage2Image)
- [AutoPipelineForInpainting](/docs/diffusers/main/ru/api/pipelines/auto_pipeline#diffusers.AutoPipelineForInpainting)
- [AutoPipelineForText2Audio](/docs/diffusers/main/ru/api/pipelines/auto_pipeline#diffusers.AutoPipelineForText2Audio)
Каждый из этих классов имеет предопределённое сопоставление, связывающее конвейер с его подклассом, специфичным для задачи.
При вызове [from_pretrained()](/docs/diffusers/main/ru/api/pipelines/auto_pipeline#diffusers.AutoPipelineForText2Image.from_pretrained) имя класса извлекается из файла `model_index.json`, а подходящий подкласс pipeline для задачи выбирается на основе соответствия.

Xet Storage Details

Size:
6.12 kB
·
Xet hash:
3160a3492fbd998bf817da863a5b1ff683a6ad325aad72e79bb41bac32424545

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.