hf-doc-build/doc / diffusers /main /ko /api /pipelines /auto_pipeline.md

|

40.6 kB

AutoPipeline

AutoPipeline는 특정 파이프라인 클래스를 알지 못해도 작업을 위한 체크포인트를 쉽게 로드할 수 있도록 설계되었습니다. 작업에 따라 AutoPipeline은 체크포인트의 model_index.json 파일에서 올바른 파이프라인 클래스를 자동으로 가져옵니다.

이 API 사용법을 배우려면 AutoPipeline 튜토리얼을 확인해 보세요!

AutoPipelineForText2Image[[diffusers.AutoPipelineForText2Image]]

diffusers.AutoPipelineForText2Image[[diffusers.AutoPipelineForText2Image]]

diffusers.AutoPipelineForText2Image(*args, **kwargs)

소스

AutoPipelineForText2Image is a generic pipeline class that instantiates a text-to-image pipeline class. The specific underlying pipeline class is automatically selected from either the from_pretrained() or from_pipe() methods.

이 클래스는 __init__()를 사용하여 인스턴스를 생성할 수 없습니다(에러가 발생합니다).

클래스 속성:

config_name (str) -- 모든 diffusion pipeline 구성 요소의 클래스 및 모듈 이름을 저장하는 구성 파일 이름입니다.

from_pretrained[[diffusers.AutoPipelineForText2Image.from_pretrained]]

from_pretrained(pretrained_model_or_path, **kwargs)

소스

매개변수:

pretrained_model_or_path (str 또는 os.PathLike, 선택 사항) : 다음 중 하나일 수 있습니다. - Hub에 호스팅된 사전 학습된 파이프라인의 repo id 문자열(예: CompVis/ldm-text2im-large-256). - save_pretrained()를 사용하여 저장된 파이프라인 가중치가 포함된 디렉터리 경로(예: ./my_pipeline_directory/).

dtype (torch.dtype, 선택 사항) : 기본 torch.dtype를 재정의하여 다른 dtype로 모델을 로드합니다.

force_download (bool, 선택 사항, 기본값 False) : 캐시된 버전이 존재하더라도 모델 가중치 및 구성 파일의 (재)다운로드를 강제할지 여부.

cache_dir (str | os.PathLike, 선택 사항) : 표준 캐시를 사용하지 않을 경우, 다운로드된 사전 학습 모델 구성이 캐시되는 디렉터리의 경로입니다.

proxies (dict[str, str], 선택 사항) : 프로토콜 또는 엔드포인트별로 사용할 프록시 서버의 사전입니다. 예를 들어, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}와 같습니다. 각 요청에 프록시가 사용됩니다.

output_loading_info(bool, 선택 사항, 기본값 False) : 누락된 키, 예상치 못한 키 및 오류 메시지가 포함된 사전도 함께 반환할지 여부.

local_files_only (bool, 선택 사항, 기본값 False) : 로컬 모델 가중치와 구성 파일만 로드할지 여부를 지정합니다. True로 설정하면 Hub에서 모델을 다운로드하지 않습니다.

token (str 또는 bool, 선택 사항) : 원격 파일에 대한 HTTP bearer 인증으로 사용할 토큰입니다. True인 경우, diffusers-cli login에서 생성된 토큰(~/.huggingface에 저장됨)이 사용됩니다.

revision (str, 선택 사항, 기본값 "main") : 사용할 특정 모델 버전입니다. Git에서 허용하는 브랜치 이름, 태그 이름, 커밋 ID 또는 기타 식별자일 수 있습니다.

custom_revision (str, 선택 사항, 기본값 "main") : 사용할 특정 모델 버전입니다. Hub에서 커스텀 파이프라인을 로드할 때 revision과 유사하게 브랜치 이름, 태그 이름 또는 커밋 id일 수 있습니다. GitHub에서 커스텀 파이프라인을 로드할 때는 🤗 Diffusers 버전일 수 있으며, Hub에서 로드하는 경우를 제외하면 기본값은 "main"입니다.

mirror (str, 선택 사항) : 중국에서 모델을 다운로드할 때 접근성 문제를 해결하기 위한 미러 소스입니다. 해당 소스의 적시성이나 안전성을 보장하지 않으며, 자세한 내용은 미러 사이트를 참고하세요.

device_map (str 또는 dict[str, int | str | torch.device], 선택 사항) : 각 서브모듈이 어디에 배치되어야 하는지 지정하는 맵입니다. 모든 파라미터/버퍼 이름에 대해 정의할 필요는 없으며, 특정 모듈 이름이 포함되면 해당 모듈의 모든 서브모듈이 동일한 장치로 전송됩니다. device_map="auto"를 설정하면 🤗 Accelerate가 가장 최적화된 device_map을 자동으로 계산합니다. 각 옵션에 대한 자세한 내용은 device map 설계를 참고하세요.

max_memory (Dict, 선택 사항) : 최대 메모리에 대한 디바이스 식별자를 나타내는 사전입니다. 설정되지 않으면 각 GPU의 사용 가능한 최대 메모리와 사용 가능한 CPU RAM이 기본값으로 사용됩니다.

offload_folder (str 또는 os.PathLike, 선택 사항) : "disk" 값을 포함하는 device_map의 경우, 가중치를 오프로드할 경로입니다.

offload_state_dict (bool, 선택 사항) : True인 경우, CPU 상태 사전의 가중치와 체크포인트의 가장 큰 샤드 합이 CPU RAM에 맞지 않을 때 CPU RAM 부족을 방지하기 위해 CPU 상태 사전을 하드 드라이브로 일시적으로 오프로드합니다. 디스크 오프로드가 있는 경우 기본값은 True입니다.

low_cpu_mem_usage (bool, 선택 사항, torch 버전이 1.9.0 이상이면 기본값은 True, 그 외에는 False) : 가중치를 초기화하지 않고 사전 학습된 가중치만 로드하여 모델 로딩 속도를 높입니다. 모델 로딩 시 CPU 메모리(피크 메모리 포함)를 모델 크기의 1배를 초과하지 않도록 시도합니다. PyTorch 1.9.0 이상에서만 지원됩니다. PyTorch의 이전 버전을 사용하는 경우 이 인수를 True로 설정하면 오류가 발생합니다.

use_safetensors (bool, 선택 사항, 기본값 None) : None으로 설정하면, safetensors 라이브러리가 설치되어 있고 그리고 safetensors 가중치가 사용 가능한 경우 해당 가중치가 다운로드됩니다. True로 설정하면 모델이 safetensors 가중치에서 강제 로드됩니다. False로 설정하면 safetensors 가중치가 로드되지 않습니다.

kwargs (남은 키워드 인수의 사전, 선택 사항) : 로드 및 저장 가능한 변수(특정 파이프라인 클래스의 파이프라인 구성 요소)를 덮어쓸 수 있습니다. 덮어쓰기된 구성 요소는 파이프라인의 __init__ 메서드에 직접 전달됩니다. 자세한 내용은 아래 예시를 참조하세요.

variant (str, 선택 사항) : "fp16" 또는 "ema"와 같이 지정된 변형 파일 이름에서 가중치를 로드합니다.

pretrained 파이프라인 가중치에서 텍스트-이미지 Pytorch 확산 파이프라인을 초기화합니다.

from_pretrained() 메서드는 다음을 수행하여 올바른 pipeline 클래스 인스턴스를 반환하도록 처리합니다:

pretrained_model_or_path의 config 객체의 _class_name 속성을 기반으로 pipeline 클래스를 감지합니다
패턴 매칭을 통해 파이프라인 클래스 이름으로 파이프라인 클래스에 연결된 텍스트-이미지(text-to-image) 파이프라인을 찾습니다.

controlnet 인수가 전달되면 StableDiffusionControlNetPipeline 객체가 생성됩니다.

파이프라인은 기본적으로 평가 모드(model.eval())로 설정됩니다.

아래와 같은 오류 메시지가 표시되면 다운스트림 작업을 위해 가중치를 미세 조정해야 합니다:

Some weights of UNet2DConditionModel were not initialized from the model checkpoint at stable-diffusion-v1-5/stable-diffusion-v1-5 and are newly initialized because the shapes did not match:
- conv_in.weight: found shape torch.Size([320, 4, 3, 3]) in the checkpoint and torch.Size([320, 9, 3, 3]) in the model instantiated
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.

> 비공개 또는 gated 모델을 사용하려면 로그인 hf > auth login로

예:

>>> from diffusers import AutoPipelineForText2Image

>>> pipeline = AutoPipelineForText2Image.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5")
>>> image = pipeline(prompt).images[0]

from_pipe[[diffusers.AutoPipelineForText2Image.from_pipe]]

from_pipe(pipeline, **kwargs)

소스

매개변수:

pipeline (DiffusionPipeline) : 인스턴스화된 DiffusionPipeline 객체

다른 인스턴스화된 diffusion pipeline 클래스에서 텍스트-이미지 Pytorch diffusion pipeline을 인스턴스화합니다.

from_pipe() 메서드는 파이프라인 클래스 이름에 대한 패턴 매칭을 통해 해당 파이프라인 클래스에 연결된 텍스트-이미지 생성 파이프라인을 찾아 올바른 파이프라인 클래스 인스턴스를 반환하도록 처리합니다.

pipeline에 포함된 모든 모듈은 추가 메모리를 할당하지 않고 새 pipeline을 초기화하는 데 사용됩니다.

파이프라인은 기본적으로 평가 모드(model.eval())로 설정됩니다.

>>> from diffusers import AutoPipelineForText2Image, AutoPipelineForImage2Image

>>> pipe_i2i = AutoPipelineForImage2Image.from_pretrained(
...     "stable-diffusion-v1-5/stable-diffusion-v1-5", requires_safety_checker=False
... )

>>> pipe_t2i = AutoPipelineForText2Image.from_pipe(pipe_i2i)
>>> image = pipe_t2i(prompt).images[0]

AutoPipelineForImage2Image[[diffusers.AutoPipelineForImage2Image]]

diffusers.AutoPipelineForImage2Image[[diffusers.AutoPipelineForImage2Image]]

diffusers.AutoPipelineForImage2Image(*args, **kwargs)

소스

AutoPipelineForImage2Image is a generic pipeline class that instantiates an image-to-image pipeline class. The specific underlying pipeline class is automatically selected from either the from_pretrained() or from_pipe() methods.

이 클래스는 __init__()를 사용하여 인스턴스를 생성할 수 없습니다(에러가 발생합니다).

클래스 속성:

config_name (str) -- 모든 diffusion pipeline 구성 요소의 클래스 및 모듈 이름을 저장하는 구성 파일 이름입니다.

from_pretrained[[diffusers.AutoPipelineForImage2Image.from_pretrained]]

from_pretrained(pretrained_model_or_path, **kwargs)

소스

매개변수:

pretrained_model_or_path (str 또는 os.PathLike, 선택 사항) : 다음 중 하나일 수 있습니다. - Hub에 호스팅된 사전 학습된 파이프라인의 repo id 문자열(예: CompVis/ldm-text2im-large-256). - save_pretrained()를 사용하여 저장된 파이프라인 가중치가 포함된 디렉터리 경로(예: ./my_pipeline_directory/).

dtype (str 또는 torch.dtype, 선택 사항) : 기본 torch.dtype를 재정의하여 다른 dtype로 모델을 로드합니다.