Buckets:

hf-doc-build/doc / diffusers /main /ko /api /pipelines /auto_pipeline.md
mishig's picture
|
download
raw
40.6 kB
# AutoPipeline
`AutoPipeline`는 특정 파이프라인 클래스를 알지 못해도 작업을 위한 체크포인트를 쉽게 로드할 수 있도록 설계되었습니다. 작업에 따라 `AutoPipeline`은 체크포인트의 `model_index.json` 파일에서 올바른 파이프라인 클래스를 자동으로 가져옵니다.
> [!TIP]
> 이 API 사용법을 배우려면 [AutoPipeline](../../tutorials/autopipeline) 튜토리얼을 확인해 보세요!
## AutoPipelineForText2Image[[diffusers.AutoPipelineForText2Image]]
#### diffusers.AutoPipelineForText2Image[[diffusers.AutoPipelineForText2Image]]
```python
diffusers.AutoPipelineForText2Image(*args, **kwargs)
```
[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L378)
[AutoPipelineForText2Image](/docs/diffusers/main/ko/api/pipelines/auto_pipeline#diffusers.AutoPipelineForText2Image) is a generic pipeline class that instantiates a text-to-image pipeline class. The specific underlying pipeline class is automatically selected from either the [from_pretrained()](/docs/diffusers/main/ko/api/pipelines/auto_pipeline#diffusers.AutoPipelineForText2Image.from_pretrained) or [from_pipe()](/docs/diffusers/main/ko/api/pipelines/auto_pipeline#diffusers.AutoPipelineForText2Image.from_pipe) methods.
이 클래스는 `__init__()`를 사용하여 인스턴스를 생성할 수 없습니다(에러가 발생합니다).
클래스 속성:
- **config_name** (`str`) -- 모든 diffusion pipeline 구성 요소의 클래스 및 모듈 이름을 저장하는 구성 파일 이름입니다.
#### from_pretrained[[diffusers.AutoPipelineForText2Image.from_pretrained]]
```python
from_pretrained(pretrained_model_or_path, **kwargs)
```
[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L403)
**매개변수:**
pretrained_model_or_path (`str` 또는 `os.PathLike`, *선택 사항*) : 다음 중 하나일 수 있습니다. - Hub에 호스팅된 사전 학습된 파이프라인의 *repo id* 문자열(예: `CompVis/ldm-text2im-large-256`). - [save_pretrained()](/docs/diffusers/main/ko/api/pipelines/overview#diffusers.DiffusionPipeline.save_pretrained)를 사용하여 저장된 파이프라인 가중치가 포함된 *디렉터리* 경로(예: `./my_pipeline_directory/`).
dtype (`torch.dtype`, *선택 사항*) : 기본 `torch.dtype`를 재정의하여 다른 dtype로 모델을 로드합니다.
force_download (`bool`, *선택 사항*, 기본값 `False`) : 캐시된 버전이 존재하더라도 모델 가중치 및 구성 파일의 (재)다운로드를 강제할지 여부.
cache_dir (`str | os.PathLike`, *선택 사항*) : 표준 캐시를 사용하지 않을 경우, 다운로드된 사전 학습 모델 구성이 캐시되는 디렉터리의 경로입니다.
proxies (`dict[str, str]`, *선택 사항*) : 프로토콜 또는 엔드포인트별로 사용할 프록시 서버의 사전입니다. 예를 들어, `{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}`와 같습니다. 각 요청에 프록시가 사용됩니다.
output_loading_info(`bool`, *선택 사항*, 기본값 `False`) : 누락된 키, 예상치 못한 키 및 오류 메시지가 포함된 사전도 함께 반환할지 여부.
local_files_only (`bool`, *선택 사항*, 기본값 `False`) : 로컬 모델 가중치와 구성 파일만 로드할지 여부를 지정합니다. `True`로 설정하면 Hub에서 모델을 다운로드하지 않습니다.
token (`str` 또는 *bool*, *선택 사항*) : 원격 파일에 대한 HTTP bearer 인증으로 사용할 토큰입니다. `True`인 경우, `diffusers-cli login`에서 생성된 토큰(`~/.huggingface`에 저장됨)이 사용됩니다.
revision (`str`, *선택 사항*, 기본값 `"main"`) : 사용할 특정 모델 버전입니다. Git에서 허용하는 브랜치 이름, 태그 이름, 커밋 ID 또는 기타 식별자일 수 있습니다.
custom_revision (`str`, *선택 사항*, 기본값 `"main"`) : 사용할 특정 모델 버전입니다. Hub에서 커스텀 파이프라인을 로드할 때 `revision`과 유사하게 브랜치 이름, 태그 이름 또는 커밋 id일 수 있습니다. GitHub에서 커스텀 파이프라인을 로드할 때는 🤗 Diffusers 버전일 수 있으며, Hub에서 로드하는 경우를 제외하면 기본값은 `"main"`입니다.
mirror (`str`, *선택 사항*) : 중국에서 모델을 다운로드할 때 접근성 문제를 해결하기 위한 미러 소스입니다. 해당 소스의 적시성이나 안전성을 보장하지 않으며, 자세한 내용은 미러 사이트를 참고하세요.
device_map (`str` 또는 `dict[str, int | str | torch.device]`, *선택 사항*) : 각 서브모듈이 어디에 배치되어야 하는지 지정하는 맵입니다. 모든 파라미터/버퍼 이름에 대해 정의할 필요는 없으며, 특정 모듈 이름이 포함되면 해당 모듈의 모든 서브모듈이 동일한 장치로 전송됩니다. `device_map="auto"`를 설정하면 🤗 Accelerate가 가장 최적화된 `device_map`을 자동으로 계산합니다. 각 옵션에 대한 자세한 내용은 [device map 설계](https://hf.co/docs/accelerate/main/en/usage_guides/big_modeling#designing-a-device-map)를 참고하세요.
max_memory (`Dict`, *선택 사항*) : 최대 메모리에 대한 디바이스 식별자를 나타내는 사전입니다. 설정되지 않으면 각 GPU의 사용 가능한 최대 메모리와 사용 가능한 CPU RAM이 기본값으로 사용됩니다.
offload_folder (`str` 또는 `os.PathLike`, *선택 사항*) : `"disk"` 값을 포함하는 device_map의 경우, 가중치를 오프로드할 경로입니다.
offload_state_dict (`bool`, *선택 사항*) : `True`인 경우, CPU 상태 사전의 가중치와 체크포인트의 가장 큰 샤드 합이 CPU RAM에 맞지 않을 때 CPU RAM 부족을 방지하기 위해 CPU 상태 사전을 하드 드라이브로 일시적으로 오프로드합니다. 디스크 오프로드가 있는 경우 기본값은 `True`입니다.
low_cpu_mem_usage (`bool`, *선택 사항*, torch 버전이 1.9.0 이상이면 기본값은 `True`, 그 외에는 `False`) : 가중치를 초기화하지 않고 사전 학습된 가중치만 로드하여 모델 로딩 속도를 높입니다. 모델 로딩 시 CPU 메모리(피크 메모리 포함)를 모델 크기의 1배를 초과하지 않도록 시도합니다. PyTorch 1.9.0 이상에서만 지원됩니다. PyTorch의 이전 버전을 사용하는 경우 이 인수를 `True`로 설정하면 오류가 발생합니다.
use_safetensors (`bool`, *선택 사항*, 기본값 `None`) : `None`으로 설정하면, safetensors 라이브러리가 설치되어 있고 **그리고** safetensors 가중치가 사용 가능한 경우 해당 가중치가 다운로드됩니다. `True`로 설정하면 모델이 safetensors 가중치에서 강제 로드됩니다. `False`로 설정하면 safetensors 가중치가 로드되지 않습니다.
kwargs (남은 키워드 인수의 사전, *선택 사항*) : 로드 및 저장 가능한 변수(특정 파이프라인 클래스의 파이프라인 구성 요소)를 덮어쓸 수 있습니다. 덮어쓰기된 구성 요소는 파이프라인의 `__init__` 메서드에 직접 전달됩니다. 자세한 내용은 아래 예시를 참조하세요.
variant (`str`, *선택 사항*) : `"fp16"` 또는 `"ema"`와 같이 지정된 변형 파일 이름에서 가중치를 로드합니다.
pretrained 파이프라인 가중치에서 텍스트-이미지 Pytorch 확산 파이프라인을 초기화합니다.
from_pretrained() 메서드는 다음을 수행하여 올바른 pipeline 클래스 인스턴스를 반환하도록 처리합니다:
1. pretrained_model_or_path의 config 객체의 _class_name 속성을 기반으로 pipeline 클래스를 감지합니다
2. 패턴 매칭을 통해 파이프라인 클래스 이름으로 파이프라인 클래스에 연결된 텍스트-이미지(text-to-image) 파이프라인을 찾습니다.
`controlnet` 인수가 전달되면 [StableDiffusionControlNetPipeline](/docs/diffusers/main/ko/api/pipelines/controlnet#diffusers.StableDiffusionControlNetPipeline) 객체가 생성됩니다.
파이프라인은 기본적으로 평가 모드(`model.eval()`)로 설정됩니다.
아래와 같은 오류 메시지가 표시되면 다운스트림 작업을 위해 가중치를 미세 조정해야 합니다:
```
Some weights of UNet2DConditionModel were not initialized from the model checkpoint at stable-diffusion-v1-5/stable-diffusion-v1-5 and are newly initialized because the shapes did not match:
- conv_in.weight: found shape torch.Size([320, 4, 3, 3]) in the checkpoint and torch.Size([320, 9, 3, 3]) in the model instantiated
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.
```
> [!TIP] > 비공개 또는 [gated](https://huggingface.co/docs/hub/models-gated#gated-models) 모델을 사용하려면 로그인
`hf > auth login`로
예:
```py
>>> from diffusers import AutoPipelineForText2Image
>>> pipeline = AutoPipelineForText2Image.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5")
>>> image = pipeline(prompt).images[0]
```
#### from_pipe[[diffusers.AutoPipelineForText2Image.from_pipe]]
```python
from_pipe(pipeline, **kwargs)
```
[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L559)
**매개변수:**
pipeline (`DiffusionPipeline`) : 인스턴스화된 `DiffusionPipeline` 객체
다른 인스턴스화된 diffusion pipeline 클래스에서 텍스트-이미지 Pytorch diffusion pipeline을 인스턴스화합니다.
from_pipe() 메서드는 파이프라인 클래스 이름에 대한 패턴 매칭을 통해 해당 파이프라인 클래스에 연결된 텍스트-이미지 생성 파이프라인을 찾아 올바른 파이프라인 클래스 인스턴스를 반환하도록 처리합니다.
pipeline에 포함된 모든 모듈은 추가 메모리를 할당하지 않고 새 pipeline을 초기화하는 데 사용됩니다.
파이프라인은 기본적으로 평가 모드(`model.eval()`)로 설정됩니다.
```py
>>> from diffusers import AutoPipelineForText2Image, AutoPipelineForImage2Image
>>> pipe_i2i = AutoPipelineForImage2Image.from_pretrained(
... "stable-diffusion-v1-5/stable-diffusion-v1-5", requires_safety_checker=False
... )
>>> pipe_t2i = AutoPipelineForText2Image.from_pipe(pipe_i2i)
>>> image = pipe_t2i(prompt).images[0]
```
## AutoPipelineForImage2Image[[diffusers.AutoPipelineForImage2Image]]
#### diffusers.AutoPipelineForImage2Image[[diffusers.AutoPipelineForImage2Image]]
```python
diffusers.AutoPipelineForImage2Image(*args, **kwargs)
```
[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L676)
[AutoPipelineForImage2Image](/docs/diffusers/main/ko/api/pipelines/auto_pipeline#diffusers.AutoPipelineForImage2Image) is a generic pipeline class that instantiates an image-to-image pipeline class. The specific underlying pipeline class is automatically selected from either the [from_pretrained()](/docs/diffusers/main/ko/api/pipelines/auto_pipeline#diffusers.AutoPipelineForImage2Image.from_pretrained) or [from_pipe()](/docs/diffusers/main/ko/api/pipelines/auto_pipeline#diffusers.AutoPipelineForImage2Image.from_pipe) methods.
이 클래스는 `__init__()`를 사용하여 인스턴스를 생성할 수 없습니다(에러가 발생합니다).
클래스 속성:
- **config_name** (`str`) -- 모든 diffusion pipeline 구성 요소의 클래스 및 모듈 이름을 저장하는 구성 파일 이름입니다.
#### from_pretrained[[diffusers.AutoPipelineForImage2Image.from_pretrained]]
```python
from_pretrained(pretrained_model_or_path, **kwargs)
```
[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L701)
**매개변수:**
pretrained_model_or_path (`str` 또는 `os.PathLike`, *선택 사항*) : 다음 중 하나일 수 있습니다. - Hub에 호스팅된 사전 학습된 파이프라인의 *repo id* 문자열(예: `CompVis/ldm-text2im-large-256`). - [save_pretrained()](/docs/diffusers/main/ko/api/pipelines/overview#diffusers.DiffusionPipeline.save_pretrained)를 사용하여 저장된 파이프라인 가중치가 포함된 *디렉터리* 경로(예: `./my_pipeline_directory/`).
dtype (`str` 또는 `torch.dtype`, *선택 사항*) : 기본 `torch.dtype`를 재정의하여 다른 dtype로 모델을 로드합니다.
force_download (`bool`, *선택 사항*, 기본값 `False`) : 캐시된 버전이 존재하더라도 모델 가중치 및 구성 파일의 (재)다운로드를 강제할지 여부.
cache_dir (`str | os.PathLike`, *선택 사항*) : 표준 캐시를 사용하지 않을 경우, 다운로드된 사전 학습 모델 구성이 캐시되는 디렉터리의 경로입니다.
proxies (`dict[str, str]`, *선택 사항*) : 프로토콜 또는 엔드포인트별로 사용할 프록시 서버의 사전입니다. 예를 들어, `{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}`와 같습니다. 각 요청에 프록시가 사용됩니다.
output_loading_info(`bool`, *선택 사항*, 기본값 `False`) : 누락된 키, 예상치 못한 키 및 오류 메시지가 포함된 사전도 함께 반환할지 여부.
local_files_only (`bool`, *선택 사항*, 기본값 `False`) : 로컬 모델 가중치와 구성 파일만 로드할지 여부를 지정합니다. `True`로 설정하면 Hub에서 모델을 다운로드하지 않습니다.
token (`str` 또는 *bool*, *선택 사항*) : 원격 파일에 대한 HTTP bearer 인증으로 사용할 토큰입니다. `True`인 경우, `diffusers-cli login`에서 생성된 토큰(`~/.huggingface`에 저장됨)이 사용됩니다.
revision (`str`, *선택 사항*, 기본값 `"main"`) : 사용할 특정 모델 버전입니다. Git에서 허용하는 브랜치 이름, 태그 이름, 커밋 ID 또는 기타 식별자일 수 있습니다.
custom_revision (`str`, *선택 사항*, 기본값 `"main"`) : 사용할 특정 모델 버전입니다. Hub에서 커스텀 파이프라인을 로드할 때 `revision`과 유사하게 브랜치 이름, 태그 이름 또는 커밋 id일 수 있습니다. GitHub에서 커스텀 파이프라인을 로드할 때는 🤗 Diffusers 버전일 수 있으며, Hub에서 로드하는 경우를 제외하면 기본값은 `"main"`입니다.
mirror (`str`, *선택 사항*) : 중국에서 모델을 다운로드할 때 접근성 문제를 해결하기 위한 미러 소스입니다. 해당 소스의 적시성이나 안전성을 보장하지 않으며, 자세한 내용은 미러 사이트를 참고하세요.
device_map (`str` 또는 `dict[str, int | str | torch.device]`, *선택 사항*) : 각 서브모듈이 어디에 배치되어야 하는지 지정하는 맵입니다. 모든 파라미터/버퍼 이름에 대해 정의할 필요는 없으며, 특정 모듈 이름이 포함되면 해당 모듈의 모든 서브모듈이 동일한 장치로 전송됩니다. `device_map="auto"`를 설정하면 🤗 Accelerate가 가장 최적화된 `device_map`을 자동으로 계산합니다. 각 옵션에 대한 자세한 내용은 [device map 설계](https://hf.co/docs/accelerate/main/en/usage_guides/big_modeling#designing-a-device-map)를 참고하세요.
max_memory (`Dict`, *선택 사항*) : 최대 메모리에 대한 디바이스 식별자를 나타내는 사전입니다. 설정되지 않으면 각 GPU의 사용 가능한 최대 메모리와 사용 가능한 CPU RAM이 기본값으로 사용됩니다.
offload_folder (`str` 또는 `os.PathLike`, *선택 사항*) : `"disk"` 값을 포함하는 device_map의 경우, 가중치를 오프로드할 경로입니다.
offload_state_dict (`bool`, *선택 사항*) : `True`인 경우, CPU 상태 사전의 가중치와 체크포인트의 가장 큰 샤드 합이 CPU RAM에 맞지 않을 때 CPU RAM 부족을 방지하기 위해 CPU 상태 사전을 하드 드라이브로 일시적으로 오프로드합니다. 디스크 오프로드가 있는 경우 기본값은 `True`입니다.
low_cpu_mem_usage (`bool`, *선택 사항*, torch 버전이 1.9.0 이상이면 기본값은 `True`, 그 외에는 `False`) : 가중치를 초기화하지 않고 사전 학습된 가중치만 로드하여 모델 로딩 속도를 높입니다. 모델 로딩 시 CPU 메모리(피크 메모리 포함)를 모델 크기의 1배를 초과하지 않도록 시도합니다. PyTorch 1.9.0 이상에서만 지원됩니다. PyTorch의 이전 버전을 사용하는 경우 이 인수를 `True`로 설정하면 오류가 발생합니다.
use_safetensors (`bool`, *선택 사항*, 기본값 `None`) : `None`으로 설정하면, safetensors 라이브러리가 설치되어 있고 **그리고** safetensors 가중치가 사용 가능한 경우 해당 가중치가 다운로드됩니다. `True`로 설정하면 모델이 safetensors 가중치에서 강제 로드됩니다. `False`로 설정하면 safetensors 가중치가 로드되지 않습니다.
kwargs (남은 키워드 인수의 사전, *선택 사항*) : 로드 및 저장 가능한 변수(특정 파이프라인 클래스의 파이프라인 구성 요소)를 덮어쓸 수 있습니다. 덮어쓰기된 구성 요소는 파이프라인의 `__init__` 메서드에 직접 전달됩니다. 자세한 내용은 아래 예시를 참조하세요.
variant (`str`, *선택 사항*) : `"fp16"` 또는 `"ema"`와 같이 지정된 변형 파일 이름에서 가중치를 로드합니다.
pretrained 파이프라인 가중치에서 이미지-이미지 Pytorch 확산 파이프라인을 초기화합니다.
from_pretrained() 메서드는 다음을 수행하여 올바른 pipeline 클래스 인스턴스를 반환하도록 처리합니다:
1. pretrained_model_or_path의 config 객체의 _class_name 속성을 기반으로 pipeline 클래스를 감지합니다
2. 패턴 매칭을 통해 파이프라인 클래스 이름에 연결된 이미지-이미지 파이프라인을 찾습니다.
`controlnet` 인수가 전달되면 [StableDiffusionControlNetImg2ImgPipeline](/docs/diffusers/main/ko/api/pipelines/controlnet#diffusers.StableDiffusionControlNetImg2ImgPipeline) 객체가 생성됩니다.
파이프라인은 기본적으로 평가 모드(`model.eval()`)로 설정됩니다.
아래와 같은 오류 메시지가 표시되면 다운스트림 작업을 위해 가중치를 미세 조정해야 합니다:
```
Some weights of UNet2DConditionModel were not initialized from the model checkpoint at stable-diffusion-v1-5/stable-diffusion-v1-5 and are newly initialized because the shapes did not match:
- conv_in.weight: found shape torch.Size([320, 4, 3, 3]) in the checkpoint and torch.Size([320, 9, 3, 3]) in the model instantiated
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.
```
> [!TIP] > 비공개 또는 [gated](https://huggingface.co/docs/hub/models-gated#gated-models) 모델을 사용하려면 로그인
`hf > auth login`로
예:
```py
>>> from diffusers import AutoPipelineForImage2Image
>>> pipeline = AutoPipelineForImage2Image.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5")
>>> image = pipeline(prompt, image).images[0]
```
#### from_pipe[[diffusers.AutoPipelineForImage2Image.from_pipe]]
```python
from_pipe(pipeline, **kwargs)
```
[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L868)
**매개변수:**
pipeline (`DiffusionPipeline`) : 인스턴스화된 `DiffusionPipeline` 객체
이미지-이미지 Pytorch diffusion 파이프라인을 다른 인스턴스화된 diffusion 파이프라인 클래스에서 인스턴스화합니다.
from_pipe() 메서드는 파이프라인 클래스 이름에 대한 패턴 매칭을 통해 해당 파이프라인 클래스에 연결된 이미지-이미지 파이프라인을 찾아 올바른 파이프라인 클래스 인스턴스를 반환하도록 처리합니다.
pipeline에 포함된 모든 모듈은 추가 메모리를 할당하지 않고 새 pipeline을 초기화하는 데 사용됩니다.
파이프라인은 기본적으로 평가 모드(`model.eval()`)로 설정됩니다.
예:
```py
>>> from diffusers import AutoPipelineForText2Image, AutoPipelineForImage2Image
>>> pipe_t2i = AutoPipelineForText2Image.from_pretrained(
... "stable-diffusion-v1-5/stable-diffusion-v1-5", requires_safety_checker=False
... )
>>> pipe_i2i = AutoPipelineForImage2Image.from_pipe(pipe_t2i)
>>> image = pipe_i2i(prompt, image).images[0]
```
## AutoPipelineForInpainting[[diffusers.AutoPipelineForInpainting]]
#### diffusers.AutoPipelineForInpainting[[diffusers.AutoPipelineForInpainting]]
```python
diffusers.AutoPipelineForInpainting(*args, **kwargs)
```
[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L990)
[AutoPipelineForInpainting](/docs/diffusers/main/ko/api/pipelines/auto_pipeline#diffusers.AutoPipelineForInpainting) is a generic pipeline class that instantiates an inpainting pipeline class. The specific underlying pipeline class is automatically selected from either the [from_pretrained()](/docs/diffusers/main/ko/api/pipelines/auto_pipeline#diffusers.AutoPipelineForInpainting.from_pretrained) or [from_pipe()](/docs/diffusers/main/ko/api/pipelines/auto_pipeline#diffusers.AutoPipelineForInpainting.from_pipe) methods.
이 클래스는 `__init__()`를 사용하여 인스턴스를 생성할 수 없습니다(에러가 발생합니다).
클래스 속성:
- **config_name** (`str`) -- 모든 diffusion pipeline 구성 요소의 클래스 및 모듈 이름을 저장하는 구성 파일 이름입니다.
#### from_pretrained[[diffusers.AutoPipelineForInpainting.from_pretrained]]
```python
from_pretrained(pretrained_model_or_path, **kwargs)
```
[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L1015)
**매개변수:**
pretrained_model_or_path (`str` 또는 `os.PathLike`, *선택 사항*) : 다음 중 하나일 수 있습니다. - Hub에 호스팅된 사전 학습된 파이프라인의 *repo id* 문자열(예: `CompVis/ldm-text2im-large-256`). - [save_pretrained()](/docs/diffusers/main/ko/api/pipelines/overview#diffusers.DiffusionPipeline.save_pretrained)를 사용하여 저장된 파이프라인 가중치가 포함된 *디렉터리* 경로(예: `./my_pipeline_directory/`).
dtype (`str` 또는 `torch.dtype`, *선택 사항*) : 기본 `torch.dtype`를 재정의하여 다른 dtype로 모델을 로드합니다.
force_download (`bool`, *선택 사항*, 기본값 `False`) : 캐시된 버전이 존재하더라도 모델 가중치 및 구성 파일의 (재)다운로드를 강제할지 여부.
cache_dir (`str | os.PathLike`, *선택 사항*) : 표준 캐시를 사용하지 않을 경우, 다운로드된 사전 학습 모델 구성이 캐시되는 디렉터리의 경로입니다.
proxies (`dict[str, str]`, *선택 사항*) : 프로토콜 또는 엔드포인트별로 사용할 프록시 서버의 사전입니다. 예를 들어, `{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}`와 같습니다. 각 요청에 프록시가 사용됩니다.
output_loading_info(`bool`, *선택 사항*, 기본값 `False`) : 누락된 키, 예상치 못한 키 및 오류 메시지가 포함된 사전도 함께 반환할지 여부.
local_files_only (`bool`, *선택 사항*, 기본값 `False`) : 로컬 모델 가중치와 구성 파일만 로드할지 여부를 지정합니다. `True`로 설정하면 Hub에서 모델을 다운로드하지 않습니다.
token (`str` 또는 *bool*, *선택 사항*) : 원격 파일에 대한 HTTP bearer 인증으로 사용할 토큰입니다. `True`인 경우, `diffusers-cli login`에서 생성된 토큰(`~/.huggingface`에 저장됨)이 사용됩니다.
revision (`str`, *선택 사항*, 기본값 `"main"`) : 사용할 특정 모델 버전입니다. Git에서 허용하는 브랜치 이름, 태그 이름, 커밋 ID 또는 기타 식별자일 수 있습니다.
custom_revision (`str`, *선택 사항*, 기본값 `"main"`) : 사용할 특정 모델 버전입니다. Hub에서 커스텀 파이프라인을 로드할 때 `revision`과 유사하게 브랜치 이름, 태그 이름 또는 커밋 id일 수 있습니다. GitHub에서 커스텀 파이프라인을 로드할 때는 🤗 Diffusers 버전일 수 있으며, Hub에서 로드하는 경우를 제외하면 기본값은 `"main"`입니다.
mirror (`str`, *선택 사항*) : 중국에서 모델을 다운로드할 때 접근성 문제를 해결하기 위한 미러 소스입니다. 해당 소스의 적시성이나 안전성을 보장하지 않으며, 자세한 내용은 미러 사이트를 참고하세요.
device_map (`str` 또는 `dict[str, int | str | torch.device]`, *선택 사항*) : 각 서브모듈이 어디에 배치되어야 하는지 지정하는 맵입니다. 모든 파라미터/버퍼 이름에 대해 정의할 필요는 없으며, 특정 모듈 이름이 포함되면 해당 모듈의 모든 서브모듈이 동일한 장치로 전송됩니다. `device_map="auto"`를 설정하면 🤗 Accelerate가 가장 최적화된 `device_map`을 자동으로 계산합니다. 각 옵션에 대한 자세한 내용은 [device map 설계](https://hf.co/docs/accelerate/main/en/usage_guides/big_modeling#designing-a-device-map)를 참고하세요.
max_memory (`Dict`, *선택 사항*) : 최대 메모리에 대한 디바이스 식별자를 나타내는 사전입니다. 설정되지 않으면 각 GPU의 사용 가능한 최대 메모리와 사용 가능한 CPU RAM이 기본값으로 사용됩니다.
offload_folder (`str` 또는 `os.PathLike`, *선택 사항*) : `"disk"` 값을 포함하는 device_map의 경우, 가중치를 오프로드할 경로입니다.
offload_state_dict (`bool`, *선택 사항*) : `True`인 경우, CPU 상태 사전의 가중치와 체크포인트의 가장 큰 샤드 합이 CPU RAM에 맞지 않을 때 CPU RAM 부족을 방지하기 위해 CPU 상태 사전을 하드 드라이브로 일시적으로 오프로드합니다. 디스크 오프로드가 있는 경우 기본값은 `True`입니다.
low_cpu_mem_usage (`bool`, *선택 사항*, torch 버전이 1.9.0 이상이면 기본값은 `True`, 그 외에는 `False`) : 가중치를 초기화하지 않고 사전 학습된 가중치만 로드하여 모델 로딩 속도를 높입니다. 모델 로딩 시 CPU 메모리(피크 메모리 포함)를 모델 크기의 1배를 초과하지 않도록 시도합니다. PyTorch 1.9.0 이상에서만 지원됩니다. PyTorch의 이전 버전을 사용하는 경우 이 인수를 `True`로 설정하면 오류가 발생합니다.
use_safetensors (`bool`, *선택 사항*, 기본값 `None`) : `None`으로 설정하면, safetensors 라이브러리가 설치되어 있고 **그리고** safetensors 가중치가 사용 가능한 경우 해당 가중치가 다운로드됩니다. `True`로 설정하면 모델이 safetensors 가중치에서 강제 로드됩니다. `False`로 설정하면 safetensors 가중치가 로드되지 않습니다.
kwargs (남은 키워드 인수의 사전, *선택 사항*) : 로드 및 저장 가능한 변수(특정 파이프라인 클래스의 파이프라인 구성 요소)를 덮어쓸 수 있습니다. 덮어쓰기된 구성 요소는 파이프라인의 `__init__` 메서드에 직접 전달됩니다. 자세한 내용은 아래 예시를 참조하세요.
variant (`str`, *선택 사항*) : `"fp16"` 또는 `"ema"`와 같이 지정된 변형 파일 이름에서 가중치를 로드합니다.
pretrained 파이프라인 가중치로부터 inpainting Pytorch diffusion 파이프라인을 초기화합니다.
from_pretrained() 메서드는 다음을 수행하여 올바른 pipeline 클래스 인스턴스를 반환하도록 처리합니다:
1. pretrained_model_or_path의 config 객체의 _class_name 속성을 기반으로 pipeline 클래스를 감지합니다
2. 패턴 매칭을 통해 파이프라인 클래스 이름으로 파이프라인 클래스에 연결된 inpainting 파이프라인을 찾습니다.
`controlnet` 인수가 전달되면 [StableDiffusionControlNetInpaintPipeline](/docs/diffusers/main/ko/api/pipelines/controlnet#diffusers.StableDiffusionControlNetInpaintPipeline) 객체가 생성됩니다.
파이프라인은 기본적으로 평가 모드(`model.eval()`)로 설정됩니다.
아래와 같은 오류 메시지가 표시되면 다운스트림 작업을 위해 가중치를 미세 조정해야 합니다:
```
Some weights of UNet2DConditionModel were not initialized from the model checkpoint at stable-diffusion-v1-5/stable-diffusion-v1-5 and are newly initialized because the shapes did not match:
- conv_in.weight: found shape torch.Size([320, 4, 3, 3]) in the checkpoint and torch.Size([320, 9, 3, 3]) in the model instantiated
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.
```
> [!TIP] > 비공개 또는 [gated](https://huggingface.co/docs/hub/models-gated#gated-models) 모델을 사용하려면 로그인
`hf > auth login`로
예:
```py
>>> from diffusers import AutoPipelineForInpainting
>>> pipeline = AutoPipelineForInpainting.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5")
>>> image = pipeline(prompt, image=init_image, mask_image=mask_image).images[0]
```
#### from_pipe[[diffusers.AutoPipelineForInpainting.from_pipe]]
```python
from_pipe(pipeline, **kwargs)
```
[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L1179)
**매개변수:**
pipeline (`DiffusionPipeline`) : 인스턴스화된 `DiffusionPipeline` 객체
인스턴스화된 다른 diffusion pipeline 클래스에서 inpainting Pytorch diffusion pipeline을 인스턴스화합니다.
from_pipe() 메서드는 파이프라인 클래스 이름에 대한 패턴 매칭을 통해 해당 파이프라인 클래스와 연결된 inpainting 파이프라인을 찾아 올바른 파이프라인 클래스 인스턴스를 반환하도록 처리합니다.
pipeline 클래스가 포함하는 모든 모듈은 추가 메모리를 할당하지 않고 새 파이프라인을 초기화하는 데 사용됩니다.
파이프라인은 기본적으로 평가 모드(`model.eval()`)로 설정됩니다.
예:
```py
>>> from diffusers import AutoPipelineForText2Image, AutoPipelineForInpainting
>>> pipe_t2i = AutoPipelineForText2Image.from_pretrained(
... "DeepFloyd/IF-I-XL-v1.0", requires_safety_checker=False
... )
>>> pipe_inpaint = AutoPipelineForInpainting.from_pipe(pipe_t2i)
>>> image = pipe_inpaint(prompt, image=init_image, mask_image=mask_image).images[0]
```
## AutoPipelineForText2Audio[[diffusers.AutoPipelineForText2Audio]]
#### diffusers.AutoPipelineForText2Audio[[diffusers.AutoPipelineForText2Audio]]
```python
diffusers.AutoPipelineForText2Audio(*args, **kwargs)
```
[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L1298)
[AutoPipelineForText2Audio](/docs/diffusers/main/ko/api/pipelines/auto_pipeline#diffusers.AutoPipelineForText2Audio) is a generic pipeline class that instantiates a text-to-audio pipeline class. The specific underlying pipeline class is automatically selected from either the [from_pretrained()](/docs/diffusers/main/ko/api/pipelines/auto_pipeline#diffusers.AutoPipelineForText2Audio.from_pretrained) or [from_pipe()](/docs/diffusers/main/ko/api/pipelines/auto_pipeline#diffusers.AutoPipelineForText2Audio.from_pipe) methods.
이 클래스는 `__init__()`를 사용하여 인스턴스를 생성할 수 없습니다(에러가 발생합니다).
클래스 속성:
- **config_name** (`str`) -- 모든 diffusion pipeline 구성 요소의 클래스 및 모듈 이름을 저장하는 구성 파일 이름입니다.
#### from_pretrained[[diffusers.AutoPipelineForText2Audio.from_pretrained]]
```python
from_pretrained(pretrained_model_or_path, **kwargs)
```
[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L1323)
**매개변수:**
pretrained_model_or_path (`str` 또는 `os.PathLike`, *선택 사항*) : 다음 중 하나일 수 있습니다. - Hub에 호스팅된 사전 학습된 파이프라인의 *repo id* 문자열(예: `stabilityai/stable-audio-open-1.0`). - [save_pretrained()](/docs/diffusers/main/ko/api/pipelines/overview#diffusers.DiffusionPipeline.save_pretrained)를 사용하여 저장된 파이프라인 가중치가 포함된 *디렉터리* 경로(예: `./my_pipeline_directory/`).
dtype (`torch.dtype`, *선택 사항*) : 기본 `torch.dtype`를 재정의하여 다른 dtype로 모델을 로드합니다.
force_download (`bool`, *선택 사항*, 기본값 `False`) : 캐시된 버전이 존재하더라도 모델 가중치 및 구성 파일의 (재)다운로드를 강제할지 여부.
cache_dir (`str | os.PathLike`, *선택 사항*) : 표준 캐시를 사용하지 않을 경우, 다운로드된 사전 학습 모델 구성이 캐시되는 디렉터리의 경로입니다.
proxies (`dict[str, str]`, *선택 사항*) : 프로토콜 또는 엔드포인트별로 사용할 프록시 서버의 사전입니다. 예를 들어, `{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}`와 같습니다. 각 요청에 프록시가 사용됩니다.
output_loading_info(`bool`, *선택 사항*, 기본값 `False`) : 누락된 키, 예상치 못한 키 및 오류 메시지가 포함된 사전도 함께 반환할지 여부.
local_files_only (`bool`, *선택 사항*, 기본값 `False`) : 로컬 모델 가중치와 구성 파일만 로드할지 여부를 지정합니다. `True`로 설정하면 Hub에서 모델을 다운로드하지 않습니다.
token (`str` 또는 *bool*, *선택 사항*) : 원격 파일에 대한 HTTP bearer 인증으로 사용할 토큰입니다. `True`인 경우, `diffusers-cli login`에서 생성된 토큰(`~/.huggingface`에 저장됨)이 사용됩니다.
revision (`str`, *선택 사항*, 기본값 `"main"`) : 사용할 특정 모델 버전입니다. Git에서 허용하는 브랜치 이름, 태그 이름, 커밋 ID 또는 기타 식별자일 수 있습니다.
custom_revision (`str`, *선택 사항*, 기본값 `"main"`) : 사용할 특정 모델 버전입니다. Hub에서 커스텀 파이프라인을 로드할 때 `revision`과 유사하게 브랜치 이름, 태그 이름 또는 커밋 id일 수 있습니다. GitHub에서 커스텀 파이프라인을 로드할 때는 🤗 Diffusers 버전일 수 있으며, Hub에서 로드하는 경우를 제외하면 기본값은 `"main"`입니다.
mirror (`str`, *선택 사항*) : 중국에서 모델을 다운로드할 때 접근성 문제를 해결하기 위한 미러 소스입니다. 해당 소스의 적시성이나 안전성을 보장하지 않으며, 자세한 내용은 미러 사이트를 참고하세요.
device_map (`str` 또는 `dict[str, int | str | torch.device]`, *선택 사항*) : 각 서브모듈이 어디에 배치되어야 하는지 지정하는 맵입니다. 모든 파라미터/버퍼 이름에 대해 정의할 필요는 없으며, 특정 모듈 이름이 포함되면 해당 모듈의 모든 서브모듈이 동일한 장치로 전송됩니다. `device_map="auto"`를 설정하면 🤗 Accelerate가 가장 최적화된 `device_map`을 자동으로 계산합니다. 각 옵션에 대한 자세한 내용은 [device map 설계](https://hf.co/docs/accelerate/main/en/usage_guides/big_modeling#designing-a-device-map)를 참고하세요.
max_memory (`Dict`, *선택 사항*) : 최대 메모리에 대한 디바이스 식별자를 나타내는 사전입니다. 설정되지 않으면 각 GPU의 사용 가능한 최대 메모리와 사용 가능한 CPU RAM이 기본값으로 사용됩니다.
offload_folder (`str` 또는 `os.PathLike`, *선택 사항*) : `"disk"` 값을 포함하는 device_map의 경우, 가중치를 오프로드할 경로입니다.
offload_state_dict (`bool`, *선택 사항*) : `True`인 경우, CPU 상태 사전의 가중치와 체크포인트의 가장 큰 샤드 합이 CPU RAM에 맞지 않을 때 CPU RAM 부족을 방지하기 위해 CPU 상태 사전을 하드 드라이브로 일시적으로 오프로드합니다. 디스크 오프로드가 있는 경우 기본값은 `True`입니다.
low_cpu_mem_usage (`bool`, *선택 사항*, torch 버전이 1.9.0 이상이면 기본값은 `True`, 그 외에는 `False`) : 가중치를 초기화하지 않고 사전 학습된 가중치만 로드하여 모델 로딩 속도를 높입니다. 모델 로딩 시 CPU 메모리(피크 메모리 포함)를 모델 크기의 1배를 초과하지 않도록 시도합니다. PyTorch 1.9.0 이상에서만 지원됩니다. PyTorch의 이전 버전을 사용하는 경우 이 인수를 `True`로 설정하면 오류가 발생합니다.
use_safetensors (`bool`, *선택 사항*, 기본값 `None`) : `None`으로 설정하면, safetensors 라이브러리가 설치되어 있고 **그리고** safetensors 가중치가 사용 가능한 경우 해당 가중치가 다운로드됩니다. `True`로 설정하면 모델이 safetensors 가중치에서 강제 로드됩니다. `False`로 설정하면 safetensors 가중치가 로드되지 않습니다.
kwargs (남은 키워드 인수의 사전, *선택 사항*) : 로드 및 저장 가능한 변수(특정 파이프라인 클래스의 파이프라인 구성 요소)를 덮어쓸 수 있습니다. 덮어쓰기된 구성 요소는 파이프라인의 `__init__` 메서드에 직접 전달됩니다. 자세한 내용은 아래 예시를 참조하세요.
variant (`str`, *선택 사항*) : `"fp16"` 또는 `"ema"`와 같이 지정된 변형 파일 이름에서 가중치를 로드합니다.
pretrained 파이프라인 가중치에서 텍스트-오디오 Pytorch diffusion 파이프라인을 초기화합니다.
from_pretrained() 메서드는 다음을 수행하여 올바른 pipeline 클래스 인스턴스를 반환하도록 처리합니다:
1. pretrained_model_or_path의 config 객체의 _class_name 속성을 기반으로 pipeline 클래스를 감지합니다
2. 패턴 매칭을 통해 pipeline 클래스 이름에 연결된 텍스트-오디오 파이프라인을 찾습니다.
파이프라인은 기본적으로 평가 모드(`model.eval()`)로 설정됩니다.
> [!TIP] > 비공개 또는 [gated](https://huggingface.co/docs/hub/models-gated#gated-models) 모델을 사용하려면 로그인
`hf > auth login`로
예:
```py
>>> import torch
>>> import soundfile as sf
>>> from diffusers import AutoPipelineForText2Audio
>>> pipeline = AutoPipelineForText2Audio.from_pretrained(
... "stabilityai/stable-audio-open-1.0", torch_dtype=torch.float16
... )
>>> pipeline = pipeline.to("cuda")
>>> output = pipeline(
... "Generate a male voice reading a paragraph",
... num_inference_steps=200,
... audio_end_in_s=10.0,
... )
>>> audio = output.audios[0].T.float().cpu().numpy()
>>> sf.write("audio.wav", audio, pipeline.vae.sampling_rate)
```
#### from_pipe[[diffusers.AutoPipelineForText2Audio.from_pipe]]
```python
from_pipe(pipeline, **kwargs)
```
[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L1467)
**매개변수:**
pipeline (`DiffusionPipeline`) : 인스턴스화된 `DiffusionPipeline` 객체
다른 인스턴스화된 diffusion pipeline 클래스에서 텍스트-오디오 Pytorch diffusion pipeline을 인스턴스화합니다.
from_pipe() 메서드는 파이프라인 클래스 이름에 대한 패턴 매칭을 통해 해당 파이프라인 클래스에 연결된 text-to-audio 파이프라인을 찾아 올바른 파이프라인 클래스 인스턴스를 반환하도록 처리합니다.
pipeline에 포함된 모든 모듈은 추가 메모리를 할당하지 않고 새 pipeline을 초기화하는 데 사용됩니다.
파이프라인은 기본적으로 평가 모드(`model.eval()`)로 설정됩니다.
```py
>>> import torch
>>> import soundfile as sf
>>> from diffusers import AutoPipelineForText2Audio, StableAudioPipeline
>>> pipe = StableAudioPipeline.from_pretrained("stabilityai/stable-audio-open-1.0", torch_dtype=torch.float16)
>>> pipe_audio = AutoPipelineForText2Audio.from_pipe(pipe)
>>> output = pipe_audio(
... "Generate a sound",
... num_inference_steps=200,
... audio_end_in_s=10.0,
... )
>>> audio = output.audios[0].T.float().cpu().numpy()
>>> sf.write("audio.wav", audio, pipe_audio.vae.sampling_rate)
```

Xet Storage Details

Size:
40.6 kB
·
Xet hash:
2222ca06c32df33c920bdcfc89f08eb3200b98449ee375bc06a91ed8ec1d42db

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.