IP-Adapter

IP-Adapter는 이미지로 diffusion model을 프롬프팅할 수 있게 해주는 경량 어댑터입니다. 이 방법은 이미지와 텍스트 특징의 cross-attention 레이어를 분리합니다. 이미지 특징은 이미지 인코더에서 생성됩니다.

IP-Adapter 가이드에서 IP-Adapter 체크포인트와 이미지를 로드하고 사용하는 방법을 배워보세요.

IPAdapterMixin[[diffusers.loaders.IPAdapterMixin]]

diffusers.loaders.IPAdapterMixin[[diffusers.loaders.IPAdapterMixin]]

diffusers.loaders.IPAdapterMixin()

소스

IP Adapter를 처리하기 위한 Mixin입니다.

load_ip_adapter[[diffusers.loaders.IPAdapterMixin.load_ip_adapter]]

load_ip_adapter(pretrained_model_name_or_path_or_dict: str | list[str] | dict[str, torch.Tensor], subfolder: str | list[str], weight_name: str | list[str], image_encoder_folder: str | None = 'image_encoder', **kwargs)

소스

매개변수:

pretrained_model_name_or_path_or_dict (str 또는 list[str] 또는 os.PathLike 또는 list[os.PathLike] 또는 dict 또는 list[dict]) : 다음 중 하나일 수 있습니다: - Hub에 호스팅된 사전 학습 모델의 model id 문자열 (예: google/ddpm-celebahq-256). - ModelMixin.save_pretrained()로 저장된 모델 가중치가 포함된 디렉터리 경로 (예: ./my_model_directory). - torch state dict.

subfolder (str 또는 list[str]) : Hub 또는 로컬의 더 큰 모델 저장소 내에서 모델 파일의 서브폴더 위치입니다. 리스트가 전달되면 weight_name과 동일한 길이를 가져야 합니다.

weight_name (str 또는 list[str]) : 로드할 가중치 파일의 이름입니다. 리스트가 전달되면 subfolder와 동일한 길이를 가져야 합니다.

image_encoder_folder (str, 선택 사항, 기본값은 image_encoder) : Hub 또는 로컬의 더 큰 모델 저장소 내에서 이미지 인코더의 서브폴더 위치입니다. 이미지 인코더를 로드하지 않으려면 None을 전달하세요. 이미지 인코더가 subfolder 안의 폴더에 있는 경우, 이미지 인코더 가중치를 포함하는 폴더의 이름만 전달하면 됩니다. 예를 들어 image_encoder_folder="image_encoder"입니다. 이미지 인코더가 subfolder가 아닌 다른 폴더에 있는 경우, 이미지 인코더 가중치를 포함하는 폴더의 경로를 전달해야 합니다. 예를 들어 image_encoder_folder="different_subfolder/image_encoder"입니다.

cache_dir (str | os.PathLike, 선택 사항) : 표준 캐시를 사용하지 않을 경우, 다운로드된 사전 학습 모델 구성이 캐시되는 디렉터리의 경로입니다.

force_download (bool, 선택 사항, 기본값 False) : 캐시된 버전이 존재하더라도 모델 가중치 및 구성 파일의 (재)다운로드를 강제할지 여부.

proxies (dict[str, str], 선택 사항) : 프로토콜 또는 엔드포인트별로 사용할 프록시 서버의 사전입니다. 예를 들어, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}와 같습니다. 각 요청에 프록시가 사용됩니다.

local_files_only (bool, 선택 사항, 기본값 False) : 로컬 모델 가중치와 구성 파일만 로드할지 여부를 지정합니다. True로 설정하면 Hub에서 모델을 다운로드하지 않습니다.

token (str 또는 bool, 선택 사항) : 원격 파일에 대한 HTTP bearer 인증으로 사용할 토큰입니다. True인 경우, diffusers-cli login에서 생성된 토큰(~/.huggingface에 저장됨)이 사용됩니다.

revision (str, 선택 사항, 기본값 "main") : 사용할 특정 모델 버전입니다. Git에서 허용하는 브랜치 이름, 태그 이름, 커밋 ID 또는 기타 식별자일 수 있습니다.

low_cpu_mem_usage (bool, 선택 사항, torch 버전이 1.9.0 이상이면 기본값은 True, 그 외에는 False) : 가중치를 초기화하지 않고 사전 학습된 가중치만 로드하여 모델 로딩 속도를 높입니다. 모델 로딩 시 CPU 메모리(피크 메모리 포함)를 모델 크기의 1배를 초과하지 않도록 시도합니다. PyTorch 1.9.0 이상에서만 지원됩니다. PyTorch의 이전 버전을 사용하는 경우 이 인수를 True로 설정하면 오류가 발생합니다.

set_ip_adapter_scale[[diffusers.loaders.IPAdapterMixin.set_ip_adapter_scale]]

set_ip_adapter_scale(scale)

소스

IP-Adapter 스케일을 트랜스포머 블록별로 설정합니다. 입력 scale은 단일 설정 또는 각 IP-Adapter 동작을 세밀하게 제어하기 위한 설정 목록일 수 있습니다. 설정은 float 또는 딕셔너리일 수 있습니다.

예:

# To use original IP-Adapter
scale = 1.0
pipeline.set_ip_adapter_scale(scale)

# To use style block only
scale = {
    "up": {"block_0": [0.0, 1.0, 0.0]},
}
pipeline.set_ip_adapter_scale(scale)

# To use style+layout blocks
scale = {
    "down": {"block_2": [0.0, 1.0]},
    "up": {"block_0": [0.0, 1.0, 0.0]},
}
pipeline.set_ip_adapter_scale(scale)

# To use style and layout from 2 reference images
scales = [{"down": {"block_2": [0.0, 1.0]}}, {"up": {"block_0": [0.0, 1.0, 0.0]}}]
pipeline.set_ip_adapter_scale(scales)

unload_ip_adapter[[diffusers.loaders.IPAdapterMixin.unload_ip_adapter]]

unload_ip_adapter()

소스

IP Adapter 가중치를 언로드합니다

예:

>>> # Assuming `pipeline` is already loaded with the IP Adapter weights.
>>> pipeline.unload_ip_adapter()
>>> ...

SD3IPAdapterMixin[[diffusers.loaders.SD3IPAdapterMixin]]

diffusers.loaders.SD3IPAdapterMixin[[diffusers.loaders.SD3IPAdapterMixin]]

diffusers.loaders.SD3IPAdapterMixin()

소스

StableDiffusion 3 IP Adapters를 처리하는 Mixin입니다.

is_ip_adapter_active[[diffusers.loaders.SD3IPAdapterMixin.is_ip_adapter_active]]

is_ip_adapter_active()

소스

반환값: bool

IP-Adapter가 로드되고 어떤 레이어의 scale 값이 0보다 큰 경우 true입니다.

IP-Adapter가 로드되어 있는지 및 scale > 0인지 확인합니다.

IP-Adapter scale은 이미지 프롬프트와 텍스트 프롬프트 간의 상대적 영향을 제어합니다. 이 값이 0으로 설정되면 이미지 컨텍스트는 관련이 없습니다.

load_ip_adapter[[diffusers.loaders.SD3IPAdapterMixin.load_ip_adapter]]

load_ip_adapter(pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor], weight_name: str = 'ip-adapter.safetensors', subfolder: str | None = None, image_encoder_folder: str | None = 'image_encoder', **kwargs)

소스

매개변수:

pretrained_model_name_or_path_or_dict (str 또는 os.PathLike 또는 dict) : 다음 중 하나일 수 있습니다: - Hub에 호스팅된 사전 학습 모델의 model id(예: google/ddpm-celebahq-256) 문자열. - ModelMixin.save_pretrained()로 저장된 모델 가중치를 포함하는 디렉터리 경로(예: ./my_model_directory). - torch state dict.

weight_name (str, 기본값 "ip-adapter.safetensors") : 로드할 가중치 파일의 이름입니다. 리스트가 전달되면 subfolder와 동일한 길이를 가져야 합니다.

subfolder (str, 선택 사항) : Hub 또는 로컬의 더 큰 모델 저장소 내에서 모델 파일의 서브폴더 위치입니다. 리스트가 전달되면 weight_name과 동일한 길이를 가져야 합니다.