diffusers/main/ko/api/loaders/transformer_sd3.md

SD3Transformer2D

이 클래스는 SD3Transformer2DModel에 오직 가중치를 로드할 때 유용합니다. 텍스트 인코더 또는 텍스트 인코더와 SD3Transformer2DModel에 가중치를 로드해야 하는 경우, 대신 SD3LoraLoaderMixin 클래스를 확인하세요.

SD3Transformer2DLoadersMixin 클래스는 현재 IP-Adapter 가중치만 로드하지만, 향후 가중치 저장 및 LoRA 로딩에 사용될 예정입니다.

LoRA 가중치를 로드하는 방법에 대해 자세히 알아보려면 LoRA 로드 가이드를 참조하세요.

SD3Transformer2DLoadersMixin[[diffusers.loaders.SD3Transformer2DLoadersMixin]]

diffusers.loaders.SD3Transformer2DLoadersMixin[[diffusers.loaders.SD3Transformer2DLoadersMixin]]

diffusers.loaders.SD3Transformer2DLoadersMixin()

소스

[SD3Transformer2DModel]에 IP-Adapters와 LoRA 레이어를 로드합니다.

_load_ip_adapter_weights[[diffusers.loaders.SD3Transformer2DLoadersMixin._load_ip_adapter_weights]]

_load_ip_adapter_weights(state_dict: dict, low_cpu_mem_usage: bool = True)

소스

매개변수:

state_dict (Dict) : "ip_adapter" 키를 포함하며, 이는 attention processor의 파라미터를 담고 있고, "image_proj" 키를 포함하며, 이는 image projection net의 파라미터를 담고 있는 state dict입니다.

low_cpu_mem_usage (bool, 선택 사항, torch 버전이 1.9.0 이상이면 기본값은 True, 그 외에는 False) : 가중치를 초기화하지 않고 사전 학습된 가중치만 로드하여 모델 로딩 속도를 높입니다. 모델 로딩 시 CPU 메모리(피크 메모리 포함)를 모델 크기의 1배를 초과하지 않도록 시도합니다. PyTorch 1.9.0 이상에서만 지원됩니다. PyTorch의 이전 버전을 사용하는 경우 이 인수를 True로 설정하면 오류가 발생합니다.

IP-Adapter attention 프로세서, 이미지 프로젝션, state_dict를 설정하고 로드합니다.