Hugging Face's logo

Diffusers documentation

SD3Transformer2D

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

SD3Transformer2D

이 클래스는 SD3Transformer2DModel에 오직 가중치를 로드할 때 유용합니다. 텍스트 인코더 또는 텍스트 인코더와 SD3Transformer2DModel에 가중치를 로드해야 하는 경우, 대신 SD3LoraLoaderMixin 클래스를 확인하세요.

SD3Transformer2DLoadersMixin 클래스는 현재 IP-Adapter 가중치만 로드하지만, 향후 가중치 저장 및 LoRA 로딩에 사용될 예정입니다.

LoRA 가중치를 로드하는 방법에 대해 자세히 알아보려면 LoRA 로드 가이드를 참조하세요.

SD3Transformer2DLoadersMixin

클래스 diffusers.loaders.SD3Transformer2DLoadersMixin

< >

( )

[SD3Transformer2DModel]에 IP-Adapters와 LoRA 레이어를 로드합니다.

_load_ip_adapter_weights

< >

( state_dict: dictlow_cpu_mem_usage: bool = True )

매개변수

  • state_dict (Dict) — “ip_adapter” 키는 attention processor의 파라미터를, “image_proj” 키는 image projection net의 파라미터를 포함하는 state dict입니다.
  • low_cpu_mem_usage (bool, 선택 사항, torch 버전이 1.9.0 이상이면 기본값은 True, 그 외에는 False) — 가중치를 초기화하지 않고 사전 학습된 가중치만 로드하여 모델 로딩 속도를 높입니다. 또한 모델 로딩 중 CPU 메모리(피크 메모리 포함)를 모델 크기의 1배를 초과하지 않도록 시도합니다. PyTorch 1.9.0 이상에서만 지원됩니다. PyTorch의 이전 버전을 사용하는 경우 이 인수를 True로 설정하면 오류가 발생합니다.

IP-Adapter attention 프로세서, 이미지 프로젝션, state_dict를 설정하고 로드합니다.

Update on GitHub

←UNet PEFT→