diffusers/main/id/api/loaders/transformer_sd3.md

SD3Transformer2D

Kelas ini berguna saat hanya memuat bobot ke dalam SD3Transformer2DModel. Jika Anda perlu memuat bobot ke dalam text encoder atau text encoder dan SD3Transformer2DModel, periksa kelas SD3LoraLoaderMixin sebagai gantinya.

Kelas SD3Transformer2DLoadersMixin saat ini hanya memuat bobot IP-Adapter, tetapi akan digunakan di masa depan untuk menyimpan bobot dan memuat LoRA.

Untuk mempelajari lebih lanjut tentang cara memuat bobot LoRA, lihat panduan pemuatan LoRA.

SD3Transformer2DLoadersMixin[[diffusers.loaders.SD3Transformer2DLoadersMixin]]

diffusers.loaders.SD3Transformer2DLoadersMixin[[diffusers.loaders.SD3Transformer2DLoadersMixin]]

diffusers.loaders.SD3Transformer2DLoadersMixin()

Sumber

Muat lapisan IP-Adapters dan LoRA ke dalam [SD3Transformer2DModel].

_load_ip_adapter_weights[[diffusers.loaders.SD3Transformer2DLoadersMixin._load_ip_adapter_weights]]

_load_ip_adapter_weights(state_dict: dict, low_cpu_mem_usage: bool = True)

Sumber

Parameter:

state_dict (Dict) : State dict dengan kunci "ip_adapter", yang berisi parameter untuk attention processors, dan "image_proj", yang berisi parameter untuk image projection net.

low_cpu_mem_usage (bool, opsional, defaultnya True jika versi torch >= 1.9.0 selain itu False) : Mempercepat pemuatan model dengan hanya memuat bobot pretrained dan tidak menginisialisasi bobot. Ini juga berusaha untuk tidak menggunakan lebih dari 1x ukuran model di memori CPU (termasuk memori puncak) saat memuat model. Hanya didukung untuk PyTorch >= 1.9.0. Jika Anda menggunakan versi PyTorch yang lebih lama, mengatur argumen ini ke True akan memicu error.

Mengatur prosesor perhatian IP-Adapter, proyeksi gambar, dan memuat state_dict.