diffusers/main/pt/api/loaders/transformer_sd3.md

SD3Transformer2D

Esta classe é útil ao carregar apenas pesos em um SD3Transformer2DModel. Se você precisar carregar pesos no text encoder ou em um text encoder e SD3Transformer2DModel, verifique a classe SD3LoraLoaderMixin em vez disso.

A classe SD3Transformer2DLoadersMixin atualmente carrega apenas pesos do IP-Adapter, mas será usada no futuro para salvar pesos e carregar LoRAs.

Para saber mais sobre como carregar pesos LoRA, consulte o guia de carregamento de LoRA.

SD3Transformer2DLoadersMixin[[diffusers.loaders.SD3Transformer2DLoadersMixin]]

diffusers.loaders.SD3Transformer2DLoadersMixin[[diffusers.loaders.SD3Transformer2DLoadersMixin]]

diffusers.loaders.SD3Transformer2DLoadersMixin()

Fonte

Carregue camadas de IP-Adapters e LoRA em um [SD3Transformer2DModel].

_load_ip_adapter_weights[[diffusers.loaders.SD3Transformer2DLoadersMixin._load_ip_adapter_weights]]

_load_ip_adapter_weights(state_dict: dict, low_cpu_mem_usage: bool = True)

Fonte

Parâmetros:

state_dict (Dict) : Dicionário de estado com as chaves "ip_adapter", que contém os parâmetros para os processadores de atenção, e "image_proj", que contém os parâmetros para a rede de projeção de imagem.

low_cpu_mem_usage (bool, opcional, padrão é True se a versão do torch >= 1.9.0, caso contrário False) : Acelera o carregamento do modelo carregando apenas os pesos pré-treinados e não inicializando os pesos. Isso também tenta não usar mais do que 1x o tamanho do modelo na memória de CPU (incluindo a memória de pico) durante o carregamento do modelo. Suportado apenas para PyTorch >= 1.9.0. Se você estiver usando uma versão mais antiga do PyTorch, definir este argumento como True causará um erro.

Define os processadores de atenção do IP-Adapter, a projeção de imagem e carrega o state_dict.