Diffusers documentation
SD3Transformer2D
SD3Transformer2D
Esta classe é útil ao carregar apenas pesos em um SD3Transformer2DModel. Se você precisar carregar pesos no text encoder ou em um text encoder e SD3Transformer2DModel, verifique a classe SD3LoraLoaderMixin em vez disso.
A classe SD3Transformer2DLoadersMixin atualmente carrega apenas pesos do IP-Adapter, mas será usada no futuro para salvar pesos e carregar LoRAs.
Para saber mais sobre como carregar pesos LoRA, consulte o guia de carregamento de LoRA.
SD3Transformer2DLoadersMixin
Carregue camadas de IP-Adapters e LoRA em um [SD3Transformer2DModel].
_load_ip_adapter_weights
< source >( state_dict: dictlow_cpu_mem_usage: bool = True )
Parâmetros
- state_dict (
Dict) — State dict com as chaves “ip_adapter”, que contém os parâmetros para os processadores de atenção, e “image_proj”, que contém os parâmetros para a rede de projeção de imagem. - low_cpu_mem_usage (
bool, opcional, padrãoTruese a versão do torch >= 1.9.0, caso contrárioFalse) — Acelera o carregamento do modelo carregando apenas os pesos pré-treinados e não inicializando os pesos. Isso também tenta não usar mais do que 1x o tamanho do modelo na memória de CPU (incluindo a memória de pico) durante o carregamento do modelo. Suportado apenas para PyTorch >= 1.9.0. Se você estiver usando uma versão mais antiga do PyTorch, definir este argumento comoTruecausará um erro.
Define os processadores de atenção do IP-Adapter, a projeção de imagem e carrega o state_dict.