diffusers/main/fr/api/loaders/transformer_sd3.md

SD3Transformer2D

Cette classe est utile lorsque vous chargez uniquement les poids dans un SD3Transformer2DModel. Si vous devez charger les poids dans l'encodeur de texte ou dans un encodeur de texte et un SD3Transformer2DModel, consultez plutôt la classe SD3LoraLoaderMixin.

La classe SD3Transformer2DLoadersMixin ne charge actuellement que les poids IP-Adapter, mais sera utilisée à l’avenir pour enregistrer les poids et charger les LoRAs.

Pour en savoir plus sur la manière de charger les poids LoRA, consultez le guide de chargement LoRA.

SD3Transformer2DLoadersMixin[[diffusers.loaders.SD3Transformer2DLoadersMixin]]

diffusers.loaders.SD3Transformer2DLoadersMixin[[diffusers.loaders.SD3Transformer2DLoadersMixin]]

diffusers.loaders.SD3Transformer2DLoadersMixin()

Source

Charger les IP-Adapters et les couches LoRA dans un [SD3Transformer2DModel].

_load_ip_adapter_weights[[diffusers.loaders.SD3Transformer2DLoadersMixin._load_ip_adapter_weights]]

_load_ip_adapter_weights(state_dict: dict, low_cpu_mem_usage: bool = True)

Source

Paramètres :

state_dict (Dict) : State dict with keys "ip_adapter", which contains parameters for attention processors, and "image_proj", which contains parameters for image projection net.

low_cpu_mem_usage (bool, facultatif, par défaut True si la version de torch est >= 1.9.0, sinon False) : Accélère le chargement du modèle en ne chargeant que les poids préentraînés et sans initialiser les poids. Cela tente également de ne pas utiliser plus de 1 fois la taille du modèle en mémoire CPU (y compris la mémoire de pointe) lors du chargement du modèle. Pris en charge uniquement pour PyTorch >= 1.9.0. Si vous utilisez une version plus ancienne de PyTorch, définir cet argument sur True déclenchera une erreur.

Définit les processeurs d'attention IP-Adapter, la projection d'image et charge le state_dict.