diffusers/main/fr/api/pipelines/stable_diffusion/img2img.md

Image vers image

Le modèle Stable Diffusion peut également être appliqué à la génération d'image à partir d'image en transmettant un prompt texte et une image initiale pour conditionner la génération de nouvelles images.

Le StableDiffusionImg2ImgPipeline utilise le mécanisme de débruitage par diffusion proposé dans SDEdit: Guided Image Synthesis and Editing with Stochastic Differential Equations par Chenlin Meng, Yutong He, Yang Song, Jiaming Song, Jiajun Wu, Jun-Yan Zhu, Stefano Ermon.

L'abstract de l'article est :

La synthèse d’images guidée permet aux utilisateurs du quotidien de créer et de modifier des images photoréalistes avec un minimum d’effort. Le défi principal consiste à trouver un équilibre entre la fidélité à l’entrée de l’utilisateur (par exemple, des traits colorés dessinés à la main) et le réalisme de l’image synthétisée. Les méthodes existantes basées sur des GAN tentent d’atteindre cet équilibre en utilisant soit des GAN conditionnels, soit des inversions de GAN, ce qui est complexe et nécessite souvent des données d’entraînement supplémentaires ou des fonctions de perte spécifiques à chaque application. Pour résoudre ces problèmes, nous introduisons une nouvelle méthode de synthèse et d’édition d’images, Stochastic Differential Editing (SDEdit), basée sur un a priori génératif de modèle de diffusion, qui synthétise des images réalistes en débruitant itérativement à travers une équation différentielle stochastique (SDE). Étant donné une image d’entrée avec un guide utilisateur de n’importe quel type, SDEdit ajoute d’abord du bruit à l’entrée, puis débruite l’image résultante à travers l’a priori SDE pour augmenter son réalisme. SDEdit ne nécessite pas d’entraînement spécifique à la tâche ni d’inversions et peut naturellement atteindre l’équilibre entre le réalisme et la fidélité. Selon une étude de perception humaine, SDEdit surpasse significativement les méthodes GAN de pointe de jusqu’à 98,09 % en termes de réalisme et de 91,72 % en termes de satisfaction globale, sur plusieurs tâches, y compris la synthèse et l’édition d’images basées sur des traits, ainsi que le compositing d’images.

Pensez à consulter la section Astuces de Stable Diffusion pour apprendre à explorer le compromis entre la vitesse et la qualité du planificateur, et à réutiliser efficacement les composants du pipeline !

StableDiffusionImg2ImgPipeline[[diffusers.StableDiffusionImg2ImgPipeline]]

diffusers.StableDiffusionImg2ImgPipeline[[diffusers.StableDiffusionImg2ImgPipeline]]

diffusers.StableDiffusionImg2ImgPipeline(vae: AutoencoderKL, text_encoder: CLIPTextModel, tokenizer: CLIPTokenizer, unet: UNet2DConditionModel, scheduler: KarrasDiffusionSchedulers, safety_checker: StableDiffusionSafetyChecker, feature_extractor: CLIPImageProcessorPil, image_encoder: CLIPVisionModelWithProjection = None, requires_safety_checker: bool = True)

Source

Paramètres :

vae (AutoencoderKL) : modèle Variational Auto-Encoder (VAE) permettant d’encoder et de décoder des images vers et depuis des représentations latentes.

text_encoder (CLIPTextModel) : encodeur de texte figé (clip-vit-large-patch14).

tokenizer (CLIPTokenizer) : Un CLIPTokenizer pour tokeniser le texte.

unet (UNet2DConditionModel) : un UNet2DConditionModel pour débruyer les latents d'image encodés.

scheduler (SchedulerMixin) : Un planificateur à utiliser en combinaison avec unet pour débruyer les latents de l'image encodée. Peut être l'un des DDIMScheduler, LMSDiscreteScheduler ou PNDMScheduler.

safety_checker (StableDiffusionSafetyChecker) : module de classification qui estime si les images générées pourraient être considérées comme offensives ou nuisibles. Veuillez consulter la fiche modèle pour plus de détails sur les préjudices potentiels d'un modèle.

feature_extractor (CLIPImageProcessor) : un CLIPImageProcessor pour extraire des caractéristiques des images générées ; utilisé comme entrées pour le safety_checker.

Pipeline pour la génération d'image à partir d'image guidée par du texte, utilisant Stable Diffusion.

Ce modèle hérite de DiffusionPipeline. Consultez la documentation de la classe parente pour les méthodes génériques implémentées pour tous les pipelines (téléchargement, sauvegarde, exécution sur un appareil particulier, etc.).

Le pipeline hérite également des méthodes de chargement suivantes :

• load_textual_inversion() pour charger les embeddings d'inversion textuelle
• load_lora_weights() pour charger les poids LoRA
• save_lora_weights() pour enregistrer les poids LoRA
• from_single_file() pour charger des fichiers .ckpt
• load_ip_adapter() pour charger des IP Adapters

appel[[diffusers.StableDiffusionImg2ImgPipeline.call]]

__call__(prompt: str | list[str] = None, image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]] = None, strength: float = 0.8, num_inference_steps: int | None = 50, timesteps: list[int] = None, sigmas: list[float] = None, guidance_scale: float | None = 7.5, negative_prompt: str | list[str] | None = None, num_images_per_prompt: int | None = 1, eta: float | None = 0.0, generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = None, prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, ip_adapter_image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor], NoneType] = None, ip_adapter_image_embeds: list[torch.Tensor] | None = None, output_type: str | None = 'pil', return_dict: bool = True, cross_attention_kwargs: dict[str, typing.Any] | None = None, clip_skip: int = None, callback_on_step_end: typing.Union[typing.Callable[[int, int], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None, callback_on_step_end_tensor_inputs: list[str] = ['latents'], **kwargs)

Source

Paramètres :

prompt (str ou list[str], facultatif) : Le prompt ou les prompts pour guider la génération d’images. S’il n’est pas défini, vous devez passer prompt_embeds.

image (torch.Tensor, PIL.Image.Image, np.ndarray, list[torch.Tensor], list[PIL.Image.Image] ou list[np.ndarray]) : Image, tableau numpy ou tenseur représentant un lot d’images à utiliser comme point de départ. Pour un tableau numpy et un tenseur pytorch, la plage de valeurs attendue est comprise entre [0, 1]. S’il s’agit d’un tenseur ou d’une liste de tenseurs, la forme attendue doit être (B, C, H, W) ou (C, H, W). S’il s’agit d’un tableau numpy ou d’une liste de tableaux, la forme attendue doit être (B, H, W, C) ou (H, W, C). Il peut également accepter des latents d’image en tant que image, mais si des latents sont transmis directement, ils ne sont pas réencodés.

strength (float, facultatif, valeur par défaut 0.8) : Indique dans quelle mesure transformer l'image de référence. Doit être compris entre 0 et 1. image est utilisé comme point de départ et plus le strength est élevé, plus du bruit est ajouté. Le nombre d'étapes de débruitage dépend de la quantité de bruit initialement ajoutée. Lorsque strength vaut 1, le bruit ajouté est maximal et le processus de débruitage s'exécute pendant le nombre complet d'itérations spécifié dans num_inference_steps. Une valeur de 1 ignore essentiellement image.

num_inference_steps (int, facultatif, valeur par défaut 50) : Le nombre d'étapes de débruitage. Un plus grand nombre d'étapes de débruitage conduit généralement à une image de meilleure qualité, au prix d'une inférence plus lente. Ce paramètre est modulé par strength.

timesteps (list[int], facultatif) : Étapes de temps personnalisées à utiliser pour le processus de débruitage avec les planificateurs qui prennent en charge un argument timesteps dans leur méthode set_timesteps. S'il n'est pas défini, le comportement par défaut lorsque num_inference_steps est passé sera utilisé. Doit être dans l'ordre décroissant.

sigmas (list[float], facultatif) : Sigmas personnalisés à utiliser pour le processus de débruitage avec les planificateurs qui prennent en charge un argument sigmas dans leur méthode set_timesteps. S'ils ne sont pas définis, le comportement par défaut lorsque num_inference_steps est passé sera utilisé.

guidance_scale (float, facultatif, valeur par défaut 7,5) : Une valeur de guidance scale plus élevée encourage le modèle à générer des images étroitement liées au prompt texte, au détriment de la qualité de l'image. Le guidance scale est activé lorsque guidance_scale > 1.

negative_prompt (str ou list[str], facultatif) : Le prompt ou les prompts pour guider ce qu'il ne faut pas inclure dans la génération d'image. S'il n'est pas défini, vous devez passer negative_prompt_embeds à la place. Ignoré lorsque la guidance n'est pas utilisée (guidance_scale < 1).

num_images_per_prompt (int, facultatif, valeur par défaut 1) : Le nombre d'images à générer par invite.

eta (float, facultatif, valeur par défaut 0.0) : Correspond au paramètre eta (η) de l'article DDIM. S'applique uniquement au DDIMScheduler et est ignoré par les autres planificateurs.

generator (torch.Generator ou list[torch.Generator], facultatif) : Un torch.Generator pour rendre la génération déterministe.

prompt_embeds (torch.Tensor, facultatif) : Incrustations de texte pré-générées. Peut être utilisé pour ajuster facilement les entrées de texte (pondération des prompts). Si non fourni, les incrustations de texte sont générées à partir de l'argument d'entrée prompt.

negative_prompt_embeds (torch.Tensor, facultatif) : Incrustations de texte négatif pré-générées. Peut être utilisé pour ajuster facilement les entrées de texte (pondération des prompts). Si non fourni, negative_prompt_embeds sont générés à partir de l'argument d'entrée negative_prompt.

ip_adapter_image : (PipelineImageInput, facultatif) : Entrée d'image facultative pour travailler avec les IP Adapters.

ip_adapter_image_embeds (list[torch.Tensor], facultatif) : Incrustations d’images pré-générées pour IP-Adapter. Il doit s’agir d’une liste dont la longueur est égale au nombre d’IP-adapters. Chaque élément doit être un tenseur de forme (batch_size, num_images, emb_dim). Il doit contenir l’incrustation d’image négative si do_classifier_free_guidance est défini sur True. S’il n’est pas fourni, les incrustations sont calculées à partir de l’argument d’entrée ip_adapter_image.

output_type (str, facultatif, par défaut "pil") : Le format de sortie de l'image générée. Choisissez entre PIL.Image ou np.array.

return_dict (bool, facultatif, par défaut True) : Indique s'il faut retourner un StableDiffusionPipelineOutput plutôt qu'un simple tuple.

cross_attention_kwargs (dict, facultatif) : Un dictionnaire de kwargs qui, s'il est spécifié, est transmis à l'AttentionProcessor tel que défini dans self.processor.

clip_skip (int, facultatif) : Nombre de couches à ignorer dans CLIP lors du calcul des embeddings de prompt. Une valeur de 1 signifie que la sortie de la couche pré-finale sera utilisée pour calculer les embeddings de prompt.

callback_on_step_end (Callable, PipelineCallback, MultiPipelineCallbacks, facultatif) : une fonction ou une sous-classe de PipelineCallback ou MultiPipelineCallbacks qui est appelée à la fin de chaque étape de débruitage pendant l’inférence, avec les arguments suivants : callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict). callback_kwargs contiendra une liste de tous les tenseurs, tels que spécifiés par callback_on_step_end_tensor_inputs.

callback_on_step_end_tensor_inputs (list, facultatif) : La liste des entrées tensorielles pour la fonction callback_on_step_end. Les tenseurs spécifiés dans la liste seront passés en tant qu'argument callback_kwargs. Vous ne pourrez inclure que les variables listées dans l'attribut ._callback_tensor_inputs de votre classe de pipeline.

Retourne : StableDiffusionPipelineOutput ou tuple

Si return_dict est True, StableDiffusionPipelineOutput est renvoyé, sinon un tuple est renvoyé dont le premier élément est une liste des images générées et le deuxième élément est une liste de bool indiquant si l'image générée correspondante contient du contenu « not-safe-for-work » (nsfw).

La fonction d'appel du pipeline pour la génération.

Exemples :

>>> import requests
>>> import torch
>>> from PIL import Image
>>> from io import BytesIO

>>> from diffusers import StableDiffusionImg2ImgPipeline

>>> device = "cuda"
>>> model_id_or_path = "stable-diffusion-v1-5/stable-diffusion-v1-5"
>>> pipe = StableDiffusionImg2ImgPipeline.from_pretrained(model_id_or_path, torch_dtype=torch.float16)
>>> pipe = pipe.to(device)

>>> url = "https://raw.githubusercontent.com/CompVis/stable-diffusion/main/assets/stable-samples/img2img/sketch-mountains-input.jpg"

>>> response = requests.get(url)
>>> init_image = Image.open(BytesIO(response.content)).convert("RGB")
>>> init_image = init_image.resize((768, 512))

>>> prompt = "A fantasy landscape, trending on artstation"

>>> images = pipe(prompt=prompt, image=init_image, strength=0.75, guidance_scale=7.5).images
>>> images[0].save("fantasy_landscape.png")

enable_attention_slicing[[diffusers.StableDiffusionImg2ImgPipeline.enable_attention_slicing]]

enable_attention_slicing(slice_size: str | int = 'auto')

Source

Paramètres :

slice_size (str ou int, facultatif, par défaut "auto") : lorsque la valeur est "auto", l’entrée des têtes d’attention est divisée par deux, de sorte que l’attention est calculée en deux étapes. Si la valeur est "max", la quantité maximale de mémoire est économisée en n’exécutant qu’une seule tranche à la fois. Si un nombre est fourni, autant de tranches sont utilisées que attention_head_dim // slice_size. Dans ce cas, attention_head_dim doit être un multiple de slice_size.

Active le calcul de l'attention par tranches. Lorsque cette option est activée, le module d'attention divise le tenseur d'entrée en tranches pour calculer l'attention en plusieurs étapes. Pour plus d'une tête d'attention, le calcul est effectué séquentiellement sur chaque tête. Cela est utile pour économiser de la mémoire au prix d'une légère diminution de la vitesse.

> ⚠️ N'activez pas le tranchage de l'attention si vous utilisez déjà scaled_dot_product_attention (SDPA) de PyTorch > 2.0 ou xFormers. Ces calculs d'attention sont déjà très économes en mémoire, vous n'aurez donc pas besoin d'activer > cette fonction. Si vous activez le tranchage de l'attention avec SDPA ou xFormers, cela peut entraîner des ralentissements importants !

Exemples :

>>> import torch
>>> from diffusers import StableDiffusionPipeline

>>> pipe = StableDiffusionPipeline.from_pretrained(
...     "stable-diffusion-v1-5/stable-diffusion-v1-5",
...     dtype=torch.float16,
...     use_safetensors=True,
... )

>>> prompt = "a photo of an astronaut riding a horse on mars"
>>> pipe.enable_attention_slicing()
>>> image = pipe(prompt).images[0]

disable_attention_slicing[[diffusers.StableDiffusionImg2ImgPipeline.disable_attention_slicing]]

disable_attention_slicing()

Source

Désactive le calcul de l'attention par tranches. Si enable_attention_slicing a été appelé précédemment, l'attention est calculée en une seule étape.

enable_xformers_memory_efficient_attention[[diffusers.StableDiffusionImg2ImgPipeline.enable_xformers_memory_efficient_attention]]

enable_xformers_memory_efficient_attention(attention_op: typing.Optional[typing.Callable] = None)

Source

Paramètres :

attention_op (Callable, facultatif) : Remplace l'opérateur par défaut None pour être utilisé comme argument op de la fonction memory_efficient_attention() de xFormers.

Activer l’attention efficace en mémoire de xFormers. Lorsque cette option est activée, vous devriez observer une réduction de l’utilisation de la mémoire GPU et une accélération potentielle lors de l’inférence. L’accélération lors de l’entraînement n’est pas garantie.

> ⚠️ Lorsque l'attention efficace en mémoire et l'attention par tranches sont toutes deux activées, l'attention efficace attention prend > précédent.

Exemples :

>>> import torch
>>> from diffusers import DiffusionPipeline
>>> from xformers.ops import MemoryEfficientAttentionFlashAttentionOp

>>> pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-2-1", dtype=torch.float16)
>>> pipe = pipe.to("cuda")
>>> pipe.enable_xformers_memory_efficient_attention(attention_op=MemoryEfficientAttentionFlashAttentionOp)
>>> # Workaround for not accepting attention shape using VAE for Flash Attention
>>> pipe.vae.enable_xformers_memory_efficient_attention(attention_op=None)

disable_xformers_memory_efficient_attention[[diffusers.StableDiffusionImg2ImgPipeline.disable_xformers_memory_efficient_attention]]

disable_xformers_memory_efficient_attention()

Source

Désactiver l'attention efficace en mémoire de xFormers.

load_textual_inversion[[diffusers.StableDiffusionImg2ImgPipeline.load_textual_inversion]]

load_textual_inversion(pretrained_model_name_or_path: str | list[str] | dict[str, torch.Tensor] | list[dict[str, torch.Tensor]], token: str | list[str] | None = None, tokenizer: 'PreTrainedTokenizer' | None = None, text_encoder: 'PreTrainedModel' | None = None, **kwargs)

Source

Paramètres :

pretrained_model_name_or_path (str ou os.PathLike ou list[str or os.PathLike] ou Dict ou list[Dict]) : Peut être l'un des éléments suivants ou une liste de ceux-ci : - Une chaîne de caractères, l'identifiant du modèle (par exemple sd-concepts-library/low-poly-hd-logos-icons) d'un modèle pré-entraîné hébergé sur le Hub. - Un chemin vers un dossier (par exemple ./my_text_inversion_directory/) contenant les poids d'inversion textuelle. - Un chemin vers un fichier (par exemple ./my_text_inversions.pt) contenant des poids d'inversion textuelle. - Un dictionnaire d'état torch.

token (str ou list[str], facultatif) : Remplace le jeton à utiliser pour les poids d'inversion textuelle. Si pretrained_model_name_or_path est une liste, alors token doit également être une liste de même longueur.

text_encoder (CLIPTextModel, facultatif) : encodeur de texte figé (clip-vit-large-patch14). S'il n'est pas spécifié, la fonction utilisera self.tokenizer.

tokenizer (CLIPTokenizer, facultatif) : Un CLIPTokenizer pour tokeniser le texte. S'il n'est pas spécifié, la fonction utilisera self.tokenizer.

weight_name (str, facultatif) : Nom d'un fichier de poids personnalisé. À utiliser dans les cas suivants : - Le fichier d'inversion textuelle enregistré est au format 🤗 Diffusers, mais a été enregistré sous un nom de poids spécifique tel que text_inv.bin. - Le fichier d'inversion textuelle enregistré est au format Automatic1111.

cache_dir (str | os.PathLike, facultatif) : Chemin vers un répertoire où la configuration d'un modèle pré-entraîné téléchargé est mise en cache si le cache standard n'est pas utilisé.

force_download (bool, facultatif, par défaut False) : Indique s'il faut forcer le (re)téléchargement des poids du modèle et des fichiers de configuration, en ignorant les versions mises en cache si elles existent.

proxies (dict[str, str], facultatif) : Un dictionnaire de serveurs proxy à utiliser par protocole ou point de terminaison, par exemple, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}. Les proxys sont utilisés pour chaque requête.

local_files_only (bool, facultatif, par défaut False) : Indique s'il faut charger uniquement les poids et les fichiers de configuration du modèle locaux. Si défini sur True, le modèle ne sera pas téléchargé depuis le Hub.

hf_token (str ou bool, facultatif) : Le jeton à utiliser comme autorisation bearer HTTP pour les fichiers distants. Si True, le jeton généré par diffusers-cli login (stocké dans ~/.huggingface) est utilisé.

revision (str, facultatif, par défaut "main") : La version spécifique du modèle à utiliser. Il peut s'agir d'un nom de branche, d'un nom de tag, d'un identifiant de commit ou de tout identifiant autorisé par Git.

subfolder (str, facultatif, valeur par défaut "") : Emplacement du sous-dossier du fichier de modèle au sein d'un dépôt de modèle plus large sur le Hub ou en local.

mirror (str, facultatif) : Source miroir pour résoudre les problèmes d'accessibilité si vous téléchargez un modèle en Chine. Nous ne garantissons ni la réactivité ni la sécurité de la source, et vous devez consulter le site miroir pour plus d'informations.

Chargez les embeddings de Textual Inversion dans l’encodeur de texte de StableDiffusionPipeline (les formats 🤗 Diffusers et Automatic1111 sont pris en charge).

Exemple :

Pour charger un vecteur d'intégration de Textual Inversion au format 🤗 Diffusers :

from diffusers import StableDiffusionPipeline
import torch

model_id = "stable-diffusion-v1-5/stable-diffusion-v1-5"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16).to("cuda")

pipe.load_textual_inversion("sd-concepts-library/cat-toy")

prompt = "A <cat-toy> backpack"

image = pipe(prompt, num_inference_steps=50).images[0]
image.save("cat-backpack.png")

Pour charger un vecteur d'intégration Textual Inversion au format Automatic1111, assurez-vous d'abord de télécharger le vecteur (par exemple depuis civitAI), puis chargez le vecteur

localement :

from diffusers import StableDiffusionPipeline
import torch

model_id = "stable-diffusion-v1-5/stable-diffusion-v1-5"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16).to("cuda")

pipe.load_textual_inversion("./charturnerv2.pt", token="charturnerv2")

prompt = "charturnerv2, multiple views of the same character in the same outfit, a character turnaround of a woman wearing a black jacket and red shirt, best quality, intricate details."

image = pipe(prompt, num_inference_steps=50).images[0]
image.save("character.png")

from_single_file[[diffusers.StableDiffusionImg2ImgPipeline.from_single_file]]

from_single_file(pretrained_model_link_or_path, **kwargs)

Source

Paramètres :

pretrained_model_link_or_path (str ou os.PathLike, facultatif) : Peut être : - Un lien vers le fichier .ckpt (par exemple "https://huggingface.co/<repo_id>/blob/main/<path_to_file>.ckpt") sur le Hub. - Un chemin vers un fichier contenant tous les poids du pipeline.

dtype (str ou torch.dtype, facultatif) : Remplace le torch.dtype par défaut et charge le modèle avec un autre dtype.

force_download (bool, facultatif, par défaut False) : Indique s'il faut forcer le (re)téléchargement des poids du modèle et des fichiers de configuration, en ignorant les versions mises en cache si elles existent.

cache_dir (str | os.PathLike, facultatif) : Chemin vers un répertoire où la configuration d'un modèle pré-entraîné téléchargé est mise en cache si le cache standard n'est pas utilisé.

proxies (dict[str, str], facultatif) : Un dictionnaire de serveurs proxy à utiliser par protocole ou point de terminaison, par exemple, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}. Les proxys sont utilisés pour chaque requête.

local_files_only (bool, facultatif, par défaut False) : Indique s'il faut charger uniquement les poids et les fichiers de configuration du modèle locaux. Si défini sur True, le modèle ne sera pas téléchargé depuis le Hub.

token (str ou bool, facultatif) : Le jeton à utiliser comme autorisation bearer HTTP pour les fichiers distants. Si True, le jeton généré par diffusers-cli login (stocké dans ~/.huggingface) est utilisé.

revision (str, facultatif, par défaut "main") : La version spécifique du modèle à utiliser. Il peut s'agir d'un nom de branche, d'un nom de tag, d'un identifiant de commit ou de tout identifiant autorisé par Git.

original_config_file (str, facultatif) : Le chemin vers le fichier de configuration d'origine utilisé pour entraîner le modèle. S'il n'est pas fourni, le fichier de configuration sera déduit à partir du fichier de point de contrôle.

config (str, facultatif) : Peut être : - Une chaîne de caractères, l'identifiant du dépôt (par exemple CompVis/ldm-text2im-large-256) d'un pipeline pré-entraîné hébergé sur le Hub. - Un chemin vers un dossier (par exemple ./my_pipeline_directory/) contenant les configurations des composants du pipeline au format Diffusers.

disable_mmap ('bool', facultatif, valeur par défaut 'False') : Indique s'il faut désactiver mmap lors du chargement d'un modèle Safetensors. Cette option peut offrir de meilleures performances lorsque le modèle se trouve sur un montage réseau ou un disque dur.

kwargs (reste du dictionnaire des arguments par mot-clé, facultatif) : peut être utilisé pour écraser les variables de chargement et de sauvegarde (les composants du pipeline de la classe de pipeline spécifique). Les composants écrasés sont transmis directement à la méthode __init__ des pipelines. Voir l’exemple ci-dessous pour plus d’informations.

Instanciez un DiffusionPipeline à partir de poids de pipeline préentraînés enregistrés au format .ckpt ou .safetensors. Le pipeline est configuré en mode évaluation (model.eval()) par défaut.

Exemples :

>>> from diffusers import StableDiffusionPipeline

>>> # Download pipeline from huggingface.co and cache.
>>> pipeline = StableDiffusionPipeline.from_single_file(
...     "https://huggingface.co/WarriorMama777/OrangeMixs/blob/main/Models/AbyssOrangeMix/AbyssOrangeMix.safetensors"
... )

>>> # Download pipeline from local file
>>> # file is downloaded under ./v1-5-pruned-emaonly.ckpt
>>> pipeline = StableDiffusionPipeline.from_single_file("./v1-5-pruned-emaonly.ckpt")

>>> # Enable float16 and move to GPU
>>> pipeline = StableDiffusionPipeline.from_single_file(
...     "https://huggingface.co/stable-diffusion-v1-5/stable-diffusion-v1-5/blob/main/v1-5-pruned-emaonly.ckpt",
...     torch_dtype=torch.float16,
... )
>>> pipeline.to("cuda")

load_lora_weights[[diffusers.StableDiffusionImg2ImgPipeline.load_lora_weights]]

load_lora_weights(pretrained_model_name_or_path_or_dict: str | dict[str, torch.Tensor], adapter_name: str | None = None, hotswap: bool = False, **kwargs)

Source

Paramètres :

pretrained_model_name_or_path_or_dict (str ou os.PathLike ou dict) : Voir lora_state_dict().

adapter_name (str, facultatif) : Nom de l'adaptateur à utiliser pour référencer le modèle d'adaptateur chargé. S'il n'est pas spécifié, default_{i} sera utilisé, où i est le nombre total d'adaptateurs chargés.

low_cpu_mem_usage (bool, facultatif) : Accélère le chargement du modèle en ne chargeant que les poids LoRA préentraînés et sans initialiser les poids aléatoires.

hotswap (bool, facultatif) : La valeur par défaut est False. Indique s'il faut substituer un adaptateur (LoRA) existant par l'adaptateur nouvellement chargé, sur place. Cela signifie que, au lieu de charger un adaptateur supplémentaire, les poids de l'adaptateur existant seront remplacés par ceux du nouvel adaptateur. Cette approche peut être plus rapide et plus efficace en termes de mémoire. Cependant, l'avantage principal du hotswapping est que, lorsque le modèle est compilé avec torch.compile, le chargement du nouvel adaptateur ne nécessite pas de recompiler le modèle. Lors de l'utilisation du hotswapping, le adapter_name transmis doit être le nom d'un adaptateur déjà chargé. Si le nouvel adaptateur et l'ancien adaptateur ont des rangs et/ou des alphas LoRA (c'est-à-dire des échelles) différents, vous devez appeler une méthode supplémentaire avant de charger l'adaptateur : py pipeline = ... # load diffusers pipeline max_rank = ... # the highest rank among all LoRAs that you want to load # call *before* compiling and loading the LoRA adapter pipeline.enable_lora_hotswap(target_rank=max_rank) pipeline.load_lora_weights(file_name) # optionally compile the model now Notez que le hotswapping des adaptateurs de l'encodeur de texte n'est pas encore pris en charge. Cette technique comporte d'autres limitations, documentées ici : https://huggingface.co/docs/peft/main/en/package_reference/hotswap

kwargs (dict, facultatif) : Voir lora_state_dict().

Charge les poids LoRA spécifiés dans pretrained_model_name_or_path_or_dict dans self.unet et self.text_encoder.

Tous les kwargs sont transmis à self.lora_state_dict.

Voir lora_state_dict() pour plus de détails sur la manière dont le state dict est chargé.

Voir load_lora_into_unet() pour plus de détails sur la façon dont le state dict est chargé dans self.unet.

Voir load_lora_into_text_encoder() pour plus de détails sur la façon dont le state dict est chargé dans self.text_encoder.

save_lora_weights[[diffusers.StableDiffusionImg2ImgPipeline.save_lora_weights]]

save_lora_weights(save_directory: str | os.PathLike, unet_lora_layers: dict[str, typing.Union[torch.nn.Module, torch.Tensor]] = None, text_encoder_lora_layers: dict[str, torch.nn.Module] = None, is_main_process: bool = True, weight_name: str = None, save_function: typing.Callable = None, safe_serialization: bool = True, unet_lora_adapter_metadata = None, text_encoder_lora_adapter_metadata = None)

Source

Paramètres :

save_directory (str ou os.PathLike) : Répertoire où enregistrer les paramètres LoRA. Sera créé s'il n'existe pas.

unet_lora_layers (dict[str, torch.nn.Module] ou dict[str, torch.Tensor]) : Dictionnaire d'état des couches LoRA correspondant à unet.

text_encoder_lora_layers (dict[str, torch.nn.Module] ou dict[str, torch.Tensor]) : Dictionnaire d'état des couches LoRA correspondant au text_encoder. Il est nécessaire de passer explicitement le dictionnaire d'état LoRA de l'encodeur de texte, car il provient de 🤗 Transformers.

is_main_process (bool, facultatif, par défaut True) : Indique si le processus qui appelle cette fonction est le processus principal ou non. Utile lors de l'entraînement distribué lorsque vous devez appeler cette fonction sur tous les processus. Dans ce cas, définissez is_main_process=True uniquement sur le processus principal pour éviter les conditions de course.

save_function (Callable) : La fonction à utiliser pour enregistrer le dictionnaire d'état. Utile lors de l'entraînement distribué lorsque vous devez remplacer torch.save par une autre méthode. Peut être configuré avec la variable d'environnement DIFFUSERS_SAVE_MODE.

safe_serialization (bool, facultatif, par défaut True) : Indique si le modèle doit être enregistré en utilisant safetensors ou de manière traditionnelle PyTorch avec pickle.

unet_lora_adapter_metadata : métadonnées de l'adaptateur LoRA associées au unet à sérialiser avec le state dict.

text_encoder_lora_adapter_metadata : métadonnées de l'adaptateur LoRA associées à l'encodeur de texte à sérialiser avec le dictionnaire d'état.

Enregistrez les paramètres LoRA correspondant à l'UNet et à l'encodeur de texte.

encode_prompt[[diffusers.StableDiffusionImg2ImgPipeline.encode_prompt]]

encode_prompt(prompt, device, num_images_per_prompt, do_classifier_free_guidance, negative_prompt = None, prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, lora_scale: float | None = None, clip_skip: int | None = None)

Source

Paramètres :

prompt (str ou list[str], facultatif) : invite à encoder

device : (torch.device) : appareil torch

num_images_per_prompt (int) : nombre d'images à générer par invite

do_classifier_free_guidance (bool) : indique s'il faut utiliser le guidage sans classifieur ou non

negative_prompt (str ou list[str], facultatif) : Le prompt ou les prompts à ne pas utiliser pour guider la génération d’image. S’il n’est pas défini, il faut passer negative_prompt_embeds à la place. Ignoré lorsque le guidage n’est pas utilisé (c’est-à-dire ignoré si guidance_scale est inférieur à 1).

prompt_embeds (torch.Tensor, facultatif) : Incrustations de texte pré-générées. Peut être utilisé pour ajuster facilement les entrées de texte, par ex. pondération des prompts. Si non fourni, les incrustations de texte seront générées à partir de l'argument d'entrée prompt.

negative_prompt_embeds (torch.Tensor, facultatif) : Embeddings de texte négatif pré-générés. Peut être utilisé pour ajuster facilement les entrées de texte, par exemple le pondération des prompts. S'il n'est pas fourni, negative_prompt_embeds sera généré à partir de l'argument d'entrée negative_prompt.

lora_scale (float, facultatif) : une échelle LoRA qui sera appliquée à toutes les couches LoRA de l'encodeur de texte si des couches LoRA sont chargées.

clip_skip (int, facultatif) : Nombre de couches à ignorer dans CLIP lors du calcul des embeddings de prompt. Une valeur de 1 signifie que la sortie de la couche pré-finale sera utilisée pour calculer les embeddings de prompt.

Encode le prompt dans les états cachés de l'encodeur de texte.

get_guidance_scale_embedding[[diffusers.StableDiffusionImg2ImgPipeline.get_guidance_scale_embedding]]

get_guidance_scale_embedding(w: Tensor, embedding_dim: int = 512, dtype: dtype = torch.float32)

Source

Paramètres :

w (torch.Tensor) : Génère des vecteurs d'incorporation avec une échelle de guidage spécifiée afin d'enrichir par la suite les incorporations de pas de temps.

embedding_dim (int, facultatif, par défaut 512) : Dimension des embeddings à générer.

dtype (torch.dtype, facultatif, par défaut torch.float32) : Type de données des embeddings générés.

Retourne : torch.Tensor

Vecteurs d'embedding de forme (len(w), embedding_dim).

Voir https://github.com/google-research/vdm/blob/dc27b98a554f65cdc654b800da5aa1846545d41b/model_vdm.py#L298

StableDiffusionPipelineOutput[[diffusers.pipelines.stable_diffusion.StableDiffusionPipelineOutput]]

diffusers.pipelines.stable_diffusion.StableDiffusionPipelineOutput[[diffusers.pipelines.stable_diffusion.StableDiffusionPipelineOutput]]

diffusers.pipelines.stable_diffusion.StableDiffusionPipelineOutput(images: list[PIL.Image.Image] | numpy.ndarray, nsfw_content_detected: list[bool] | None)

Source

Paramètres :

images (list[PIL.Image.Image] ou np.ndarray) : liste d'images PIL débruitées de longueur batch_size ou tableau NumPy de forme (batch_size, height, width, num_channels).

nsfw_content_detected (list[bool]) : liste indiquant si l'image générée correspondante contient du contenu « not-safe-for-work » (nsfw) ou None si la vérification de sécurité n'a pas pu être effectuée.

Classe de sortie pour les pipelines Stable Diffusion.