# Pipelines Stable Diffusion

  

Stable Diffusion est un modèle de diffusion latente de texte vers image créé par les chercheurs et ingénieurs de [CompVis](https://github.com/CompVis), [Stability AI](https://stability.ai/) et [LAION](https://laion.ai/). La diffusion latente applique le processus de diffusion sur un espace latent de dimension inférieure afin de réduire la complexité mémoire et de calcul. Ce type spécifique de modèle de diffusion a été proposé dans [High-Resolution Image Synthesis with Latent Diffusion Models](https://huggingface.co/papers/2112.10752) par Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer.

Stable Diffusion est entraîné sur des images de 512x512 issues d'un sous-ensemble du jeu de données LAION-5B. Ce modèle utilise un encodeur de texte CLIP ViT-L/14 figé pour conditionner le modèle sur des invites textuelles. Avec son UNet de 860M et son encodeur de texte de 123M, le modèle est relativement léger et peut s'exécuter sur des GPU grand public.

Pour plus de détails sur le fonctionnement de Stable Diffusion et sur ce qui le distingue du modèle de diffusion latente de base, consultez l'[annonce](https://stability.ai/blog/stable-diffusion-announcement) de Stability AI et notre propre [article de blog](https://huggingface.co/blog/stable_diffusion#how-does-stable-diffusion-work) pour des détails techniques supplémentaires.

Vous pouvez trouver le code source original de Stable Diffusion v1.0 sur [CompVis/stable-diffusion](https://github.com/CompVis/stable-diffusion) et celui de Stable Diffusion v2.0 sur [Stability-AI/stablediffusion](https://github.com/Stability-AI/stablediffusion), ainsi que leurs scripts originaux pour diverses tâches. Des points de contrôle officiels supplémentaires pour les différentes versions et tâches de Stable Diffusion sont disponibles sur les organisations [CompVis](https://huggingface.co/CompVis) et [Stability AI](https://huggingface.co/stabilityai) du Hub. Explorez ces organisations pour trouver le point de contrôle le plus adapté à votre cas d’usage !

Le tableau ci-dessous résume les pipelines Stable Diffusion disponibles, les tâches qu’ils prennent en charge et une démo interactive :

    
    
        
        
            
            Pipeline
            
            
            Tâches prises en charge
            
            
            🤗 Space
            
        
        
        
        
            
            StableDiffusion
            
            texte-vers-image
            
            
        
        
            
            StableDiffusionImg2Img
            
            image-vers-image
            
            
        
        
            
            StableDiffusionInpaint
            
            inpainting
            
            
        
        
            
            StableDiffusionDepth2Img
            
            depth-to-image
            
            
        
        
            
            StableDiffusionImageVariation
            
            variation d'image
            
            
        
        
            
            StableDiffusionPipelineSafe (obsolète ; aucune page de documentation)
            
            texte-vers-image filtré
            
            
        
        
            
            StableDiffusion2
            
            texte-vers-image, inpainting, profondeur-vers-image, super-résolution
            
            
        
        
            
            StableDiffusionXL
            
            texte-vers-image, image-vers-image
            
            
        
        
            
            StableDiffusionLatentUpscale
            
            super-résolution
            
            
        
        
            
            StableDiffusionUpscale
            
            super-résolution
        
        
            
            StableDiffusionLDM3D
            
            texte-versus-rgb, texte-versus-profondeur, texte-versus-panorama
            
            
        
        
            
            StableDiffusionUpscaleLDM3D
            
            super-résolution ldm3d
        
        
    
    

## Astuces

Pour vous aider à tirer le meilleur parti des pipelines Stable Diffusion, voici quelques conseils pour améliorer les performances et l’ergonomie. Ces conseils s’appliquent à tous les pipelines Stable Diffusion.

### Explorer le compromis entre vitesse et qualité

[StableDiffusionPipeline](/docs/diffusers/v0.43.0/fr/api/pipelines/stable_diffusion/text2img#diffusers.StableDiffusionPipeline) utilise par défaut le [PNDMScheduler](/docs/diffusers/v0.43.0/fr/api/schedulers/pndm#diffusers.PNDMScheduler), mais 🤗 Diffusers propose de nombreux autres planificateurs (certains plus rapides ou offrant une meilleure qualité) qui sont compatibles. Par exemple, si vous souhaitez utiliser le [EulerDiscreteScheduler](/docs/diffusers/v0.43.0/fr/api/schedulers/euler#diffusers.EulerDiscreteScheduler) à la place du planificateur par défaut :

```py
from diffusers import StableDiffusionPipeline, EulerDiscreteScheduler

pipeline = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v1-4")
pipeline.scheduler = EulerDiscreteScheduler.from_config(pipeline.scheduler.config)

# or
euler_scheduler = EulerDiscreteScheduler.from_pretrained("CompVis/stable-diffusion-v1-4", subfolder="scheduler")
pipeline = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v1-4", scheduler=euler_scheduler)
```

### Réutiliser les composants du pipeline pour économiser de la mémoire

Pour économiser de la mémoire et réutiliser les mêmes composants dans plusieurs pipelines, utilisez la méthode `.components` afin d’éviter de charger les poids en RAM plus d’une fois.

```py
from diffusers import (
    StableDiffusionPipeline,
    StableDiffusionImg2ImgPipeline,
    StableDiffusionInpaintPipeline,
)

text2img = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v1-4")
img2img = StableDiffusionImg2ImgPipeline(**text2img.components)
inpaint = StableDiffusionInpaintPipeline(**text2img.components)

# now you can use text2img(...), img2img(...), inpaint(...) just like the call methods of each respective pipeline
```

### Créer des démos web à l'aide de `gradio`

Les pipelines Stable Diffusion sont automatiquement pris en charge dans [Gradio](https://github.com/gradio-app/gradio/), une bibliothèque qui facilite la création d’applications d’apprentissage automatique esthétiques et conviviales sur le web. Assurez-vous d’abord que Gradio est installé :

```sh
pip install -U gradio
```

Ensuite, créez une démo web autour de n’importe quel pipeline basé sur Stable Diffusion. Par exemple, vous pouvez créer un pipeline de génération d’images en une seule ligne de code avec la fonction [`Interface.from_pipeline`](https://www.gradio.app/docs/interface#interface-from-pipeline) de Gradio :

```py
from diffusers import StableDiffusionPipeline
import gradio as gr

pipe = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v1-4")

gr.Interface.from_pipeline(pipe).launch()
```

qui ouvre une interface intuitive de glisser-déposer dans votre navigateur :

![](https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/gradio-panda.png)

De même, vous pourriez créer une démonstration pour un pipeline image-vers-image avec :

```py
from diffusers import StableDiffusionImg2ImgPipeline
import gradio as gr

pipe = StableDiffusionImg2ImgPipeline.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5")

gr.Interface.from_pipeline(pipe).launch()
```

Par défaut, la démo web s’exécute sur un serveur local. Si vous souhaitez la partager avec d’autres personnes, vous pouvez générer un lien public temporaire en définissant `share=True` dans `launch()`. Sinon, vous pouvez héberger votre démo sur [Hugging Face Spaces](https://huggingface.co/spaces)https://huggingface.co/spaces pour obtenir un lien permanent.