hf-doc-build/doc / diffusers /v0.43.0 /zh /api /pipelines /controlnet.md

|

85 kB

ControlNet

ControlNet 由 Lvmin Zhang、Anyi Rao 和 Maneesh Agrawala 在 Adding Conditional Control to Text-to-Image Diffusion Models 中提出。

使用 ControlNet 模型，您可以提供额外的控制图像来调节并控制 Stable Diffusion 的生成过程。例如，如果您提供一张深度图，ControlNet 模型将生成一张保留深度图中空间信息的图像。这是一种更灵活、更精确地控制图像生成过程的方式。

该论文的摘要如下：

我们提出了 ControlNet，一种用于为大型预训练文本到图像扩散模型添加空间条件控制的神经网络架构。ControlNet 锁定生产就绪的大型扩散模型，并复用其使用数十亿张图像预训练得到的深层且鲁棒的编码层作为强大的骨干网络，以学习多样化的条件控制。该神经架构通过“零卷积”（零初始化的卷积层）进行连接，这些层使参数从零开始逐步增长，并确保在微调过程中不会产生有害噪声。我们使用 Stable Diffusion 测试了多种条件控制，例如边缘、深度、分割、人体姿态等，支持使用单一或多个条件，以及有或无提示词的情况。我们展示了 ControlNet 的训练在小规模（<50k）和大规模（>1m）数据集上均具有鲁棒性。大量结果表明，ControlNet 有助于将图像扩散模型的应用扩展到更广泛的领域。

该模型由 takuma104 贡献。❤️

原始代码库可在 lllyasviel/ControlNet 中找到，您可以在 lllyasviel 的 Hub 主页上找到官方的 ControlNet 检查点。

请务必参阅调度器指南，了解如何探索调度器速度与质量之间的权衡，并查看跨流水线复用组件部分，了解如何高效地将相同组件加载到多个流水线中。

StableDiffusionControlNetPipeline[[diffusers.StableDiffusionControlNetPipeline]]

diffusers.StableDiffusionControlNetPipeline[[diffusers.StableDiffusionControlNetPipeline]]

diffusers.StableDiffusionControlNetPipeline(vae: AutoencoderKL, text_encoder: CLIPTextModel, tokenizer: CLIPTokenizer, unet: UNet2DConditionModel, controlnet: diffusers.models.controlnets.controlnet.ControlNetModel | list[diffusers.models.controlnets.controlnet.ControlNetModel] | tuple[diffusers.models.controlnets.controlnet.ControlNetModel] | diffusers.models.controlnets.multicontrolnet.MultiControlNetModel, scheduler: KarrasDiffusionSchedulers, safety_checker: StableDiffusionSafetyChecker, feature_extractor: CLIPImageProcessorPil, image_encoder: CLIPVisionModelWithProjection = None, requires_safety_checker: bool = True)

源代码

参数：

vae (AutoencoderKL)：变分自编码器（VAE）模型，用于将图像编码为潜在表示，并从潜在表示解码回图像。

text_encoder (CLIPTextModel)：冻结的文本编码器（clip-vit-large-patch14）。

tokenizer (CLIPTokenizer)：一个用于对文本进行分词的 CLIPTokenizer。

unet (UNet2DConditionModel)：一个用于对编码后的图像潜变量进行去噪的 UNet2DConditionModel。

controlnet (ControlNetModel 或 list[ControlNetModel])：在去噪过程中为 unet 提供额外的条件输入。如果以列表形式设置多个 ControlNet，则会将每个 ControlNet 的输出相加，以生成一个合并的额外条件输入。

scheduler (SchedulerMixin)：用于与 unet 配合以去除编码后的图像潜变量噪声的调度器。可以是 DDIMScheduler、LMSDiscreteScheduler 或 PNDMScheduler 之一。

safety_checker (StableDiffusionSafetyChecker)：分类模块，用于评估生成的图像是否可能被视为冒犯性或有害内容。有关模型潜在危害的更多详细信息，请参阅模型卡片。

feature_extractor (CLIPImageProcessor)：一个 CLIPImageProcessor，用于从生成的图像中提取特征；作为 safety_checker 的输入。

使用带有 ControlNet 引导的 Stable Diffusion 进行文本到图像生成的 Pipeline。

该模型继承自 DiffusionPipeline。有关为所有流水线实现的通用方法（下载、保存、在特定设备上运行等），请参阅父类文档。

该 pipeline 还继承了以下加载方法：

用于加载文本反转嵌入的 load_textual_inversion()
用于加载 LoRA 权重的 load_lora_weights()
用于保存 LoRA 权重的 save_lora_weights()
用于加载 .ckpt 文件的 from_single_file()
用于加载 IP Adapter 的 load_ip_adapter()

调用[[diffusers.StableDiffusionControlNetPipeline.call]]

__call__(prompt: str | list[str] = None, image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]] = None, height: int | None = None, width: int | None = None, num_inference_steps: int = 50, timesteps: list[int] = None, sigmas: list[float] = None, guidance_scale: float = 7.5, negative_prompt: str | list[str] | None = None, num_images_per_prompt: int | None = 1, eta: float = 0.0, generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = None, latents: typing.Optional[torch.Tensor] = None, prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, ip_adapter_image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor], NoneType] = None, ip_adapter_image_embeds: list[torch.Tensor] | None = None, output_type: str | None = 'pil', return_dict: bool = True, cross_attention_kwargs: dict[str, typing.Any] | None = None, controlnet_conditioning_scale: float | list[float] = 1.0, guess_mode: bool = False, control_guidance_start: float | list[float] = 0.0, control_guidance_end: float | list[float] = 1.0, clip_skip: int | None = None, callback_on_step_end: typing.Union[typing.Callable[[int, int], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None, callback_on_step_end_tensor_inputs: list[str] = ['latents'], **kwargs)

源代码

参数：

prompt (str 或 list[str]，可选)：用于引导图像生成的提示词或提示词列表。如果未定义，则需要传入 prompt_embeds。

image (torch.Tensor、PIL.Image.Image、np.ndarray、list[torch.Tensor]、list[PIL.Image.Image]、list[np.ndarray]、list[list[torch.Tensor]]、list[list[np.ndarray]] 或 list[list[PIL.Image.Image]])：用于为 unet 提供生成引导的 ControlNet 输入条件。如果类型指定为 torch.Tensor，则会原样传递给 ControlNet。也可以接受 PIL.Image.Image 作为图像。输出图像的默认尺寸与 image 的尺寸相同。如果传入了高度和/或宽度，image 将相应调整大小。如果在 init 中指定了多个 ControlNet，则必须以列表形式传入图像，以便列表中的每个元素都能正确地进行批处理，作为单个 ControlNet 的输入。当 prompt 是列表时，如果为单个 ControlNet 传入了图像列表，则每个图像都会与 prompt 列表中的每个提示词配对。对于多个 ControlNet 的情况也适用，可以传入图像列表的列表，以便为每个提示词和每个 ControlNet 进行批处理。

height (int，可选，默认为 self.unet.config.sample_size * self.vae_scale_factor)：生成图像的高度（以像素为单位）。

width (int，可选，默认为 self.unet.config.sample_size * self.vae_scale_factor)：生成图像的像素宽度。

num_inference_steps (int, 可选，默认为 50)：去噪步数。更多的去噪步数通常能带来更高质量的图像，但代价是推理速度变慢。

timesteps (list[int]，可选)：用于在支持 set_timesteps 方法中 timesteps 参数的调度器中，指定去噪过程所使用的自定义时间步。如果未定义，则使用传入 num_inference_steps 时的默认行为。必须按降序排列。

sigmas (list[float], 可选) : 用于支持在 set_timesteps 方法中接受 sigmas 参数的调度器的去噪过程的自定义 sigmas。如果未定义，将使用传入 num_inference_steps 时的默认行为。

guidance_scale (float, 可选，默认值为 7.5)：较高的 guidance scale 值会促使模型生成与文本 prompt 紧密相关的图像，但代价是图像质量降低。当 guidance_scale > 1 时，guidance scale 生效。

negative_prompt (str 或 list[str]，可选)：用于指导图像生成中不应包含的内容的提示词或提示词列表。如果未定义，则需要改为传入 negative_prompt_embeds。在未使用引导（guidance_scale < 1）时将被忽略。

num_images_per_prompt (int，可选，默认为 1)：每个提示词生成的图像数量。

eta (float，可选，默认值为 0.0)：对应 DDIM 论文中的参数 eta (η)。仅适用于 DDIMScheduler，在其他调度器中会被忽略。

generator (torch.Generator 或 list[torch.Generator]，可选)：用于使生成过程确定性的 torch.Generator。

latents (torch.Tensor, 可选) : 从高斯分布中采样的预生成噪声潜变量，用作图像生成的输入。可用于以不同的提示词微调同一生成过程。如果未提供，则使用提供的随机generator进行采样来生成潜变量张量。

prompt_embeds (torch.Tensor, 可选) : 预生成的文本嵌入。可用于轻松调整文本输入（提示词权重）。如果未提供，则从 prompt 输入参数生成文本嵌入。

negative_prompt_embeds (torch.Tensor, 可选) : 预生成的负向文本嵌入。可用于轻松调整文本输入（提示词权重）。如果未提供，negative_prompt_embeds 将从 negative_prompt 输入参数生成。

ip_adapter_image : (PipelineImageInput，可选)：用于配合 IP Adapter 使用的可选图像输入。

ip_adapter_image_embeds (list[torch.Tensor]，可选)：用于 IP-Adapter 的预生成图像嵌入。它应是一个列表，长度与 IP-Adapter 的数量相同。每个元素应为形状为 (batch_size, num_images, emb_dim) 的张量。如果 do_classifier_free_guidance 设置为 True，则应包含负向图像嵌入。如果未提供，嵌入将从 ip_adapter_image 输入参数计算得出。

output_type (str，可选，默认为 "pil")：生成图像的输出格式。在 PIL.Image 或 np.array 之间选择。

return_dict (bool，可选，默认为 True)：是否返回 StableDiffusionPipelineOutput 而不是普通元组。

cross_attention_kwargs (dict, 可选) : 一个 kwargs 字典，如果指定，将作为 self.processor 中定义的 AttentionProcessor 的参数传递。

controlnet_conditioning_scale (float 或 list[float]，可选，默认为 1.0) : ControlNet 的输出在加到原始 unet 的残差之前，会先乘以 controlnet_conditioning_scale。如果在 init 中指定了多个 ControlNet，可以将对应的 scale 设置为列表。

guess_mode (bool，可选，默认为 False)：即使移除所有提示词，ControlNet 编码器也会尝试识别输入图像的内容。建议将 guidance_scale 的值设置在 3.0 到 5.0 之间。

control_guidance_start (float 或 list[float]，可选，默认为 0.0)：ControlNet 开始生效的总步数百分比。

control_guidance_end (float 或 list[float]，可选，默认为 1.0)：ControlNet 停止应用时的总步数百分比。

clip_skip (int, 可选) : 在计算提示嵌入时，从 CLIP 中跳过的层数。值为 1 表示将使用倒数第二层的输出来计算提示嵌入。

callback_on_step_end (Callable、PipelineCallback、MultiPipelineCallbacks、可选)：一个函数，或 PipelineCallback 或 MultiPipelineCallbacks 的子类，在推理过程中每个去噪步骤结束时被调用，其参数为：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。callback_kwargs 将包含由 callback_on_step_end_tensor_inputs 指定的所有张量列表。

callback_on_step_end_tensor_inputs (list，可选)：callback_on_step_end 函数的张量输入列表。列表中指定的张量将作为 callback_kwargs 参数传递。您只能包含流水线类的 ._callback_tensor_inputs 属性中列出的变量。

返回： StableDiffusionPipelineOutput 或 tuple

如果 return_dict 为 True，则返回 StableDiffusionPipelineOutput；否则返回一个 tuple，其中第一个元素是包含生成图像的列表，第二个元素是 bool 列表，用于指示对应的生成图像是否包含“不适合工作场所”（nsfw）内容。

用于生成的 pipeline 的调用函数。

示例：

>>> # !pip install opencv-python transformers accelerate
>>> from diffusers import StableDiffusionControlNetPipeline, ControlNetModel, UniPCMultistepScheduler
>>> from diffusers.utils import load_image
>>> import numpy as np
>>> import torch

>>> import cv2
>>> from PIL import Image

>>> # download an image
>>> image = load_image(
...     "https://hf.co/datasets/huggingface/documentation-images/resolve/main/diffusers/input_image_vermeer.png"
... )
>>> image = np.array(image)

>>> # get canny image
>>> image = cv2.Canny(image, 100, 200)
>>> image = image[:, :, None]
>>> image = np.concatenate([image, image, image], axis=2)
>>> canny_image = Image.fromarray(image)

>>> # load control net and stable diffusion v1-5
>>> controlnet = ControlNetModel.from_pretrained("lllyasviel/sd-controlnet-canny", torch_dtype=torch.float16)
>>> pipe = StableDiffusionControlNetPipeline.from_pretrained(
...     "stable-diffusion-v1-5/stable-diffusion-v1-5", controlnet=controlnet, torch_dtype=torch.float16
... )

>>> # speed up diffusion process with faster scheduler and memory optimization
>>> pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config)
>>> # remove following line if xformers is not installed
>>> pipe.enable_xformers_memory_efficient_attention()

>>> pipe.enable_model_cpu_offload()

>>> # generate image
>>> generator = torch.manual_seed(0)
>>> image = pipe(
...     "futuristic-looking woman", num_inference_steps=20, generator=generator, image=canny_image
... ).images[0]

enable_attention_slicing[[diffusers.StableDiffusionControlNetPipeline.enable_attention_slicing]]

enable_attention_slicing(slice_size: str | int = 'auto')

源代码

参数：

slice_size (str 或 int，可选，默认为 "auto")：当值为 "auto" 时，将输入到注意力头的数据减半，因此注意力计算将分两步进行。如果值为 "max"，则每次只运行一个切片，以节省最大内存。如果提供了数字，则使用 attention_head_dim // slice_size 个切片。在这种情况下，attention_head_dim 必须是 slice_size 的倍数。

启用切片注意力计算。启用此选项后，注意力模块会将输入张量拆分为多个切片，分步计算注意力。当存在多个注意力头时，计算将按顺序针对每个头执行。此功能可用于节省部分内存，代价是速度略有下降。

> ⚠️ 如果你已经在使用 scaled_dot_product_attention（SDPA），请勿启用注意力切片来自 PyTorch > 2.0 或 xFormers。这些注意力计算本身已经非常节省内存，因此您无需启用 > 此功能。如果您在 SDPA 或 xFormers 中启用注意力切片，可能会导致严重的性能下降！

示例：

>>> import torch
>>> from diffusers import StableDiffusionPipeline

>>> pipe = StableDiffusionPipeline.from_pretrained(
...     "stable-diffusion-v1-5/stable-diffusion-v1-5",
...     dtype=torch.float16,
...     use_safetensors=True,
... )

>>> prompt = "a photo of an astronaut riding a horse on mars"
>>> pipe.enable_attention_slicing()
>>> image = pipe(prompt).images[0]

disable_attention_slicing[[diffusers.StableDiffusionControlNetPipeline.disable_attention_slicing]]

disable_attention_slicing()

源代码

禁用切片注意力计算。如果之前调用过 enable_attention_slicing，则注意力将一次性计算完成。

enable_xformers_memory_efficient_attention[[diffusers.StableDiffusionControlNetPipeline.enable_xformers_memory_efficient_attention]]

enable_xformers_memory_efficient_attention(attention_op: typing.Optional[typing.Callable] = None)

源代码

参数：

attention_op (Callable，可选)：覆盖默认的 None 运算符，用作 xFormers 的 memory_efficient_attention() 函数的 op 参数。

启用来自 xFormers 的内存高效注意力机制。启用此选项后，您应能观察到更低的 GPU 内存占用，并可能在推理阶段获得加速。训练阶段的加速不保证。

> ⚠️ 当同时启用 memory efficient attention 和 sliced attention 时，memory efficient attention 的优先级高于 >。

示例：

>>> import torch
>>> from diffusers import DiffusionPipeline
>>> from xformers.ops import MemoryEfficientAttentionFlashAttentionOp

>>> pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-2-1", dtype=torch.float16)
>>> pipe = pipe.to("cuda")
>>> pipe.enable_xformers_memory_efficient_attention(attention_op=MemoryEfficientAttentionFlashAttentionOp)
>>> # Workaround for not accepting attention shape using VAE for Flash Attention
>>> pipe.vae.enable_xformers_memory_efficient_attention(attention_op=None)

disable_xformers_memory_efficient_attention[[diffusers.StableDiffusionControlNetPipeline.disable_xformers_memory_efficient_attention]]

disable_xformers_memory_efficient_attention()

源代码

禁用来自 xFormers 的内存高效注意力。

load_textual_inversion[[diffusers.StableDiffusionControlNetPipeline.load_textual_inversion]]

load_textual_inversion(pretrained_model_name_or_path: str | list[str] | dict[str, torch.Tensor] | list[dict[str, torch.Tensor]], token: str | list[str] | None = None, tokenizer: 'PreTrainedTokenizer' | None = None, text_encoder: 'PreTrainedModel' | None = None, **kwargs)

源代码

参数：

pretrained_model_name_or_path (str 或 os.PathLike 或 list[str or os.PathLike] 或 Dict 或 list[Dict]) : 可以是以下其中一种，也可以是它们的列表： - 一个字符串，即托管在 Hub 上的预训练模型的 model id（例如 sd-concepts-library/low-poly-hd-logos-icons）。 - 指向包含文本反转（textual inversion）权重的目录的路径（例如 ./my_text_inversion_directory/）。 - 指向包含文本反转权重的文件的路径（例如 ./my_text_inversions.pt）。 - 一个 torch state dict。

token (str 或 list[str]，可选) : 用于覆盖文本反转权重所使用的 token。如果 pretrained_model_name_or_path 是一个列表，则 token 也必须是一个长度相等的列表。

text_encoder (CLIPTextModel，可选)：冻结的文本编码器（clip-vit-large-patch14）。如果未指定，函数将使用 self.tokenizer。

tokenizer (CLIPTokenizer，可选)：用于对文本进行分词的 CLIPTokenizer。如果未指定，函数将使用 self.tokenizer。

weight_name (str, 可选) : 自定义权重文件的名称。在以下情况下应使用此参数： - 保存的文本反转文件采用 🤗 Diffusers 格式，但保存时使用了特定的权重名称，例如 text_inv.bin。 - 保存的文本反转文件采用 Automatic1111 格式。

cache_dir (str | os.PathLike，可选)：如果未使用标准缓存，则已下载的预训练模型配置将缓存到的目录路径。

force_download (bool，可选，默认为 False)：是否强制（重新）下载模型权重和配置文件，如果存在缓存版本则覆盖它们。

proxies (dict[str, str]，可选)：一个字典，用于按协议或端点指定要使用的代理服务器，例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。每次请求都会使用这些代理。

local_files_only (bool，可选，默认为 False)：是否仅加载本地模型权重和配置文件。如果设置为 True，则不会从 Hub 下载模型。

hf_token (str 或 bool，可选) : 用于远程文件的 HTTP 承载者授权令牌。如果为 True，则使用由 diffusers-cli login 生成的令牌（存储在 ~/.huggingface 中）。

revision (str，可选，默认为 "main")：要使用的特定模型版本。它可以是分支名称、标签名称、提交 ID，或 Git 允许的任何标识符。

subfolder (str，可选，默认为 "")：模型文件在 Hub 或本地的大型模型仓库中的子文件夹位置。

mirror (str, 可选) : 用于解决在中国下载模型时可能遇到的访问问题的镜像源。我们不保证该源的时效性或安全性，详情请参阅镜像站点。

将 Textual Inversion 嵌入加载到 StableDiffusionPipeline 的文本编码器中（同时支持 🤗 Diffusers 和 Automatic1111 格式）。

示例：

要在 🤗 Diffusers 格式中加载 Textual Inversion 嵌入向量：

from diffusers import StableDiffusionPipeline
import torch

model_id = "stable-diffusion-v1-5/stable-diffusion-v1-5"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16).to("cuda")

pipe.load_textual_inversion("sd-concepts-library/cat-toy")

prompt = "A <cat-toy> backpack"

image = pipe(prompt, num_inference_steps=50).images[0]
image.save("cat-backpack.png")

要在 Automatic1111 格式中加载 Textual Inversion 嵌入向量，请先下载该向量（例如从 civitAI 下载），然后加载该向量

本地：

from diffusers import StableDiffusionPipeline
import torch

model_id = "stable-diffusion-v1-5/stable-diffusion-v1-5"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16).to("cuda")

pipe.load_textual_inversion("./charturnerv2.pt", token="charturnerv2")

prompt = "charturnerv2, multiple views of the same character in the same outfit, a character turnaround of a woman wearing a black jacket and red shirt, best quality, intricate details."

image = pipe(prompt, num_inference_steps=50).images[0]
image.save("character.png")

encode_prompt[[diffusers.StableDiffusionControlNetPipeline.encode_prompt]]

encode_prompt(prompt, device, num_images_per_prompt, do_classifier_free_guidance, negative_prompt = None, prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, lora_scale: float | None = None, clip_skip: int | None = None)

源代码

参数：

prompt (str 或 list[str]，可选)：要编码的提示

device : (torch.device): torch 设备

num_images_per_prompt (int) : 每个提示词应生成的图像数量

do_classifier_free_guidance (bool) : 是否使用 classifier free guidance

negative_prompt (str 或 list[str]，可选)：用于引导图像生成的负面提示词。如果未定义，则必须传入 negative_prompt_embeds。当不使用引导时（即 guidance_scale 小于 1 时），此参数将被忽略。

prompt_embeds (torch.Tensor, 可选) : 预生成的文本嵌入。可用于轻松调整文本输入，例如提示词加权。如果未提供，文本嵌入将从 prompt 输入参数生成。

negative_prompt_embeds (torch.Tensor, 可选) : 预生成的负向文本嵌入。可用于轻松调整文本输入，例如提示词权重。如果未提供，negative_prompt_embeds 将从 negative_prompt 输入参数生成。

lora_scale (float, 可选) : 如果加载了 LoRA 层，将应用于文本编码器所有 LoRA 层的 LoRA 缩放系数。

clip_skip (int, 可选) : 在计算提示嵌入时，从 CLIP 中跳过的层数。值为 1 表示将使用倒数第二层的输出来计算提示嵌入。

将提示词编码为文本编码器的隐藏状态。

get_guidance_scale_embedding[[diffusers.StableDiffusionControlNetPipeline.get_guidance_scale_embedding]]

get_guidance_scale_embedding(w: Tensor, embedding_dim: int = 512, dtype: dtype = torch.float32)

源代码

参数：

w (torch.Tensor) : 生成具有指定 guidance scale 的嵌入向量，以用于后续丰富时间步嵌入。

embedding_dim (int，可选，默认值为 512)：要生成的嵌入的维度。

dtype (torch.dtype，可选，默认为 torch.float32)：生成嵌入的数据类型。

返回： torch.Tensor

形状为 (len(w), embedding_dim) 的嵌入向量。

参见 https://github.com/google-research/vdm/blob/dc27b98a554f65cdc654b800da5aa1846545d41b/model_vdm.py#L298

StableDiffusionControlNetImg2ImgPipeline[[diffusers.StableDiffusionControlNetImg2ImgPipeline]]

diffusers.StableDiffusionControlNetImg2ImgPipeline[[diffusers.StableDiffusionControlNetImg2ImgPipeline]]

diffusers.StableDiffusionControlNetImg2ImgPipeline(vae: AutoencoderKL, text_encoder: CLIPTextModel, tokenizer: CLIPTokenizer, unet: UNet2DConditionModel, controlnet: diffusers.models.controlnets.controlnet.ControlNetModel | list[diffusers.models.controlnets.controlnet.ControlNetModel] | tuple[diffusers.models.controlnets.controlnet.ControlNetModel] | diffusers.models.controlnets.multicontrolnet.MultiControlNetModel, scheduler: KarrasDiffusionSchedulers, safety_checker: StableDiffusionSafetyChecker, feature_extractor: CLIPImageProcessorPil, image_encoder: CLIPVisionModelWithProjection = None, requires_safety_checker: bool = True)

源代码

参数：

vae (AutoencoderKL)：变分自编码器（VAE）模型，用于将图像编码为潜在表示，并从潜在表示解码回图像。

text_encoder (CLIPTextModel)：冻结的文本编码器（clip-vit-large-patch14）。

tokenizer (CLIPTokenizer)：一个用于对文本进行分词的 CLIPTokenizer。

unet (UNet2DConditionModel)：一个用于对编码后的图像潜变量进行去噪的 UNet2DConditionModel。

controlnet (ControlNetModel 或 list[ControlNetModel])：在去噪过程中为 unet 提供额外的条件输入。如果以列表形式设置多个 ControlNet，则会将每个 ControlNet 的输出相加，以生成一个合并的额外条件输入。

scheduler (SchedulerMixin)：用于与 unet 配合以去除编码后的图像潜变量噪声的调度器。可以是 DDIMScheduler、LMSDiscreteScheduler 或 PNDMScheduler 之一。

safety_checker (StableDiffusionSafetyChecker)：分类模块，用于评估生成的图像是否可能被视为冒犯性或有害内容。有关模型潜在危害的更多详细信息，请参阅模型卡片。

feature_extractor (CLIPImageProcessor)：一个 CLIPImageProcessor，用于从生成的图像中提取特征；作为 safety_checker 的输入。

使用 Stable Diffusion 并结合 ControlNet 引导进行图像到图像生成的 Pipeline。

该模型继承自 DiffusionPipeline。有关为所有流水线实现的通用方法（下载、保存、在特定设备上运行等），请参阅父类文档。

该 pipeline 还继承了以下加载方法：

用于加载文本反转嵌入的 load_textual_inversion()
用于加载 LoRA 权重的 load_lora_weights()
用于保存 LoRA 权重的 save_lora_weights()
用于加载 .ckpt 文件的 from_single_file()
用于加载 IP Adapter 的 load_ip_adapter()

调用[[diffusers.StableDiffusionControlNetImg2ImgPipeline.call]]

__call__(prompt: str | list[str] = None, image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]] = None, control_image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]] = None, height: int | None = None, width: int | None = None, strength: float = 0.8, num_inference_steps: int = 50, guidance_scale: float = 7.5, negative_prompt: str | list[str] | None = None, num_images_per_prompt: int | None = 1, eta: float = 0.0, generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = None, latents: typing.Optional[torch.Tensor] = None, prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, ip_adapter_image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor], NoneType] = None, ip_adapter_image_embeds: list[torch.Tensor] | None = None, output_type: str | None = 'pil', return_dict: bool = True, cross_attention_kwargs: dict[str, typing.Any] | None = None, controlnet_conditioning_scale: float | list[float] = 0.8, guess_mode: bool = False, control_guidance_start: float | list[float] = 0.0, control_guidance_end: float | list[float] = 1.0, clip_skip: int | None = None, callback_on_step_end: typing.Union[typing.Callable[[int, int], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None, callback_on_step_end_tensor_inputs: list[str] = ['latents'], **kwargs)

源代码

参数：

prompt (str 或 list[str]，可选)：用于引导图像生成的提示词或提示词列表。如果未定义，则需要传入 prompt_embeds。

image (torch.Tensor、PIL.Image.Image、np.ndarray、list[torch.Tensor]、list[PIL.Image.Image]、list[np.ndarray]、list[list[torch.Tensor]]、list[list[np.ndarray]] 或 list[list[PIL.Image.Image]])：用于图像生成过程起点的初始图像。也可以接受图像潜变量作为 image，如果直接传入潜变量，则不会再次对其进行编码。

control_image (torch.Tensor、PIL.Image.Image、np.ndarray、list[torch.Tensor]、list[PIL.Image.Image]、list[np.ndarray]、list[list[torch.Tensor]]、list[list[np.ndarray]] 或 list[list[PIL.Image.Image]])：用于为 unet 提供生成引导的 ControlNet 输入条件。如果类型指定为 torch.Tensor，则会原样传递给 ControlNet。也可以接受 PIL.Image.Image 作为图像。输出图像的默认尺寸与 image 的尺寸相同。如果传入了高度和/或宽度，image 将相应地调整大小。如果在 init 中指定了多个 ControlNet，则必须以列表形式传入图像，以便列表中的每个元素都能被正确批处理，作为单个 ControlNet 的输入。

height (int，可选，默认为 self.unet.config.sample_size * self.vae_scale_factor)：生成图像的高度（以像素为单位）。

width (int，可选，默认为 self.unet.config.sample_size * self.vae_scale_factor)：生成图像的像素宽度。

strength (float，可选，默认值为 0.8)：指示对参考 image 进行变换的程度。取值必须在 0 到 1 之间。image 用作起始点，strength 越高，添加的噪声越多。去噪步数取决于初始添加的噪声量。当 strength 为 1 时，添加的噪声达到最大值，去噪过程将运行 num_inference_steps 中指定的完整迭代次数。值为 1 时，基本上会忽略 image。