# 潜在一致性模型多步调度器

## 概述

由 Simian Luo、Yiqin Tan、Longbo Huang、Jian Li 和 Hang Zhao 在论文 [Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference](https://huggingface.co/papers/2310.04378) 中随潜在一致性模型一同引入的多步和单步调度器（Algorithm 3）。该调度器应能够在 1-8 步内从 [LatentConsistencyModelPipeline](/docs/diffusers/v0.43.0/zh/api/pipelines/latent_consistency_models#diffusers.LatentConsistencyModelPipeline) 生成高质量的样本。

## LCMScheduler[[diffusers.LCMScheduler]]

#### diffusers.LCMScheduler[[diffusers.LCMScheduler]]

```python
diffusers.LCMScheduler(num_train_timesteps: int = 1000, beta_start: float = 0.00085, beta_end: float = 0.012, beta_schedule: str = 'scaled_linear', trained_betas: numpy.ndarray | list[float] | None = None, original_inference_steps: int = 50, clip_sample: bool = False, clip_sample_range: float = 1.0, set_alpha_to_one: bool = True, steps_offset: int = 0, prediction_type: str = 'epsilon', thresholding: bool = False, dynamic_thresholding_ratio: float = 0.995, sample_max_value: float = 1.0, timestep_spacing: str = 'leading', timestep_scaling: float = 10.0, rescale_betas_zero_snr: bool = False)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_lcm.py#L142)

**参数：**

num_train_timesteps (`int`，默认为 `1000`)：用于训练模型的扩散步数。

beta_start (`float`，默认值为 `0.00085`)：推理的初始 `beta` 值。

beta_end (`float`，默认为 `0.012`)：最终的 `beta` 值。

beta_schedule (`str`，默认为 `"scaled_linear"`)：beta 调度，即将 beta 范围映射为用于模型步进的一系列 beta 值。可选 `linear`、`scaled_linear` 或 `squaredcos_cap_v2`。

trained_betas (`np.ndarray` 或 `list[float]`，*可选*) : 直接传入 betas 数组以绕过 `beta_start` 和 `beta_end`。

original_inference_steps (`int`，默认为 `50`)：用于生成线性间隔时间步调度的默认推理步数，最终将从中均匀选取 `num_inference_steps` 个时间步，以构成最终的时间步调度。

clip_sample (`bool`，默认为 `False`)：对预测样本进行裁剪，以确保数值稳定性。

clip_sample_range (`float`，默认为 `1.0`)：样本裁剪的最大幅度。仅在 `clip_sample=True` 时有效。

set_alpha_to_one (`bool`，默认为 `True`)：每个扩散步骤都会使用该步骤及前一步的 alpha 乘积值。对于最后一步，不存在前一个 alpha。当此选项为 `True` 时，前一个 alpha 乘积固定为 `1`；否则，使用第 0 步的 alpha 值。

steps_offset (`int`，默认为 `0`)：添加到推理步数中的偏移量，某些模型系列需要此参数。

prediction_type (`str`, defaults to `"epsilon"`) : Prediction type of the scheduler function; can be `epsilon` (predicts the noise of the diffusion process), `sample` (directly predicts the noisy sample`) or `v_prediction` (see section 2.4 of [Imagen Video](https://huggingface.co/papers/2210.02303) paper).

thresholding (`bool`，默认为 `False`)：是否使用“动态阈值”方法。此方法不适用于 Stable Diffusion 等潜在空间扩散模型。

dynamic_thresholding_ratio (`float`，默认为 `0.995`)：动态阈值化方法的比例。仅在 `thresholding=True` 时有效。

sample_max_value (`float`，默认为 `1.0`)：动态阈值化的阈值。仅在 `thresholding=True` 时有效。

timestep_spacing (`str`，默认为 `"leading"`)：时间步的缩放方式。更多信息请参阅 [通用扩散噪声调度和采样步骤存在缺陷](https://huggingface.co/papers/2305.08891) 中的表 2。

timestep_scaling (`float`，默认值为 `10.0`) : 在计算一致性模型边界条件 `c_skip` 和 `c_out` 时，时间步长将被乘以的系数。增大该值会降低近似误差（尽管在默认值 `10.0` 下，近似误差已经相当小）。

rescale_betas_zero_snr (`bool`，默认为 `False`)：是否将 betas 重新缩放，使其具有零终端 SNR。这使模型能够生成非常明亮和非常暗的样本，而不是将其限制在中等亮度的样本上。与 [`--offset_noise`](https://github.com/huggingface/diffusers/blob/74fd735eb073eb1d774b1ab4154a0876eb82f055/examples/dreambooth/train_dreambooth.py#L506) 大致相关。

`LCMScheduler` 扩展了去噪扩散概率模型（DDPM）中引入的去噪过程，并加入了非马尔可夫引导。

该模型继承自 [SchedulerMixin](/docs/diffusers/v0.43.0/zh/api/schedulers/overview#diffusers.SchedulerMixin) 和 [ConfigMixin](/docs/diffusers/v0.43.0/zh/api/configuration#diffusers.ConfigMixin)。[~ConfigMixin](/docs/diffusers/v0.43.0/zh/api/configuration#diffusers.ConfigMixin) 负责存储通过调度器的 `__init__` 函数传入的所有配置属性，例如 `num_train_timesteps`。可以通过 `scheduler.config.num_train_timesteps` 访问这些属性。[SchedulerMixin](/docs/diffusers/v0.43.0/zh/api/schedulers/overview#diffusers.SchedulerMixin) 通过 [SchedulerMixin.save_pretrained()](/docs/diffusers/v0.43.0/zh/api/schedulers/overview#diffusers.SchedulerMixin.save_pretrained) 和 [from_pretrained()](/docs/diffusers/v0.43.0/zh/api/schedulers/overview#diffusers.SchedulerMixin.from_pretrained) 函数提供通用的加载和保存功能。

#### add_noise[[diffusers.LCMScheduler.add_noise]]

```python
add_noise(original_samples: Tensor, noise: Tensor, timesteps: IntTensor)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_lcm.py#L667)

**参数：**

original_samples (`torch.Tensor`) : 将添加噪声的原始样本。

noise (`torch.Tensor`) : 要添加到样本中的噪声。

timesteps (`torch.IntTensor`)：指示每个样本噪声水平的时间步。

**返回：** `torch.Tensor`

带噪声的样本。

根据每个时间步的噪声幅度，向原始样本添加噪声（即前向扩散过程）。

#### get_scalings_for_boundary_condition_discrete[[diffusers.LCMScheduler.get_scalings_for_boundary_condition_discrete]]

```python
get_scalings_for_boundary_condition_discrete(timestep: int)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_lcm.py#L548)

**参数：**

timestep (`int`) : 用于计算缩放系数的离散时间步。

**返回：** `tuple[float, float]`

一个元组，包含 `c_skip`（用于输入样本的缩放）和 `c_out`（用于预测去噪样本的缩放）。

计算给定离散时间步的边界条件缩放系数（`c_skip` 和 `c_out`），用于 Latent Consistency Model。

#### get_velocity[[diffusers.LCMScheduler.get_velocity]]

```python
get_velocity(sample: Tensor, noise: Tensor, timesteps: IntTensor)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_lcm.py#L710)

**参数：**

sample (`torch.Tensor`)：输入样本。

noise (`torch.Tensor`) : 噪声张量。

timesteps (`torch.IntTensor`)：用于速度计算的 timesteps。

**返回：** `torch.Tensor`

计算得到的速度。

根据速度公式，从样本和噪声计算速度预测。

#### index_for_timestep[[diffusers.LCMScheduler.index_for_timestep]]

```python
index_for_timestep(timestep: typing.Union[float, torch.Tensor], schedule_timesteps: typing.Optional[torch.Tensor] = None)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_lcm.py#L262)

**参数：**

timestep (`float` 或 `torch.Tensor`)：要在调度器中查找的时间步值。

schedule_timesteps (`torch.Tensor`, *可选*) : 要搜索的时间步调度。如果为 `None`，则使用 `self.timesteps`。

**返回值：** `int`

时间步在调度器中的索引。对于第一步，如果存在多个匹配项，则返回第二个索引，以避免在从调度器中间开始（例如，用于图像到图像任务）时跳过某个 sigma。

查找给定时间步在时间步调度中的索引。

#### previous_timestep[[diffusers.LCMScheduler.previous_timestep]]

```python
previous_timestep(timestep)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_lcm.py#L755)

**参数：**

timestep (`int`)：当前时间步。

**返回：** `int` 或 `torch.Tensor`

上一个时间步。

计算扩散链中的前一个时间步。

#### scale_model_input[[diffusers.LCMScheduler.scale_model_input]]

```python
scale_model_input(sample: Tensor, timestep: int | None = None)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_lcm.py#L341)

**参数：**

sample (`torch.Tensor`)：输入样本。

timestep (`int`, *可选*) : 扩散链中的当前时间步。

**返回：** `torch.Tensor`

经过缩放的输入样本。

确保与那些需要根据当前时间步对去噪模型输入进行缩放的调度器保持可互换性。

#### set_begin_index[[diffusers.LCMScheduler.set_begin_index]]

```python
set_begin_index(begin_index: int = 0)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_lcm.py#L331)

**参数：**

begin_index (`int`，默认为 `0`)：调度器的起始索引。

设置调度器的起始索引。此函数应在推理之前从流水线中运行。

#### set_timesteps[[diffusers.LCMScheduler.set_timesteps]]

```python
set_timesteps(num_inference_steps: int | None = None, device: typing.Union[str, torch.device, NoneType] = None, original_inference_steps: int | None = None, timesteps: list[int] | None = None, strength: float = 1.0)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_lcm.py#L402)

**参数：**

num_inference_steps (`int`, *可选*) : 使用预训练模型生成样本时所用的扩散步数。如果使用了该参数，`timesteps` 必须为 `None`。

device (`str` 或 `torch.device`，*可选*)：时间步应移动到的设备。如果为 `None`，则不移动时间步。

original_inference_steps (`int`, *optional*) : 原始推理步数，用于生成线性间隔的时间步调度（这与标准的 `diffusers` 实现不同）。随后，我们将从这个调度中按索引均匀间隔地选取 `num_inference_steps` 个时间步，并将其作为最终的时间步调度。如果未设置，则默认为 `original_inference_steps` 属性。

timesteps (`list[int]`, *可选*) : 用于支持任意时间步间隔的自定义时间步。如果为 `None`，则使用训练/蒸馏时间步调度上时间步之间等间隔的默认时间步间隔策略。如果传入了 `timesteps`，则 `num_inference_steps` 必须为 `None`。

strength (`float`，默认值为 `1.0`)：用于生成部分时间步调度的强度因子（例如用于图像到图像任务）。值为 `1.0` 时使用完整调度。

**返回值：** `None`

设置扩散链所使用的离散时间步（需在推理之前运行）。

#### 步骤[[diffusers.LCMScheduler.step]]

```python
step(model_output: Tensor, timestep: int, sample: Tensor, generator: typing.Optional[torch.Generator] = None, return_dict: bool = True)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_lcm.py#L569)

**参数：**

model_output (`torch.Tensor`)：学习到的扩散模型的直接输出。

timestep (`int`)：扩散链中当前的离散时间步。

sample (`torch.Tensor`)：扩散过程生成的当前样本实例。

generator (`torch.Generator`，*可选*)：用于可复现采样的随机数生成器。

return_dict (`bool`，默认为 `True`)：是否返回 `LCMSchedulerOutput` 或 `tuple`。

**返回：** `LCMSchedulerOutput` 或 `tuple`

If return_dict is `True`, `LCMSchedulerOutput` is returned, otherwise a tuple is returned where the first element is the sample tensor.

通过逆向 SDE 预测上一时间步的样本。此函数将扩散过程从学习到的模型输出（通常是预测的噪声）进行传播。