# DEISMultistepScheduler

扩散指数积分器采样器（DEIS）由 Qinsheng Zhang 和 Yongxin Chen 在 [Fast Sampling of Diffusion Models with Exponential Integrator](https://huggingface.co/papers/2204.13902) 中提出。`DEISMultistepScheduler` 是用于求解扩散常微分方程（ODE）的快速高阶求解器。

该实现修改了 DEIS 论文中原始线性 `t` 空间下的多项式拟合公式，改为在 log-rho 空间中进行拟合。这一修改使得指数多步更新能够采用闭式系数，而无需依赖数值求解器。

该论文的摘要如下：

*过去几年，扩散模型~(DMs) 在生成建模任务中生成高保真样本方面取得了巨大成功。DM 的一个主要局限在于其众所周知的缓慢采样过程，通常需要数百到数千个时间离散化步骤才能达到所需的精度。我们的目标是开发一种快速采样方法，在大幅减少步数的同时保持高样本质量。为此，我们系统地分析了 DM 中的采样过程，并识别出影响样本质量的关键因素，其中离散化方法最为关键。通过仔细研究学习到的扩散过程，我们提出了 Diffusion Exponential Integrator Sampler~(DEIS)。它基于为离散化常微分方程 (ODEs) 而设计的指数积分器，并利用学习到的扩散过程的半线性结构来降低离散化误差。所提出的方法可应用于任何 DM，并能在少至 10 步内生成高保真样本。在我们的实验中，在单张 A6000 GPU 上生成 50k 张 CIFAR10 图像大约需要 3 分钟。此外，通过直接使用预训练的 DM，我们在评分函数评估次数~(NFE) 受限时（例如 4.17 FID 对应 10 NFEs，3.37 FID，以及仅 15 NFEs 时 9.74 IS）实现了最先进的采样性能。代码可在 [this https URL](https://github.com/qsh-zh/deis) 获取。*

## 提示

建议将 `solver_order` 设置为 2 或 3，而 `solver_order=1` 则等同于 [DDIMScheduler](/docs/diffusers/v0.43.0/zh/api/schedulers/ddim#diffusers.DDIMScheduler)。

支持来自 [Imagen](https://huggingface.co/papers/2205.11487) 的动态阈值处理，对于像素空间扩散模型，您可以设置 `thresholding=True` 以使用动态阈值处理。

## DEISMultistepScheduler[[diffusers.DEISMultistepScheduler]]

#### diffusers.DEISMultistepScheduler[[diffusers.DEISMultistepScheduler]]

```python
diffusers.DEISMultistepScheduler(num_train_timesteps: int = 1000, beta_start: float = 0.0001, beta_end: float = 0.02, beta_schedule: typing.Literal['linear', 'scaled_linear', 'squaredcos_cap_v2'] = 'linear', trained_betas: numpy.ndarray | list[float] | None = None, solver_order: int = 2, prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction', 'flow_prediction'] = 'epsilon', thresholding: bool = False, dynamic_thresholding_ratio: float = 0.995, sample_max_value: float = 1.0, algorithm_type: typing.Literal['deis'] = 'deis', solver_type: typing.Literal['logrho'] = 'logrho', lower_order_final: bool = True, use_karras_sigmas: bool = False, use_exponential_sigmas: bool = False, use_beta_sigmas: bool = False, use_flow_sigmas: bool = False, flow_shift: float = 1.0, timestep_spacing: typing.Literal['linspace', 'leading', 'trailing'] = 'linspace', steps_offset: int = 0, use_dynamic_shifting: bool = False, time_shift_type: typing.Literal['exponential'] = 'exponential')
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_deis_multistep.py#L86)

**参数：**

num_train_timesteps (`int`，默认为 `1000`)：用于训练模型的扩散步数。

beta_start (`float`，默认值为 `0.0001`)：推理的初始 `beta` 值。

beta_end (`float`，默认值为 `0.02`)：最终的 `beta` 值。

beta_schedule (`"linear"`、`"scaled_linear"` 或 `"squaredcos_cap_v2"`，默认为 `"linear"`)：beta 调度，即将 beta 范围映射为用于模型步进的一系列 beta 值。可选 `linear`、`scaled_linear` 或 `squaredcos_cap_v2`。

trained_betas (`np.ndarray` 或 `list[float]`，*可选*) : 直接传入 betas 数组以绕过 `beta_start` 和 `beta_end`。

solver_order (`int`，默认为 `2`)：DEIS 阶数，可以是 `1`、`2` 或 `3`。建议在有引导采样时使用 `solver_order=2`，在无引导采样时使用 `solver_order=3`。

prediction_type (`"epsilon"`, `"sample"`, `"v_prediction"`, or `"flow_prediction"`, defaults to `"epsilon"`) : Prediction type of the scheduler function; can be `epsilon` (predicts the noise of the diffusion process), `sample` (directly predicts the noisy sample`), `v_prediction` (see section 2.4 of [Imagen Video](https://huggingface.co/papers/2210.02303) paper), or `flow_prediction`.

thresholding (`bool`，默认为 `False`)：是否使用“动态阈值”方法。此方法不适用于 Stable Diffusion 等潜在空间扩散模型。

dynamic_thresholding_ratio (`float`，默认为 `0.995`)：动态阈值化方法的比例。仅在 `thresholding=True` 时有效。

sample_max_value (`float`，默认为 `1.0`)：动态阈值化的阈值。仅在 `thresholding=True` 时有效。

algorithm_type (`"deis"`，默认为 `"deis"`)：求解器的算法类型。

solver_type (`"logrho"`，默认为 `"logrho"`)：DEIS 的求解器类型。

lower_order_final (`bool`，默认为 `True`)：是否在最后几步中使用低阶求解器。仅在推理步数小于 15 时有效。

use_karras_sigmas (`bool`，*可选*，默认为 `False`)：是否在采样过程的噪声调度中使用 Karras sigmas 作为步长。如果为 `True`，则 sigmas 将根据噪声水平序列 {σi} 确定。

use_exponential_sigmas (`bool`，*可选*，默认为 `False`)：在采样过程中，噪声调度是否使用指数 sigma 作为步长。

use_beta_sigmas (`bool`, *optional*, defaults to `False`) : Whether to use beta sigmas for step sizes in the noise schedule during the sampling process. Refer to [Beta Sampling is All You Need](https://huggingface.co/papers/2407.12173) for more information.

use_flow_sigmas (`bool`，*可选*，默认为 `False`)：是否在采样过程的噪声调度中使用 flow sigmas 作为步长。

flow_shift (`float`, *可选*，默认为 `1.0`)：基于流的模型的 flow shift 参数。

timestep_spacing (`"linspace"`, `"leading"`, or `"trailing"`, defaults to `"linspace"`) : The way the timesteps should be scaled. Refer to Table 2 of the [Common Diffusion Noise Schedules and Sample Steps are Flawed](https://huggingface.co/papers/2305.08891) for more information.

steps_offset (`int`，默认为 `0`)：添加到推理步数中的偏移量，某些模型系列需要此参数。

use_dynamic_shifting (`bool`，默认为 `False`)：是否对噪声调度使用动态偏移。

time_shift_type (`"exponential"`，默认为 `"exponential"`)：要应用的时间偏移类型。

`DEISMultistepScheduler` 是一种用于求解扩散常微分方程（ODE）的快速高阶求解器。

该模型继承自 [SchedulerMixin](/docs/diffusers/v0.43.0/zh/api/schedulers/overview#diffusers.SchedulerMixin) 和 [ConfigMixin](/docs/diffusers/v0.43.0/zh/api/configuration#diffusers.ConfigMixin)。有关该库为所有调度器实现的通用方法（例如加载和保存），请参阅父类文档。

#### add_noise[[diffusers.DEISMultistepScheduler.add_noise]]

```python
add_noise(original_samples: Tensor, noise: Tensor, timesteps: IntTensor)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_deis_multistep.py#L997)

**参数：**

original_samples (`torch.Tensor`) : 未添加噪声的原始样本。

noise (`torch.Tensor`) : 要添加到样本中的噪声。

timesteps (`torch.IntTensor`) : 向样本添加噪声的时间步。

**返回：** `torch.Tensor`

带噪声的样本。

根据指定时间步的噪声调度，向原始样本添加噪声。

#### convert_model_output[[diffusers.DEISMultistepScheduler.convert_model_output]]

```python
convert_model_output(model_output: Tensor, *args, sample: Tensor = None, **kwargs)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_deis_multistep.py#L581)

**参数：**

model_output (`torch.Tensor`)：学习到的扩散模型的直接输出。

timestep (`int`)：扩散链中当前的离散时间步。

sample (`torch.Tensor`)：扩散过程生成的当前样本实例。

**返回：** `torch.Tensor`

转换后的模型输出。

将模型输出转换为 DEIS 算法所需的对应类型。

#### deis_first_order_update[[diffusers.DEISMultistepScheduler.deis_first_order_update]]

```python
deis_first_order_update(model_output: Tensor, *args, sample: Tensor = None, **kwargs)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_deis_multistep.py#L641)

**参数：**

model_output (`torch.Tensor`)：学习到的扩散模型的直接输出。

timestep (`int`)：扩散链中当前的离散时间步。

prev_timestep (`int`) : 扩散链中的上一个离散时间步。

sample (`torch.Tensor`)：扩散过程生成的当前样本实例。

**返回：** `torch.Tensor`

上一步时间步的样本张量。

一阶 DEIS 的一步（等效于 DDIM）。

#### index_for_timestep[[diffusers.DEISMultistepScheduler.index_for_timestep]]

```python
index_for_timestep(timestep: typing.Union[int, torch.Tensor], schedule_timesteps: typing.Optional[torch.Tensor] = None)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_deis_multistep.py#L864)

**参数：**

timestep (`int` 或 `torch.Tensor`)：用于查找索引的时间步。

schedule_timesteps (`torch.Tensor`, *可选*) : 要搜索的时间步调度。如果为 `None`，则使用 `self.timesteps`。

**返回值：** `int`

时间步在调度器中的索引。

查找给定时间步在调度器中的索引。

#### multistep_deis_second_order_update[[diffusers.DEISMultistepScheduler.multistep_deis_second_order_update]]

```python
multistep_deis_second_order_update(model_output_list: list[torch.Tensor], *args, sample: Tensor = None, **kwargs)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_deis_multistep.py#L702)

**参数：**

model_output_list (`list[torch.Tensor]`) : 学习到的扩散模型在当前及后续时间步的直接输出。

sample (`torch.Tensor`)：扩散过程生成的当前样本实例。

**返回：** `torch.Tensor`

上一步时间步的样本张量。

二阶多步 DEIS 的一步。

#### multistep_deis_third_order_update[[diffusers.DEISMultistepScheduler.multistep_deis_third_order_update]]

```python
multistep_deis_third_order_update(model_output_list: list[torch.Tensor], *args, sample: Tensor = None, **kwargs)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_deis_multistep.py#L775)

**参数：**

model_output_list (`list[torch.Tensor]`) : 学习到的扩散模型在当前及后续时间步的直接输出。

sample (`torch.Tensor`)：扩散过程创建的当前样本实例。

**返回：** `torch.Tensor`

上一步时间步的样本张量。

三阶多步 DEIS 的一步。

#### scale_model_input[[diffusers.DEISMultistepScheduler.scale_model_input]]

```python
scale_model_input(sample: Tensor, *args, **kwargs)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_deis_multistep.py#L981)

**参数：**

sample (`torch.Tensor`)：输入样本。

**返回：** `torch.Tensor`

经过缩放的输入样本。

确保与那些需要根据当前时间步对去噪模型输入进行缩放的调度器保持可互换性。

#### set_begin_index[[diffusers.DEISMultistepScheduler.set_begin_index]]

```python
set_begin_index(begin_index: int = 0)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_deis_multistep.py#L262)

**参数：**

begin_index (`int`，默认为 `0`)：调度器的起始索引。

设置调度器的起始索引。此函数应在推理之前从流水线中运行。

#### set_timesteps[[diffusers.DEISMultistepScheduler.set_timesteps]]

```python
set_timesteps(num_inference_steps: int, device: typing.Union[str, torch.device] = None, mu: float | None = None)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_deis_multistep.py#L272)

**参数：**

num_inference_steps (`int`) : 使用预训练模型生成样本时所用的扩散步数。

device (`str` 或 `torch.device`，*可选*)：时间步应移动到的设备。如果为 `None`，则不移动时间步。

mu (`float`, *可选*) : 用于动态偏移的 mu 参数。仅在 `use_dynamic_shifting=True` 且 `time_shift_type="exponential"` 时使用。

设置扩散链所使用的离散时间步（需在推理之前运行）。

#### 步骤[[diffusers.DEISMultistepScheduler.step]]

```python
step(model_output: Tensor, timestep: typing.Union[int, torch.Tensor], sample: Tensor, return_dict: bool = True)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_deis_multistep.py#L917)

**参数：**

model_output (`torch.Tensor`)：学习到的扩散模型的直接输出。

timestep (`int` 或 `torch.Tensor`)：扩散链中当前的离散时间步。

sample (`torch.Tensor`)：扩散过程生成的当前样本实例。

return_dict (`bool`，默认为 `True`)：是否返回 [SchedulerOutput](/docs/diffusers/v0.43.0/zh/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) 或 `tuple`。

**返回：** [SchedulerOutput](/docs/diffusers/v0.43.0/zh/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) 或 `tuple`

If return_dict is `True`, [SchedulerOutput](/docs/diffusers/v0.43.0/zh/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) is returned, otherwise a tuple is returned where the first element is the sample tensor.

通过反转 SDE 来预测上一步时间步的样本。此函数使用多步 DEIS 传播样本。

## SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]]

#### diffusers.schedulers.scheduling_utils.SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]]

```python
diffusers.schedulers.scheduling_utils.SchedulerOutput(prev_sample: Tensor)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_utils.py#L66)

**参数：**

prev_sample （对于图像，形状为 `(batch_size, num_channels, height, width)` 的 `torch.Tensor`）：计算得到的前一时间步的样本 `(x_{t-1})`。在去噪循环中，应将 `prev_sample` 用作下一个模型输入。

调度器 `step` 函数输出的基类。