# DEISMultistepScheduler

Diffusion Exponential Integrator Sampler (DEIS) предложен в статье [Fast Sampling of Diffusion Models with Exponential Integrator](https://huggingface.co/papers/2204.13902) авторами Qinsheng Zhang и Yongxin Chen. `DEISMultistepScheduler` — это быстрый решатель высокого порядка для обыкновенных дифференциальных уравнений (ОДУ) диффузии.

Эта реализация модифицирует формулу полиномиальной аппроксимации в логарифмическом пространстве `t` вместо исходного линейного пространства `t` из статьи DEIS. Благодаря модификации коэффициенты для экспоненциального многошагового обновления имеют замкнутую форму, что позволяет отказаться от использования численного решателя.

Аннотация из статьи:

*За последние несколько лет модели диффузии~(DM) продемонстрировали значительный успех в генерации образцов высокого качества в задачах генеративного моделирования. Основным ограничением DM является их, как известно, медленная процедура выборки, которая обычно требует сотен или тысяч шагов дискретизации по времени для достижения желаемой точности. Наша цель — разработать быстрый метод выборки для DM, требующий значительно меньшего числа шагов при сохранении высокого качества образцов. Для этого мы систематически анализируем процедуру выборки в DM и выявляем ключевые факторы, влияющие на качество образцов, среди которых метод дискретизации является наиболее важным. Тщательно изучив обученный процесс диффузии, мы предлагаем Diffusion Exponential Integrator Sampler~(DEIS). Он основан на экспоненциальном интеграторе, предназначенном для дискретизации обыкновенных дифференциальных уравнений (ODE), и использует полунеарную структуру обученного процесса диффузии для снижения ошибки дискретизации. Предложенный метод может применяться к любым DM и позволяет генерировать образцы высокого качества всего за 10 шагов. В наших экспериментах генерация 50 тыс. изображений из CIFAR10 занимает около 3 минут на одном GPU A6000. Более того, используя предобученные DM напрямую, мы достигаем наилучшего результата по качеству выборки при ограниченном числе вычислений функции оценки~(NFE), например, FID 4.17 при 10 NFE, FID 3.37 и IS 9.74 всего при 15 NFE на CIFAR10. Код доступен по [этой ссылке](https://github.com/qsh-zh/deis).*

## Советы

Рекомендуется устанавливать `solver_order` в 2 или 3, при этом `solver_order=1` эквивалентно [DDIMScheduler](/docs/diffusers/main/ru/api/schedulers/ddim#diffusers.DDIMScheduler).

Поддерживается динамическое пороговое срабатывание из [Imagen](https://huggingface.co/papers/2205.11487), а для диффузионных моделей в пиксельном пространстве можно установить `thresholding=True`, чтобы использовать динамическое пороговое срабатывание.

## DEISMultistepScheduler[[diffusers.DEISMultistepScheduler]]

#### diffusers.DEISMultistepScheduler[[diffusers.DEISMultistepScheduler]]

```python
diffusers.DEISMultistepScheduler(num_train_timesteps: int = 1000, beta_start: float = 0.0001, beta_end: float = 0.02, beta_schedule: typing.Literal['linear', 'scaled_linear', 'squaredcos_cap_v2'] = 'linear', trained_betas: numpy.ndarray | list[float] | None = None, solver_order: int = 2, prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction', 'flow_prediction'] = 'epsilon', thresholding: bool = False, dynamic_thresholding_ratio: float = 0.995, sample_max_value: float = 1.0, algorithm_type: typing.Literal['deis'] = 'deis', solver_type: typing.Literal['logrho'] = 'logrho', lower_order_final: bool = True, use_karras_sigmas: bool = False, use_exponential_sigmas: bool = False, use_beta_sigmas: bool = False, use_flow_sigmas: bool = False, flow_shift: float = 1.0, timestep_spacing: typing.Literal['linspace', 'leading', 'trailing'] = 'linspace', steps_offset: int = 0, use_dynamic_shifting: bool = False, time_shift_type: typing.Literal['exponential'] = 'exponential')
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_deis_multistep.py#L86)

**Параметры:**

num_train_timesteps (`int`, по умолчанию `1000`) : Количество шагов диффузии для обучения модели.

beta_start (`float`, по умолчанию `0.0001`) : начальное значение `beta` для инференса.

beta_end (`float`, по умолчанию `0.02`) : Итоговое значение `beta`.

beta_schedule (`"linear"`, `"scaled_linear"` или `"squaredcos_cap_v2"`, по умолчанию `"linear"`) : Расписание бета, отображающее диапазон значений бета в последовательность бета для шагов модели. Выберите одно из значений: `linear`, `scaled_linear` или `squaredcos_cap_v2`.

trained_betas (`np.ndarray` или `list[float]`, *необязательный*) : Передайте массив бета напрямую в конструктор, чтобы обойти `beta_start` и `beta_end`.

solver_order (`int`, по умолчанию `2`) : Порядок DEIS, который может быть `1` или `2` или `3`. Рекомендуется использовать `solver_order=2` для управляемого сэмплирования и `solver_order=3` для безусловного сэмплирования.

prediction_type (`"epsilon"`, `"sample"`, `"v_prediction"`, or `"flow_prediction"`, defaults to `"epsilon"`) : Prediction type of the scheduler function; can be `epsilon` (predicts the noise of the diffusion process), `sample` (directly predicts the noisy sample`), `v_prediction` (see section 2.4 of [Imagen Video](https://huggingface.co/papers/2210.02303) paper), or `flow_prediction`.

thresholding (`bool`, по умолчанию `False`) : Использовать ли метод «динамического порога». Этот метод не подходит для моделей диффузии в латентном пространстве, таких как Stable Diffusion.

dynamic_thresholding_ratio (`float`, по умолчанию `0.995`) : Коэффициент для метода динамического порогового значения. Действительно только при `thresholding=True`.

sample_max_value (`float`, по умолчанию `1.0`) : Пороговое значение для динамического порогового выделения. Действительно только при `thresholding=True`.

algorithm_type (`"deis"`, по умолчанию `"deis"`) : тип алгоритма для решателя.

solver_type (`"logrho"`, по умолчанию `"logrho"`) : Тип решателя для DEIS.

lower_order_final (`bool`, по умолчанию `True`) : Использовать ли решатели низшего порядка на последних шагах. Действительно только для < 15 шагов инференса.

use_karras_sigmas (`bool`, *необязательный*, по умолчанию `False`) : Использовать ли сигмы Карраса для размеров шагов в расписании шума во время процесса выборки. Если `True`, сигмы определяются согласно последовательности уровней шума {σi}.

use_exponential_sigmas (`bool`, *необязательный*, по умолчанию `False`) : Использовать ли экспоненциальные сигмы для размеров шагов в расписании шума во время процесса выборки.

use_beta_sigmas (`bool`, *optional*, defaults to `False`) : Whether to use beta sigmas for step sizes in the noise schedule during the sampling process. Refer to [Beta Sampling is All You Need](https://huggingface.co/papers/2407.12173) for more information.

use_flow_sigmas (`bool`, *необязательный*, по умолчанию `False`) : Использовать ли сигмы потока для определения размеров шагов в расписании шума во время процесса выборки.

flow_shift (`float`, *необязательный*, по умолчанию `1.0`) : Параметр сдвига потока для моделей на основе потока.

timestep_spacing (`"linspace"`, `"leading"`, or `"trailing"`, defaults to `"linspace"`) : The way the timesteps should be scaled. Refer to Table 2 of the [Common Diffusion Noise Schedules and Sample Steps are Flawed](https://huggingface.co/papers/2305.08891) for more information.

steps_offset (`int`, по умолчанию `0`) : Смещение, добавляемое к шагам инференса, как требуется некоторыми семействами моделей.

use_dynamic_shifting (`bool`, по умолчанию `False`) : Использовать ли динамический сдвиг для расписания шума.

time_shift_type (`"exponential"`, по умолчанию `"exponential"`) : тип применяемого сдвига во времени.

`DEISMultistepScheduler` — это быстрый решатель высокого порядка для обыкновенных дифференциальных уравнений (ОДУ) диффузии.

Эта модель наследуется от [SchedulerMixin](/docs/diffusers/main/ru/api/schedulers/overview#diffusers.SchedulerMixin) и [ConfigMixin](/docs/diffusers/main/ru/api/configuration#diffusers.ConfigMixin). Общие методы, которые библиотека реализует для всех планировщиков, такие как загрузка и сохранение, описаны в документации суперкласса.

#### add_noise[[diffusers.DEISMultistepScheduler.add_noise]]

```python
add_noise(original_samples: Tensor, noise: Tensor, timesteps: IntTensor)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_deis_multistep.py#L997)

**Параметры:**

original_samples (`torch.Tensor`) : исходные образцы без шума.

noise (`torch.Tensor`) : Шум, который нужно добавить к образцам.

timesteps (`torch.IntTensor`) : Шаги, на которых следует добавлять шум к образцам.

**Возвращает:** `torch.Tensor`

Шумные образцы.

Добавьте шум к исходным образцам в соответствии с расписанием шума на указанных временных шагах.

#### convert_model_output[[diffusers.DEISMultistepScheduler.convert_model_output]]

```python
convert_model_output(model_output: Tensor, *args, sample: Tensor = None, **kwargs)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_deis_multistep.py#L581)

**Параметры:**

model_output (`torch.Tensor`) : Прямой вывод из обученной диффузионной модели.

timestep (`int`) : Текущий дискретный шаг времени в цепочке диффузии.

sample (`torch.Tensor`) : Текущая инстанция сэмпла, созданная процессом диффузии.

**Возвращает:** `torch.Tensor`

Вывод сконвертированной модели.

Преобразуйте выход модели в соответствующий тип, необходимый для алгоритма DEIS.

#### deis_first_order_update[[diffusers.DEISMultistepScheduler.deis_first_order_update]]

```python
deis_first_order_update(model_output: Tensor, *args, sample: Tensor = None, **kwargs)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_deis_multistep.py#L641)

**Параметры:**

model_output (`torch.Tensor`) : Прямой вывод из обученной диффузионной модели.

timestep (`int`) : Текущий дискретный шаг времени в цепочке диффузии.

prev_timestep (`int`) : Предыдущий дискретный шаг времени в цепочке диффузии.

sample (`torch.Tensor`) : Текущая инстанция сэмпла, созданная процессом диффузии.

**Возвращает:** `torch.Tensor`

Тензор выборки на предыдущем шаге.

Один шаг для DEIS первого порядка (эквивалентен DDIM).

#### index_for_timestep[[diffusers.DEISMultistepScheduler.index_for_timestep]]

```python
index_for_timestep(timestep: typing.Union[int, torch.Tensor], schedule_timesteps: typing.Optional[torch.Tensor] = None)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_deis_multistep.py#L864)

**Параметры:**

timestep (`int` или `torch.Tensor`) : Шаг времени, для которого нужно найти индекс.

schedule_timesteps (`torch.Tensor`, *необязательный*) : Расписание временных шагов, в котором выполняется поиск. Если `None`, используется `self.timesteps`.

**Возвращает:** `int`

Индекс шага времени в расписании.

Найдите индекс для заданного шага в расписании.

#### multistep_deis_second_order_update[[diffusers.DEISMultistepScheduler.multistep_deis_second_order_update]]

```python
multistep_deis_second_order_update(model_output_list: list[torch.Tensor], *args, sample: Tensor = None, **kwargs)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_deis_multistep.py#L702)

**Параметры:**

model_output_list (`list[torch.Tensor]`) : Прямые выходы обученной диффузионной модели на текущих и последующих временных шагах.

sample (`torch.Tensor`) : Текущая инстанция сэмпла, созданная процессом диффузии.

**Возвращает:** `torch.Tensor`

Тензор выборки на предыдущем шаге.

Один шаг метода DEIS второго порядка с несколькими шагами.

#### multistep_deis_third_order_update[[diffusers.DEISMultistepScheduler.multistep_deis_third_order_update]]

```python
multistep_deis_third_order_update(model_output_list: list[torch.Tensor], *args, sample: Tensor = None, **kwargs)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_deis_multistep.py#L775)

**Параметры:**

model_output_list (`list[torch.Tensor]`) : Прямые выходы обученной диффузионной модели на текущих и последующих временных шагах.

sample (`torch.Tensor`) : Текущая инстанция сэмпла, созданная процессом диффузии.

**Возвращает:** `torch.Tensor`

Тензор выборки на предыдущем шаге.

Один шаг метода DEIS третьего порядка с несколькими шагами.

#### scale_model_input[[diffusers.DEISMultistepScheduler.scale_model_input]]

```python
scale_model_input(sample: Tensor, *args, **kwargs)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_deis_multistep.py#L981)

**Параметры:**

sample (`torch.Tensor`) : Входной образец.

**Возвращает:** `torch.Tensor`

Масштабированный входной образец.

Обеспечивает совместимость с планировщиками, которым необходимо масштабировать входную модель денуазинга в зависимости от текущего шага.

#### set_begin_index[[diffusers.DEISMultistepScheduler.set_begin_index]]

```python
set_begin_index(begin_index: int = 0)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_deis_multistep.py#L262)

**Параметры:**

begin_index (`int`, по умолчанию `0`) : Начальный индекс для планировщика.

Устанавливает начальный индекс для планировщика. Эта функция должна выполняться из конвейера перед инференсом.

#### set_timesteps[[diffusers.DEISMultistepScheduler.set_timesteps]]

```python
set_timesteps(num_inference_steps: int, device: typing.Union[str, torch.device] = None, mu: float | None = None)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_deis_multistep.py#L272)

**Параметры:**

num_inference_steps (`int`) : Количество шагов диффузии, используемое при генерации образцов с помощью предобученной модели.

device (`str` или `torch.device`, *необязательный*) : Устройство, на которое следует переместить шаги. Если `None`, шаги не перемещаются.

mu (`float`, *optional*) : Параметр mu для динамического сдвига. Используется только при `use_dynamic_shifting=True` и `time_shift_type="exponential"`.

Устанавливает дискретные временные шаги, используемые для цепочки диффузии (выполняется перед инференсом).

#### шаг[[diffusers.DEISMultistepScheduler.step]]

```python
step(model_output: Tensor, timestep: typing.Union[int, torch.Tensor], sample: Tensor, return_dict: bool = True)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_deis_multistep.py#L917)

**Параметры:**

model_output (`torch.Tensor`) : Прямой вывод из обученной диффузионной модели.

timestep (`int` или `torch.Tensor`) : Текущий дискретный шаг времени в цепочке диффузии.

sample (`torch.Tensor`) : Текущая инстанция сэмпла, созданная процессом диффузии.

return_dict (`bool`, по умолчанию `True`) : Возвращать ли [SchedulerOutput](/docs/diffusers/main/ru/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) или `tuple`.

**Возвращает:** [SchedulerOutput](/docs/diffusers/main/ru/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) или `tuple`

If return_dict is `True`, [SchedulerOutput](/docs/diffusers/main/ru/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) is returned, otherwise a tuple is returned where the first element is the sample tensor.

Предскажите образец из предыдущего шага времени, инвертируя SDE. Эта функция распространяет образец с помощью многошагового DEIS.

## SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]]

#### diffusers.schedulers.scheduling_utils.SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]]

```python
diffusers.schedulers.scheduling_utils.SchedulerOutput(prev_sample: Tensor)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_utils.py#L66)

**Параметры:**

prev_sample (`torch.Tensor` формы `(batch_size, num_channels, height, width)` для изображений) : Вычисленная выборка `(x_{t-1})` для предыдущего шага. `prev_sample` следует использовать как следующий вход модели в цикле шумоподавления.

Базовый класс для результата функции `step` планировщика.