# UniPCMultistepScheduler

`UniPCMultistepScheduler` — это фреймворк, не требующий обучения, предназначенный для быстрого сэмплирования диффузионных моделей. Он был представлен в статье [UniPC: A Unified Predictor-Corrector Framework for Fast Sampling of Diffusion Models](https://huggingface.co/papers/2302.04867) авторами Wenliang Zhao, Lujia Bai, Yongming Rao, Jie Zhou, Jiwen Lu.

Он состоит из корректора (UniC) и предиктора (UniP), которые имеют единую аналитическую форму и поддерживают произвольный порядок. UniPC по своей конструкции не зависит от модели и поддерживает DPM в пиксельном/латентном пространстве при безусловном/условном сэмплинге. Его также можно применять как к моделям предсказания шума, так и к моделям предсказания данных. Корректор UniC можно также применять после любых готовых решателей для повышения порядка точности.

Аннотация из статьи:

*Вероятностные диффузионные модели (DPM) продемонстрировали очень перспективные возможности в синтезе изображений высокого разрешения. Однако выборка из предварительно обученной DPM требует много времени из-за многократных вычислений сети удаления шума, что делает всё более важной задачу ускорения выборки в DPM. Несмотря на недавний прогресс в разработке быстрых алгоритмов выборки, существующие методы по-прежнему не способны генерировать удовлетворительные изображения во многих приложениях, где предпочтительно меньшее количество шагов (например, <10). В данной статье мы разработали универсальный корректор (UniC), который можно применять после любого существующего алгоритма выборки DPM для повышения порядка точности без дополнительных вычислений модели, а также вывели универсальный предиктор (UniP), поддерживающий произвольный порядок, как побочный результат. Сочетая UniP и UniC, мы предлагаем универсальный предиктор-корректор, названный UniPC, для быстрой выборки в DPM, который имеет единую аналитическую форму для любого порядка и может значительно улучшить качество выборки по сравнению с предыдущими методами, особенно при крайне малом количестве шагов. Мы оцениваем наши методы на основе обширных экспериментов, включающих как безусловную, так и условную выборку с использованием DPM в пиксельном и латентном пространствах. Наш UniPC достигает 3.87 FID на CIFAR10 (безусловная) и 7.51 FID на ImageNet 256×256 (условная) всего за 10 вычислений функции. Код доступен по [этой ссылке](https://github.com/wl-zhao/UniPC).*

## Советы

Рекомендуется устанавливать `solver_order` в 2 для guide sampling и `solver_order=3` для unconditional sampling.

Поддерживается динамическое пороговое срабатывание из [Imagen](https://huggingface.co/papers/2205.11487). Для диффузионных моделей в пиксельном пространстве можно установить и `predict_x0=True`, и `thresholding=True`, чтобы использовать динамическое пороговое срабатывание. Этот метод порогового срабатывания не подходит для диффузионных моделей в латентном пространстве, таких как Stable Diffusion.

## UniPCMultistepScheduler[[diffusers.UniPCMultistepScheduler]]

#### diffusers.UniPCMultistepScheduler[[diffusers.UniPCMultistepScheduler]]

```python
diffusers.UniPCMultistepScheduler(num_train_timesteps: int = 1000, beta_start: float = 0.0001, beta_end: float = 0.02, beta_schedule: str = 'linear', trained_betas: numpy.ndarray | list[float] | None = None, solver_order: int = 2, prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction', 'flow_prediction'] = 'epsilon', thresholding: bool = False, dynamic_thresholding_ratio: float = 0.995, sample_max_value: float = 1.0, predict_x0: bool = True, solver_type: typing.Literal['bh1', 'bh2'] = 'bh2', lower_order_final: bool = True, disable_corrector: list[int] = [], solver_p: SchedulerMixin = None, use_karras_sigmas: bool = False, use_exponential_sigmas: bool = False, use_beta_sigmas: bool = False, use_flow_sigmas: bool = False, flow_shift: float = 1.0, timestep_spacing: typing.Literal['linspace', 'leading', 'trailing'] = 'linspace', steps_offset: int = 0, final_sigmas_type: typing.Literal['zero', 'sigma_min'] = 'zero', rescale_betas_zero_snr: bool = False, use_dynamic_shifting: bool = False, time_shift_type: typing.Literal['exponential'] = 'exponential', sigma_min: float | None = None, sigma_max: bool | None = None, shift_terminal: bool | None = None)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_unipc_multistep.py#L123)

**Параметры:**

num_train_timesteps (`int`, по умолчанию 1000) : Количество шагов диффузии для обучения модели.

beta_start (`float`, по умолчанию 0.0001) : начальное значение `beta` для инференса.

beta_end (`float`, по умолчанию 0.02) : Итоговое значение `beta`.

beta_schedule (`"linear"`, `"scaled_linear"` или `"squaredcos_cap_v2"`, по умолчанию `"linear"`) : Расписание бета, отображающее диапазон значений бета в последовательность бета для шагов модели. Выберите одно из значений: `linear`, `scaled_linear` или `squaredcos_cap_v2`.

trained_betas (`np.ndarray`, *необязательный*) : Передайте массив бета непосредственно в конструктор, чтобы обойти `beta_start` и `beta_end`.

solver_order (`int`, по умолчанию `2`) : Порядок UniPC, который может быть любым положительным целым числом. Эффективный порядок точности составляет `solver_order + 1` благодаря UniC. Рекомендуется использовать `solver_order=2` для управляемого сэмплирования и `solver_order=3` для безусловного сэмплирования.

prediction_type (`"epsilon"`, `"sample"`, `"v_prediction"`, or `"flow_prediction"`, defaults to `"epsilon"`, *optional*) : Prediction type of the scheduler function; can be `epsilon` (predicts the noise of the diffusion process), `sample` (directly predicts the noisy sample`), `v_prediction` (see section 2.4 of [Imagen Video](https://huggingface.co/papers/2210.02303) paper), or `flow_prediction`.

thresholding (`bool`, по умолчанию `False`) : Использовать ли метод «динамического порога». Этот метод не подходит для моделей диффузии в латентном пространстве, таких как Stable Diffusion.

dynamic_thresholding_ratio (`float`, по умолчанию 0.995) : Коэффициент для метода динамического порогового значения. Действительно только при `thresholding=True`.

sample_max_value (`float`, по умолчанию 1.0) : Пороговое значение для динамического порогового срабатывания. Действительно только при `thresholding=True` и `predict_x0=True`.

predict_x0 (`bool`, по умолчанию `True`) : Использовать ли алгоритм обновления для предсказанного x0.

solver_type (`"bh1"` или `"bh2"`, по умолчанию `"bh2"`) : Тип решателя для UniPC. Рекомендуется использовать `bh1` для безусловного сэмплирования, если количество шагов < 10, и `bh2` в остальных случаях.

lower_order_final (`bool`, по умолчанию `True`) : Использовать ли решатели низшего порядка на последних шагах. Действительно только для < 15 шагов инференса. Это может стабилизировать сэмплирование DPMSolver для шагов < 15, особенно для шагов <= 10.

disable_corrector (`list`, по умолчанию `[]`) : Определяет, на каких шагах отключать корректор для смягчения рассогласования между `epsilon_theta(x_t, c)` и `epsilon_theta(x_t^c, c)`, которое может влиять на сходимость при большом масштабе руководства. Как правило, корректор отключается на первых нескольких шагах.

solver_p (`SchedulerMixin`, по умолчанию `None`) : любой другой планировщик, при указании которого алгоритм становится `solver_p + UniC`.

use_karras_sigmas (`bool`, *необязательный*, по умолчанию `False`) : Использовать ли сигмы Карраса для размеров шагов в расписании шума во время процесса выборки. Если `True`, сигмы определяются согласно последовательности уровней шума {σi}.

use_exponential_sigmas (`bool`, *необязательный*, по умолчанию `False`) : Использовать ли экспоненциальные сигмы для размеров шагов в расписании шума во время процесса выборки.

use_beta_sigmas (`bool`, *optional*, defaults to `False`) : Whether to use beta sigmas for step sizes in the noise schedule during the sampling process. Refer to [Beta Sampling is All You Need](https://huggingface.co/papers/2407.12173) for more information.

use_flow_sigmas (`bool`, *необязательный*, по умолчанию `False`) : Использовать ли сигмы потока для определения размеров шагов в расписании шума во время процесса выборки.

timestep_spacing (`"linspace"`, `"leading"`, or `"trailing"`, defaults to `"linspace"`) : The way the timesteps should be scaled. Refer to Table 2 of the [Common Diffusion Noise Schedules and Sample Steps are Flawed](https://huggingface.co/papers/2305.08891) for more information.

steps_offset (`int`, по умолчанию 0) : Смещение, добавляемое к шагам инференса, как требуется некоторыми семействами моделей.

final_sigmas_type (`"zero"` или `"sigma_min"`, по умолчанию `"zero"`) : конечное значение `sigma` для расписания шума в процессе выборки. Если указано `"sigma_min"`, конечное sigma совпадает с последним sigma в расписании обучения. Если указано `zero`, конечное sigma устанавливается в 0.

rescale_betas_zero_snr (`bool`, по умолчанию `False`) : Нужно ли перемасштабировать беты для нулевого конечного SNR. Это позволяет модели генерировать очень яркие и тёмные образцы, а не ограничиваться образцами со средней яркостью. Непосредственно связано с [`--offset_noise`](https://github.com/huggingface/diffusers/blob/74fd735eb073eb1d774b1ab4154a0876eb82f055/examples/dreambooth/train_dreambooth.py#L506).

`UniPCMultistepScheduler` — это фреймворк, не требующий обучения, предназначенный для быстрого сэмплирования диффузионных моделей.

Эта модель наследуется от [SchedulerMixin](/docs/diffusers/main/ru/api/schedulers/overview#diffusers.SchedulerMixin) и [ConfigMixin](/docs/diffusers/main/ru/api/configuration#diffusers.ConfigMixin). Общие методы, которые библиотека реализует для всех планировщиков, такие как загрузка и сохранение, описаны в документации суперкласса.

#### add_noise[[diffusers.UniPCMultistepScheduler.add_noise]]

```python
add_noise(original_samples: Tensor, noise: Tensor, timesteps: IntTensor)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_unipc_multistep.py#L1250)

**Параметры:**

original_samples (`torch.Tensor`) : исходные образцы без шума.

noise (`torch.Tensor`) : Шум, который нужно добавить к образцам.

timesteps (`torch.IntTensor`) : Шаги, на которых следует добавлять шум к образцам.

**Возвращает:** `torch.Tensor`

Шумные образцы.

Добавьте шум к исходным образцам в соответствии с расписанием шума на указанных временных шагах.

#### convert_model_output[[diffusers.UniPCMultistepScheduler.convert_model_output]]

```python
convert_model_output(model_output: Tensor, *args, sample: Tensor = None, **kwargs)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_unipc_multistep.py#L760)

**Параметры:**

model_output (`torch.Tensor`) : Прямой вывод из обученной диффузионной модели.

timestep (`int`) : Текущий дискретный шаг времени в цепочке диффузии.

sample (`torch.Tensor`) : Текущая инстанция сэмпла, созданная процессом диффузии.

**Возвращает:** `torch.Tensor`

Вывод сконвертированной модели.

Преобразуйте выход модели в соответствующий тип, необходимый для алгоритма UniPC.

#### index_for_timestep[[diffusers.UniPCMultistepScheduler.index_for_timestep]]

```python
index_for_timestep(timestep: typing.Union[int, torch.Tensor], schedule_timesteps: typing.Optional[torch.Tensor] = None)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_unipc_multistep.py#L1100)

**Параметры:**

timestep (`int` или `torch.Tensor`) : Шаг времени, для которого нужно найти индекс.

schedule_timesteps (`torch.Tensor`, *необязательный*) : Расписание временных шагов, в котором выполняется поиск. Если `None`, используется `self.timesteps`.

**Возвращает:** `int`

Индекс шага времени в расписании.

Найдите индекс для заданного шага в расписании.

#### multistep_uni_c_bh_update[[diffusers.UniPCMultistepScheduler.multistep_uni_c_bh_update]]

```python
multistep_uni_c_bh_update(this_model_output: Tensor, *args, last_sample: Tensor = None, this_sample: Tensor = None, order: int = None, **kwargs)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_unipc_multistep.py#L962)

**Параметры:**

this_model_output (`torch.Tensor`) : Выходы модели в точке `x_t`.

this_timestep (`int`) : Текущий шаг `t`.

last_sample (`torch.Tensor`) : сгенерированная выборка до последнего предсказателя `x_{t-1}`.

this_sample (`torch.Tensor`) : сгенерированная выборка после последнего предиктора `x_{t}`.

order (`int`) : значение `p` для UniC-p на данном шаге. Эффективный порядок точности должен быть равен `order + 1`.

**Возвращает:** `torch.Tensor`

Скорректированный тензор образца на текущем шаге времени.

Один шаг для UniC (версия B(h)).

#### multistep_uni_p_bh_update[[diffusers.UniPCMultistepScheduler.multistep_uni_p_bh_update]]

```python
multistep_uni_p_bh_update(model_output: Tensor, *args, sample: Tensor = None, order: int = None, **kwargs)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_unipc_multistep.py#L833)

**Параметры:**

model_output (`torch.Tensor`) : Прямой вывод из обученной диффузионной модели на текущем шаге времени.

prev_timestep (`int`) : Предыдущий дискретный шаг времени в цепочке диффузии.

sample (`torch.Tensor`) : Текущая инстанция сэмпла, созданная процессом диффузии.

order (`int`) : Порядок UniP на этом шаге времени (соответствует *p* в UniPC-p).

**Возвращает:** `torch.Tensor`

Тензор выборки на предыдущем шаге.

Один шаг для UniP (версия B(h)). В качестве альтернативы, если указано, используется `self.solver_p`.

#### scale_model_input[[diffusers.UniPCMultistepScheduler.scale_model_input]]

```python
scale_model_input(sample: Tensor, *args, **kwargs)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_unipc_multistep.py#L1234)

**Параметры:**

sample (`torch.Tensor`) : Входной образец.

**Возвращает:** `torch.Tensor`

Масштабированный входной образец.

Обеспечивает совместимость с планировщиками, которым необходимо масштабировать входную модель денуазинга в зависимости от текущего шага.

#### set_begin_index[[diffusers.UniPCMultistepScheduler.set_begin_index]]

```python
set_begin_index(begin_index: int = 0)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_unipc_multistep.py#L308)

**Параметры:**

begin_index (`int`, по умолчанию `0`) : Начальный индекс для планировщика.

Устанавливает начальный индекс для планировщика. Эта функция должна выполняться из конвейера перед инференсом.

#### set_timesteps[[diffusers.UniPCMultistepScheduler.set_timesteps]]

```python
set_timesteps(num_inference_steps: int | None = None, device: typing.Union[str, torch.device] = None, sigmas: list[float] | None = None, mu: bool | None = None)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_unipc_multistep.py#L318)

**Параметры:**

num_inference_steps (`int`) : Количество шагов диффузии, используемое при генерации образцов с помощью предобученной модели.

device (`str` или `torch.device`, *необязательный*) : Устройство, на которое следует переместить шаги. Если `None`, шаги не перемещаются.

sigmas (`List[float]`, *optional*) : Пользовательские значения сигм для каждого шага диффузии. Если `None`, сигмы вычисляются автоматически.

mu (`float`, *необязательный*) : Необязательный параметр mu для динамического сдвига при использовании типа экспоненциального сдвига во времени.

Устанавливает дискретные временные шаги, используемые для цепочки диффузии (выполняется перед инференсом).

#### шаг[[diffusers.UniPCMultistepScheduler.step]]

```python
step(model_output: Tensor, timestep: typing.Union[int, torch.Tensor], sample: Tensor, return_dict: bool = True)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_unipc_multistep.py#L1153)

**Параметры:**

model_output (`torch.Tensor`) : Прямой вывод из обученной диффузионной модели.

timestep (`int` или `torch.Tensor`) : Текущий дискретный шаг времени в цепочке диффузии.

sample (`torch.Tensor`) : Текущая инстанция сэмпла, созданная процессом диффузии.

return_dict (`bool`, по умолчанию `True`) : Возвращать ли [SchedulerOutput](/docs/diffusers/main/ru/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) или `tuple`.

**Возвращает:** [SchedulerOutput](/docs/diffusers/main/ru/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) или `tuple`

If return_dict is `True`, [SchedulerOutput](/docs/diffusers/main/ru/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) is returned, otherwise a tuple is returned where the first element is the sample tensor.

Предскажите образец из предыдущего шага времени, инвертируя SDE. Эта функция распространяет образец с помощью многошагового UniPC.

#### stretch_shift_to_terminal[[diffusers.UniPCMultistepScheduler.stretch_shift_to_terminal]]

```python
stretch_shift_to_terminal(t: Tensor)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_unipc_multistep.py#L506)

**Параметры:**

t (`torch.Tensor`) : тензор временных шагов, которые нужно растянуть и сдвинуть.

**Возвращает:** `torch.Tensor`

Тензор скорректированных шагов, у которого последнее значение равно `self.config.shift_terminal`.

Растягивает и сдвигает расписание временных шагов, чтобы обеспечить его завершение на заданном значении конфигурации `shift_terminal`.

Ссылка: https://github.com/Lightricks/LTX-Video/blob/a01a171f8fe3d99dce2728d60a73fecf4d4238ae/ltx_video/schedulers/rf.py#L51

#### time_shift[[diffusers.UniPCMultistepScheduler.time_shift]]

```python
time_shift(mu: float, sigma: float, t: Tensor)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_unipc_multistep.py#L484)

**Параметры:**

mu (`float`) : Параметр mu для сдвига времени.

sigma (`float`) : Параметр sigma для сдвига времени.

t (`torch.Tensor`) : Входные временные шаги.

**Возвращает:** `torch.Tensor`

Сдвинутые по времени шаги.

Примените сдвиг по времени к сигмам.

## SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]]

#### diffusers.schedulers.scheduling_utils.SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]]

```python
diffusers.schedulers.scheduling_utils.SchedulerOutput(prev_sample: Tensor)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_utils.py#L66)

**Параметры:**

prev_sample (`torch.Tensor` формы `(batch_size, num_channels, height, width)` для изображений) : Вычисленная выборка `(x_{t-1})` для предыдущего шага. `prev_sample` следует использовать как следующий вход модели в цикле шумоподавления.

Базовый класс для результата функции `step` планировщика.