# UniPCMultistepScheduler

`UniPCMultistepScheduler`은 diffusion 모델의 빠른 샘플링을 위해 설계된 training-free 프레임워크입니다. Wenliang Zhao, Lujia Bai, Yongming Rao, Jie Zhou, Jiwen Lu가 [UniPC: A Unified Predictor-Corrector Framework for Fast Sampling of Diffusion Models](https://huggingface.co/papers/2302.04867)에서 소개했습니다.

UniPC는 통합된 해석적 형태를 공유하고 임의의 차수를 지원하는 corrector(UniC)와 predictor(UniP)로 구성됩니다. UniPC는 설계상 모델에 종속적이지 않으며, 무조건/조건부 샘플링에서 픽셀 공간/잠재 공간 DPM을 지원합니다. 또한 노이즈 예측 모델과 데이터 예측 모델 모두에 적용할 수 있습니다. corrector인 UniC는 기존에 사용 가능한 어떤 solver 이후에도 적용하여 정확도의 차수를 높일 수 있습니다.

해당 논문의 초록은 다음과 같습니다:

*확산 확률 모델(DPM)은 고해상도 이미지 합성에서 매우 유망한 능력을 입증했습니다. 그러나 DPM에서 샘플링하는 과정은 노이즈 제거 네트워크의 여러 번의 평가로 인해 시간이 많이 소요되며, DPM의 샘플링을 가속화하는 것이 점점 더 중요해지고 있습니다. 빠른 샘플러 설계에 대한 최근의 진전에도 불구하고, 적은 단계(예: <10)가 선호되는 많은 응용 분야에서 기존 방법들은 여전히 만족스러운 이미지를 생성하지 못합니다. 이 논문에서는 기존 DPM 샘플러 이후에 적용하여 추가적인 모델 평가 없이 정확도의 차수를 높일 수 있는 통합 보정기(UniC)를 개발하고, 부수적으로 임의의 차수를 지원하는 통합 예측기(UniP)를 유도합니다. UniP와 UniC를 결합하여, 임의의 차수에 대해 통합된 해석적 형태를 가지며 이전 방법들보다 샘플링 품질을 크게 향상시킬 수 있는 DPM의 빠른 샘플링을 위한 통합 예측기-보정기 프레임워크인 UniPC를 제안합니다. 특히 극도로 적은 단계에서 그 효과가 두드러집니다. 픽셀 공간과 잠재 공간 DPM을 사용한 무조건 샘플링과 조건부 샘플링을 포함한 광범위한 실험을 통해 우리의 방법을 평가했습니다. 우리의 UniPC는 단 10회의 함수 평가만으로 CIFAR10(무조건)에서 3.87 FID, ImageNet 256×256(조건부)에서 7.51 FID를 달성할 수 있습니다. 코드는 [이 https URL](https://github.com/wl-zhao/UniPC)에서 사용할 수 있습니다.*

## 팁

가이드 샘플링의 경우 `solver_order`를 2로, 무조건 샘플링의 경우 `solver_order=3`으로 설정하는 것이 권장됩니다.

[Imagen](https://huggingface.co/papers/2205.11487)의 동적 임계값 설정(dynamic thresholding)을 지원하며, 픽셀 공간 확산 모델의 경우 `predict_x0=True`와 `thresholding=True`를 모두 설정하여 동적 임계값 설정을 사용할 수 있습니다. 이 임계값 설정 방법은 Stable Diffusion과 같은 잠재 공간(latent-space) 확산 모델에는 적합하지 않습니다.

## UniPCMultistepScheduler[[diffusers.UniPCMultistepScheduler]]

#### diffusers.UniPCMultistepScheduler[[diffusers.UniPCMultistepScheduler]]

```python
diffusers.UniPCMultistepScheduler(num_train_timesteps: int = 1000, beta_start: float = 0.0001, beta_end: float = 0.02, beta_schedule: str = 'linear', trained_betas: numpy.ndarray | list[float] | None = None, solver_order: int = 2, prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction', 'flow_prediction'] = 'epsilon', thresholding: bool = False, dynamic_thresholding_ratio: float = 0.995, sample_max_value: float = 1.0, predict_x0: bool = True, solver_type: typing.Literal['bh1', 'bh2'] = 'bh2', lower_order_final: bool = True, disable_corrector: list = [], solver_p: SchedulerMixin = None, use_karras_sigmas: bool = False, use_exponential_sigmas: bool = False, use_beta_sigmas: bool = False, use_flow_sigmas: bool = False, flow_shift: float = 1.0, timestep_spacing: typing.Literal['linspace', 'leading', 'trailing'] = 'linspace', steps_offset: int = 0, final_sigmas_type: typing.Literal['zero', 'sigma_min'] = 'zero', rescale_betas_zero_snr: bool = False, use_dynamic_shifting: bool = False, time_shift_type: typing.Literal['exponential'] = 'exponential', sigma_min: float | None = None, sigma_max: bool | None = None, shift_terminal: bool | None = None)
```

[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_unipc_multistep.py#L123)

**매개변수:**

num_train_timesteps (`int`, 기본값 1000) : 모델을 학습하기 위한 diffusion step 수입니다.

beta_start (`float`, 기본값 0.0001) : 추론의 시작 `beta` 값입니다.

beta_end (`float`, 기본값 0.02) : 최종 `beta` 값.

beta_schedule (`"linear"`, `"scaled_linear"`, 또는 `"squaredcos_cap_v2"`, 기본값은 `"linear"`) : 베타 스케줄로, 베타 범위를 모델 스테핑을 위한 베타 시퀀스로 매핑합니다. `linear`, `scaled_linear`, 또는 `squaredcos_cap_v2` 중 하나를 선택합니다.

trained_betas (`np.ndarray`, *선택 사항*) : `beta_start`와 `beta_end`를 우회하여 베타 배열을 생성자에 직접 전달합니다.

solver_order (`int`, 기본값 `2`) : UniPC의 순서로, 양의 정수일 수 있습니다. UniC로 인해 유효한 정확도 순서는 `solver_order + 1`입니다. 가이드된 샘플링에는 `solver_order=2`, 무조건 샘플링에는 `solver_order=3` 사용을 권장합니다.

prediction_type (`"epsilon"`, `"sample"`, `"v_prediction"`, or `"flow_prediction"`, defaults to `"epsilon"`, *optional*) : Prediction type of the scheduler function; can be `epsilon` (predicts the noise of the diffusion process), `sample` (directly predicts the noisy sample`), `v_prediction` (see section 2.4 of [Imagen Video](https://huggingface.co/papers/2210.02303) paper), or `flow_prediction`.

thresholding (`bool`, 기본값은 `False`) : "dynamic thresholding" 방법을 사용할지 여부입니다. Stable Diffusion과 같은 latent-space diffusion 모델에는 적합하지 않습니다.

dynamic_thresholding_ratio (`float`, 기본값 0.995) : 동적 임계값 설정 방법의 비율입니다. `thresholding=True`일 때만 유효합니다.

sample_max_value (`float`, 기본값 1.0) : 동적 임계값 설정의 임계값입니다. `thresholding=True`이고 `predict_x0=True`인 경우에만 유효합니다.

predict_x0 (`bool`, 기본값 `True`) : 예측된 x0에 업데이트 알고리즘을 사용할지 여부.

solver_type (`"bh1"` 또는 `"bh2"`, 기본값은 `"bh2"`) : UniPC의 Solver 유형. steps < 10인 무조건 샘플링의 경우 `bh1` 사용을 권장하며, 그 외에는 `bh2`를 사용하세요.

lower_order_final (`bool`, 기본값 `True`) : 최종 단계에서 저차 솔버를 사용할지 여부입니다. 15 미만의 추론 단계에서만 유효합니다. 이는 15 미만의 단계, 특히 10 이하의 단계에서 DPMSolver의 샘플링을 안정화할 수 있습니다.

disable_corrector (`list`, 기본값 `[]`) : `epsilon_theta(x_t, c)`와 `epsilon_theta(x_t^c, c)` 사이의 불일치가 큰 guidance scale에서 수렴에 영향을 줄 수 있으므로, corrector를 비활성화할 스텝을 결정합니다. 일반적으로 corrector는 처음 몇 단계 동안 비활성화됩니다.

solver_p (`SchedulerMixin`, 기본값 `None`) : 지정된 경우 알고리즘이 `solver_p + UniC`가 되는 기타 스케줄러.

use_karras_sigmas (`bool`, *선택 사항*, 기본값 `False`) : 샘플링 과정에서 노이즈 스케줄의 단계 크기에 Karras sigmas를 사용할지 여부입니다. `True`인 경우, sigmas는 노이즈 레벨 {σi}의 시퀀스에 따라 결정됩니다.

use_exponential_sigmas (`bool`, *선택 사항*, 기본값 `False`) : 샘플링 과정에서 노이즈 스케줄의 스텝 크기에 지수 시그마를 사용할지 여부입니다.

use_beta_sigmas (`bool`, *optional*, defaults to `False`) : Whether to use beta sigmas for step sizes in the noise schedule during the sampling process. Refer to [Beta Sampling is All You Need](https://huggingface.co/papers/2407.12173) for more information.

use_flow_sigmas (`bool`, *선택 사항*, 기본값 `False`) : 샘플링 과정에서 노이즈 스케줄의 스텝 크기에 flow sigmas를 사용할지 여부.

timestep_spacing (`"linspace"`, `"leading"`, 또는 `"trailing"`, 기본값은 `"linspace"`) : timesteps를 스케일링하는 방법입니다. 자세한 내용은 [일반적인 확산 노이즈 스케줄 및 샘플 단계의 결함](https://huggingface.co/papers/2305.08891)의 표 2를 참조하세요.

steps_offset (`int`, 기본값 0) : 일부 모델 계열에서 요구하는 추론 단계에 추가되는 오프셋입니다.

final_sigmas_type (`"zero"` 또는 `"sigma_min"`, 기본값은 `"zero"`) : 샘플링 과정에서 노이즈 스케줄의 최종 `sigma` 값입니다. `"sigma_min"`인 경우, 최종 sigma는 학습 스케줄의 마지막 sigma와 동일합니다. `zero`인 경우, 최종 sigma는 0으로 설정됩니다.

rescale_betas_zero_snr (`bool`, 기본값 `False`) : 베타를 재조정하여 최종 SNR이 0이 되도록 할지 여부입니다. 이를 통해 모델은 중간 밝기의 샘플로 제한되는 대신 매우 밝고 어두운 샘플을 생성할 수 있습니다. [`--offset_noise`](https://github.com/huggingface/diffusers/blob/74fd735eb073eb1d774b1ab4154a0876eb82f055/examples/dreambooth/train_dreambooth.py#L506)와 느슨하게 관련이 있습니다.

`UniPCMultistepScheduler`는 diffusion 모델의 빠른 샘플링을 위해 설계된 학습 불필요 프레임워크입니다.

이 모델은 [SchedulerMixin](/docs/diffusers/main/ko/api/schedulers/overview#diffusers.SchedulerMixin)과 [ConfigMixin](/docs/diffusers/main/ko/api/configuration#diffusers.ConfigMixin)을 상속합니다. 로딩 및 저장과 같은 모든 스케줄러에 대해 라이브러리가 구현하는 일반적 메서드에 대해서는 상위 클래스 문서를 확인하세요.

#### add_noise[[diffusers.UniPCMultistepScheduler.add_noise]]

```python
add_noise(original_samples: Tensor, noise: Tensor, timesteps: IntTensor)
```

[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_unipc_multistep.py#L1250)

**매개변수:**

original_samples (`torch.Tensor`) : 노이즈가 없는 원래 샘플.

noise (`torch.Tensor`) : 샘플에 추가할 노이즈.

timesteps (`torch.IntTensor`) : 샘플에 노이즈를 추가할 타임스텝.

**반환값:** `torch.Tensor`

노이즈가 포함된 샘플.

지정된 timesteps의 noise schedule에 따라 원래 샘플에 노이즈를 추가합니다.

#### convert_model_output[[diffusers.UniPCMultistepScheduler.convert_model_output]]

```python
convert_model_output(model_output: Tensor, *args, sample: Tensor = None, **kwargs)
```

[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_unipc_multistep.py#L760)

**매개변수:**

model_output (`torch.Tensor`) : 학습된 diffusion 모델의 직접적인 출력입니다.

timestep (`int`) : 확산 체인(diffusion chain)의 현재 이산 시간 단계(discrete timestep).

sample (`torch.Tensor`) : 확산 과정에서 생성된 샘플의 현재 인스턴스.

**반환값:** `torch.Tensor`

변환된 모델 출력

UniPC 알고리즘이 필요로 하는 해당 유형으로 모델 출력을 변환합니다.

#### index_for_timestep[[diffusers.UniPCMultistepScheduler.index_for_timestep]]

```python
index_for_timestep(timestep: typing.Union[int, torch.Tensor], schedule_timesteps: typing.Optional[torch.Tensor] = None)
```

[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_unipc_multistep.py#L1100)

**매개변수:**

timestep (`int` 또는 `torch.Tensor`) : 인덱스를 찾을 타임스텝입니다.

schedule_timesteps (`torch.Tensor`, *선택 사항*) : 검색할 timestep schedule입니다. `None`인 경우 `self.timesteps`를 사용합니다.

**반환값:** `int`

schedule에서 timestep의 인덱스입니다.

schedule에서 주어진 timestep에 해당하는 인덱스를 찾습니다.

#### multistep_uni_c_bh_update[[diffusers.UniPCMultistepScheduler.multistep_uni_c_bh_update]]

```python
multistep_uni_c_bh_update(this_model_output: Tensor, *args, last_sample: Tensor = None, this_sample: Tensor = None, order: int = None, **kwargs)
```

[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_unipc_multistep.py#L962)

**매개변수:**

this_model_output (`torch.Tensor`) : `x_t`에서의 모델 출력입니다.

this_timestep (`int`) : 현재 타임스텝 `t`.

last_sample (`torch.Tensor`) : 마지막 예측기 `x_{t-1}` 이전의 생성된 샘플.

this_sample (`torch.Tensor`) : 마지막 predictor `x_{t}` 이후 생성된 샘플.

order (`int`) : 이 단계의 UniC-p의 `p`입니다. 유효한 정확도 차수는 `order + 1`이어야 합니다.

**반환값:** `torch.Tensor`

현재 타임스텝에서 보정된 샘플 텐서.

UniC(B(h) 버전)의 한 단계.

#### multistep_uni_p_bh_update[[diffusers.UniPCMultistepScheduler.multistep_uni_p_bh_update]]

```python
multistep_uni_p_bh_update(model_output: Tensor, *args, sample: Tensor = None, order: int = None, **kwargs)
```

[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_unipc_multistep.py#L833)

**매개변수:**

model_output (`torch.Tensor`) : 현재 timestep에서 학습된 diffusion 모델의 직접 출력입니다.

prev_timestep (`int`) : 확산 체인에서 이전의 이산 시간 단계입니다.

sample (`torch.Tensor`) : 확산 과정에서 생성된 샘플의 현재 인스턴스.

order (`int`) : 해당 timestep에서의 UniP 순서 (UniPC-p의 *p*에 해당).

**반환값:** `torch.Tensor`

이전 시간 단계의 샘플 텐서.

UniP(B(h) 버전)의 한 단계입니다. 대신, 지정된 경우 `self.solver_p`가 사용됩니다.

#### scale_model_input[[diffusers.UniPCMultistepScheduler.scale_model_input]]

```python
scale_model_input(sample: Tensor, *args, **kwargs)
```

[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_unipc_multistep.py#L1234)

**매개변수:**

sample (`torch.Tensor`) : 입력 샘플.

**반환값:** `torch.Tensor`

스케일된 입력 샘플.

현재 타임스텝에 따라 디노이징 모델 입력을 스케일링해야 하는 스케줄러와의 호환성을 보장합니다.

#### set_begin_index[[diffusers.UniPCMultistepScheduler.set_begin_index]]

```python
set_begin_index(begin_index: int = 0)
```

[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_unipc_multistep.py#L308)

**매개변수:**

begin_index (`int`, 기본값 `0`) : 스케줄러의 시작 인덱스입니다.

… 스케줄러의 시작 인덱스를 설정합니다. 이 함수는 추론 전에 파이프라인에서 실행해야 합니다.

#### set_timesteps[[diffusers.UniPCMultistepScheduler.set_timesteps]]

```python
set_timesteps(num_inference_steps: int | None = None, device: typing.Union[str, torch.device] = None, sigmas: list[float] | None = None, mu: bool | None = None)
```

[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_unipc_multistep.py#L318)

**매개변수:**

num_inference_steps (`int`) : 사전 학습된 모델로 샘플을 생성할 때 사용되는 확산 단계의 수.

device (`str` 또는 `torch.device`, *선택 사항*) : timesteps를 이동할 대상 device입니다. `None`인 경우 timesteps는 이동되지 않습니다.

sigmas (`List[float]`, *선택 사항*) : 각 diffusion step에 사용할 sigmas의 커스텀 값입니다. `None`인 경우 sigmas가 자동으로 계산됩니다.

mu (`float`, *선택 사항*) : 지수 시간 시프트 유형을 사용할 때 동적 시프트에 사용되는 선택적 mu 매개변수.

추론 실행 전에 실행할 diffusion chain에 사용할 이산 timesteps를 설정합니다.

#### step[[diffusers.UniPCMultistepScheduler.step]]

```python
step(model_output: Tensor, timestep: typing.Union[int, torch.Tensor], sample: Tensor, return_dict: bool = True)
```

[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_unipc_multistep.py#L1153)

**매개변수:**

model_output (`torch.Tensor`) : 학습된 diffusion model의 직접적인 출력입니다.

timestep (`int` 또는 `torch.Tensor`) : 확산 체인(diffusion chain)의 현재 이산 시간 단계(discrete timestep).

sample (`torch.Tensor`) : 확산 과정에서 생성된 샘플의 현재 인스턴스.

return_dict (`bool`, 기본값 `True`) : [SchedulerOutput](/docs/diffusers/main/ko/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) 또는 `tuple`를 반환할지 여부.

**반환값:** [SchedulerOutput](/docs/diffusers/main/ko/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) 또는 `tuple`

return_dict가 `True`인 경우 [SchedulerOutput](/docs/diffusers/main/ko/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput)이 반환되고, 그렇지 않으면 첫 번째 요소가 샘플 텐서인 튜플이 반환됩니다.

이전 시간 단계의 샘플을 SDE를 역방향으로 적용하여 예측합니다. 이 함수는 멀티스텝 UniPC를 사용하여 샘플을 전파합니다.

#### stretch_shift_to_terminal[[diffusers.UniPCMultistepScheduler.stretch_shift_to_terminal]]

```python
stretch_shift_to_terminal(t: Tensor)
```

[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_unipc_multistep.py#L506)

**매개변수:**

t (`torch.Tensor`) : 늘리고 시프트할 타임스텝의 텐서.

**반환값:** `torch.Tensor`

최종 값이 `self.config.shift_terminal`과 같도록 조정된 timesteps의 텐서입니다.

`shift_terminal` 설정 값에서 종료되도록 타임스텝 스케줄을 늘리고 이동시킵니다.

참고: https://github.com/Lightricks/LTX-Video/blob/a01a171f8fe3d99dce2728d60a73fecf4d4238ae/ltx_video/schedulers/rf.py#L51

#### time_shift[[diffusers.UniPCMultistepScheduler.time_shift]]

```python
time_shift(mu: float, sigma: float, t: Tensor)
```

[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_unipc_multistep.py#L484)

**매개변수:**

mu (`float`) : 시간 시프트를 위한 mu 매개변수.

sigma (`float`) : 시간 시프트를 위한 sigma 매개변수.

t (`torch.Tensor`) : 입력 timesteps.

**반환값:** `torch.Tensor`

시간이 이동된 타임스텝

sigmas에 시간 시프트를 적용합니다.

## SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]]

#### diffusers.schedulers.scheduling_utils.SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]]

```python
diffusers.schedulers.scheduling_utils.SchedulerOutput(prev_sample: Tensor)
```

[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_utils.py#L66)

**매개변수:**

prev_sample (`torch.Tensor`, 이미지인 경우 shape는 `(batch_size, num_channels, height, width)`) : 이전 timestep의 계산된 샘플 `(x_{t-1})`. `prev_sample`은 denoising 루프에서 다음 모델 입력으로 사용해야 합니다.

스케줄러의 `step` 함수 출력을 위한 베이스 클래스.