# DPMSolverMultistepInverse

`DPMSolverMultistepInverse`는 Cheng Lu, Yuhao Zhou, Fan Bao, Jianfei Chen, Chongxuan Li, Jun Zhu가 발표한 [DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps](https://huggingface.co/papers/2206.00927) 및 [DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models](https://huggingface.co/papers/2211.01095)의 역(scheduler)입니다.

구현은 [Guided Diffusion Models를 활용한 실제 이미지 편집을 위한 Null-text Inversion](https://huggingface.co/papers/2211.09794)의 DDIM 역전환 정의와 [Xiang-cd/DiffEdit-stable-diffusion](https://github.com/Xiang-cd/DiffEdit-stable-diffusion/blob/main/diffedit.ipynb)의 `DiffEdit` 잠재 역전환 노트북 구현을 기반으로 합니다.

## 팁

[Imagen](https://huggingface.co/papers/2205.11487)의 동적 임계값 설정(dynamic thresholding)을 지원하며, 픽셀 공간 확산 모델의 경우 `algorithm_type="dpmsolver++"`와 `thresholding=True`를 모두 설정하여 동적 임계값 설정을 사용할 수 있습니다. 이 임계값 설정 방법은 Stable Diffusion과 같은 잠재 공간(latent-space) 확산 모델에는 적합하지 않습니다.

## DPMSolverMultistepInverseScheduler[[diffusers.DPMSolverMultistepInverseScheduler]]

#### diffusers.DPMSolverMultistepInverseScheduler[[diffusers.DPMSolverMultistepInverseScheduler]]

```python
diffusers.DPMSolverMultistepInverseScheduler(num_train_timesteps: int = 1000, beta_start: float = 0.0001, beta_end: float = 0.02, beta_schedule: typing.Literal['linear', 'scaled_linear', 'squaredcos_cap_v2'] = 'linear', trained_betas: numpy.ndarray | list[float] | None = None, solver_order: int = 2, prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction', 'flow_prediction'] = 'epsilon', thresholding: bool = False, dynamic_thresholding_ratio: float = 0.995, sample_max_value: float = 1.0, algorithm_type: typing.Literal['dpmsolver', 'dpmsolver++', 'sde-dpmsolver', 'sde-dpmsolver++'] = 'dpmsolver++', solver_type: typing.Literal['midpoint', 'heun'] = 'midpoint', lower_order_final: bool = True, euler_at_final: bool = False, use_karras_sigmas: bool = False, use_exponential_sigmas: bool = False, use_beta_sigmas: bool = False, use_flow_sigmas: bool = False, flow_shift: float = 1.0, lambda_min_clipped: float = -inf, variance_type: typing.Optional[typing.Literal['learned', 'learned_range']] = None, timestep_spacing: typing.Literal['linspace', 'leading', 'trailing'] = 'linspace', steps_offset: int = 0)
```

[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_multistep_inverse.py#L86)

**매개변수:**

num_train_timesteps (`int`, 기본값 1000) : 모델을 학습하기 위한 diffusion step 수입니다.

beta_start (`float`, 기본값 0.0001) : 추론의 시작 `beta` 값입니다.

beta_end (`float`, 기본값 0.02) : 최종 `beta` 값.

beta_schedule (`str`, 기본값 `"linear"`) : 베타 스케줄로, 베타 범위를 모델의 스테핑에 사용할 베타 시퀀스로 매핑합니다. `linear`, `scaled_linear`, 또는 `squaredcos_cap_v2` 중 하나를 선택합니다.

trained_betas (`np.ndarray`, *선택 사항*) : `beta_start`와 `beta_end`를 우회하여 베타 배열을 생성자에 직접 전달합니다.

solver_order (`int`, 기본값 2) : `1` 또는 `2` 또는 `3`일 수 있는 DPMSolver의 order입니다. guided sampling에는 `solver_order=2`를, unconditional sampling에는 `solver_order=3`를 사용하는 것이 권장됩니다.

prediction_type (`str`, defaults to `epsilon`, *optional*) : Prediction type of the scheduler function; can be `epsilon` (predicts the noise of the diffusion process), `sample` (directly predicts the noisy sample`) or `v_prediction` (see section 2.4 of [Imagen Video](https://huggingface.co/papers/2210.02303) paper).

thresholding (`bool`, 기본값은 `False`) : "dynamic thresholding" 방법을 사용할지 여부입니다. Stable Diffusion과 같은 latent-space diffusion 모델에는 적합하지 않습니다.

dynamic_thresholding_ratio (`float`, 기본값 0.995) : 동적 임계값 설정 방법의 비율입니다. `thresholding=True`일 때만 유효합니다.

sample_max_value (`float`, 기본값 1.0) : 동적 임계값 설정의 임계값입니다. `thresholding=True`이고 `algorithm_type="dpmsolver++"`인 경우에만 유효합니다.

algorithm_type (`str`, 기본값은 `dpmsolver++`) : 솔버의 알고리즘 유형으로, `dpmsolver`, `dpmsolver++`, `sde-dpmsolver` 또는 `sde-dpmsolver++`를 사용할 수 있습니다. `dpmsolver` 유형은 [DPMSolver](https://huggingface.co/papers/2206.00927) 논문에서 제시한 알고리즘을 구현하고, `dpmsolver++` 유형은 [DPMSolver++](https://huggingface.co/papers/2211.01095) 논문에서 제시한 알고리즘을 구현합니다. Stable Diffusion과 같은 가이드된 샘플링의 경우 `solver_order=2`와 함께 `dpmsolver++` 또는 `sde-dpmsolver++` 사용을 권장합니다.

solver_type (`str`, 기본값 `midpoint`) : 2차 솔버의 Solver type; `midpoint` 또는 `heun`를 사용할 수 있습니다. Solver type은 샘플 품질에 약간 영향을 미치며, 특히 스텝 수가 적은 경우에 그렇습니다. `midpoint` 솔버 사용을 권장합니다.

lower_order_final (`bool`, 기본값 `True`) : 최종 단계에서 저차 솔버를 사용할지 여부입니다. 15 미만의 추론 단계에서만 유효합니다. 이는 15 미만의 단계, 특히 10 이하의 단계에서 DPMSolver의 샘플링을 안정화할 수 있습니다.

euler_at_final (`bool`, 기본값 `False`) : 최종 단계에서 오일러 방법을 사용할지 여부입니다. 이는 수치적 안정성과 디테일의 풍부함 사이의 트레이드오프입니다. 추론 단계 수가 적은 경우 DPMSolver의 SDE 변형 샘플링을 안정화할 수 있지만, 때로는 흐려짐 현상을 초래할 수 있습니다.

use_karras_sigmas (`bool`, *선택 사항*, 기본값 `False`) : 샘플링 과정에서 노이즈 스케줄의 단계 크기에 Karras sigmas를 사용할지 여부입니다. `True`인 경우, sigmas는 노이즈 레벨 {σi}의 시퀀스에 따라 결정됩니다.

use_exponential_sigmas (`bool`, *선택 사항*, 기본값 `False`) : 샘플링 과정에서 노이즈 스케줄의 스텝 크기에 지수 시그마를 사용할지 여부입니다.

use_beta_sigmas (`bool`, *optional*, defaults to `False`) : Whether to use beta sigmas for step sizes in the noise schedule during the sampling process. Refer to [Beta Sampling is All You Need](https://huggingface.co/papers/2407.12173) for more information.

use_flow_sigmas (`bool`, *선택 사항*, 기본값 `False`) : 샘플링 과정에서 노이즈 스케줄의 스텝 크기에 flow sigmas를 사용할지 여부.

flow_shift (`float`, *선택 사항*, 기본값 1.0) : flow shift 계수입니다. `use_flow_sigmas=True`일 때만 유효합니다.

lambda_min_clipped (`float`, 기본값 `-inf`) : 수치적 안정성을 위해 `lambda(t)`의 최소값에 적용되는 클리핑 임계값입니다. 이는 코사인(`squaredcos_cap_v2`) 노이즈 스케줄에서 매우 중요합니다.

variance_type (`str`, *선택 사항*) : 분산을 예측하는 diffusion 모델의 경우 "learned" 또는 "learned_range"로 설정합니다. 설정된 경우, 모델의 출력에는 예측된 가우시안 분산이 포함됩니다.

timestep_spacing (`str`, 기본값 `"linspace"`) : 타임스텝을 스케일링하는 방식입니다. 자세한 내용은 [일반적인 확산 노이즈 스케줄 및 샘플 스텝은 결함이 있습니다](https://huggingface.co/papers/2305.08891)의 표 2를 참조하세요.

steps_offset (`int`, 기본값 0) : 일부 모델 계열에서 요구하는 추론 단계에 추가되는 오프셋입니다.

`DPMSolverMultistepInverseScheduler`는 [DPMSolverMultistepScheduler](/docs/diffusers/main/ko/api/schedulers/multistep_dpm_solver#diffusers.DPMSolverMultistepScheduler)의 역방향 스케줄러입니다.

이 모델은 [SchedulerMixin](/docs/diffusers/main/ko/api/schedulers/overview#diffusers.SchedulerMixin)과 [ConfigMixin](/docs/diffusers/main/ko/api/configuration#diffusers.ConfigMixin)을 상속합니다. 로딩 및 저장과 같은 모든 스케줄러에 대해 라이브러리가 구현하는 일반적 메서드에 대해서는 상위 클래스 문서를 확인하세요.

#### add_noise[[diffusers.DPMSolverMultistepInverseScheduler.add_noise]]

```python
add_noise(original_samples: Tensor, noise: Tensor, timesteps: IntTensor)
```

[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_multistep_inverse.py#L1118)

**매개변수:**

original_samples (`torch.Tensor`) : 노이즈를 추가할 원래 샘플입니다.

noise (`torch.Tensor`) : 노이즈 텐서.

timesteps (`torch.IntTensor`) : 노이즈를 추가할 타임스텝.

**반환값:** `torch.Tensor`

노이즈가 포함된 샘플.

`original_samples`에 스케줄러의 동등한 함수를 사용하여 노이즈를 추가합니다.

#### convert_model_output[[diffusers.DPMSolverMultistepInverseScheduler.convert_model_output]]

```python
convert_model_output(model_output: Tensor, *args, sample: typing.Optional[torch.Tensor] = None, **kwargs)
```

[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_multistep_inverse.py#L600)

**매개변수:**

model_output (`torch.Tensor`) : 학습된 diffusion 모델의 직접적인 출력입니다.

sample (`torch.Tensor`, *선택 사항*) : 확산(diffusion) 프로세스에 의해 생성된 샘플의 현재 인스턴스입니다.

**반환값:** `torch.Tensor`

변환된 모델 출력

DPMSolver/DPMSolver++ 알고리즘이 요구하는 해당 유형으로 모델 출력을 변환합니다. DPM-Solver는 노이즈 예측 모델의 적분을 이산화하도록 설계되었으며, DPM-Solver++는 데이터 예측 모델의 적분을 이산화하도록 설계되었습니다.

> [!TIP] > 알고리즘과 모델 유형은 분리되어 있습니다. DPMSolver 또는 DPMSolver++를 둘 다에 사용할 수 있습니다
noise > 예측 및 데이터 예측 모델.

#### dpm_solver_first_order_update[[diffusers.DPMSolverMultistepInverseScheduler.dpm_solver_first_order_update]]

```python
dpm_solver_first_order_update(model_output: Tensor, *args, sample: typing.Optional[torch.Tensor] = None, noise: typing.Optional[torch.Tensor] = None, **kwargs)
```

[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_multistep_inverse.py#L699)

**매개변수:**

model_output (`torch.Tensor`) : 학습된 diffusion 모델의 직접적인 출력입니다.

sample (`torch.Tensor`, *선택 사항*) : 확산(diffusion) 프로세스에 의해 생성된 샘플의 현재 인스턴스입니다.

noise (`torch.Tensor`, *선택 사항*) : 노이즈 텐서.

**반환값:** `torch.Tensor`

이전 시간 단계의 샘플 텐서.

1차 DPMSolver의 한 단계(DDIM과 동일).

#### multistep_dpm_solver_second_order_update[[diffusers.DPMSolverMultistepInverseScheduler.multistep_dpm_solver_second_order_update]]

```python
multistep_dpm_solver_second_order_update(model_output_list: list, *args, sample: typing.Optional[torch.Tensor] = None, noise: typing.Optional[torch.Tensor] = None, **kwargs)
```

[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_multistep_inverse.py#L774)

**매개변수:**

model_output_list (`list[torch.Tensor]`) : 현재 및 이후 timestep에서 학습된 diffusion 모델의 직접 출력입니다.

sample (`torch.Tensor`, *선택 사항*) : 확산(diffusion) 프로세스에 의해 생성된 샘플의 현재 인스턴스입니다.

noise (`torch.Tensor`, *선택*) : 확률적 (`sde-*`) 솔버 변형에서 사용되는 랜덤 노이즈입니다. `algorithm_type`이 그 중 하나로 설정된 경우에만 필요하며, 그렇지 않으면 사용되지 않습니다.

**반환값:** `torch.Tensor`

이전 시간 단계의 샘플 텐서.

2차 다단계 DPMSolver의 한 단계.

#### multistep_dpm_solver_third_order_update[[diffusers.DPMSolverMultistepInverseScheduler.multistep_dpm_solver_third_order_update]]

```python
multistep_dpm_solver_third_order_update(model_output_list: list, *args, sample: typing.Optional[torch.Tensor] = None, noise: typing.Optional[torch.Tensor] = None, **kwargs)
```

[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_multistep_inverse.py#L901)

**매개변수:**

model_output_list (`list[torch.Tensor]`) : 현재 및 이후 timestep에서 학습된 diffusion 모델의 직접 출력입니다.

sample (`torch.Tensor`, *선택 사항*) : 확산 과정에서 생성된 샘플의 현재 인스턴스입니다.

noise (`torch.Tensor`, *선택 사항*) : 노이즈 텐서.

**반환값:** `torch.Tensor`

이전 시간 단계의 샘플 텐서.

3차 다단계 DPMSolver의 한 단계.

#### scale_model_input[[diffusers.DPMSolverMultistepInverseScheduler.scale_model_input]]

```python
scale_model_input(sample: Tensor, *args, **kwargs)
```

[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_multistep_inverse.py#L1103)

**매개변수:**

sample (`torch.Tensor`) : 입력 샘플.

**반환값:** `torch.Tensor`

스케일된 입력 샘플.

현재 타임스텝에 따라 디노이징 모델 입력을 스케일링해야 하는 스케줄러와의 호환성을 보장합니다.

#### set_timesteps[[diffusers.DPMSolverMultistepInverseScheduler.set_timesteps]]

```python
set_timesteps(num_inference_steps: int | None = None, device: typing.Union[str, torch.device, NoneType] = None)
```

[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_multistep_inverse.py#L283)

**매개변수:**

num_inference_steps (`int`) : 사전 학습된 모델로 샘플을 생성할 때 사용되는 확산 단계의 수.

device (`str` 또는 `torch.device`, *선택 사항*) : timesteps를 이동할 대상 device입니다. `None`인 경우 timesteps는 이동되지 않습니다.

추론 실행 전에 실행할 diffusion chain에 사용할 이산 timesteps를 설정합니다.

#### step[[diffusers.DPMSolverMultistepInverseScheduler.step]]

```python
step(model_output: Tensor, timestep: typing.Union[int, torch.Tensor], sample: Tensor, generator: typing.Optional[torch.Generator] = None, variance_noise: typing.Optional[torch.Tensor] = None, return_dict: bool = True)
```

[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_multistep_inverse.py#L1017)

**매개변수:**

model_output (`torch.Tensor`) : 학습된 diffusion model의 직접적인 출력입니다.

timestep (`int`) : 확산 체인(diffusion chain)의 현재 이산 시간 단계(discrete timestep).

sample (`torch.Tensor`) : 확산 과정에서 생성된 샘플의 현재 인스턴스.

generator (`torch.Generator`, *선택 사항*) : 난수 생성기입니다.

variance_noise (`torch.Tensor`) : `generator`를 사용하여 노이즈를 생성하는 대신 분산 자체에 대한 노이즈를 직접 제공하는 대안입니다. `CycleDiffusion`와 같은 방법에 유용합니다.

return_dict (`bool`) : [SchedulerOutput](/docs/diffusers/main/ko/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) 또는 `tuple`을 반환할지 여부.

**반환값:** [SchedulerOutput](/docs/diffusers/main/ko/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) 또는 `tuple`

return_dict가 `True`인 경우 [SchedulerOutput](/docs/diffusers/main/ko/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput)이 반환되고, 그렇지 않으면 첫 번째 요소가 샘플 텐서인 튜플이 반환됩니다.

이전 시간 단계의 샘플을 SDE를 역방향으로 적용하여 예측합니다. 이 함수는 멀티스텝 DPMSolver를 사용하여 샘플을 전파합니다.

## SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]]

#### diffusers.schedulers.scheduling_utils.SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]]

```python
diffusers.schedulers.scheduling_utils.SchedulerOutput(prev_sample: Tensor)
```

[소스](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_utils.py#L66)

**매개변수:**

prev_sample (`torch.Tensor`, 이미지인 경우 shape는 `(batch_size, num_channels, height, width)`) : 이전 timestep의 계산된 샘플 `(x_{t-1})`. `prev_sample`은 denoising 루프에서 다음 모델 입력으로 사용해야 합니다.

스케줄러의 `step` 함수 출력을 위한 베이스 클래스.