# DPMSolverMultistepScheduler

`DPMSolverMultistepScheduler` adalah penjadwal multistep dari [DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps](https://huggingface.co/papers/2206.00927) dan [DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models](https://huggingface.co/papers/2211.01095) oleh Cheng Lu, Yuhao Zhou, Fan Bao, Jianfei Chen, Chongxuan Li, dan Jun Zhu.

DPMSolver (dan versi yang ditingkatkan DPMSolver++) adalah solver ordo tinggi khusus yang cepat untuk ODE difusi dengan jaminan ordo konvergensi. Secara empiris, sampling DPMSolver dengan hanya 20 langkah dapat menghasilkan sampel berkualitas tinggi, dan dapat menghasilkan sampel yang cukup baik bahkan dalam 10 langkah.

## Tips

Disarankan untuk mengatur `solver_order` ke 2 untuk guide sampling, dan `solver_order=3` untuk unconditional sampling.

Ambang batas dinamis dari [Imagen](https://huggingface.co/papers/2205.11487) didukung, dan untuk model difusi ruang piksel, Anda dapat mengatur `algorithm_type="dpmsolver++"` dan `thresholding=True` untuk menggunakan ambang batas dinamis. Metode ambang batas ini tidak cocok untuk model difusi ruang laten seperti Stable Diffusion.

Varian SDE dari DPMSolver dan DPM-Solver++ juga didukung, tetapi hanya untuk solver orde pertama dan kedua. Ini adalah solver SDE yang cepat untuk SDE difusi terbalik. Disarankan untuk menggunakan `sde-dpmsolver++` orde kedua.

## DPMSolverMultistepScheduler[[diffusers.DPMSolverMultistepScheduler]]

#### diffusers.DPMSolverMultistepScheduler[[diffusers.DPMSolverMultistepScheduler]]

```python
diffusers.DPMSolverMultistepScheduler(num_train_timesteps: int = 1000, beta_start: float = 0.0001, beta_end: float = 0.02, beta_schedule: str = 'linear', trained_betas: numpy.ndarray | list[float] | None = None, solver_order: int = 2, prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction', 'flow_prediction'] = 'epsilon', thresholding: bool = False, dynamic_thresholding_ratio: float = 0.995, sample_max_value: float = 1.0, algorithm_type: typing.Literal['dpmsolver', 'dpmsolver++', 'sde-dpmsolver', 'sde-dpmsolver++'] = 'dpmsolver++', solver_type: typing.Literal['midpoint', 'heun'] = 'midpoint', lower_order_final: bool = True, euler_at_final: bool = False, use_karras_sigmas: bool = False, use_exponential_sigmas: bool = False, use_beta_sigmas: bool = False, use_lu_lambdas: bool = False, use_flow_sigmas: bool = False, flow_shift: float = 1.0, final_sigmas_type: typing.Literal['zero', 'sigma_min'] = 'zero', lambda_min_clipped: float = -inf, variance_type: typing.Optional[typing.Literal['learned', 'learned_range']] = None, timestep_spacing: typing.Literal['linspace', 'leading', 'trailing'] = 'linspace', steps_offset: int = 0, rescale_betas_zero_snr: bool = False, use_dynamic_shifting: bool = False, time_shift_type: typing.Literal['exponential'] = 'exponential')
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_multistep.py#L123)

**Parameter:**

num_train_timesteps (`int`, defaultnya 1000) : Jumlah langkah difusi untuk melatih model.

beta_start (`float`, defaultnya 0.0001) : Nilai awal `beta` untuk inferensi.

beta_end (`float`, defaultnya 0.02) : Nilai `beta` akhir.

beta_schedule (`"linear"`, `"scaled_linear"`, atau `"squaredcos_cap_v2"`, defaultnya `"linear"`) : Jadwal beta, pemetaan dari rentang beta ke urutan beta untuk melangkahkan model.

trained_betas (`np.ndarray`, *opsional*) : Lewatkan `beta_start` dan `beta_end` dengan meneruskan array betas secara langsung ke konstruktor.

solver_order (`int`, defaultnya 2) : Urutan DPMSolver yang dapat berupa `1` atau `2` atau `3`. Disarankan untuk menggunakan `solver_order=2` untuk guided sampling, dan `solver_order=3` untuk unconditional sampling.

prediction_type (`"epsilon"`, `"sample"`, `"v_prediction"`, atau `"flow_prediction"`, secara default `"epsilon"`) : Jenis prediksi dari fungsi scheduler. `epsilon` memprediksi noise dari proses difusi, `sample` secara langsung memprediksi sampel ber-noise, `v_prediction` memprediksi kecepatan (lihat bagian 2.4 dari paper [Imagen Video](https://huggingface.co/papers/2210.02303)), dan `flow_prediction` memprediksi aliran.

thresholding (`bool`, defaultnya `False`) : Apakah akan menggunakan metode "dynamic thresholding". Metode ini tidak cocok untuk model difusi ruang laten seperti Stable Diffusion.

dynamic_thresholding_ratio (`float`, defaultnya 0.995) : Rasio untuk metode ambang batas dinamis. Hanya valid ketika `thresholding=True`.

sample_max_value (`float`, defaultnya 1.0) : Nilai ambang untuk pengambangan dinamis. Hanya valid ketika `thresholding=True` dan `algorithm_type="dpmsolver++"`.

algorithm_type (`"dpmsolver"`, `"dpmsolver++"`, `"sde-dpmsolver"`, atau `"sde-dpmsolver++"`, secara default `"dpmsolver++"`) : Jenis algoritma untuk solver. Tipe `dpmsolver` mengimplementasikan algoritma dalam paper [DPMSolver](https://huggingface.co/papers/2206.00927), dan tipe `dpmsolver++` mengimplementasikan algoritma dalam paper [DPMSolver++](https://huggingface.co/papers/2211.01095). Disarankan untuk menggunakan `dpmsolver++` atau `sde-dpmsolver++` dengan `solver_order=2` untuk guided sampling seperti pada Stable Diffusion.

solver_type (`"midpoint"` atau `"heun"`, defaultnya `"midpoint"`) : Jenis solver untuk solver orde kedua. Jenis solver sedikit memengaruhi kualitas sampel, terutama untuk jumlah langkah yang kecil. Disarankan untuk menggunakan solver `midpoint`.

lower_order_final (`bool`, defaultnya `True`) : Apakah akan menggunakan solver orde lebih rendah pada langkah-langkah akhir. Hanya valid untuk < 15 langkah inferensi. Hal ini dapat menstabilkan sampling DPMSolver untuk langkah < 15, terutama untuk langkah <= 10.

euler_at_final (`bool`, defaultnya `False`) : Apakah akan menggunakan metode Euler pada langkah terakhir. Ini merupakan pertukaran antara stabilitas numerik dan kekayaan detail. Hal ini dapat menstabilkan sampling dari varian SDE dari DPMSolver untuk jumlah langkah inferensi yang kecil, tetapi terkadang dapat menyebabkan hasil yang buram.

use_karras_sigmas (`bool`, *opsional*, defaultnya `False`) : Apakah akan menggunakan Karras sigmas untuk ukuran langkah dalam jadwal noise selama proses sampling. Jika `True`, sigmas ditentukan berdasarkan urutan tingkat noise {σi}.

use_exponential_sigmas (`bool`, *opsional*, defaultnya `False`) : Apakah akan menggunakan sigma eksponensial untuk ukuran langkah dalam jadwal noise selama proses sampling.

use_beta_sigmas (`bool`, *opsional*, defaultnya `False`) : Apakah akan menggunakan beta sigmas untuk ukuran langkah dalam jadwal noise selama proses sampling. Lihat [Beta Sampling is All You Need](https://huggingface.co/papers/2407.12173) untuk informasi lebih lanjut.

use_lu_lambdas (`bool`, *opsional*, defaultnya `False`) : Apakah akan menggunakan uniform-logSNR untuk ukuran langkah yang diusulkan oleh DPM-Solver Lu dalam jadwal noise selama proses sampling. Jika `True`, sigma dan langkah waktu ditentukan berdasarkan urutan `lambda(t)`.

use_flow_sigmas (`bool`, *opsional*, defaultnya `False`) : Apakah akan menggunakan flow sigmas untuk ukuran langkah dalam jadwal noise selama proses sampling.

flow_shift (`float`, *opsional*, default 1.0) : Nilai pergeseran untuk jadwal timestep pada flow matching.

final_sigmas_type (`"zero"` atau `"sigma_min"`, *opsional*, defaultnya `"zero"`) : Nilai `sigma` akhir untuk jadwal noise selama proses sampling. Jika `"sigma_min"`, sigma akhir sama dengan sigma terakhir dalam jadwal pelatihan. Jika `"zero"`, sigma akhir diatur ke 0.

lambda_min_clipped (`float`, defaultnya `-inf`) : Ambang pemotongan untuk nilai minimum dari `lambda(t)` demi stabilitas numerik. Hal ini sangat penting untuk jadwal noise kosinus (`squaredcos_cap_v2`).

variance_type (`"learned"` atau `"learned_range"`, *opsional*) : Atur ke `"learned"` atau `"learned_range"` untuk model difusi yang memprediksi varians. Jika diatur, output model berisi varians Gaussian yang diprediksi.

timestep_spacing (`"linspace"`, `"leading"`, atau `"trailing"`, defaultnya `"linspace"`) : Cara timestep harus diskalakan. Lihat Tabel 2 dari [Common Diffusion Noise Schedules and Sample Steps are Flawed](https://huggingface.co/papers/2305.08891) untuk informasi lebih lanjut.

steps_offset (`int`, default 0) : Offset yang ditambahkan ke langkah inferensi, sesuai kebutuhan beberapa keluarga model.

rescale_betas_zero_snr (`bool`, defaultnya `False`) : Apakah akan melakukan penskalaan ulang betas agar memiliki SNR terminal nol. Hal ini memungkinkan model untuk menghasilkan sampel yang sangat terang dan gelap, alih-alih membatasi pada sampel dengan kecerahan sedang. Terkait secara longgar dengan [`--offset_noise`](https://github.com/huggingface/diffusers/blob/74fd735eb073eb1d774b1ab4154a0876eb82f055/examples/dreambooth/train_dreambooth.py#L506).

use_dynamic_shifting (`bool`, defaultnya `False`) : Apakah akan menggunakan pergeseran dinamis untuk jadwal timestep.

time_shift_type (`"exponential"`, defaultnya `"exponential"`) : Jenis pergeseran waktu yang diterapkan saat menggunakan pergeseran dinamis.

`DPMSolverMultistepScheduler` adalah solver ordo tinggi khusus yang cepat untuk ODE difusi.

Model ini mewarisi dari [SchedulerMixin](/docs/diffusers/main/id/api/schedulers/overview#diffusers.SchedulerMixin) dan [ConfigMixin](/docs/diffusers/main/id/api/configuration#diffusers.ConfigMixin). Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan pustaka ini untuk semua scheduler, seperti pemuatan dan penyimpanan.

#### add_noise[[diffusers.DPMSolverMultistepScheduler.add_noise]]

```python
add_noise(original_samples: Tensor, noise: Tensor, timesteps: IntTensor)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_multistep.py#L1303)

**Parameter:**

original_samples (`torch.Tensor`) : Sampel asli tanpa noise.

noise (`torch.Tensor`) : Kebisingan yang akan ditambahkan ke sampel.

timesteps (`torch.IntTensor`) : Langkah waktu di mana noise akan ditambahkan ke sampel.

**Mengembalikan:** `torch.Tensor`

Sampel yang bising.

Tambahkan noise ke sampel asli sesuai dengan jadwal noise pada timestep yang ditentukan.

#### convert_model_output[[diffusers.DPMSolverMultistepScheduler.convert_model_output]]

```python
convert_model_output(model_output: Tensor, *args, sample: typing.Optional[torch.Tensor] = None, **kwargs)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_multistep.py#L749)

**Parameter:**

model_output (`torch.Tensor`) : Output langsung dari model difusi yang dipelajari.

sample (`torch.Tensor`, *opsional*) : Instans saat ini dari sampel yang dibuat oleh proses difusi.

**Mengembalikan:** `torch.Tensor`

Output model yang telah dikonversi.

Konversi keluaran model ke tipe yang sesuai dengan kebutuhan algoritma DPMSolver/DPMSolver++. DPM-Solver dirancang untuk mendiskritisasi integral dari model prediksi noise, sedangkan DPM-Solver++ dirancang untuk mendiskritisasi integral dari model prediksi data.

> [!TIP] > Algoritma dan tipe model dipisahkan. Anda dapat menggunakan DPMSolver atau DPMSolver++ untuk keduanya
noise > prediksi dan model prediksi data.

#### dpm_solver_first_order_update[[diffusers.DPMSolverMultistepScheduler.dpm_solver_first_order_update]]

```python
dpm_solver_first_order_update(model_output: Tensor, *args, sample: typing.Optional[torch.Tensor] = None, noise: typing.Optional[torch.Tensor] = None, **kwargs)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_multistep.py#L847)

**Parameter:**

model_output (`torch.Tensor`) : Output langsung dari model difusi yang dipelajari.

sample (`torch.Tensor`, *opsional*) : Instans saat ini dari sampel yang dibuat oleh proses difusi.

noise (`torch.Tensor`, *opsional*) : Tensor noise.

**Mengembalikan:** `torch.Tensor`

Tensor sampel pada langkah waktu sebelumnya.

Satu langkah untuk DPMSolver orde pertama (setara dengan DDIM).

#### index_for_timestep[[diffusers.DPMSolverMultistepScheduler.index_for_timestep]]

```python
index_for_timestep(timestep: typing.Union[int, torch.Tensor], schedule_timesteps: typing.Optional[torch.Tensor] = None)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_multistep.py#L1144)

**Parameter:**

timestep (`int` atau `torch.Tensor`) : timestep yang akan dicari indeksnya.

schedule_timesteps (`torch.Tensor`, *opsional*) : Jadwal timestep untuk dicari. Jika `None`, menggunakan `self.timesteps`.

**Mengembalikan:** `int`

Indeks timestep dalam jadwal.

Cari indeks untuk timestep tertentu dalam jadwal.

#### multistep_dpm_solver_second_order_update[[diffusers.DPMSolverMultistepScheduler.multistep_dpm_solver_second_order_update]]

```python
multistep_dpm_solver_second_order_update(model_output_list: list[torch.Tensor], *args, sample: typing.Optional[torch.Tensor] = None, noise: typing.Optional[torch.Tensor] = None, **kwargs)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_multistep.py#L921)

**Parameter:**

model_output_list (`list[torch.Tensor]`) : Output langsung dari model difusi yang telah dipelajari pada timestep saat ini dan timestep berikutnya.

sample (`torch.Tensor`, *opsional*) : Instans saat ini dari sampel yang dibuat oleh proses difusi.

noise (`torch.Tensor`, *opsional*) : Kebisingan acak yang digunakan oleh varian solver stokastik (`sde-*`). Diperlukan ketika `algorithm_type` diatur ke salah satu dari varian tersebut, dan tidak digunakan dalam kasus lainnya.

**Mengembalikan:** `torch.Tensor`

Tensor sampel pada langkah waktu sebelumnya.

Satu langkah untuk DPMSolver multistep orde kedua.

#### multistep_dpm_solver_third_order_update[[diffusers.DPMSolverMultistepScheduler.multistep_dpm_solver_third_order_update]]

```python
multistep_dpm_solver_third_order_update(model_output_list: list[torch.Tensor], *args, sample: typing.Optional[torch.Tensor] = None, noise: typing.Optional[torch.Tensor] = None, **kwargs)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_multistep.py#L1047)

**Parameter:**

model_output_list (`list[torch.Tensor]`) : Output langsung dari model difusi yang telah dipelajari pada timestep saat ini dan timestep berikutnya.

sample (`torch.Tensor`, *opsional*) : Instans saat ini dari sampel yang dibuat oleh proses difusi.

noise (`torch.Tensor`, *opsional*) : Tensor noise.

**Mengembalikan:** `torch.Tensor`

Tensor sampel pada langkah waktu sebelumnya.

Satu langkah untuk DPMSolver multistep orde ketiga.

#### scale_model_input[[diffusers.DPMSolverMultistepScheduler.scale_model_input]]

```python
scale_model_input(sample: Tensor, *args, **kwargs)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_multistep.py#L1288)

**Parameter:**

sample (`torch.Tensor`) : Sampel input.

**Mengembalikan:** `torch.Tensor`

Contoh input yang diskalakan.

Memastikan interoperabilitas dengan scheduler yang perlu menskalakan input model denoising berdasarkan timestep saat ini.

#### set_begin_index[[diffusers.DPMSolverMultistepScheduler.set_begin_index]]

```python
set_begin_index(begin_index: int = 0)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_multistep.py#L357)

**Parameter:**

begin_index (`int`, defaultnya `0`) : Indeks awal untuk scheduler.

Menetapkan indeks awal untuk penjadwal. Fungsi ini harus dijalankan dari pipeline sebelum inferensi.

#### set_timesteps[[diffusers.DPMSolverMultistepScheduler.set_timesteps]]

```python
set_timesteps(num_inference_steps: int = None, device: typing.Union[str, torch.device] = None, mu: float | None = None, timesteps: list[int] | None = None)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_multistep.py#L367)

**Parameter:**

num_inference_steps (`int`, *opsional*) : Jumlah langkah difusi yang digunakan saat menghasilkan sampel dengan model terlatih sebelumnya.

device (`str` atau `torch.device`, *opsional*) : Perangkat tempat timestep harus dipindahkan. Jika `None`, timestep tidak dipindahkan.

mu (`float`, *opsional*) : Eksponen untuk pergeseran waktu dinamis. Memerlukan `use_dynamic_shifting` dan `time_shift_type` bernilai `"exponential"`; jika diberikan, `flow_shift` diatur ke `exp(mu)`.

timesteps (`list[int]`, *opsional*) : Timesteps kustom yang digunakan untuk mendukung jadwal timesteps arbitrer. Jika `None`, timesteps akan dihasilkan berdasarkan atribut `timestep_spacing`. Jika `timesteps` diberikan, `num_inference_steps` dan `sigmas` harus `None`, dan atribut `timestep_spacing` akan diabaikan.

Menetapkan langkah waktu diskrit yang digunakan untuk rantai difusi (untuk dijalankan sebelum inferensi).

#### langkah[[diffusers.DPMSolverMultistepScheduler.step]]

```python
step(model_output: Tensor, timestep: typing.Union[int, torch.Tensor], sample: Tensor, generator: typing.Optional[torch.Generator] = None, variance_noise: typing.Optional[torch.Tensor] = None, return_dict: bool = True)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_multistep.py#L1196)

**Parameter:**

model_output (`torch.Tensor`) : Output langsung dari model difusi yang dipelajari.

timestep (`int` atau `torch.Tensor`) : Langkah waktu diskret saat ini dalam rantai difusi.

sample (`torch.Tensor`) : Instans saat ini dari sampel yang dibuat oleh proses difusi.

generator (`torch.Generator`, *opsional*) : Generator angka acak.

variance_noise (`torch.Tensor`, *opsional*) : Alternatif untuk menghasilkan noise dengan `generator` dengan menyediakan noise untuk varians secara langsung. Berguna untuk metode seperti `LEdits++`.

return_dict (`bool`, defaultnya `True`) : Apakah akan mengembalikan [SchedulerOutput](/docs/diffusers/main/id/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) atau `tuple`.

**Mengembalikan:** [SchedulerOutput](/docs/diffusers/main/id/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) atau `tuple`

Jika `return_dict` adalah `True`, [SchedulerOutput](/docs/diffusers/main/id/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) dikembalikan, selain itu sebuah tuple dikembalikan di mana elemen pertama adalah tensor sampel.

Prediksi sampel dari langkah waktu sebelumnya dengan membalikkan SDE. Fungsi ini menyebarkan sampel dengan DPMSolver multistep.

## SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]]

#### diffusers.schedulers.scheduling_utils.SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]]

```python
diffusers.schedulers.scheduling_utils.SchedulerOutput(prev_sample: Tensor)
```

[Sumber](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_utils.py#L66)

**Parameter:**

prev_sample (`torch.Tensor` dengan bentuk `(batch_size, num_channels, height, width)` untuk gambar) : Sampel `(x_{t-1})` yang dihitung dari timestep sebelumnya. `prev_sample` harus digunakan sebagai input model berikutnya dalam loop denoising.

Kelas dasar untuk keluaran dari fungsi `step` sebuah scheduler.