diffusers/main/ja/api/schedulers/multistep_dpm_solver.md

DPMSolverMultistepScheduler

DPMSolverMultistepScheduler は、Cheng Lu、Yuhao Zhou、Fan Bao、Jianfei Chen、Chongxuan Li、Jun Zhu による DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps および DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models に由来するマルチステップスケジューラーです。

DPMSolver （改善版のDPMSolver++）は、収束次数を保証する拡散ODE用の高速な専用高次数ソルバーです。実証的に、DPMSolverサンプリングはわずか20ステップで高品質なサンプルを生成でき、10ステップでもかなり良いサンプルを生成できます。

ヒント

ガイドサンプリングではsolver_orderを2に設定すること、無条件サンプリングではsolver_order=3に設定することが推奨されます。

Imagenからの動的閾値化はサポートされており、ピクセル空間の拡散モデルでは、algorithm_type="dpmsolver++"とthresholding=Trueの両方を設定することで、動的閾値化を使用できます。この閾値化手法は、Stable Diffusionなどの潜在空間拡散モデルには適していません。

DPMSolverおよびDPM-Solver++のSDEバリアントもサポートされていますが、1次および2次のソルバーに限定されます。これは逆方向拡散SDE向けの高速なSDEソルバーです。2次のsde-dpmsolver++の使用を推奨します。

DPMSolverMultistepScheduler[[diffusers.DPMSolverMultistepScheduler]]

diffusers.DPMSolverMultistepScheduler[[diffusers.DPMSolverMultistepScheduler]]

diffusers.DPMSolverMultistepScheduler(num_train_timesteps: int = 1000, beta_start: float = 0.0001, beta_end: float = 0.02, beta_schedule: str = 'linear', trained_betas: numpy.ndarray | list[float] | None = None, solver_order: int = 2, prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction', 'flow_prediction'] = 'epsilon', thresholding: bool = False, dynamic_thresholding_ratio: float = 0.995, sample_max_value: float = 1.0, algorithm_type: typing.Literal['dpmsolver', 'dpmsolver++', 'sde-dpmsolver', 'sde-dpmsolver++'] = 'dpmsolver++', solver_type: typing.Literal['midpoint', 'heun'] = 'midpoint', lower_order_final: bool = True, euler_at_final: bool = False, use_karras_sigmas: bool = False, use_exponential_sigmas: bool = False, use_beta_sigmas: bool = False, use_lu_lambdas: bool = False, use_flow_sigmas: bool = False, flow_shift: float = 1.0, final_sigmas_type: typing.Literal['zero', 'sigma_min'] = 'zero', lambda_min_clipped: float = -inf, variance_type: typing.Optional[typing.Literal['learned', 'learned_range']] = None, timestep_spacing: typing.Literal['linspace', 'leading', 'trailing'] = 'linspace', steps_offset: int = 0, rescale_betas_zero_snr: bool = False, use_dynamic_shifting: bool = False, time_shift_type: typing.Literal['exponential'] = 'exponential')

ソース

パラメータ:

num_train_timesteps (int、デフォルトは 1000) : モデルを学習するための拡散ステップ数。

beta_start (float、デフォルト値は 0.0001) : 推論の初期 beta 値。

beta_end (float、デフォルト値は 0.02) : 最終的な beta 値。

beta_schedule ("linear"、"scaled_linear"、または "squaredcos_cap_v2"、デフォルトは "linear") : ベータスケジュール。ベータの範囲を、モデルをステップするためのベータのシーケンスにマッピングするものです。

trained_betas (np.ndarray、任意) : beta_start と beta_end をバイパスして、ベータの配列を直接コンストラクタに渡す。

solver_order (int、デフォルトは 2) : 1、2、または 3 を指定できる DPMSolver の order です。ガイド付きサンプリングには solver_order=2、無条件サンプリングには solver_order=3 の使用を推奨します。

prediction_type ("epsilon"、"sample"、"v_prediction"、または "flow_prediction"、デフォルトは "epsilon") : スケジューラ関数の予測タイプ。epsilon は拡散プロセスのノイズを予測し、sample はノイズ付きサンプルを直接予測し、v_prediction は速度を予測します（Imagen Video 論文のセクション 2.4 を参照）、flow_prediction はフローを予測します。

thresholding (bool、デフォルトはFalse) : 「動的閾値処理」メソッドを使用するかどうか。Stable Diffusion などの潜在空間拡散モデルには適していません。

dynamic_thresholding_ratio (float、デフォルト値は 0.995) : 動的閾値化手法における比率。thresholding=True の場合のみ有効です。

sample_max_value (float、デフォルト値は 1.0) : 動的閾値処理の閾値。thresholding=True かつ algorithm_type="dpmsolver++" の場合にのみ有効です。

algorithm_type ("dpmsolver"、"dpmsolver++"、"sde-dpmsolver"、または "sde-dpmsolver++"、デフォルトは "dpmsolver++") : ソルバーのアルゴリズムタイプ。dpmsolver タイプは DPMSolver 論文のアルゴリズムを実装し、dpmsolver++ タイプは DPMSolver++ 論文のアルゴリズムを実装します。Stable Diffusion におけるガイド付きサンプリングのような用途では、dpmsolver++ または sde-dpmsolver++ を solver_order=2 と併せて使用することを推奨します。

solver_type ("midpoint" または "heun"、デフォルトは "midpoint") : 2 次ソルバーのソルバータイプです。ソルバータイプはサンプルの品質にわずかな影響を与えますが、ステップ数が少ない場合特に顕著です。midpoint ソルバーの使用を推奨します。

lower_order_final (bool、デフォルトはTrue) : 最終ステップで低次のソルバーを使用するかどうか。15ステップ未満の推論ステップでのみ有効です。ステップ数が15未満、特に10以下の場合、DPMSolverのサンプリングを安定化させることができます。

euler_at_final (bool、デフォルトはFalse) : 最終ステップでEuler法を使用するかどうか。数値安定性とディテールの豊かさのトレードオフです。推論ステップ数が少ない場合、DPMSolverのSDEバリアントのサンプリングを安定させることができますが、場合によってはぼやけの原因になります。

use_karras_sigmas (bool, 任意, デフォルトは False) : サンプリングプロセス中のノイズスケジュールにおけるステップサイズに Karras シグマを使用するかどうか。True の場合、シグマはノイズレベルの列 {σi} に基づいて決定されます。

use_exponential_sigmas (bool、任意、デフォルトはFalse) : サンプリングプロセス中のノイズスケジュールにおいて、ステップサイズに指数シグマを使用するかどうか。

use_beta_sigmas (bool, optional, defaults to False) : Whether to use beta sigmas for step sizes in the noise schedule during the sampling process. Refer to Beta Sampling is All You Need for more information.

use_lu_lambdas (bool, 任意, デフォルトは False) : サンプリングプロセス中のノイズスケジュールにおいて、Lu の DPM-Solver が提案したステップサイズに uniform-logSNR を使用するかどうかを指定します。True の場合、シグマとタイムステップは lambda(t) の列に基づいて決定されます。

use_flow_sigmas (bool、任意、デフォルトはFalse) : サンプリングプロセス中のノイズスケジュールにおいて、ステップサイズにフローシグマを使用するかどうか。

flow_shift (float、任意、デフォルトは 1.0) : flow matching のタイムステップスケジュールにおけるシフト値です。

final_sigmas_type ("zero" または "sigma_min"、任意、デフォルトは "zero") : サンプリングプロセス中のノイズスケジュールにおける最終的な sigma 値。"sigma_min" の場合、最終的な sigma は学習スケジュールの最後の sigma と同じになります。"zero" の場合、最終的な sigma は 0 に設定されます。

lambda_min_clipped (float、デフォルトは-inf) : 数値の安定性を確保するためにlambda(t)の最小値に適用するクリッピングの閾値です。これはコサイン（squaredcos_cap_v2）ノイズスケジュールにおいて重要になります。

variance_type ("learned" または "learned_range"、任意) : 分散を予測する拡散モデルの場合、"learned" または "learned_range" に設定します。設定すると、モデルの出力に予測されたガウス分散が含まれます。

timestep_spacing ("linspace", "leading", or "trailing", defaults to "linspace") : The way the timesteps should be scaled. Refer to Table 2 of the Common Diffusion Noise Schedules and Sample Steps are Flawed for more information.

steps_offset (int、デフォルトは 0) : 一部のモデルファミリーで必要とされる、推論ステップに追加されるオフセットです。

rescale_betas_zero_snr (bool、デフォルトはFalse) : ベータを再スケーリングして、終端SNRをゼロにするかどうか。これにより、モデルは中間の明るさに限定されず、非常に明るく暗いサンプルを生成できるようになります。--offset_noiseとゆるく関連しています。

use_dynamic_shifting (bool、デフォルトはFalse) : タイムステップスケジュールに動的シフトを使用するかどうか。

time_shift_type ("exponential"、デフォルトは"exponential") : 動的シフトを使用する場合に適用する時間シフトの種類。

DPMSolverMultistepScheduler は、拡散 ODE 向けの高速な専用高次ソルバーです。

このモデルは SchedulerMixin と ConfigMixin を継承しています。読み込みや保存など、ライブラリがすべてのスケジューラに対して実装している汎用的なメソッドについては、スーパークラスのドキュメントを参照してください。

add_noise[[diffusers.DPMSolverMultistepScheduler.add_noise]]

add_noise(original_samples: Tensor, noise: Tensor, timesteps: IntTensor)

ソース

パラメータ:

original_samples (torch.Tensor) : ノイズが加えられていない元のサンプル。

noise (torch.Tensor) : サンプルに追加するノイズ。

timesteps (torch.IntTensor) : サンプルにノイズを付加するタイムステップ。

戻り値: torch.Tensor

ノイズ付きサンプル。

指定されたタイムステップにおけるノイズスケジュールに従って、元のサンプルにノイズを追加します。

convert_model_output[[diffusers.DPMSolverMultistepScheduler.convert_model_output]]

convert_model_output(model_output: Tensor, *args, sample: typing.Optional[torch.Tensor] = None, **kwargs)

ソース

パラメータ:

model_output (torch.Tensor) : 学習済み拡散モデルからの直接の出力です。

sample (torch.Tensor, 任意) : 拡散プロセスによって生成されたサンプルの現在のインスタンス。

戻り値: torch.Tensor

変換後のモデルの出力。

モデルの出力を、DPMSolver/DPMSolver++ アルゴリズムが要求する対応する型に変換します。DPM-Solver はノイズ予測モデルの積分を離散化するように設計されており、DPM-Solver++ はデータ予測モデルの積分を離散化するように設計されています。

> アルゴリズムとモデルタイプは分離されています。DPMSolverとDPMSolver++のいずれかを、両方の noise > prediction および data prediction models。

dpm_solver_first_order_update[[diffusers.DPMSolverMultistepScheduler.dpm_solver_first_order_update]]

dpm_solver_first_order_update(model_output: Tensor, *args, sample: typing.Optional[torch.Tensor] = None, noise: typing.Optional[torch.Tensor] = None, **kwargs)

ソース

パラメータ:

model_output (torch.Tensor) : 学習済み拡散モデルからの直接の出力です。

sample (torch.Tensor, 任意) : 拡散プロセスによって生成されたサンプルの現在のインスタンス。

noise (torch.Tensor, 任意) : ノイズテンソル。

戻り値: torch.Tensor

前のタイムステップのサンプルテンソル。

1次DPMSolverの1ステップ（DDIMと同等）。

index_for_timestep[[diffusers.DPMSolverMultistepScheduler.index_for_timestep]]

index_for_timestep(timestep: typing.Union[int, torch.Tensor], schedule_timesteps: typing.Optional[torch.Tensor] = None)

ソース

パラメータ:

timestep (int または torch.Tensor) : インデックスを特定するためのタイムステップ。

schedule_timesteps (torch.Tensor, 任意) : 検索対象のタイムステップスケジュール。None の場合は self.timesteps を使用します。

戻り値: int

スケジュールにおけるタイムステップのインデックス。

スケジュール内の指定されたタイムステップのインデックスを取得します。

multistep_dpm_solver_second_order_update[[diffusers.DPMSolverMultistepScheduler.multistep_dpm_solver_second_order_update]]

multistep_dpm_solver_second_order_update(model_output_list: list[torch.Tensor], *args, sample: typing.Optional[torch.Tensor] = None, noise: typing.Optional[torch.Tensor] = None, **kwargs)

ソース

パラメータ:

model_output_list (list[torch.Tensor]) : 学習済み拡散モデルが現在のタイムステップおよびその後のタイムステップで直接出力する値。

sample (torch.Tensor, 任意) : 拡散プロセスによって生成されたサンプルの現在のインスタンス。

noise (torch.Tensor, 任意) : 確率的(sde-*)ソルババリアントで使用されるランダムノイズ。algorithm_typeがそれらのいずれかに設定されている場合に必要であり、それ以外の場合は使用されません。

戻り値: torch.Tensor

前のタイムステップのサンプルテンソル。

2次多ステップDPMSolverの1ステップ。

multistep_dpm_solver_third_order_update[[diffusers.DPMSolverMultistepScheduler.multistep_dpm_solver_third_order_update]]

multistep_dpm_solver_third_order_update(model_output_list: list[torch.Tensor], *args, sample: typing.Optional[torch.Tensor] = None, noise: typing.Optional[torch.Tensor] = None, **kwargs)

ソース

パラメータ:

model_output_list (list[torch.Tensor]) : 学習済み拡散モデルが現在のタイムステップおよびその後のタイムステップで直接出力する値。

sample (torch.Tensor, 任意) : 拡散プロセスによって生成されたサンプルの現在のインスタンス。

noise (torch.Tensor, 任意) : ノイズテンソル。

戻り値: torch.Tensor

前のタイムステップのサンプルテンソル。

3階の多段DPMSolverの1ステップ。

scale_model_input[[diffusers.DPMSolverMultistepScheduler.scale_model_input]]

scale_model_input(sample: Tensor, *args, **kwargs)

ソース

パラメータ:

sample (torch.Tensor) : 入力サンプル。

戻り値: torch.Tensor

スケーリングされた入力サンプル。

現在のタイムステップに応じて、デノイジングモデルの入力をスケーリングする必要があるスケジューラとの相互運用性を保証します。

set_begin_index[[diffusers.DPMSolverMultistepScheduler.set_begin_index]]

set_begin_index(begin_index: int = 0)

ソース

パラメータ:

begin_index (int、デフォルトは0) : スケジューラの開始インデックス。

スケジューラの開始インデックスを設定します。この関数は、推論の前にパイプラインから実行する必要があります。

set_timesteps[[diffusers.DPMSolverMultistepScheduler.set_timesteps]]

set_timesteps(num_inference_steps: int = None, device: typing.Union[str, torch.device] = None, mu: float | None = None, timesteps: list[int] | None = None)

ソース

パラメータ:

num_inference_steps (int, 任意) : 事前学習済みモデルでサンプルを生成する際に使用される拡散ステップ数。

device (str または torch.device、任意) : timesteps を移動先とするデバイスです。None の場合、timesteps は移動されません。

mu (float, 任意) : 動的タイムシフトの指数。use_dynamic_shifting と time_shift_type が "exponential" であることが必要です。指定された場合、flow_shift は exp(mu) に設定されます。

timesteps (list[int], 任意) : 任意のタイムステップスケジュールをサポートするために使用されるカスタムタイムステップ。None の場合、timestep_spacing 属性に基づいてタイムステップが生成されます。timesteps が渡された場合、num_inference_steps と sigmas は None でなければならず、timestep_spacing 属性は無視されます。

拡散チェーンで使用される離散タイムステップを設定します（推論の実行前に実行する必要があります）。

ステップ[[diffusers.DPMSolverMultistepScheduler.step]]

step(model_output: Tensor, timestep: typing.Union[int, torch.Tensor], sample: Tensor, generator: typing.Optional[torch.Generator] = None, variance_noise: typing.Optional[torch.Tensor] = None, return_dict: bool = True)

ソース

パラメータ:

model_output (torch.Tensor) : 学習済み拡散モデルからの直接の出力です。

timestep (int または torch.Tensor) : 拡散チェーンにおける現在の離散タイムステップ。

sample (torch.Tensor) : 拡散プロセスによって生成されたサンプルの現在のインスタンス。

generator (torch.Generator, 任意) : 乱数生成器。

variance_noise (torch.Tensor, 任意) : generator を使用してノイズを生成する代わりに、分散自体のノイズを直接指定するための代替手段です。LEdits++ のような手法に有用です。

return_dict (bool、デフォルトはTrue) : SchedulerOutputを返すか、tupleを返すかを指定します。

戻り値: SchedulerOutput または tuple

return_dict が True の場合、SchedulerOutput が返され、それ以外の場合は、最初の要素がサンプルテンソルであるタプルが返されます。

前のタイムステップのサンプルをSDEを逆方向に適用することで予測します。この関数は、マルチステップDPMSolverを用いてサンプルを伝播します。

SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]]

diffusers.schedulers.scheduling_utils.SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]]

diffusers.schedulers.scheduling_utils.SchedulerOutput(prev_sample: Tensor)

ソース

パラメータ:

prev_sample (torch.Tensor、画像の場合は (batch_size, num_channels, height, width) の形状) : 前のタイムステップの計算済みサンプル (x_{t-1})。prev_sample は、デノイジングループの次のモデル入力として使用する必要があります。

スケジューラーのstep関数の出力の基底クラス。