diffusers/main/ja/api/schedulers/deis.md

DEISMultistepScheduler

Diffusion Exponential Integrator Sampler (DEIS) は、Qinsheng Zhang と Yongxin Chen による Fast Sampling of Diffusion Models with Exponential Integrator で提案されました。DEISMultistepScheduler は、拡散常微分方程式 (ODE) に対する高速な高次ソルバーです。

この実装では、DEIS論文の元の線形t空間ではなく、log-rho空間における多項式フィッティングの式を変更しています。この変更により、数値ソルバーに依存する代わりに、指数型多段更新に対して閉形式の係数が得られます。

論文の抄録は以下の通りです：

ここ数年、Diffusion models(DMs)は生成モデリングタスクにおいて高忠実度のサンプルを生成する上で大きな成功を収めています。DMの主要な制約の一つは、その悪名高い低速なサンプリング手順であり、通常、学習された拡散過程の数百から数千の時間離散化ステップを必要とします。私たちの目標は、サンプル品質を維持しながら、はるかに少ないステップ数でDMの高速サンプリング手法を開発することです。そのために、DMにおけるサンプリング手順を体系的に分析し、サンプル品質に影響を与える主要な要因を特定しました。その中でも、離散化手法が最も重要です。学習された拡散過程を慎重に検討することで、Diffusion Exponential Integrator Sampler(DEIS)を提案します。これは、常微分方程式 (ODEs) の離散化のために設計されたExponential Integratorに基づいており、学習された拡散過程の半線形構造を活用して離散化誤差を低減します。提案手法は任意のDMに適用可能であり、わずか10ステップで高忠実度のサンプルを生成できます。実験では、1つのA6000 GPU上で約3分でCIFAR10から50k枚の画像を生成しました。さらに、事前学習済みDMを直接使用することで、スコア関数評価~(NFE) の回数が制限されている場合でも、最先端のサンプリング性能を達成しました。例えば、CIFAR10では10 NFEで4.17 FID、15 NFEのみで3.37 FIDおよび9.74 ISを達成しています。コードはthis https URLで入手できます。

ヒント

solver_order は 2 または 3 に設定することをお勧めします。solver_order=1 は DDIMScheduler と同等です。

Imagen の動的閾値化はサポートされており、ピクセル空間の拡散モデルでは、thresholding=True を設定することで動的閾値化を使用できます。

DEISMultistepScheduler[[diffusers.DEISMultistepScheduler]]

diffusers.DEISMultistepScheduler[[diffusers.DEISMultistepScheduler]]

diffusers.DEISMultistepScheduler(num_train_timesteps: int = 1000, beta_start: float = 0.0001, beta_end: float = 0.02, beta_schedule: typing.Literal['linear', 'scaled_linear', 'squaredcos_cap_v2'] = 'linear', trained_betas: numpy.ndarray | list[float] | None = None, solver_order: int = 2, prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction', 'flow_prediction'] = 'epsilon', thresholding: bool = False, dynamic_thresholding_ratio: float = 0.995, sample_max_value: float = 1.0, algorithm_type: typing.Literal['deis'] = 'deis', solver_type: typing.Literal['logrho'] = 'logrho', lower_order_final: bool = True, use_karras_sigmas: bool = False, use_exponential_sigmas: bool = False, use_beta_sigmas: bool = False, use_flow_sigmas: bool = False, flow_shift: float = 1.0, timestep_spacing: typing.Literal['linspace', 'leading', 'trailing'] = 'linspace', steps_offset: int = 0, use_dynamic_shifting: bool = False, time_shift_type: typing.Literal['exponential'] = 'exponential')

ソース

パラメータ:

num_train_timesteps (int、デフォルトは1000) : モデルを学習するための拡散ステップ数。

beta_start (float、デフォルトは0.0001) : 推論の初期beta値。

beta_end (float、デフォルトは 0.02) : 最終的な beta の値。

beta_schedule ("linear"、"scaled_linear"、または "squaredcos_cap_v2"、デフォルトは "linear") : ベータスケジュール。ベータの範囲から、モデルのステップ処理に使用するベータのシーケンスへのマッピングです。linear、scaled_linear、または squaredcos_cap_v2 から選択します。

trained_betas (np.ndarray または list[float]、任意) : beta_start と beta_end をバイパスして、ベータの配列を直接コンストラクタに渡す場合に使用します。

solver_order (int、デフォルトは2) : 1、2、3のいずれかを取れるDEISのオーダーです。ガイド付きサンプリングにはsolver_order=2、無条件サンプリングにはsolver_order=3の使用を推奨します。

prediction_type ("epsilon", "sample", "v_prediction", or "flow_prediction", defaults to "epsilon") : Prediction type of the scheduler function; can be epsilon (predicts the noise of the diffusion process), sample (directly predicts the noisy sample), v_prediction(see section 2.4 of [Imagen Video](https://huggingface.co/papers/2210.02303) paper), orflow_prediction`.

thresholding (bool、デフォルトはFalse) : 「動的閾値処理」メソッドを使用するかどうか。Stable Diffusion などの潜在空間拡散モデルには適していません。

dynamic_thresholding_ratio (float、デフォルトは0.995) : 動的閾値化手法における比率。thresholding=Trueの場合にのみ有効です。

sample_max_value (float、デフォルトは1.0) : 動的閾値処理の閾値。thresholding=Trueの場合にのみ有効です。

algorithm_type ("deis"、デフォルトは"deis") : ソルバーのアルゴリズムタイプ。

solver_type ("logrho"、デフォルトは "logrho") : DEIS のソルバータイプ。

lower_order_final (bool、デフォルトはTrue) : 最終ステップで低次数のソルバーを使用するかどうか。推論ステップ数が15未満の場合のみ有効です。

use_karras_sigmas (bool, 任意, デフォルトは False) : サンプリングプロセス中のノイズスケジュールにおけるステップサイズに Karras シグマを使用するかどうか。True の場合、シグマはノイズレベルの列 {σi} に基づいて決定されます。

use_exponential_sigmas (bool、任意、デフォルトはFalse) : サンプリングプロセス中のノイズスケジュールにおいて、ステップサイズに指数シグマを使用するかどうか。

use_beta_sigmas (bool, optional, defaults to False) : Whether to use beta sigmas for step sizes in the noise schedule during the sampling process. Refer to Beta Sampling is All You Need for more information.

use_flow_sigmas (bool、任意、デフォルトはFalse) : サンプリングプロセス中のノイズスケジュールにおいて、ステップサイズにフローシグマを使用するかどうか。

flow_shift (float、任意、デフォルトは 1.0) : フローベースモデルのフローシフトパラメータです。

timestep_spacing ("linspace", "leading", or "trailing", defaults to "linspace") : The way the timesteps should be scaled. Refer to Table 2 of the Common Diffusion Noise Schedules and Sample Steps are Flawed for more information.

steps_offset (int、デフォルトは0) : 一部のモデルファミリーで必要とされる、推論ステップに追加されるオフセットです。

use_dynamic_shifting (bool、デフォルトはFalse) : ノイズスケジュールに動的シフトを使用するかどうか。

time_shift_type ("exponential"、デフォルトは"exponential") : 適用する時間シフトの種類。

DEISMultistepScheduler は、拡散常微分方程式（ODE）を解く高速な高次ソルバーです。

このモデルは SchedulerMixin と ConfigMixin を継承しています。読み込みや保存など、ライブラリがすべてのスケジューラに対して実装している汎用的なメソッドについては、スーパークラスのドキュメントを参照してください。

add_noise[[diffusers.DEISMultistepScheduler.add_noise]]

add_noise(original_samples: Tensor, noise: Tensor, timesteps: IntTensor)

ソース

パラメータ:

original_samples (torch.Tensor) : ノイズが加えられていない元のサンプル。

noise (torch.Tensor) : サンプルに追加するノイズ。

timesteps (torch.IntTensor) : サンプルにノイズを付加するタイムステップ。

戻り値: torch.Tensor

ノイズ付きサンプル。

指定されたタイムステップにおけるノイズスケジュールに従って、元のサンプルにノイズを追加します。

convert_model_output[[diffusers.DEISMultistepScheduler.convert_model_output]]

convert_model_output(model_output: Tensor, *args, sample: Tensor = None, **kwargs)

ソース

パラメータ:

model_output (torch.Tensor) : 学習済み拡散モデルからの直接の出力です。

timestep (int) : 拡散チェーンにおける現在の離散タイムステップ。

sample (torch.Tensor) : 拡散プロセスによって生成されたサンプルの現在のインスタンス。

戻り値: torch.Tensor

変換後のモデルの出力。

DEISアルゴリズムが要求する対応する型に、モデルの出力を変換します。

deis_first_order_update[[diffusers.DEISMultistepScheduler.deis_first_order_update]]

deis_first_order_update(model_output: Tensor, *args, sample: Tensor = None, **kwargs)

ソース

パラメータ:

model_output (torch.Tensor) : 学習済み拡散モデルからの直接の出力です。

timestep (int) : 拡散チェーンにおける現在の離散タイムステップ。

prev_timestep (int) : 拡散チェーンにおける直前の離散タイムステップ。

sample (torch.Tensor) : 拡散プロセスによって生成されたサンプルの現在のインスタンス。

戻り値: torch.Tensor

前のタイムステップのサンプルテンソル。

1次DEIS（DDIMと同等）の1ステップ。

index_for_timestep[[diffusers.DEISMultistepScheduler.index_for_timestep]]

index_for_timestep(timestep: typing.Union[int, torch.Tensor], schedule_timesteps: typing.Optional[torch.Tensor] = None)

ソース

パラメータ:

timestep (int または torch.Tensor) : インデックスを特定するためのタイムステップ。

schedule_timesteps (torch.Tensor, 任意) : 検索対象のタイムステップスケジュール。None の場合は self.timesteps を使用します。

戻り値: int

スケジュールにおけるタイムステップのインデックス。

スケジュール内の指定されたタイムステップのインデックスを取得します。

multistep_deis_second_order_update[[diffusers.DEISMultistepScheduler.multistep_deis_second_order_update]]

multistep_deis_second_order_update(model_output_list: list[torch.Tensor], *args, sample: Tensor = None, **kwargs)

ソース

パラメータ:

model_output_list (list[torch.Tensor]) : 学習済み拡散モデルが現在のタイムステップおよびその後のタイムステップで直接出力する値。

sample (torch.Tensor) : 拡散プロセスによって生成されたサンプルの現在のインスタンス。

戻り値: torch.Tensor

前のタイムステップのサンプルテンソル。

2次多段DEISの1ステップ。

multistep_deis_third_order_update[[diffusers.DEISMultistepScheduler.multistep_deis_third_order_update]]

multistep_deis_third_order_update(model_output_list: list[torch.Tensor], *args, sample: Tensor = None, **kwargs)

ソース

パラメータ:

model_output_list (list[torch.Tensor]) : 学習済み拡散モデルが現在のタイムステップおよびその後のタイムステップで直接出力する値。

sample (torch.Tensor) : 拡散プロセスによって生成されたサンプルの現在のインスタンス。

戻り値: torch.Tensor

前のタイムステップのサンプルテンソル。

3次多ステップDEISの1ステップ。

scale_model_input[[diffusers.DEISMultistepScheduler.scale_model_input]]

scale_model_input(sample: Tensor, *args, **kwargs)

ソース

パラメータ:

sample (torch.Tensor) : 入力サンプル。

戻り値: torch.Tensor

スケーリングされた入力サンプル。

現在のタイムステップに応じて、デノイジングモデルの入力をスケーリングする必要があるスケジューラとの相互運用性を保証します。

set_begin_index[[diffusers.DEISMultistepScheduler.set_begin_index]]

set_begin_index(begin_index: int = 0)

ソース

パラメータ:

begin_index (int、デフォルトは0) : スケジューラの開始インデックス。

スケジューラの開始インデックスを設定します。この関数は、推論の前にパイプラインから実行する必要があります。

set_timesteps[[diffusers.DEISMultistepScheduler.set_timesteps]]

set_timesteps(num_inference_steps: int, device: typing.Union[str, torch.device] = None, mu: float | None = None)

ソース

パラメータ:

num_inference_steps (int) : 事前学習済みモデルでサンプルを生成する際に使用される拡散ステップの数。

device (str または torch.device、任意) : timesteps を移動先とするデバイスです。None の場合、timesteps は移動されません。

mu (float, 任意) : 動的シフト用の mu パラメータ。use_dynamic_shifting=True かつ time_shift_type="exponential" の場合のみ使用されます。

拡散チェーンで使用される離散タイムステップを設定します（推論の実行前に実行する必要があります）。

ステップ[[diffusers.DEISMultistepScheduler.step]]

step(model_output: Tensor, timestep: typing.Union[int, torch.Tensor], sample: Tensor, return_dict: bool = True)

ソース

パラメータ:

model_output (torch.Tensor) : 学習済み拡散モデルからの直接の出力です。

timestep (int または torch.Tensor) : 拡散チェーンにおける現在の離散タイムステップ。

sample (torch.Tensor) : 拡散プロセスによって生成されたサンプルの現在のインスタンス。

return_dict (bool、デフォルトはTrue) : SchedulerOutputを返すか、tupleを返すかを指定します。

戻り値: SchedulerOutput または tuple

True の場合、SchedulerOutput が返され、それ以外の場合は、最初の要素がサンプルテンソルであるタプルが返されます。

前のタイムステップのサンプルをSDEを逆方向に適用することで予測します。この関数は、マルチステップDEISを用いてサンプルを伝播します。

SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]]

diffusers.schedulers.scheduling_utils.SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]]

diffusers.schedulers.scheduling_utils.SchedulerOutput(prev_sample: Tensor)

ソース

パラメータ:

prev_sample (torch.Tensor、画像の場合は (batch_size, num_channels, height, width) の形状) : 前のタイムステップの計算済みサンプル (x_{t-1})。prev_sample は、デノイジングループの次のモデル入力として使用する必要があります。

スケジューラーのstep関数の出力の基底クラス。