diffusers/main/ko/api/schedulers/singlestep_dpm_solver.md

DPMSolverSinglestepScheduler

DPMSolverSinglestepScheduler는 Cheng Lu, Yuhao Zhou, Fan Bao, Jianfei Chen, Chongxuan Li, Jun Zhu가 발표한 DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps 및 DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models에서 제시된 단일 스텝 스케줄러입니다.

DPMSolver (그리고 개선된 버전인 DPMSolver++)는 수렴 차수를 보장하는 확산 ODE를 위한 빠르고 전용적인 고차 솔버입니다. 경험적으로, DPMSolver 샘플링은 단 20단계만으로도 고품질 샘플을 생성할 수 있으며, 10단계에서도 상당히 좋은 샘플을 생성할 수 있습니다.

원래 구현은 LuChengTHU/dpm-solver에서 찾을 수 있습니다.

팁

가이드 샘플링의 경우 solver_order를 2로, 무조건 샘플링의 경우 solver_order=3으로 설정하는 것이 권장됩니다.

Imagen의 동적 임계값 설정(dynamic thresholding)을 지원하며, 픽셀 공간 확산 모델의 경우 algorithm_type="dpmsolver++"와 thresholding=True를 모두 설정하여 동적 임계값 설정을 사용할 수 있습니다. 이 임계값 설정 방법은 Stable Diffusion과 같은 잠재 공간(latent-space) 확산 모델에는 적합하지 않습니다.

DPMSolverSinglestepScheduler[[diffusers.DPMSolverSinglestepScheduler]]

diffusers.DPMSolverSinglestepScheduler[[diffusers.DPMSolverSinglestepScheduler]]

diffusers.DPMSolverSinglestepScheduler(num_train_timesteps: int = 1000, beta_start: float = 0.0001, beta_end: float = 0.02, beta_schedule: typing.Literal['linear', 'scaled_linear', 'squaredcos_cap_v2'] = 'linear', trained_betas: numpy.ndarray | list[float] | None = None, solver_order: int = 2, prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction', 'flow_prediction'] = 'epsilon', thresholding: bool = False, dynamic_thresholding_ratio: float = 0.995, sample_max_value: float = 1.0, algorithm_type: typing.Literal['dpmsolver', 'dpmsolver++', 'sde-dpmsolver++'] = 'dpmsolver++', solver_type: typing.Literal['midpoint', 'heun'] = 'midpoint', lower_order_final: bool = False, use_karras_sigmas: bool = False, use_exponential_sigmas: bool = False, use_beta_sigmas: bool = False, use_flow_sigmas: bool = False, flow_shift: float = 1.0, final_sigmas_type: typing.Literal['zero', 'sigma_min'] = 'zero', lambda_min_clipped: float = -inf, variance_type: typing.Optional[typing.Literal['learned', 'learned_range']] = None, use_dynamic_shifting: bool = False, time_shift_type: typing.Literal['exponential'] = 'exponential')

소스

매개변수:

num_train_timesteps (int, 기본값 1000) : 모델을 학습하기 위한 diffusion step 수입니다.

beta_start (float, 기본값 0.0001) : 추론의 시작 beta 값입니다.

beta_end (float, 기본값 0.02) : 최종 beta 값.

beta_schedule ("linear", "scaled_linear", 또는 "squaredcos_cap_v2", 기본값은 "linear") : 베타 스케줄로, 베타 범위를 모델 스테핑을 위한 베타 시퀀스로 매핑합니다. linear, scaled_linear, 또는 squaredcos_cap_v2 중 하나를 선택합니다.

trained_betas (np.ndarray 또는 list[float], 선택 사항) : beta_start와 beta_end를 우회하여 베타 배열을 생성자에 직접 전달합니다.

solver_order (int, 기본값 2) : 1 또는 2 또는 3일 수 있는 DPMSolver의 order입니다. guided sampling에는 solver_order=2를, unconditional sampling에는 solver_order=3를 사용하는 것이 권장됩니다.

prediction_type ("epsilon", "sample", "v_prediction", or "flow_prediction", defaults to "epsilon") : Prediction type of the scheduler function; can be epsilon (predicts the noise of the diffusion process), sample (directly predicts the noisy sample), v_prediction(see section 2.4 of [Imagen Video](https://huggingface.co/papers/2210.02303) paper), orflow_prediction`.

thresholding (bool, 기본값은 False) : "dynamic thresholding" 방법을 사용할지 여부입니다. Stable Diffusion과 같은 latent-space diffusion 모델에는 적합하지 않습니다.

dynamic_thresholding_ratio (float, 기본값 0.995) : 동적 임계값 설정 방법의 비율입니다. thresholding=True일 때만 유효합니다.

sample_max_value (float, 기본값 1.0) : 동적 임계값 처리의 임계값입니다. thresholding=True이고 algorithm_type="dpmsolver++"인 경우에만 유효합니다.

algorithm_type ("dpmsolver", "dpmsolver++", 또는 "sde-dpmsolver++", 기본값은 "dpmsolver++") : 솔버의 알고리즘 유형으로, dpmsolver, dpmsolver++, 또는 sde-dpmsolver++를 사용할 수 있습니다. dpmsolver 유형은 DPMSolver 논문에서 제시한 알고리즘을 구현하고, dpmsolver++ 유형은 DPMSolver++ 논문에서 제시한 알고리즘을 구현합니다. Stable Diffusion과 같은 가이드된 샘플링의 경우 solver_order=2와 함께 dpmsolver++ 또는 sde-dpmsolver++ 사용을 권장합니다.

solver_type ("midpoint" 또는 "heun", 기본값은 "midpoint") : 2차 솔버의 Solver type; midpoint 또는 heun를 사용할 수 있습니다. Solver type은 샘플 품질에 약간 영향을 미치며, 특히 스텝 수가 적은 경우에 그렇습니다. midpoint 솔버 사용을 권장합니다.

lower_order_final (bool, 기본값 False) : 최종 단계에서 저차 솔버를 사용할지 여부입니다. 15 미만의 추론 단계에서만 유효합니다. 이는 15 미만의 단계, 특히 10 이하의 단계에서 DPMSolver의 샘플링을 안정화할 수 있습니다.

use_karras_sigmas (bool, 선택 사항, 기본값 False) : 샘플링 과정에서 노이즈 스케줄의 단계 크기에 Karras sigmas를 사용할지 여부입니다. True인 경우, sigmas는 노이즈 레벨 {σi}의 시퀀스에 따라 결정됩니다.

use_exponential_sigmas (bool, 선택 사항, 기본값 False) : 샘플링 과정에서 노이즈 스케줄의 스텝 크기에 지수 시그마를 사용할지 여부입니다.

use_beta_sigmas (bool, optional, defaults to False) : Whether to use beta sigmas for step sizes in the noise schedule during the sampling process. Refer to Beta Sampling is All You Need for more information.

use_flow_sigmas (bool, 선택 사항, 기본값 False) : 샘플링 과정에서 노이즈 스케줄의 스텝 크기에 flow sigmas를 사용할지 여부.

flow_shift (float, 선택 사항, 기본값 1.0) : flow 기반 모델의 flow shift 매개변수입니다.

final_sigmas_type ("zero" 또는 "sigma_min", 선택 사항, 기본값은 "zero") : 샘플링 과정에서 노이즈 스케줄의 최종 sigma 값입니다. "sigma_min"인 경우, 최종 sigma는 학습 스케줄의 마지막 sigma와 동일합니다. "zero"인 경우, 최종 sigma는 0으로 설정됩니다.

lambda_min_clipped (float, 기본값 -inf) : 수치적 안정성을 위해 lambda(t)의 최소값에 적용되는 클리핑 임계값입니다. 이는 코사인(squaredcos_cap_v2) 노이즈 스케줄에서 매우 중요합니다.

variance_type ("learned" 또는 "learned_range", 선택 사항) : 분산을 예측하는 diffusion 모델의 경우 "learned" 또는 "learned_range"로 설정합니다. 이 값이 설정되면 모델의 출력에 예측된 가우시안 분산이 포함됩니다.

use_dynamic_shifting (bool, 기본값 False) : 노이즈 스케줄에 동적 시프트를 사용할지 여부.

time_shift_type ("exponential", 기본값은 "exponential") : 적용할 시간 시프트의 유형입니다.

DPMSolverSinglestepScheduler은 확산 ODE를 위한 빠른 전용 고차 솔버입니다.

이 모델은 SchedulerMixin과 ConfigMixin을 상속합니다. 로딩 및 저장과 같은 모든 스케줄러에 대해 라이브러리가 구현하는 일반적 메서드에 대해서는 상위 클래스 문서를 확인하세요.

add_noise[[diffusers.DPMSolverSinglestepScheduler.add_noise]]

add_noise(original_samples: Tensor, noise: Tensor, timesteps: IntTensor)

소스

매개변수:

original_samples (torch.Tensor) : 노이즈가 없는 원래 샘플.

noise (torch.Tensor) : 샘플에 추가할 노이즈.

timesteps (torch.IntTensor) : 샘플에 노이즈를 추가할 타임스텝.

반환값: torch.Tensor

노이즈가 포함된 샘플.

지정된 timesteps의 noise schedule에 따라 원래 샘플에 노이즈를 추가합니다.

convert_model_output[[diffusers.DPMSolverSinglestepScheduler.convert_model_output]]

convert_model_output(model_output: Tensor, *args, sample: typing.Optional[torch.Tensor] = None, **kwargs)

소스

매개변수:

model_output (torch.Tensor) : 학습된 diffusion 모델의 직접적인 출력입니다.

sample (torch.Tensor) : 확산 과정에서 생성된 샘플의 현재 인스턴스.

반환값: torch.Tensor

변환된 모델 출력

DPMSolver/DPMSolver++ 알고리즘이 요구하는 해당 유형으로 모델 출력을 변환합니다. DPM-Solver는 노이즈 예측 모델의 적분을 이산화하도록 설계되었으며, DPM-Solver++는 데이터 예측 모델의 적분을 이산화하도록 설계되었습니다.

> 알고리즘과 모델 유형은 분리되어 있습니다. DPMSolver 또는 DPMSolver++를 둘 다에 사용할 수 있습니다 noise > 예측 및 데이터 예측 모델.

dpm_solver_first_order_update[[diffusers.DPMSolverSinglestepScheduler.dpm_solver_first_order_update]]

dpm_solver_first_order_update(model_output: Tensor, *args, sample: typing.Optional[torch.Tensor] = None, noise: typing.Optional[torch.Tensor] = None, **kwargs)

소스

매개변수:

model_output (torch.Tensor) : 학습된 diffusion 모델의 직접적인 출력입니다.

timestep (int) : 확산 체인(diffusion chain)의 현재 이산 시간 단계(discrete timestep).

prev_timestep (int) : 확산 체인에서 이전의 이산 시간 단계입니다.

sample (torch.Tensor) : 확산 과정에서 생성된 샘플의 현재 인스턴스.

noise (torch.Tensor, 선택) : 확률적 (sde-*) 솔버 변형에서 사용되는 랜덤 노이즈입니다. algorithm_type이 그 중 하나로 설정된 경우에만 필요하며, 그렇지 않으면 사용되지 않습니다.

반환값: torch.Tensor

이전 시간 단계의 샘플 텐서.

1차 DPMSolver의 한 단계(DDIM과 동일).

get_order_list[[diffusers.DPMSolverSinglestepScheduler.get_order_list]]

get_order_list(num_inference_steps: int)

소스

매개변수:

num_inference_steps (int) : 사전 학습된 모델로 샘플을 생성할 때 사용되는 확산 단계의 수.

반환값: list[int]

각 timestep에 대한 solver orders 목록입니다.

각 시간 단계에서 솔버 순서를 계산합니다.

index_for_timestep[[diffusers.DPMSolverSinglestepScheduler.index_for_timestep]]

index_for_timestep(timestep: typing.Union[int, torch.Tensor], schedule_timesteps: typing.Optional[torch.Tensor] = None)

소스

매개변수:

timestep (int 또는 torch.Tensor) : 인덱스를 찾을 타임스텝입니다.

schedule_timesteps (torch.Tensor, 선택 사항) : 검색할 timestep schedule입니다. None인 경우 self.timesteps를 사용합니다.

반환값: int

schedule에서 timestep의 인덱스입니다.

schedule에서 주어진 timestep에 해당하는 인덱스를 찾습니다.

scale_model_input[[diffusers.DPMSolverSinglestepScheduler.scale_model_input]]

scale_model_input(sample: Tensor, *args, **kwargs)

소스

매개변수:

sample (torch.Tensor) : 입력 샘플.

반환값: torch.Tensor

스케일된 입력 샘플.

현재 타임스텝에 따라 디노이징 모델 입력을 스케일링해야 하는 스케줄러와의 호환성을 보장합니다.

set_begin_index[[diffusers.DPMSolverSinglestepScheduler.set_begin_index]]

set_begin_index(begin_index: int = 0)

소스

매개변수:

begin_index (int, 기본값 0) : 스케줄러의 시작 인덱스입니다.

… 스케줄러의 시작 인덱스를 설정합니다. 이 함수는 추론 전에 파이프라인에서 실행해야 합니다.

set_timesteps[[diffusers.DPMSolverSinglestepScheduler.set_timesteps]]

set_timesteps(num_inference_steps: int = None, device: typing.Union[str, torch.device] = None, mu: float | None = None, timesteps: list[int] | None = None)

소스

매개변수:

num_inference_steps (int, 선택 사항) : 사전 학습된 모델로 샘플을 생성할 때 사용되는 확산 단계 수입니다.

device (str 또는 torch.device, 선택 사항) : timesteps를 이동할 대상 device입니다. None인 경우 timesteps는 이동되지 않습니다.

mu (float, 선택 사항) : 동적 시간 시프트의 지수입니다. use_dynamic_shifting이 필요하며 time_shift_type이 "exponential"여야 합니다. 값이 전달되면 flow_shift가 exp(mu)로 설정됩니다.

timesteps (list[int], 선택 사항) : timestep 간 임의의 간격을 지원하기 위해 사용되는 사용자 지정 timestep입니다. None인 경우, timestep 간 균등 간격을 사용하는 기본 timestep 간격 전략이 적용됩니다. timesteps가 전달되면 num_inference_steps는 None이어야 합니다.

추론 실행 전에 실행할 diffusion chain에 사용할 이산 timesteps를 설정합니다.

singlestep_dpm_solver_second_order_update[[diffusers.DPMSolverSinglestepScheduler.singlestep_dpm_solver_second_order_update]]

singlestep_dpm_solver_second_order_update(model_output_list: list[torch.Tensor], *args, sample: typing.Optional[torch.Tensor] = None, noise: typing.Optional[torch.Tensor] = None, **kwargs)

소스

매개변수:

model_output_list (list[torch.Tensor]) : 현재 및 이후 timestep에서 학습된 diffusion 모델의 직접 출력입니다.

timestep (int) : 확산 체인에서 현재 및 후속 이산 시간 단계.

prev_timestep (int) : 확산 체인에서 이전의 이산 시간 단계입니다.

sample (torch.Tensor) : 확산 과정에서 생성된 샘플의 현재 인스턴스.

noise (torch.Tensor, 선택) : 확률적 (sde-*) 솔버 변형에서 사용되는 랜덤 노이즈입니다. algorithm_type이 그 중 하나로 설정된 경우에만 필요하며, 그렇지 않으면 사용되지 않습니다.

반환값: torch.Tensor

이전 시간 단계의 샘플 텐서.

timestep_list[-2] 시점으로부터 prev_timestep 시점의 해를 계산하는 2차 singlestep DPMSolver의 한 단계입니다.

singlestep_dpm_solver_third_order_update[[diffusers.DPMSolverSinglestepScheduler.singlestep_dpm_solver_third_order_update]]

singlestep_dpm_solver_third_order_update(model_output_list: list[torch.Tensor], *args, sample: typing.Optional[torch.Tensor] = None, noise: typing.Optional[torch.Tensor] = None, **kwargs)

소스

매개변수:

model_output_list (list[torch.Tensor]) : 현재 및 이후 timestep에서 학습된 diffusion 모델의 직접 출력입니다.

timestep (int) : 확산 체인에서 현재 및 후속 이산 시간 단계.

prev_timestep (int) : 확산 체인에서 이전의 이산 시간 단계입니다.

sample (torch.Tensor) : diffusion process에 의해 생성된 샘플의 현재 인스턴스.

noise (torch.Tensor, 선택) : 확률적 (sde-*) 솔버 변형에서 사용되는 랜덤 노이즈입니다. algorithm_type이 그 중 하나로 설정된 경우에만 필요하며, 그렇지 않으면 사용되지 않습니다.

반환값: torch.Tensor

이전 시간 단계의 샘플 텐서.

timestep_list[-3] 시점으로부터 prev_timestep 시점의 해를 계산하는 3차 singlestep DPMSolver의 한 단계입니다.

singlestep_dpm_solver_update[[diffusers.DPMSolverSinglestepScheduler.singlestep_dpm_solver_update]]

singlestep_dpm_solver_update(model_output_list: list[torch.Tensor], *args, sample: typing.Optional[torch.Tensor] = None, order: int = None, noise: typing.Optional[torch.Tensor] = None, **kwargs)

소스

매개변수:

model_output_list (list[torch.Tensor]) : 현재 및 이후 timestep에서 학습된 diffusion 모델의 직접 출력입니다.

timestep (int) : 확산 체인에서 현재 및 후속 이산 시간 단계.

prev_timestep (int) : 확산 체인에서 이전의 이산 시간 단계입니다.

sample (torch.Tensor) : diffusion process에 의해 생성된 샘플의 현재 인스턴스.

order (int) : 이 단계의 솔버 순서입니다.

noise (torch.Tensor, 선택) : 확률적 (sde-*) 솔버 변형에서 사용되는 랜덤 노이즈입니다. algorithm_type이 그 중 하나로 설정된 경우에만 필요하며, 그렇지 않으면 사용되지 않습니다.

반환값: torch.Tensor

이전 시간 단계의 샘플 텐서.

singlestep DPMSolver의 한 단계.

step[[diffusers.DPMSolverSinglestepScheduler.step]]

step(model_output: Tensor, timestep: typing.Union[int, torch.Tensor], sample: Tensor, generator: typing.Optional[torch.Generator] = None, return_dict: bool = True)

소스

매개변수:

model_output (torch.Tensor) : 학습된 diffusion model의 직접적인 출력입니다.

timestep (int 또는 torch.Tensor) : 확산 체인(diffusion chain)의 현재 이산 시간 단계(discrete timestep).

sample (torch.Tensor) : 확산 과정에서 생성된 샘플의 현재 인스턴스.

generator (torch.Generator, 선택 사항) : 확률적 샘플링을 위한 난수 생성기입니다.

return_dict (bool, 기본값 True) : SchedulerOutput 또는 tuple를 반환할지 여부.

반환값: SchedulerOutput 또는 tuple

return_dict가 True인 경우 SchedulerOutput이 반환되고, 그렇지 않으면 첫 번째 요소가 샘플 텐서인 튜플이 반환됩니다.

이전 시간 단계의 샘플을 SDE를 역방향으로 적용하여 예측합니다. 이 함수는 singlestep DPMSolver로 샘플을 전파합니다.

SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]]

diffusers.schedulers.scheduling_utils.SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]]

diffusers.schedulers.scheduling_utils.SchedulerOutput(prev_sample: Tensor)

소스

매개변수:

prev_sample (torch.Tensor, 이미지인 경우 shape는 (batch_size, num_channels, height, width)) : 이전 timestep의 계산된 샘플 (x_{t-1}). prev_sample은 denoising 루프에서 다음 모델 입력으로 사용해야 합니다.

스케줄러의 step 함수 출력을 위한 베이스 클래스.