Diffusers documentation
DPMSolverSinglestepScheduler
DPMSolverSinglestepScheduler
DPMSolverSinglestepScheduler는 Cheng Lu, Yuhao Zhou, Fan Bao, Jianfei Chen, Chongxuan Li, Jun Zhu가 발표한 DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps 및 DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models에서 제시된 단일 스텝 스케줄러입니다.
DPMSolver(개선된 버전인 DPMSolver++ 포함)는 수렴 차수를 보장하는 확산 ODE를 위한 빠르고 전용적인 고차 솔버입니다. 경험적으로, DPMSolver 샘플링은 단 20단계만으로도 고품질 샘플을 생성할 수 있으며, 10단계에서도 상당히 좋은 샘플을 생성할 수 있습니다.
원래 구현은 LuChengTHU/dpm-solver에서 찾을 수 있습니다.
팁
가이드 샘플링의 경우 solver_order를 2로, 무조건 샘플링의 경우 solver_order=3으로 설정하는 것이 권장됩니다.
Imagen의 동적 임계값 설정(dynamic thresholding)을 지원하며, 픽셀 공간 확산 모델의 경우 algorithm_type="dpmsolver++"와 thresholding=True를 모두 설정하여 동적 임계값 설정을 사용할 수 있습니다. 이 임계값 설정 방법은 Stable Diffusion과 같은 잠재 공간(latent-space) 확산 모델에는 적합하지 않습니다.
DPMSolverSinglestepScheduler
클래스 diffusers.DPMSolverSinglestepScheduler
< source >( num_train_timesteps: int = 1000beta_start: float = 0.0001beta_end: float = 0.02beta_schedule: typing.Literal['linear', 'scaled_linear', 'squaredcos_cap_v2'] = 'linear'trained_betas: numpy.ndarray | list[float] | None = Nonesolver_order: int = 2prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction', 'flow_prediction'] = 'epsilon'thresholding: bool = Falsedynamic_thresholding_ratio: float = 0.995sample_max_value: float = 1.0algorithm_type: typing.Literal['dpmsolver', 'dpmsolver++', 'sde-dpmsolver++'] = 'dpmsolver++'solver_type: typing.Literal['midpoint', 'heun'] = 'midpoint'lower_order_final: bool = Falseuse_karras_sigmas: bool = Falseuse_exponential_sigmas: bool = Falseuse_beta_sigmas: bool = Falseuse_flow_sigmas: bool = Falseflow_shift: float = 1.0final_sigmas_type: typing.Literal['zero', 'sigma_min'] = 'zero'lambda_min_clipped: float = -infvariance_type: typing.Optional[typing.Literal['learned', 'learned_range']] = Noneuse_dynamic_shifting: bool = Falsetime_shift_type: typing.Literal['exponential'] = 'exponential' )
매개변수
- num_train_timesteps (
int, 기본값1000) — 모델을 학습할 때 사용할 diffusion 단계 수입니다. - beta_start (
float, 기본값0.0001) — 추론의 시작beta값입니다. - beta_end (
float, 기본값0.02) — 최종beta값입니다. - beta_schedule (
"linear","scaled_linear", 또는"squaredcos_cap_v2", 기본값은"linear") — 모델의 스테핑을 위한 베타 범위에서 베타 시퀀스로의 매핑인 베타 스케줄입니다.linear,scaled_linear, 또는squaredcos_cap_v2중 하나를 선택합니다. - trained_betas (
np.ndarray또는list[float], 선택 사항) —beta_start와beta_end를 우회하여 베타 배열을 생성자에 직접 전달합니다. - solver_order (
int, 기본값2) —1또는2또는3일 수 있는 DPMSolver의 order입니다. guided sampling에는solver_order=2를, unconditional sampling에는solver_order=3를 사용하는 것이 권장됩니다. - prediction_type (
"epsilon","sample","v_prediction", or"flow_prediction", defaults to"epsilon") — Prediction type of the scheduler function; can beepsilon(predicts the noise of the diffusion process),sample(directly predicts the noisy sample),v_prediction(see section 2.4 of [Imagen Video](https://huggingface.co/papers/2210.02303) paper), orflow_prediction`. - thresholding (
bool, 기본값False) — “동적 임계값 설정” 방법을 사용할지 여부입니다. Stable Diffusion과 같은 잠재 공간 확산 모델에는 적합하지 않습니다. - dynamic_thresholding_ratio (
float, 기본값0.995) — 동적 임계값 설정 방법의 비율입니다.thresholding=True일 때만 유효합니다. - sample_max_value (
float, 기본값1.0) — 동적 임계값 설정을 위한 임계값입니다.thresholding=True이고algorithm_type="dpmsolver++"인 경우에만 유효합니다. - algorithm_type (
"dpmsolver","dpmsolver++", 또는"sde-dpmsolver++", 기본값은"dpmsolver++") — 솔버의 알고리즘 유형으로,dpmsolver,dpmsolver++, 또는sde-dpmsolver++를 사용할 수 있습니다.dpmsolver유형은 DPMSolver 논문에서 제시한 알고리즘을 구현하며,dpmsolver++유형은 DPMSolver++ 논문에서 제시한 알고리즘을 구현합니다. Stable Diffusion과 같은 가이드된 샘플링의 경우dpmsolver++또는sde-dpmsolver++를solver_order=2와 함께 사용하는 것이 권장됩니다. - solver_type (
"midpoint"또는"heun", 기본값은"midpoint") — 2차 솔버의 솔버 유형입니다.midpoint또는heun를 사용할 수 있습니다. 솔버 유형은 샘플 품질에 약간 영향을 미치며, 특히 스텝 수가 적은 경우에 그렇습니다.midpoint솔버 사용을 권장합니다. - lower_order_final (
bool, 기본값False) — 마지막 단계에서 저차수 솔버를 사용할지 여부입니다. 15 미만의 추론 단계에서만 유효합니다. 이는 15 미만의 단계, 특히 10 이하의 단계에서 DPMSolver의 샘플링을 안정화할 수 있습니다. - use_karras_sigmas (
bool, 선택 사항, 기본값False) — 샘플링 과정에서 노이즈 스케줄의 단계 크기에 Karras sigmas를 사용할지 여부입니다.True인 경우, sigmas는 노이즈 레벨 {σi}의 시퀀스에 따라 결정됩니다. - use_exponential_sigmas (
bool, 선택 사항, 기본값False) — 샘플링 과정에서 노이즈 스케줄의 스텝 크기에 지수 시그마를 사용할지 여부입니다. - use_beta_sigmas (
bool, optional, defaults toFalse) — Whether to use beta sigmas for step sizes in the noise schedule during the sampling process. Refer to Beta Sampling is All You Need for more information. - use_flow_sigmas (
bool, 선택 사항, 기본값False) — 샘플링 과정에서 노이즈 스케줄의 스텝 크기에 flow sigmas를 사용할지 여부입니다. - flow_shift (
float, 선택 사항, 기본값1.0) — Flow 기반 모델의 flow shift 매개변수입니다. - final_sigmas_type (
"zero"또는"sigma_min", 선택 사항, 기본값은"zero") — 샘플링 과정에서 노이즈 스케줄의 최종sigma값입니다."sigma_min"인 경우, 최종 sigma는 학습 스케줄의 마지막 sigma와 동일합니다."zero"인 경우, 최종 sigma는 0으로 설정됩니다. - lambda_min_clipped (
float, 기본값-inf) — 수치적 안정성을 위해lambda(t)의 최소값에 적용되는 클리핑 임계값입니다. 이는 코사인(squaredcos_cap_v2) 노이즈 스케줄에서 매우 중요합니다. - variance_type (
"learned"또는"learned_range", 선택 사항) — 분산을 예측하는 diffusion 모델의 경우"learned"또는"learned_range"로 설정합니다. 이 값이 설정되면 모델의 출력에 예측된 가우시안 분산이 포함됩니다. - use_dynamic_shifting (
bool, 기본값False) — 노이즈 스케줄에 동적 시프트를 사용할지 여부입니다. - time_shift_type (
"exponential", 기본값"exponential") — 적용할 시간 시프트의 유형입니다.
DPMSolverSinglestepScheduler은 확산 ODE를 위한 빠른 전용 고차 솔버입니다.
이 모델은 SchedulerMixin과 ConfigMixin을 상속합니다. 로딩 및 저장과 같은 모든 스케줄러에 대해 라이브러리가 구현하는 일반적 메서드에 대해서는 상위 클래스 문서를 확인하세요.
add_noise
< source >( original_samples: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor
지정된 timesteps의 noise schedule에 따라 원래 샘플에 노이즈를 추가합니다.
convert_model_output
< source >( model_output: Tensor*argssample: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor
DPMSolver/DPMSolver++ 알고리즘이 요구하는 해당 유형으로 모델 출력을 변환합니다. DPM-Solver는 노이즈 예측 모델의 적분을 이산화하도록 설계되었으며, DPM-Solver++는 데이터 예측 모델의 적분을 이산화하도록 설계되었습니다.
> 알고리즘과 모델 유형은 분리되어 있습니다. 노이즈 > 예측 모델과 데이터 예측 모델 모두에 DPMSolver 또는 DPMSolver++를 사용할 수 있습니다.
dpm_solver_first_order_update
< source >( model_output: Tensor*argssample: typing.Optional[torch.Tensor] = Nonenoise: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor
매개변수
- model_output (
torch.Tensor) — 학습된 diffusion 모델의 직접적인 출력입니다. - timestep (
int) — 확산 체인(diffusion chain)의 현재 이산 시간 단계(discrete timestep)입니다. - prev_timestep (
int) — 확산 체인에서 이전의 이산 시간 단계입니다. - sample (
torch.Tensor) — 확산 과정에 의해 생성된 샘플의 현재 인스턴스입니다. - noise (
torch.Tensor, 선택 사항) — 확률적 (sde-*) 솔버 변형에서 사용되는 무작위 노이즈입니다.algorithm_type가 이 중 하나로 설정된 경우에만 필수이며, 그 외에는 사용되지 않습니다.
반환값
torch.Tensor
이전 시간 단계의 샘플 텐서.
1차 DPMSolver의 한 단계(DDIM과 동일).
get_order_list
< source >( num_inference_steps: int ) → list[int]
각 시간 단계에서 솔버 순서를 계산합니다.
index_for_timestep
< source >( timestep: typing.Union[int, torch.Tensor]schedule_timesteps: typing.Optional[torch.Tensor] = None ) → int
schedule에서 주어진 timestep에 해당하는 인덱스를 찾습니다.
scale_model_input
< source >( sample: Tensor*args**kwargs ) → torch.Tensor
현재 timestep에 따라 denoising 모델 입력을 scale해야 하는 scheduler와의 호환성을 보장합니다.
set_begin_index
< source >( begin_index: int = 0 )
… 스케줄러의 시작 인덱스를 설정합니다. 이 함수는 추론 전에 파이프라인에서 실행해야 합니다.
set_timesteps
< source >( num_inference_steps: int = Nonedevice: typing.Union[str, torch.device] = Nonemu: float | None = Nonetimesteps: list[int] | None = None )
매개변수
- num_inference_steps (
int, 선택 사항) — 학습된 모델로 샘플을 생성할 때 사용되는 diffusion 단계 수입니다. - device (
str또는torch.device, 선택 사항) — timesteps를 이동할 대상 device입니다.None인 경우 timesteps는 이동되지 않습니다. - mu (
float, 선택 사항) — 동적 시간 시프트의 지수입니다.use_dynamic_shifting이 필요하며time_shift_type이"exponential"여야 합니다. 값이 전달되면flow_shift가exp(mu)로 설정됩니다. - timesteps (
list[int], 선택 사항) — timesteps 사이의 간격을 자유롭게 지정하기 위해 사용하는 사용자 정의 timesteps입니다.None인 경우, timesteps 간격을 균등하게 나누는 기본 스케줄 전략이 사용됩니다.timesteps가 전달되면num_inference_steps는None이어야 합니다.
추론 실행 전에 실행할 diffusion chain에 사용할 이산 timesteps를 설정합니다.
singlestep_dpm_solver_second_order_update
< source >( model_output_list: list*argssample: typing.Optional[torch.Tensor] = Nonenoise: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor
매개변수
- model_output_list (
list[torch.Tensor]) — 현재 및 이후 timestep에서 학습된 diffusion 모델의 직접 출력입니다. - timestep (
int) — 확산 체인에서 현재 및 이후의 이산 시간 단계입니다. - prev_timestep (
int) — 확산 체인에서 이전의 이산 시간 단계입니다. - sample (
torch.Tensor) — 확산 과정에 의해 생성된 샘플의 현재 인스턴스입니다. - noise (
torch.Tensor, 선택 사항) — 확률적 (sde-*) 솔버 변형에서 사용되는 무작위 노이즈입니다.algorithm_type가 이 중 하나로 설정된 경우에만 필수이며, 그 외에는 사용되지 않습니다.
반환값
torch.Tensor
이전 시간 단계의 샘플 텐서.
timestep_list[-2] 시점으로부터 prev_timestep 시점의 해를 계산하는 2차 singlestep DPMSolver의 한 단계입니다.
singlestep_dpm_solver_third_order_update
< source >( model_output_list: list*argssample: typing.Optional[torch.Tensor] = Nonenoise: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor
매개변수
- model_output_list (
list[torch.Tensor]) — 현재 및 이후 timestep에서 학습된 diffusion 모델의 직접 출력입니다. - timestep (
int) — 확산 체인에서 현재 및 이후의 이산 시간 단계입니다. - prev_timestep (
int) — 확산 체인에서 이전의 이산 시간 단계입니다. - sample (
torch.Tensor) — 확산 과정에 의해 생성된 샘플의 현재 인스턴스입니다. - noise (
torch.Tensor, 선택 사항) — 확률적 (sde-*) 솔버 변형에서 사용되는 무작위 노이즈입니다.algorithm_type가 이 중 하나로 설정된 경우에만 필수이며, 그 외에는 사용되지 않습니다.
반환값
torch.Tensor
이전 시간 단계의 샘플 텐서.
timestep_list[-3] 시점으로부터 prev_timestep 시점의 해를 계산하는 3차 singlestep DPMSolver의 한 단계입니다.
singlestep_dpm_solver_update
< source >( model_output_list: list*argssample: typing.Optional[torch.Tensor] = Noneorder: int = Nonenoise: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor
매개변수
- model_output_list (
list[torch.Tensor]) — 현재 및 이후 timestep에서 학습된 diffusion 모델의 직접 출력입니다. - timestep (
int) — 확산 체인에서 현재 및 이후의 이산 시간 단계입니다. - prev_timestep (
int) — 확산 체인에서 이전의 이산 시간 단계입니다. - sample (
torch.Tensor) — 확산 과정에 의해 생성된 샘플의 현재 인스턴스입니다. - order (
int) — 해당 단계의 솔버 순서입니다. - noise (
torch.Tensor, 선택 사항) — 확률적 (sde-*) 솔버 변형에서 사용되는 무작위 노이즈입니다.algorithm_type가 이 중 하나로 설정된 경우에만 필수이며, 그 외에는 사용되지 않습니다.
반환값
torch.Tensor
이전 시간 단계의 샘플 텐서.
singlestep DPMSolver의 한 단계.
단계
< source >( model_output: Tensortimestep: typing.Union[int, torch.Tensor]sample: Tensorgenerator: typing.Optional[torch.Generator] = Nonereturn_dict: bool = True ) → SchedulerOutput or tuple
매개변수
- model_output (
torch.Tensor) — 학습된 diffusion 모델의 직접적인 출력입니다. - timestep (
int또는torch.Tensor) — 확산 체인(diffusion chain)의 현재 이산 시간 단계(discrete timestep)입니다. - sample (
torch.Tensor) — 확산 과정에 의해 생성된 샘플의 현재 인스턴스입니다. - generator (
torch.Generator, 선택 사항) — 확률적 샘플링을 위한 난수 생성기입니다. - return_dict (
bool, 기본값True) —tuple대신 SchedulerOutput를 반환할지 여부.
반환값
SchedulerOutput 또는 tuple
return_dict가 True인 경우 SchedulerOutput이 반환되고, 그렇지 않으면 첫 번째 요소가 샘플 텐서인 튜플이 반환됩니다.
이전 시간 단계의 샘플을 SDE를 역방향으로 적용하여 예측합니다. 이 함수는 singlestep DPMSolver로 샘플을 전파합니다.
SchedulerOutput
class diffusers.schedulers.scheduling_utils.SchedulerOutput
< source >( prev_sample: Tensor )
스케줄러의 step 함수 출력을 위한 베이스 클래스.