Diffusers documentation
DPMSolverMultistepInverse
DPMSolverMultistepInverse
DPMSolverMultistepInverse는 Cheng Lu, Yuhao Zhou, Fan Bao, Jianfei Chen, Chongxuan Li, Jun Zhu가 발표한 DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps 및 DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models의 역(scheduler)입니다.
구현은 Guided Diffusion Models를 활용한 실제 이미지 편집을 위한 Null-text Inversion의 DDIM 역전환 정의와 Xiang-cd/DiffEdit-stable-diffusion의 DiffEdit 잠재 역전환 노트북 구현을 기반으로 합니다.
팁
Imagen의 동적 임계값 설정(dynamic thresholding)을 지원하며, 픽셀 공간 확산 모델의 경우 algorithm_type="dpmsolver++"와 thresholding=True를 모두 설정하여 동적 임계값 설정을 사용할 수 있습니다. 이 임계값 설정 방법은 Stable Diffusion과 같은 잠재 공간(latent-space) 확산 모델에는 적합하지 않습니다.
DPMSolverMultistepInverseScheduler
클래스 diffusers.DPMSolverMultistepInverseScheduler
< source >( num_train_timesteps: int = 1000beta_start: float = 0.0001beta_end: float = 0.02beta_schedule: typing.Literal['linear', 'scaled_linear', 'squaredcos_cap_v2'] = 'linear'trained_betas: numpy.ndarray | list[float] | None = Nonesolver_order: int = 2prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction', 'flow_prediction'] = 'epsilon'thresholding: bool = Falsedynamic_thresholding_ratio: float = 0.995sample_max_value: float = 1.0algorithm_type: typing.Literal['dpmsolver', 'dpmsolver++', 'sde-dpmsolver', 'sde-dpmsolver++'] = 'dpmsolver++'solver_type: typing.Literal['midpoint', 'heun'] = 'midpoint'lower_order_final: bool = Trueeuler_at_final: bool = Falseuse_karras_sigmas: bool = Falseuse_exponential_sigmas: bool = Falseuse_beta_sigmas: bool = Falseuse_flow_sigmas: bool = Falseflow_shift: float = 1.0lambda_min_clipped: float = -infvariance_type: typing.Optional[typing.Literal['learned', 'learned_range']] = Nonetimestep_spacing: typing.Literal['linspace', 'leading', 'trailing'] = 'linspace'steps_offset: int = 0 )
매개변수
- num_train_timesteps (
int, 기본값 1000) — 모델을 학습할 때 사용할 diffusion 단계 수입니다. - beta_start (
float, 기본값 0.0001) — 추론의 시작beta값입니다. - beta_end (
float, 기본값 0.02) — 최종beta값입니다. - beta_schedule (
str, 기본값"linear") — 모델의 스테핑을 위한 베타 범위에서 베타 시퀀스로의 매핑인 베타 스케줄입니다.linear,scaled_linear, 또는squaredcos_cap_v2중 하나를 선택합니다. - trained_betas (
np.ndarray, 선택 사항) —beta_start와beta_end를 우회하여 베타 배열을 생성자에 직접 전달합니다. - solver_order (
int, 기본값 2) —1또는2또는3일 수 있는 DPMSolver의 order입니다. guided sampling에는solver_order=2를, unconditional sampling에는solver_order=3를 사용하는 것이 권장됩니다. - prediction_type (
str, defaults toepsilon, optional) — Prediction type of the scheduler function; can beepsilon(predicts the noise of the diffusion process),sample(directly predicts the noisy sample) orv_prediction` (see section 2.4 of Imagen Video paper). - thresholding (
bool, 기본값False) — “동적 임계값 설정” 방법을 사용할지 여부입니다. Stable Diffusion과 같은 잠재 공간 확산 모델에는 적합하지 않습니다. - dynamic_thresholding_ratio (
float, 기본값 0.995) — 동적 임계값 설정 방법의 비율입니다.thresholding=True일 때만 유효합니다. - sample_max_value (
float, 기본값 1.0) — 동적 임계값 설정을 위한 임계값입니다.thresholding=True이고algorithm_type="dpmsolver++"인 경우에만 유효합니다. - algorithm_type (
str, 기본값dpmsolver++) — 솔버의 알고리즘 유형입니다.dpmsolver,dpmsolver++,sde-dpmsolver또는sde-dpmsolver++중 하나를 사용할 수 있습니다.dpmsolver유형은 DPMSolver 논문에서 제시한 알고리즘을 구현하며,dpmsolver++유형은 DPMSolver++ 논문에서 제시한 알고리즘을 구현합니다. Stable Diffusion과 같은 가이드드 샘플링의 경우dpmsolver++또는sde-dpmsolver++를solver_order=2와 함께 사용하는 것이 권장됩니다. - solver_type (
str, 기본값midpoint) — 2차 솔버의 Solver type입니다.midpoint또는heun를 사용할 수 있습니다. Solver type은 샘플 품질에 약간 영향을 미치며, 특히 스텝 수가 적은 경우에 그렇습니다.midpoint솔버 사용을 권장합니다. - lower_order_final (
bool, 기본값True) — 마지막 단계에서 저차수 솔버를 사용할지 여부입니다. 15 미만의 추론 단계에서만 유효합니다. 이는 15 미만의 단계, 특히 10 이하의 단계에서 DPMSolver의 샘플링을 안정화할 수 있습니다. - euler_at_final (
bool, 기본값False) — 마지막 단계에서 오일러 방법을 사용할지 여부입니다. 이는 수치적 안정성과 디테일의 풍부함 사이의 트레이드오프입니다. 추론 단계 수가 적은 경우 DPMSolver의 SDE 변형 샘플링을 안정화할 수 있지만, 때로는 흐려짐 현상을 유발할 수 있습니다. - use_karras_sigmas (
bool, 선택 사항, 기본값False) — 샘플링 과정에서 노이즈 스케줄의 단계 크기에 Karras sigmas를 사용할지 여부입니다.True인 경우, sigmas는 노이즈 레벨 {σi}의 시퀀스에 따라 결정됩니다. - use_exponential_sigmas (
bool, 선택 사항, 기본값False) — 샘플링 과정에서 노이즈 스케줄의 스텝 크기에 지수 시그마를 사용할지 여부입니다. - use_beta_sigmas (
bool, optional, defaults toFalse) — Whether to use beta sigmas for step sizes in the noise schedule during the sampling process. Refer to Beta Sampling is All You Need for more information. - use_flow_sigmas (
bool, 선택 사항, 기본값False) — 샘플링 과정에서 노이즈 스케줄의 스텝 크기에 flow sigmas를 사용할지 여부입니다. - flow_shift (
float, 선택 사항, 기본값 1.0) — Flow shift 계수입니다.use_flow_sigmas=True일 때만 유효합니다. - lambda_min_clipped (
float, 기본값-inf) — 수치적 안정성을 위해lambda(t)의 최소값에 적용되는 클리핑 임계값입니다. 이는 코사인(squaredcos_cap_v2) 노이즈 스케줄에서 매우 중요합니다. - variance_type (
str, 선택 사항) — 분산을 예측하는 diffusion 모델의 경우 “learned” 또는 “learned_range”로 설정합니다. 이 값이 설정되면 모델의 출력에 예측된 가우시안 분산이 포함됩니다. - timestep_spacing (
str, 기본값"linspace") — timestep을 스케일링하는 방식입니다. 자세한 내용은 공통 확산 노이즈 스케줄 및 샘플 스텝은 결함이 있습니다의 표 2를 참조하십시오. - steps_offset (
int, 기본값 0) — 일부 모델 계열에서 요구하는 추론 단계에 추가되는 오프셋입니다.
DPMSolverMultistepInverseScheduler는 DPMSolverMultistepScheduler의 역방향 스케줄러입니다.
이 모델은 SchedulerMixin과 ConfigMixin을 상속합니다. 로딩 및 저장과 같은 모든 스케줄러에 대해 라이브러리가 구현하는 일반적 메서드에 대해서는 상위 클래스 문서를 확인하세요.
add_noise
< source >( original_samples: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor
original_samples에 스케줄러의 동등한 함수를 사용하여 노이즈를 추가합니다.
convert_model_output
< source >( model_output: Tensor*argssample: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor
DPMSolver/DPMSolver++ 알고리즘이 요구하는 해당 유형으로 모델 출력을 변환합니다. DPM-Solver는 노이즈 예측 모델의 적분을 이산화하도록 설계되었으며, DPM-Solver++는 데이터 예측 모델의 적분을 이산화하도록 설계되었습니다.
> 알고리즘과 모델 유형은 분리되어 있습니다. 노이즈 > 예측 모델과 데이터 예측 모델 모두에 DPMSolver 또는 DPMSolver++를 사용할 수 있습니다.
dpm_solver_first_order_update
< source >( model_output: Tensor*argssample: typing.Optional[torch.Tensor] = Nonenoise: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor
1차 DPMSolver의 한 단계(DDIM과 동일).
multistep_dpm_solver_second_order_update
< source >( model_output_list: list*argssample: typing.Optional[torch.Tensor] = Nonenoise: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor
매개변수
- model_output_list (
list[torch.Tensor]) — 현재 및 이후 timestep에서 학습된 diffusion 모델의 직접 출력입니다. - sample (
torch.Tensor, 선택 사항) — 확산 과정에 의해 생성된 샘플의 현재 인스턴스입니다. - noise (
torch.Tensor, 선택 사항) — 확률적 (sde-*) 솔버 변형에서 사용되는 무작위 노이즈입니다.algorithm_type가 이 중 하나로 설정된 경우에만 필수이며, 그 외에는 사용되지 않습니다.
반환값
torch.Tensor
이전 시간 단계의 샘플 텐서.
2차 다단계 DPMSolver의 한 단계.
multistep_dpm_solver_third_order_update
< source >( model_output_list: list*argssample: typing.Optional[torch.Tensor] = Nonenoise: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor
3차 다단계 DPMSolver의 한 단계.
scale_model_input
< source >( sample: Tensor*args**kwargs ) → torch.Tensor
현재 timestep에 따라 denoising 모델 입력을 scale해야 하는 scheduler와의 호환성을 보장합니다.
set_timesteps
< source >( num_inference_steps: int | None = Nonedevice: typing.Union[str, torch.device, NoneType] = None )
추론 실행 전에 실행할 diffusion chain에 사용할 이산 timesteps를 설정합니다.
단계
< source >( model_output: Tensortimestep: typing.Union[int, torch.Tensor]sample: Tensorgenerator: typing.Optional[torch.Generator] = Nonevariance_noise: typing.Optional[torch.Tensor] = Nonereturn_dict: bool = True ) → SchedulerOutput or tuple
매개변수
- model_output (
torch.Tensor) — 학습된 diffusion 모델의 직접적인 출력입니다. - timestep (
int) — 확산 체인(diffusion chain)의 현재 이산 시간 단계(discrete timestep)입니다. - sample (
torch.Tensor) — 확산 과정에 의해 생성된 샘플의 현재 인스턴스입니다. - generator (
torch.Generator, 선택 사항) — 난수 생성기입니다. - variance_noise (
torch.Tensor) —generator를 사용하여 노이즈를 생성하는 대신, variance 자체에 대한 노이즈를 직접 제공하는 대안입니다.CycleDiffusion과 같은 방법에 유용합니다. - return_dict (
bool) —tuple대신 SchedulerOutput를 반환할지 여부.
반환값
SchedulerOutput 또는 tuple
return_dict가 True인 경우 SchedulerOutput이 반환되고, 그렇지 않으면 첫 번째 요소가 샘플 텐서인 튜플이 반환됩니다.
이전 시간 단계의 샘플을 SDE를 역방향으로 적용하여 예측합니다. 이 함수는 샘플을 멀티스텝 DPMSolver로 전파합니다.
SchedulerOutput
class diffusers.schedulers.scheduling_utils.SchedulerOutput
< source >( prev_sample: Tensor )
스케줄러의 step 함수 출력을 위한 베이스 클래스.