Diffusers documentation
DPMSolverMultistepInverse
DPMSolverMultistepInverse
DPMSolverMultistepInverse es el programador invertido de DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps y DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models de Cheng Lu, Yuhao Zhou, Fan Bao, Jianfei Chen, Chongxuan Li y Jun Zhu.
La implementación se basa principalmente en la definición de inversión DDIM de Null-text Inversion for Editing Real Images using Guided Diffusion Models y en la implementación del notebook de la inversión latente de DiffEdit de Xiang-cd/DiffEdit-stable-diffusion.
Consejos
El umbral dinámico de Imagen es compatible y, para los modelos de difusión en el espacio de píxeles, puede establecer tanto algorithm_type="dpmsolver++" como thresholding=True para utilizar el umbral dinámico. Este método de umbral no es adecuado para los modelos de difusión en el espacio latente, como Stable Diffusion.
DPMSolverMultistepInverseScheduler
clase diffusers.DPMSolverMultistepInverseScheduler
< source >( num_train_timesteps: int = 1000beta_start: float = 0.0001beta_end: float = 0.02beta_schedule: typing.Literal['linear', 'scaled_linear', 'squaredcos_cap_v2'] = 'linear'trained_betas: numpy.ndarray | list[float] | None = Nonesolver_order: int = 2prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction', 'flow_prediction'] = 'epsilon'thresholding: bool = Falsedynamic_thresholding_ratio: float = 0.995sample_max_value: float = 1.0algorithm_type: typing.Literal['dpmsolver', 'dpmsolver++', 'sde-dpmsolver', 'sde-dpmsolver++'] = 'dpmsolver++'solver_type: typing.Literal['midpoint', 'heun'] = 'midpoint'lower_order_final: bool = Trueeuler_at_final: bool = Falseuse_karras_sigmas: bool = Falseuse_exponential_sigmas: bool = Falseuse_beta_sigmas: bool = Falseuse_flow_sigmas: bool = Falseflow_shift: float = 1.0lambda_min_clipped: float = -infvariance_type: typing.Optional[typing.Literal['learned', 'learned_range']] = Nonetimestep_spacing: typing.Literal['linspace', 'leading', 'trailing'] = 'linspace'steps_offset: int = 0 )
Parámetros
- num_train_timesteps (
int, por defecto 1000) — El número de pasos de difusión para entrenar el modelo. - beta_start (
float, por defecto 0.0001) — El valor inicial debetapara la inferencia. - beta_end (
float, valor predeterminado 0.02) — El valor final debeta. - beta_schedule (
str, por defecto"linear") — El programa de betas, una correspondencia desde un rango de betas hasta una secuencia de betas para dar pasos al modelo. Elija entrelinear,scaled_linearosquaredcos_cap_v2. - trained_betas (
np.ndarray, opcional) — Pase un array de betas directamente al constructor para omitirbeta_startybeta_end. - solver_order (
int, por defecto 2) — El orden de DPMSolver, que puede ser1o2o3. Se recomienda usarsolver_order=2para muestreo guiado ysolver_order=3para muestreo incondicional. - prediction_type (
str, defaults toepsilon, optional) — Prediction type of the scheduler function; can beepsilon(predicts the noise of the diffusion process),sample(directly predicts the noisy sample) orv_prediction` (see section 2.4 of Imagen Video paper). - thresholding (
bool, por defectoFalse) — Si se debe utilizar el método de “umbral dinámico”. No es adecuado para modelos de difusión en el espacio latente, como Stable Diffusion. - dynamic_thresholding_ratio (
float, valor predeterminado 0.995) — La proporción para el método de umbral dinámico. Solo es válido cuandothresholding=True. - sample_max_value (
float, por defecto 1.0) — El valor umbral para el umbral dinámico. Solo es válido cuandothresholding=Trueyalgorithm_type="dpmsolver++". - algorithm_type (
str, por defectodpmsolver++) — Tipo de algoritmo para el solver; puede serdpmsolver,dpmsolver++,sde-dpmsolverosde-dpmsolver++. El tipodpmsolverimplementa los algoritmos del artículo DPMSolver y el tipodpmsolver++implementa los algoritmos del artículo DPMSolver++. Se recomienda usardpmsolver++osde-dpmsolver++consolver_order=2para muestreo guiado, como en Stable Diffusion. - solver_type (
str, por defectomidpoint) — Tipo de solver para el solver de segundo orden; puede sermidpointoheun. El tipo de solver afecta ligeramente a la calidad de la muestra, especialmente con un número pequeño de pasos. Se recomienda usar solversmidpoint. - lower_order_final (
bool, por defectoTrue) — Si se deben usar solutores de orden inferior en los pasos finales. Solo es válido para < 15 pasos de inferencia. Esto puede estabilizar el muestreo de DPMSolver para pasos < 15, especialmente para pasos <= 10. - euler_at_final (
bool, por defectoFalse) — Si se debe utilizar el método de Euler en el paso final. Es un equilibrio entre la estabilidad numérica y la riqueza de detalle. Esto puede estabilizar el muestreo de la variante SDE de DPMSolver para un número pequeño de pasos de inferencia, pero a veces puede resultar en un desenfoque. - use_karras_sigmas (
bool, opcional, valor predeterminadoFalse) — Si se deben usar sigmas de Karras para los tamaños de paso en el plan de ruido durante el proceso de muestreo. Si esTrue, los sigmas se determinan según una secuencia de niveles de ruido {σi}. - use_exponential_sigmas (
bool, opcional, valor predeterminadoFalse) — Si se deben usar sigmas exponenciales para los tamaños de paso en el plan de ruido durante el proceso de muestreo. - use_beta_sigmas (
bool, opcional, valor predeterminadoFalse) — Si se deben usar beta sigmas para los tamaños de paso en el programa de ruido durante el proceso de muestreo. Consulte Beta Sampling is All You Need para obtener más información. - use_flow_sigmas (
bool, opcional, valor predeterminadoFalse) — Si se deben usar sigmas de flujo para los tamaños de paso en la programación de ruido durante el proceso de muestreo. - flow_shift (
float, opcional, valor predeterminado 1.0) — El factor de desplazamiento de flujo. Solo es válido cuandouse_flow_sigmas=True. - lambda_min_clipped (
float, por defecto-inf) — Umbral de recorte para el valor mínimo delambda(t)para la estabilidad numérica. Esto es crítico para la programación de ruido coseno (squaredcos_cap_v2). - variance_type (
str, opcional) — Establecer en “learned” o “learned_range” para modelos de difusión que predicen la varianza. Si se establece, la salida del modelo contiene la varianza gaussiana predicha. - timestep_spacing (
str, por defecto"linspace") — La forma en que deben escalarse los pasos de tiempo. Consulte la tabla 2 de Common Diffusion Noise Schedules and Sample Steps are Flawed para obtener más información. - steps_offset (
int, valor predeterminado 0) — Un desplazamiento que se suma a los pasos de inferencia, tal como lo requieren algunas familias de modelos.
DPMSolverMultistepInverseScheduler es el programador inverso de DPMSolverMultistepScheduler.
Este modelo hereda de SchedulerMixin y ConfigMixin. Consulta la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos los programadores, como la carga y el guardado.
add_noise
< source >( original_samples: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor
Añada ruido a las original_samples limpias usando la función equivalente del programador.
convert_model_output
< source >( model_output: Tensor*argssample: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor
Convierte la salida del modelo al tipo correspondiente que necesita el algoritmo DPMSolver/DPMSolver++. DPM-Solver está diseñado para discretizar una integral del modelo de predicción de ruido, y DPM-Solver++ está diseñado para discretizar una integral del modelo de predicción de datos.
> El algoritmo y el tipo de modelo están desacoplados. Puede usar DPMSolver o DPMSolver++ tanto para modelos de predicción de ruido como para modelos de predicción de datos.
dpm_solver_first_order_update
< source >( model_output: Tensor*argssample: typing.Optional[torch.Tensor] = Nonenoise: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor
Parámetros
- model_output (
torch.Tensor) — La salida directa del modelo de difusión aprendido. - sample (
torch.Tensor, opcional) — Una instancia actual de una muestra creada por el proceso de difusión. - noise (
torch.Tensor, opcional) — El tensor de ruido.
Devuelve
torch.Tensor
El tensor de muestra en el paso de tiempo anterior.
Un paso para el DPMSolver de primer orden (equivalente a DDIM).
multistep_dpm_solver_second_order_update
< source >( model_output_list: list[torch.Tensor]*argssample: typing.Optional[torch.Tensor] = Nonenoise: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor
Parámetros
- model_output_list (
list[torch.Tensor]) — Las salidas directas del modelo de difusión aprendido en los pasos de tiempo actuales y posteriores. - sample (
torch.Tensor, opcional) — Una instancia actual de una muestra creada por el proceso de difusión. - noise (
torch.Tensor, opcional) — Ruido aleatorio utilizado por las variantes de solvador estocástico (sde-*). Es obligatorio cuandoalgorithm_typese establece en una de ellas y no se utiliza en caso contrario.
Devuelve
torch.Tensor
El tensor de muestra en el paso de tiempo anterior.
Un paso para el DPMSolver multipaso de segundo orden.
multistep_dpm_solver_third_order_update
< source >( model_output_list: list[torch.Tensor]*argssample: typing.Optional[torch.Tensor] = Nonenoise: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor
Parámetros
- model_output_list (
list[torch.Tensor]) — Las salidas directas del modelo de difusión aprendido en los pasos de tiempo actuales y posteriores. - sample (
torch.Tensor, opcional) — Una instancia actual de una muestra creada por el proceso de difusión. - noise (
torch.Tensor, opcional) — El tensor de ruido.
Devuelve
torch.Tensor
El tensor de muestra en el paso de tiempo anterior.
Un paso para el DPMSolver multipaso de tercer orden.
scale_model_input
< source >( sample: Tensor*args**kwargs ) → torch.Tensor
Garantiza la interoperabilidad con los programadores que necesitan escalar la entrada del modelo de desruido en función del paso temporal actual.
set_timesteps
< source >( num_inference_steps: int | None = Nonedevice: typing.Union[str, torch.device, NoneType] = None )
Establece los pasos discretos utilizados para la cadena de difusión (para ejecutarse antes de la inferencia).
paso
< source >( model_output: Tensortimestep: typing.Union[int, torch.Tensor]sample: Tensorgenerator: typing.Optional[torch.Generator] = Nonevariance_noise: typing.Optional[torch.Tensor] = Nonereturn_dict: bool = True ) → SchedulerOutput or tuple
Parámetros
- model_output (
torch.Tensor) — La salida directa del modelo de difusión aprendido. - timestep (
int) — El paso de tiempo discreto actual en la cadena de difusión. - sample (
torch.Tensor) — Una instancia actual de una muestra creada por el proceso de difusión. - generator (
torch.Generator, opcional) — Un generador de números aleatorios. - variance_noise (
torch.Tensor) — Alternativa a generar ruido congeneratorproporcionando directamente el ruido para la varianza misma. Útil para métodos comoCycleDiffusion. - return_dict (
bool) — Indica si se debe devolver un SchedulerOutput o unatuple.
Devuelve
SchedulerOutput o tuple
Si True es True, se devuelve SchedulerOutput; en caso contrario, se devuelve una tupla cuyo primer elemento es el tensor de muestras.
Predice la muestra del paso de tiempo anterior invirtiendo la EDE. Esta función propaga la muestra con el DPMSolver de múltiples pasos.
SchedulerOutput
clase diffusers.schedulers.scheduling_utils.SchedulerOutput
< source >( prev_sample: Tensor )
Clase base para la salida de la función step de un programador.