# DEISMultistepScheduler

El muestreador de integrador exponencial de difusión (DEIS) se propone en [Fast Sampling of Diffusion Models with Exponential Integrator](https://huggingface.co/papers/2204.13902) de Qinsheng Zhang y Yongxin Chen. `DEISMultistepScheduler` es un solver rápido de alto orden para ecuaciones diferenciales ordinarias (ODE) de difusión.

Esta implementación modifica la fórmula de ajuste polinómico en el espacio log-rho en lugar del espacio lineal original `t` del paper DEIS. La modificación cuenta con coeficientes en forma cerrada para la actualización multipaso exponencial en lugar de depender del solver numérico.

El resumen del artículo es:

*En los últimos años se ha observado el gran éxito de los modelos de difusión~(DMs) en la generación de muestras de alta fidelidad en tareas de modelado generativo. Una limitación importante de los DMs es su procedimiento de muestreo notoriamente lento, que normalmente requiere cientos o miles de pasos de discretización temporal del proceso de difusión aprendido para alcanzar la precisión deseada. Nuestro objetivo es desarrollar un método de muestreo rápido para DMs con un número mucho menor de pasos, manteniendo al mismo tiempo una alta calidad de muestra. Para ello, analizamos sistemáticamente el procedimiento de muestreo en los DMs e identificamos los factores clave que afectan a la calidad de la muestra, entre los cuales el método de discretización es el más crucial. Al examinar cuidadosamente el proceso de difusión aprendido, proponemos el muestreador Diffusion Exponential Integrator Sampler~(DEIS). Se basa en el Exponential Integrator diseñado para discretizar ecuaciones diferenciales ordinarias (ODEs) y aprovecha una estructura semilineal del proceso de difusión aprendido para reducir el error de discretización. El método propuesto puede aplicarse a cualquier DM y puede generar muestras de alta fidelidad en tan solo 10 pasos. En nuestros experimentos, se necesitan unos 3 minutos en una GPU A6000 para generar 50k imágenes de CIFAR10. Además, al utilizar directamente DMs preentrenados, logramos un rendimiento de muestreo del estado del arte cuando el número de evaluaciones de la función de puntuación~(NFE) está limitado, por ejemplo, 4.17 FID con 10 NFEs, 3.37 FID y 9.74 IS con solo 15 NFEs en CIFAR10. El código está disponible en [esta URL de https](https://github.com/qsh-zh/deis).*

## Consejos

Se recomienda establecer `solver_order` en 2 o 3, mientras que `solver_order=1` es equivalente a [DDIMScheduler](/docs/diffusers/v0.43.0/es/api/schedulers/ddim#diffusers.DDIMScheduler).

Se admite el umbral dinámico de [Imagen](https://huggingface.co/papers/2205.11487) y, para los modelos de difusión en el espacio de píxeles, puede establecer `thresholding=True` para utilizar el umbral dinámico.

## DEISMultistepScheduler[[diffusers.DEISMultistepScheduler]]

#### diffusers.DEISMultistepScheduler[[diffusers.DEISMultistepScheduler]]

```python
diffusers.DEISMultistepScheduler(num_train_timesteps: int = 1000, beta_start: float = 0.0001, beta_end: float = 0.02, beta_schedule: typing.Literal['linear', 'scaled_linear', 'squaredcos_cap_v2'] = 'linear', trained_betas: numpy.ndarray | list[float] | None = None, solver_order: int = 2, prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction', 'flow_prediction'] = 'epsilon', thresholding: bool = False, dynamic_thresholding_ratio: float = 0.995, sample_max_value: float = 1.0, algorithm_type: typing.Literal['deis'] = 'deis', solver_type: typing.Literal['logrho'] = 'logrho', lower_order_final: bool = True, use_karras_sigmas: bool = False, use_exponential_sigmas: bool = False, use_beta_sigmas: bool = False, use_flow_sigmas: bool = False, flow_shift: float = 1.0, timestep_spacing: typing.Literal['linspace', 'leading', 'trailing'] = 'linspace', steps_offset: int = 0, use_dynamic_shifting: bool = False, time_shift_type: typing.Literal['exponential'] = 'exponential')
```

[Fuente](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_deis_multistep.py#L86)

**Parámetros:**

num_train_timesteps (`int`, por defecto `1000`) : El número de pasos de difusión para entrenar el modelo.

beta_start (`float`, por defecto `0.0001`) : El valor inicial de `beta` para la inferencia.

beta_end (`float`, por defecto `0.02`) : El valor final de `beta`.

beta_schedule (`"linear"`, `"scaled_linear"` o `"squaredcos_cap_v2"`, por defecto `"linear"`) : El programa de betas, una función que mapea un rango de betas a una secuencia de betas para dar pasos al modelo. Elija entre `linear`, `scaled_linear` o `squaredcos_cap_v2`.

trained_betas (`np.ndarray` o `list[float]`, *opcional*) : Pasa un array de betas directamente al constructor para omitir `beta_start` y `beta_end`.

solver_order (`int`, por defecto `2`) : El orden DEIS, que puede ser `1` o `2` o `3`. Se recomienda usar `solver_order=2` para muestreo guiado y `solver_order=3` para muestreo incondicional.

prediction_type (`"epsilon"`, `"sample"`, `"v_prediction"`, or `"flow_prediction"`, defaults to `"epsilon"`) : Prediction type of the scheduler function; can be `epsilon` (predicts the noise of the diffusion process), `sample` (directly predicts the noisy sample`), `v_prediction` (see section 2.4 of [Imagen Video](https://huggingface.co/papers/2210.02303) paper), or `flow_prediction`.

thresholding (`bool`, por defecto `False`) : Si se debe utilizar el método de "umbral dinámico". No es adecuado para modelos de difusión en el espacio latente, como Stable Diffusion.

dynamic_thresholding_ratio (`float`, por defecto `0.995`) : La proporción para el método de umbral dinámico. Solo es válido cuando `thresholding=True`.

sample_max_value (`float`, por defecto `1.0`) : El valor de umbral para el umbral dinámico. Solo es válido cuando `thresholding=True`.

algorithm_type (`"deis"`, por defecto `"deis"`) : El tipo de algoritmo para el solver.

solver_type (`"logrho"`, por defecto `"logrho"`) : Tipo de solver para DEIS.

lower_order_final (`bool`, por defecto `True`) : Si se deben usar solvers de orden inferior en los pasos finales. Solo válido para < 15 pasos de inferencia.

use_karras_sigmas (`bool`, *opcional*, valor predeterminado `False`) : Si se deben usar sigmas de Karras para los tamaños de paso en el plan de ruido durante el proceso de muestreo. Si es `True`, los sigmas se determinan según una secuencia de niveles de ruido {σi}.

use_exponential_sigmas (`bool`, *opcional*, valor predeterminado `False`) : Si se deben usar sigmas exponenciales para los tamaños de paso en el plan de ruido durante el proceso de muestreo.

use_beta_sigmas (`bool`, *opcional*, valor predeterminado `False`) : Si se deben usar sigmas beta para los tamaños de paso en el plan de ruido durante el proceso de muestreo. Consulte [Beta Sampling is All You Need](https://huggingface.co/papers/2407.12173) para obtener más información.

use_flow_sigmas (`bool`, *opcional*, valor predeterminado `False`) : Si se deben usar sigmas de flujo para los tamaños de paso en el plan de ruido durante el proceso de muestreo.

flow_shift (`float`, *opcional*, valor predeterminado `1.0`) : El parámetro de desplazamiento de flujo para modelos basados en flujo.

timestep_spacing (`"linspace"`, `"leading"` o `"trailing"`, por defecto `"linspace"`) : La forma en que se deben escalar los timesteps. Consulte la Tabla 2 de [Common Diffusion Noise Schedules and Sample Steps are Flawed](https://huggingface.co/papers/2305.08891) para obtener más información.

steps_offset (`int`, por defecto `0`) : Un desplazamiento que se suma a los pasos de inferencia, tal como lo requieren algunas familias de modelos.

use_dynamic_shifting (`bool`, por defecto `False`) : Si se debe usar un desplazamiento dinámico para el plan de ruido.

time_shift_type (`"exponential"`, por defecto `"exponential"`) : El tipo de desplazamiento temporal a aplicar.

`DEISMultistepScheduler` es un solver de alto orden y rápido para ecuaciones diferenciales ordinarias (ODEs) de difusión.

Este modelo hereda de [SchedulerMixin](/docs/diffusers/v0.43.0/es/api/schedulers/overview#diffusers.SchedulerMixin) y [ConfigMixin](/docs/diffusers/v0.43.0/es/api/configuration#diffusers.ConfigMixin). Consulta la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos los programadores, como la carga y el guardado.

#### add_noise[[diffusers.DEISMultistepScheduler.add_noise]]

```python
add_noise(original_samples: Tensor, noise: Tensor, timesteps: IntTensor)
```

[Fuente](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_deis_multistep.py#L997)

**Parámetros:**

original_samples (`torch.Tensor`) : Las muestras originales sin ruido.

noise (`torch.Tensor`) : El ruido que se añadirá a las muestras.

timesteps (`torch.IntTensor`) : Los pasos de tiempo en los que se debe añadir ruido a las muestras.

**Devuelve:** `torch.Tensor`

Las muestras ruidosas.

Añade ruido a las muestras originales según el programa de ruido en los pasos de tiempo especificados.

#### convert_model_output[[diffusers.DEISMultistepScheduler.convert_model_output]]

```python
convert_model_output(model_output: Tensor, *args, sample: Tensor = None, **kwargs)
```

[Fuente](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_deis_multistep.py#L581)

**Parámetros:**

model_output (`torch.Tensor`) : La salida directa del modelo de difusión aprendido.

timestep (`int`) : El paso de tiempo discreto actual en la cadena de difusión.

sample (`torch.Tensor`) : Una instancia actual de una muestra creada por el proceso de difusión.

**Devuelve:** `torch.Tensor`

La salida del modelo convertido.

Convierta la salida del modelo al tipo correspondiente que necesita el algoritmo DEIS.

#### deis_first_order_update[[diffusers.DEISMultistepScheduler.deis_first_order_update]]

```python
deis_first_order_update(model_output: Tensor, *args, sample: Tensor = None, **kwargs)
```

[Fuente](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_deis_multistep.py#L641)

**Parámetros:**

model_output (`torch.Tensor`) : La salida directa del modelo de difusión aprendido.

timestep (`int`) : El paso de tiempo discreto actual en la cadena de difusión.

prev_timestep (`int`) : El paso de tiempo discreto anterior en la cadena de difusión.

sample (`torch.Tensor`) : Una instancia actual de una muestra creada por el proceso de difusión.

**Devuelve:** `torch.Tensor`

El tensor de muestra en el paso de tiempo anterior.

Un paso para el DEIS de primer orden (equivalente a DDIM).

#### index_for_timestep[[diffusers.DEISMultistepScheduler.index_for_timestep]]

```python
index_for_timestep(timestep: typing.Union[int, torch.Tensor], schedule_timesteps: typing.Optional[torch.Tensor] = None)
```

[Fuente](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_deis_multistep.py#L864)

**Parámetros:**

timestep (`int` o `torch.Tensor`) : El paso de tiempo para el que se debe encontrar el índice.

schedule_timesteps (`torch.Tensor`, *opcional*) : El calendario de pasos de tiempo en el que buscar. Si es `None`, usa `self.timesteps`.

**Devuelve:** `int`

El índice del paso de tiempo en la programación.

Encuentra el índice para un paso de tiempo dado en la programación.

#### multistep_deis_second_order_update[[diffusers.DEISMultistepScheduler.multistep_deis_second_order_update]]

```python
multistep_deis_second_order_update(model_output_list: list[torch.Tensor], *args, sample: Tensor = None, **kwargs)
```

[Fuente](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_deis_multistep.py#L702)

**Parámetros:**

model_output_list (`list[torch.Tensor]`) : Las salidas directas del modelo de difusión aprendido en los pasos de tiempo actuales y posteriores.

sample (`torch.Tensor`) : Una instancia actual de una muestra creada por el proceso de difusión.

**Devuelve:** `torch.Tensor`

El tensor de muestra en el paso de tiempo anterior.

Un paso para el DEIS multipaso de segundo orden.

#### multistep_deis_third_order_update[[diffusers.DEISMultistepScheduler.multistep_deis_third_order_update]]

```python
multistep_deis_third_order_update(model_output_list: list[torch.Tensor], *args, sample: Tensor = None, **kwargs)
```

[Fuente](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_deis_multistep.py#L775)

**Parámetros:**

model_output_list (`list[torch.Tensor]`) : Las salidas directas del modelo de difusión aprendido en los pasos de tiempo actuales y posteriores.

sample (`torch.Tensor`) : Una instancia actual de una muestra creada por el proceso de difusión.

**Devuelve:** `torch.Tensor`

El tensor de muestra en el paso de tiempo anterior.

Un paso para el DEIS multipaso de tercer orden.

#### scale_model_input[[diffusers.DEISMultistepScheduler.scale_model_input]]

```python
scale_model_input(sample: Tensor, *args, **kwargs)
```

[Fuente](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_deis_multistep.py#L981)

**Parámetros:**

sample (`torch.Tensor`) : La muestra de entrada.

**Devuelve:** `torch.Tensor`

Una muestra de entrada escalada.

Garantiza la interoperabilidad con los programadores que necesitan escalar la entrada del modelo de desruido en función del paso temporal actual.

#### set_begin_index[[diffusers.DEISMultistepScheduler.set_begin_index]]

```python
set_begin_index(begin_index: int = 0)
```

[Fuente](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_deis_multistep.py#L262)

**Parámetros:**

begin_index (`int`, por defecto `0`) : El índice inicial del programador.

Establece el índice inicial para el programador. Esta función debe ejecutarse desde la tubería antes de la inferencia.

#### set_timesteps[[diffusers.DEISMultistepScheduler.set_timesteps]]

```python
set_timesteps(num_inference_steps: int, device: typing.Union[str, torch.device] = None, mu: float | None = None)
```

[Fuente](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_deis_multistep.py#L272)

**Parámetros:**

num_inference_steps (`int`) : El número de pasos de difusión utilizados al generar muestras con un modelo preentrenado.

device (`str` o `torch.device`, *opcional*) : El dispositivo al que deben moverse los pasos de tiempo. Si es `None`, los pasos de tiempo no se mueven.

mu (`float`, *opcional*) : El parámetro mu para el desplazamiento dinámico. Solo se utiliza cuando `use_dynamic_shifting=True` y `time_shift_type="exponential"`.

Establece los pasos discretos utilizados para la cadena de difusión (para ejecutarse antes de la inferencia).

#### paso[[diffusers.DEISMultistepScheduler.step]]

```python
step(model_output: Tensor, timestep: typing.Union[int, torch.Tensor], sample: Tensor, return_dict: bool = True)
```

[Fuente](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_deis_multistep.py#L917)

**Parámetros:**

model_output (`torch.Tensor`) : La salida directa del modelo de difusión aprendido.

timestep (`int` o `torch.Tensor`) : El paso de tiempo discreto actual en la cadena de difusión.

sample (`torch.Tensor`) : Una instancia actual de una muestra creada por el proceso de difusión.

return_dict (`bool`, por defecto `True`) : Si se devuelve un [SchedulerOutput](/docs/diffusers/v0.43.0/es/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) o un `tuple`.

**Devuelve:** [SchedulerOutput](/docs/diffusers/v0.43.0/es/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) o `tuple`

If return_dict es `True`, se devuelve [SchedulerOutput](/docs/diffusers/v0.43.0/es/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput); en caso contrario, se devuelve una tupla cuyo primer elemento es el tensor de muestras.

Predice la muestra del paso de tiempo anterior invirtiendo el SDE. Esta función propaga la muestra con el DEIS de múltiples pasos.

## SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]]

#### diffusers.schedulers.scheduling_utils.SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]]

```python
diffusers.schedulers.scheduling_utils.SchedulerOutput(prev_sample: Tensor)
```

[Fuente](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_utils.py#L66)

**Parámetros:**

prev_sample (`torch.Tensor` de forma `(batch_size, num_channels, height, width)` para imágenes) : Muestra `(x_{t-1})` calculada del paso de tiempo anterior. `prev_sample` debe usarse como entrada del modelo en la siguiente iteración del bucle de desruido.

Clase base para la salida de la función `step` de un programador.