Hugging Face's logo

Diffusers documentation

CogVideoXDPMScheduler

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.43.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

CogVideoXDPMScheduler

CogVideoXDPMScheduler se basa en DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps y DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models, específicamente para los modelos CogVideoX.

CogVideoXDPMScheduler

clase diffusers.CogVideoXDPMScheduler

< >

( num_train_timesteps: int = 1000beta_start: float = 0.00085beta_end: float = 0.012beta_schedule: typing.Literal['linear', 'scaled_linear', 'squaredcos_cap_v2'] = 'scaled_linear'trained_betas: numpy.ndarray | list[float] | None = Noneclip_sample: bool = Trueset_alpha_to_one: bool = Truesteps_offset: int = 0prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction'] = 'epsilon'clip_sample_range: float = 1.0sample_max_value: float = 1.0timestep_spacing: typing.Literal['leading', 'linspace', 'trailing'] = 'leading'rescale_betas_zero_snr: bool = Falsesnr_shift_scale: float = 3.0 )

Parámetros

  • num_train_timesteps (int, por defecto 1000) — El número de pasos de difusión para entrenar el modelo.
  • beta_start (float, por defecto 0.0001) — El valor inicial de beta para la inferencia.
  • beta_end (float, valor predeterminado 0.02) — El valor final de beta.
  • beta_schedule (str, por defecto "linear") — El programa de betas, una correspondencia desde un rango de betas hasta una secuencia de betas para dar pasos al modelo. Elija entre linear, scaled_linear o squaredcos_cap_v2.
  • trained_betas (np.ndarray, opcional) — Pase un array de betas directamente al constructor para omitir beta_start y beta_end.
  • clip_sample (bool, por defecto True) — Recorta la muestra predicha para la estabilidad numérica.
  • clip_sample_range (float, por defecto 1.0) — La magnitud máxima para el recorte de muestras. Solo es válido cuando clip_sample=True.
  • set_alpha_to_one (bool, por defecto True) — Cada paso de difusión utiliza el valor del producto de alfas en ese paso y en el anterior. En el paso final no hay un alfa anterior. Cuando esta opción es True, el producto del alfa anterior se fija en 1; de lo contrario, se utiliza el valor de alfa del paso 0.
  • steps_offset (int, valor predeterminado 0) — Un desplazamiento que se suma a los pasos de inferencia, tal como lo requieren algunas familias de modelos.
  • prediction_type (str, defaults to epsilon, optional) — Prediction type of the scheduler function; can be epsilon (predicts the noise of the diffusion process), sample (directly predicts the noisy sample) or v_prediction` (see section 2.4 of Imagen Video paper).
  • thresholding (bool, por defecto False) — Si se debe utilizar el método de “umbral dinámico”. No es adecuado para modelos de difusión en el espacio latente, como Stable Diffusion.
  • dynamic_thresholding_ratio (float, valor predeterminado 0.995) — La proporción para el método de umbral dinámico. Solo es válido cuando thresholding=True.
  • sample_max_value (float, valor predeterminado 1.0) — El valor de umbral para el umbral dinámico. Solo es válido cuando thresholding=True.
  • timestep_spacing (str, por defecto "leading") — La forma en que deben escalarse los timesteps. Consulte la Tabla 2 del artículo Common Diffusion Noise Schedules and Sample Steps are Flawed para obtener más información. Elija entre leading, linspace o trailing.
  • rescale_betas_zero_snr (bool, por defecto False) — Si se deben reescalar los betas para tener un SNR terminal cero. Esto permite al modelo generar muestras muy brillantes y oscuras en lugar de limitarse a muestras con un brillo medio. Relacionado de forma laxa con --offset_noise.
  • snr_shift_scale (float, por defecto 3.0) — Escala de desplazamiento para SNR.

DDIMScheduler extiende el procedimiento de desruido introducido en los modelos probabilísticos de difusión de desruido (DDPM) con una guía no markoviana.

Este modelo hereda de SchedulerMixin y ConfigMixin. Consulta la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos los programadores, como la carga y el guardado.

add_noise

< >

( original_samples: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor

Parámetros

  • original_samples (torch.Tensor) — Las muestras originales a las que se les añadirá ruido.
  • noise (torch.Tensor) — El ruido que se añadirá a las muestras.
  • timesteps (torch.IntTensor) — Los pasos de tiempo que indican el nivel de ruido para cada muestra.

Devuelve

torch.Tensor

Las muestras ruidosas.

Añada ruido a las muestras originales según la magnitud del ruido en cada paso temporal (este es el proceso de difusión hacia adelante).

get_mult

< >

( h: Tensorr: Tensoralpha_prod_t: Tensoralpha_prod_t_prev: Tensoralpha_prod_t_back: typing.Optional[torch.Tensor] = None ) → tuple

Parámetros

  • h (torch.Tensor) — La diferencia de log-SNR.
  • r (torch.Tensor) — La proporción de diferencias de log-SNR.
  • alpha_prod_t (torch.Tensor) — El producto acumulado de alfas en el paso de tiempo actual.
  • alpha_prod_t_prev (torch.Tensor) — El producto acumulado de alfas en el paso de tiempo anterior.
  • alpha_prod_t_back (torch.Tensor, opcional) — El producto acumulado de alfas en el paso de tiempo anterior al paso de tiempo anterior.

Devuelve

tuple

Una tupla que contiene los multiplicadores.

Calcule los multiplicadores para la muestra anterior y la muestra original predicha.

get_variables

< >

( alpha_prod_t: Tensoralpha_prod_t_prev: Tensoralpha_prod_t_back: typing.Optional[torch.Tensor] = None ) → tuple

Parámetros

  • alpha_prod_t (torch.Tensor) — El producto acumulado de alfas en el paso de tiempo actual.
  • alpha_prod_t_prev (torch.Tensor) — El producto acumulado de alfas en el paso de tiempo anterior.
  • alpha_prod_t_back (torch.Tensor, opcional) — El producto acumulado de alfas en el paso de tiempo anterior al paso de tiempo anterior.

Devuelve

tuple

Una tupla que contiene las variables h, r, lamb, lamb_next.

Calcule las variables utilizadas para DPM-Solver++ (2M) haciendo referencia a la implementación original.

get_velocity

< >

( sample: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor

Parámetros

  • sample (torch.Tensor) — La muestra de entrada.
  • noise (torch.Tensor) — El tensor de ruido.
  • timesteps (torch.IntTensor) — Los pasos de tiempo para el cálculo de la velocidad.

Devuelve

torch.Tensor

La velocidad calculada.

Calcule la predicción de velocidad a partir de la muestra y el ruido según la fórmula de velocidad.

scale_model_input

< >

( sample: Tensortimestep: int | None = None ) → torch.Tensor

Parámetros

  • sample (torch.Tensor) — La muestra de entrada.
  • timestep (int, opcional) — El paso de tiempo actual en la cadena de difusión.

Devuelve

torch.Tensor

Una muestra de entrada escalada.

Garantiza la interoperabilidad con los programadores que necesitan escalar la entrada del modelo de desruido en función del paso temporal actual.

set_timesteps

< >

( num_inference_steps: intdevice: typing.Union[str, torch.device, NoneType] = None )

Parámetros

  • num_inference_steps (int) — El número de pasos de difusión utilizados al generar muestras con un modelo preentrenado.
  • device (str o torch.device, opcional) — El dispositivo al que deben moverse los timesteps. Si es None (el valor predeterminado), los timesteps no se mueven.

Establece los pasos discretos utilizados para la cadena de difusión (para ejecutarse antes de la inferencia).

paso

< >

( model_output: Tensorold_pred_original_sample: Tensortimestep: inttimestep_back: intsample: Tensoreta: float = 0.0use_clipped_model_output: bool = Falsegenerator: typing.Optional[torch.Generator] = Nonevariance_noise: typing.Optional[torch.Tensor] = Nonereturn_dict: bool = False ) → DDIMSchedulerOutput or tuple

Parámetros

  • model_output (torch.Tensor) — La salida directa del modelo de difusión aprendido.
  • old_pred_original_sample (torch.Tensor) — La muestra original predicha en el paso de tiempo anterior.
  • timestep (int) — El paso de tiempo discreto actual en la cadena de difusión.
  • timestep_back (int) — El paso de tiempo al que se debe mirar hacia atrás.
  • sample (torch.Tensor) — Una instancia actual de una muestra creada por el proceso de difusión.
  • eta (float) — El peso del ruido para el ruido añadido en el paso de difusión.
  • use_clipped_model_output (bool, por defecto False) — Si es True, calcula un model_output “corregido” a partir de la muestra original predicha recortada. Es necesario porque la muestra original predicha se recorta a [-1, 1] cuando self.config.clip_sample es True. Si no se ha realizado ningún recorte, el model_output “corregido” coincidiría con el proporcionado como entrada y use_clipped_model_output no tendría efecto.
  • generator (torch.Generator, opcional) — Un generador de números aleatorios.
  • variance_noise (torch.Tensor) — Alternativa a generar ruido con generator proporcionando directamente el ruido para la varianza misma. Útil para métodos como CycleDiffusion.
  • return_dict (bool, opcional, valor predeterminado True) — Indica si se debe devolver un DDIMSchedulerOutput o una tuple.

Devuelve

DDIMSchedulerOutput o tuple

If return_dict is True, DDIMSchedulerOutput is returned, otherwise a tuple is returned where the first element is the sample tensor.

Predice la muestra del paso de tiempo anterior invirtiendo el SDE. Esta función propaga el proceso de difusión a partir de las salidas del modelo aprendido (con mayor frecuencia, el ruido predicho).

Update on GitHub

←CogVideoXDDIMScheduler ConsistencyDecoderScheduler→