diffusers/main/pt/api/schedulers/singlestep_dpm_solver.md

DPMSolverSinglestepScheduler

DPMSolverSinglestepScheduler é um agendador de etapa única do DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps e do DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models, de Cheng Lu, Yuhao Zhou, Fan Bao, Jianfei Chen, Chongxuan Li e Jun Zhu.

DPMSolver (e a versão aprimorada DPMSolver++) é um solver de alta ordem dedicado e rápido para equações diferenciais ordinárias de difusão, com garantia de ordem de convergência. Empiricamente, a amostragem com DPMSolver usando apenas 20 passos pode gerar amostras de alta qualidade, e é capaz de gerar amostras bastante boas mesmo em 10 passos.

A implementação original pode ser encontrada em LuChengTHU/dpm-solver.

Dicas

É recomendado definir solver_order como 2 para amostragem guiada e solver_order=3 para amostragem incondicional.

O thresholding dinâmico do Imagen é suportado, e para modelos de difusão no espaço de pixels, você pode definir tanto algorithm_type="dpmsolver++" quanto thresholding=True para usar o thresholding dinâmico. Esse método de thresholding não é adequado para modelos de difusão no espaço latente, como o Stable Diffusion.

DPMSolverSinglestepScheduler[[diffusers.DPMSolverSinglestepScheduler]]

diffusers.DPMSolverSinglestepScheduler[[diffusers.DPMSolverSinglestepScheduler]]

diffusers.DPMSolverSinglestepScheduler(num_train_timesteps: int = 1000, beta_start: float = 0.0001, beta_end: float = 0.02, beta_schedule: typing.Literal['linear', 'scaled_linear', 'squaredcos_cap_v2'] = 'linear', trained_betas: numpy.ndarray | list[float] | None = None, solver_order: int = 2, prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction', 'flow_prediction'] = 'epsilon', thresholding: bool = False, dynamic_thresholding_ratio: float = 0.995, sample_max_value: float = 1.0, algorithm_type: typing.Literal['dpmsolver', 'dpmsolver++', 'sde-dpmsolver++'] = 'dpmsolver++', solver_type: typing.Literal['midpoint', 'heun'] = 'midpoint', lower_order_final: bool = False, use_karras_sigmas: bool = False, use_exponential_sigmas: bool = False, use_beta_sigmas: bool = False, use_flow_sigmas: bool = False, flow_shift: float = 1.0, final_sigmas_type: typing.Literal['zero', 'sigma_min'] = 'zero', lambda_min_clipped: float = -inf, variance_type: typing.Optional[typing.Literal['learned', 'learned_range']] = None, use_dynamic_shifting: bool = False, time_shift_type: typing.Literal['exponential'] = 'exponential')

Fonte

Parâmetros:

num_train_timesteps (int, padrão 1000) : O número de etapas de difusão para treinar o modelo.

beta_start (float, padrão 0.0001) : O valor inicial de beta para a inferência.

beta_end (float, padrão 0.02) : O valor final de beta.

beta_schedule ("linear", "scaled_linear" ou "squaredcos_cap_v2", padrão é "linear") : O agendamento de beta, um mapeamento de um intervalo de beta para uma sequência de betas para dar passos no modelo. Escolha entre linear, scaled_linear ou squaredcos_cap_v2.

trained_betas (np.ndarray ou list[float], opcional) : Passe um array de betas diretamente para o construtor para ignorar beta_start e beta_end.

solver_order (int, padrão 2) : A ordem do DPMSolver, que pode ser 1 ou 2 ou 3. Recomenda-se usar solver_order=2 para amostragem guiada e solver_order=3 para amostragem incondicional.

prediction_type ("epsilon", "sample", "v_prediction", or "flow_prediction", defaults to "epsilon") : Prediction type of the scheduler function; can be epsilon (predicts the noise of the diffusion process), sample (directly predicts the noisy sample), v_prediction(see section 2.4 of [Imagen Video](https://huggingface.co/papers/2210.02303) paper), orflow_prediction`.

thresholding (bool, padrão False) : Se deve usar o método de "limiar dinâmico". Isso não é adequado para modelos de difusão em espaço latente, como o Stable Diffusion.

dynamic_thresholding_ratio (float, padrão 0.995) : A proporção para o método de limiar dinâmico. Válido apenas quando thresholding=True.

sample_max_value (float, padrão 1.0) : O valor de limiar para o limiar dinâmico. Válido apenas quando thresholding=True e algorithm_type="dpmsolver++".

algorithm_type ("dpmsolver", "dpmsolver++" ou "sde-dpmsolver++", padrão é "dpmsolver++") : Tipo de algoritmo para o solver; pode ser dpmsolver, dpmsolver++ ou sde-dpmsolver++. O tipo dpmsolver implementa os algoritmos do paper DPMSolver, e o tipo dpmsolver++ implementa os algoritmos do paper DPMSolver++. Recomenda-se usar dpmsolver++ ou sde-dpmsolver++ com solver_order=2 para amostragem guiada, como no Stable Diffusion.

solver_type ("midpoint" ou "heun", padrão "midpoint") : Tipo de solver para o solver de segunda ordem; pode ser midpoint ou heun. O tipo de solver afeta levemente a qualidade da amostra, especialmente para um pequeno número de passos. É recomendado usar solvers midpoint.

lower_order_final (bool, padrão False) : Se deve usar solucionadores de ordem inferior nas etapas finais. Válido apenas para < 15 etapas de inferência. Isso pode estabilizar a amostragem do DPMSolver para etapas < 15, especialmente para etapas <= 10.

use_karras_sigmas (bool, opcional, padrão False) : Se deve usar sigmas de Karras para os tamanhos de passo no agendamento de ruído durante o processo de amostragem. Se True, os sigmas são determinados de acordo com uma sequência de níveis de ruído {σi}.

use_exponential_sigmas (bool, opcional, padrão False) : Se deve usar sigmas exponenciais para os tamanhos de passo no agendamento de ruído durante o processo de amostragem.

use_beta_sigmas (bool, opcional, padrão False) : Se deve usar betas sigmas para os tamanhos de passo no agendamento de ruído durante o processo de amostragem. Consulte Beta Sampling is All You Need para mais informações.

use_flow_sigmas (bool, opcional, padrão False) : Se deve usar sigmas de fluxo para os tamanhos de passo no agendamento de ruído durante o processo de amostragem.

flow_shift (float, opcional, padrão 1.0) : O parâmetro de deslocamento de fluxo para modelos baseados em fluxo.

final_sigmas_type ("zero" ou "sigma_min", opcional, padrão "zero") : O valor final de sigma para o agendamento de ruído durante o processo de amostragem. Se "sigma_min", o sigma final é o mesmo que o último sigma no agendamento de treinamento. Se "zero", o sigma final é definido como 0.

lambda_min_clipped (float, padrão -inf) : Limite de corte para o valor mínimo de lambda(t) para estabilidade numérica. Isso é crítico para o agendamento de ruído cosseno (squaredcos_cap_v2).

variance_type ("learned" ou "learned_range", opcional) : Defina como "learned" ou "learned_range" para modelos de difusão que preveem a variância. Se definido, a saída do modelo contém a variância gaussiana prevista.

use_dynamic_shifting (bool, padrão False) : Se deve usar deslocamento dinâmico para o agendamento de ruído.

time_shift_type ("exponential", padrão é "exponential") : O tipo de deslocamento temporal a ser aplicado.

DPMSolverSinglestepScheduler é um solver de alta ordem dedicado e rápido para equações diferenciais ordinárias de difusão.

Este modelo herda de SchedulerMixin e ConfigMixin. Consulte a documentação da superclasse para os métodos genéricos que a biblioteca implementa para todos os agendadores, como carregamento e salvamento.

add_noise[[diffusers.DPMSolverSinglestepScheduler.add_noise]]

add_noise(original_samples: Tensor, noise: Tensor, timesteps: IntTensor)

Fonte

Parâmetros:

original_samples (torch.Tensor) : As amostras originais sem ruído.

noise (torch.Tensor) : O ruído a ser adicionado às amostras.

timesteps (torch.IntTensor) : Os passos de tempo nos quais adicionar ruído às amostras.

Retorna: torch.Tensor

As amostras ruidosas.

Adicione ruído às amostras originais de acordo com o agendamento de ruído nos timesteps especificados.

convert_model_output[[diffusers.DPMSolverSinglestepScheduler.convert_model_output]]

convert_model_output(model_output: Tensor, *args, sample: typing.Optional[torch.Tensor] = None, **kwargs)

Fonte

Parâmetros:

model_output (torch.Tensor) : A saída direta do modelo de difusão aprendido.

sample (torch.Tensor) : Uma instância atual de uma amostra criada pelo processo de difusão.

Retorna: torch.Tensor

A saída do modelo convertido.

Converte a saída do modelo para o tipo correspondente que o algoritmo DPMSolver/DPMSolver++ precisa. O DPM-Solver foi projetado para discretizar uma integral do modelo de previsão de ruído, e o DPM-Solver++ foi projetado para discretizar uma integral do modelo de previsão de dados.

> O algoritmo e o tipo de modelo são desacoplados. Você pode usar DPMSolver ou DPMSolver++ para ambos ruído > previsão e modelos de previsão de dados.

dpm_solver_first_order_update[[diffusers.DPMSolverSinglestepScheduler.dpm_solver_first_order_update]]

dpm_solver_first_order_update(model_output: Tensor, *args, sample: typing.Optional[torch.Tensor] = None, noise: typing.Optional[torch.Tensor] = None, **kwargs)

Fonte

Parâmetros:

model_output (torch.Tensor) : A saída direta do modelo de difusão aprendido.

timestep (int) : O passo de tempo discreto atual na cadeia de difusão.

prev_timestep (int) : O passo de tempo discreto anterior na cadeia de difusão.

sample (torch.Tensor) : Uma instância atual de uma amostra criada pelo processo de difusão.

noise (torch.Tensor, opcional) : Ruído aleatório usado pelas variantes de solucionador estocástico (sde-*). Obrigatório quando algorithm_type é definido como um deles e não utilizado caso contrário.

Retorna: torch.Tensor

O tensor de amostra no passo de tempo anterior.

Um passo para o DPMSolver de primeira ordem (equivalente ao DDIM).

get_order_list[[diffusers.DPMSolverSinglestepScheduler.get_order_list]]

get_order_list(num_inference_steps: int)

Fonte

Parâmetros:

num_inference_steps (int) : O número de etapas de difusão usadas ao gerar amostras com um modelo pré-treinado.

Retorna: list[int]

A lista de ordens do solver para cada passo de tempo.

Calcula a ordem do solver em cada passo de tempo.

index_for_timestep[[diffusers.DPMSolverSinglestepScheduler.index_for_timestep]]

index_for_timestep(timestep: typing.Union[int, torch.Tensor], schedule_timesteps: typing.Optional[torch.Tensor] = None)

Fonte

Parâmetros:

timestep (int ou torch.Tensor) : O timestep para o qual encontrar o índice.

schedule_timesteps (torch.Tensor, opcional) : O cronograma de passos de tempo a ser pesquisado. Se None, usa self.timesteps.

Retorna: int

O índice do timestep no agendamento.

Encontre o índice para um passo de tempo (timestep) específico no agendamento.

scale_model_input[[diffusers.DPMSolverSinglestepScheduler.scale_model_input]]

scale_model_input(sample: Tensor, *args, **kwargs)

Fonte

Parâmetros:

sample (torch.Tensor) : A amostra de entrada.

Retorna: torch.Tensor

Uma amostra de entrada escalada.

Garante a intercambiabilidade com agendadores que precisam escalar a entrada do modelo de desruidamento dependendo do passo de tempo atual.

set_begin_index[[diffusers.DPMSolverSinglestepScheduler.set_begin_index]]

set_begin_index(begin_index: int = 0)

Fonte

Parâmetros:

begin_index (int, padrão 0) : O índice inicial para o agendador.

Define o índice inicial para o agendador. Esta função deve ser executada a partir do pipeline antes da inferência.

set_timesteps[[diffusers.DPMSolverSinglestepScheduler.set_timesteps]]

set_timesteps(num_inference_steps: int = None, device: typing.Union[str, torch.device] = None, mu: float | None = None, timesteps: list[int] | None = None)

Fonte

Parâmetros:

num_inference_steps (int, opcional) : O número de etapas de difusão usadas ao gerar amostras com um modelo pré-treinado.

device (str ou torch.device, opcional) : O dispositivo para o qual os timesteps devem ser movidos. Se None, os timesteps não são movidos.

mu (float, opcional) : Expoente para o deslocamento dinâmico do tempo. Exige use_dynamic_shifting e um time_shift_type de "exponential"; quando fornecido, flow_shift é definido como exp(mu).

timesteps (list[int], opcional) : Passos de tempo personalizados usados para suportar espaçamento arbitrário entre os passos de tempo. Se None, a estratégia de espaçamento padrão de espaçamento igual entre os passos de tempo do agendamento é usada. Se timesteps for passado, num_inference_steps deve ser None.

Define os passos discretos usados para a cadeia de difusão (a ser executado antes da inferência).

singlestep_dpm_solver_second_order_update[[diffusers.DPMSolverSinglestepScheduler.singlestep_dpm_solver_second_order_update]]

singlestep_dpm_solver_second_order_update(model_output_list: list[torch.Tensor], *args, sample: typing.Optional[torch.Tensor] = None, noise: typing.Optional[torch.Tensor] = None, **kwargs)

Fonte

Parâmetros:

model_output_list (list[torch.Tensor]) : As saídas diretas do modelo de difusão aprendido nos timesteps atuais e posteriores.

timestep (int) : O passo de tempo discreto atual e posterior na cadeia de difusão.

prev_timestep (int) : O passo de tempo discreto anterior na cadeia de difusão.

sample (torch.Tensor) : Uma instância atual de uma amostra criada pelo processo de difusão.

noise (torch.Tensor, opcional) : Ruído aleatório usado pelas variantes de solucionador estocástico (sde-*). Obrigatório quando algorithm_type é definido como um deles e não utilizado caso contrário.

Retorna: torch.Tensor

O tensor de amostra no passo de tempo anterior.

Um passo para o DPMSolver de segunda ordem singlestep que calcula a solução no tempo prev_timestep a partir do tempo timestep_list[-2].

singlestep_dpm_solver_third_order_update[[diffusers.DPMSolverSinglestepScheduler.singlestep_dpm_solver_third_order_update]]

singlestep_dpm_solver_third_order_update(model_output_list: list[torch.Tensor], *args, sample: typing.Optional[torch.Tensor] = None, noise: typing.Optional[torch.Tensor] = None, **kwargs)

Fonte

Parâmetros:

model_output_list (list[torch.Tensor]) : As saídas diretas do modelo de difusão aprendido nos timesteps atuais e posteriores.

timestep (int) : O passo de tempo discreto atual e posterior na cadeia de difusão.

prev_timestep (int) : O passo de tempo discreto anterior na cadeia de difusão.

sample (torch.Tensor) : Uma instância atual de uma amostra criada pelo processo de difusão.

noise (torch.Tensor, opcional) : Ruído aleatório usado pelas variantes de solucionador estocástico (sde-*). Obrigatório quando algorithm_type é definido como um deles e não utilizado caso contrário.

Retorna: torch.Tensor

O tensor de amostra no passo de tempo anterior.

Um passo para o DPMSolver de terceira ordem singlestep que calcula a solução no tempo prev_timestep a partir do tempo timestep_list[-3].

singlestep_dpm_solver_update[[diffusers.DPMSolverSinglestepScheduler.singlestep_dpm_solver_update]]

singlestep_dpm_solver_update(model_output_list: list[torch.Tensor], *args, sample: typing.Optional[torch.Tensor] = None, order: int = None, noise: typing.Optional[torch.Tensor] = None, **kwargs)

Fonte

Parâmetros:

model_output_list (list[torch.Tensor]) : As saídas diretas do modelo de difusão aprendido nos timesteps atuais e posteriores.

timestep (int) : O passo de tempo discreto atual e posterior na cadeia de difusão.

prev_timestep (int) : O passo de tempo discreto anterior na cadeia de difusão.

sample (torch.Tensor) : Uma instância atual de uma amostra criada pelo processo de difusão.

order (int) : A ordem do solver nesta etapa.

noise (torch.Tensor, opcional) : Ruído aleatório usado pelas variantes de solucionador estocástico (sde-*). Obrigatório quando algorithm_type é definido como um deles e não utilizado caso contrário.

Retorna: torch.Tensor

O tensor de amostra no passo de tempo anterior.

Um passo para o DPMSolver singlestep.

etapa[[diffusers.DPMSolverSinglestepScheduler.step]]

step(model_output: Tensor, timestep: typing.Union[int, torch.Tensor], sample: Tensor, generator: typing.Optional[torch.Generator] = None, return_dict: bool = True)

Fonte

Parâmetros:

model_output (torch.Tensor) : A saída direta do modelo de difusão aprendido.

timestep (int ou torch.Tensor) : O passo de tempo discreto atual na cadeia de difusão.

sample (torch.Tensor) : Uma instância atual de uma amostra criada pelo processo de difusão.

generator (torch.Generator, opcional) : Um gerador de números aleatórios para amostragem estocástica.

return_dict (bool, padrão True) : Se deve ou não retornar um SchedulerOutput ou tuple.

Retorna: SchedulerOutput ou tuple

Se return_dict for True, SchedulerOutput é retornado; caso contrário, uma tupla é retornada, em que o primeiro elemento é o tensor de amostras.

Preveja a amostra do passo de tempo anterior revertendo o SDE. Esta função propaga a amostra com o DPMSolver de passo único.

SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]]

diffusers.schedulers.scheduling_utils.SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]]

diffusers.schedulers.scheduling_utils.SchedulerOutput(prev_sample: Tensor)

Fonte

Parâmetros:

prev_sample (torch.Tensor de forma (batch_size, num_channels, height, width) para imagens) : Amostra calculada (x_{t-1}) do passo anterior. prev_sample deve ser usado como entrada do próximo modelo no loop de remoção de ruído.

Classe base para a saída da função step de um agendador.