Buckets:

hf-doc-build/doc / diffusers /main /pt /api /schedulers /singlestep_dpm_solver.md
mishig's picture
|
download
raw
20.7 kB
# DPMSolverSinglestepScheduler
`DPMSolverSinglestepScheduler` é um agendador de etapa única do [DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps](https://huggingface.co/papers/2206.00927) e do [DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models](https://huggingface.co/papers/2211.01095), de Cheng Lu, Yuhao Zhou, Fan Bao, Jianfei Chen, Chongxuan Li e Jun Zhu.
DPMSolver (e a versão aprimorada DPMSolver++) é um solver de alta ordem dedicado e rápido para equações diferenciais ordinárias de difusão, com garantia de ordem de convergência. Empiricamente, a amostragem com DPMSolver usando apenas 20 passos pode gerar amostras de alta qualidade, e é capaz de gerar amostras bastante boas mesmo em 10 passos.
A implementação original pode ser encontrada em [LuChengTHU/dpm-solver](https://github.com/LuChengTHU/dpm-solver).
## Dicas
É recomendado definir `solver_order` como 2 para amostragem guiada e `solver_order=3` para amostragem incondicional.
O thresholding dinâmico do [Imagen](https://huggingface.co/papers/2205.11487) é suportado, e para modelos de difusão no espaço de pixels, você pode definir tanto `algorithm_type="dpmsolver++"` quanto `thresholding=True` para usar o thresholding dinâmico. Esse método de thresholding não é adequado para modelos de difusão no espaço latente, como o Stable Diffusion.
## DPMSolverSinglestepScheduler[[diffusers.DPMSolverSinglestepScheduler]]
#### diffusers.DPMSolverSinglestepScheduler[[diffusers.DPMSolverSinglestepScheduler]]
```python
diffusers.DPMSolverSinglestepScheduler(num_train_timesteps: int = 1000, beta_start: float = 0.0001, beta_end: float = 0.02, beta_schedule: typing.Literal['linear', 'scaled_linear', 'squaredcos_cap_v2'] = 'linear', trained_betas: numpy.ndarray | list[float] | None = None, solver_order: int = 2, prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction', 'flow_prediction'] = 'epsilon', thresholding: bool = False, dynamic_thresholding_ratio: float = 0.995, sample_max_value: float = 1.0, algorithm_type: typing.Literal['dpmsolver', 'dpmsolver++', 'sde-dpmsolver++'] = 'dpmsolver++', solver_type: typing.Literal['midpoint', 'heun'] = 'midpoint', lower_order_final: bool = False, use_karras_sigmas: bool = False, use_exponential_sigmas: bool = False, use_beta_sigmas: bool = False, use_flow_sigmas: bool = False, flow_shift: float = 1.0, final_sigmas_type: typing.Literal['zero', 'sigma_min'] = 'zero', lambda_min_clipped: float = -inf, variance_type: typing.Optional[typing.Literal['learned', 'learned_range']] = None, use_dynamic_shifting: bool = False, time_shift_type: typing.Literal['exponential'] = 'exponential')
```
[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_singlestep.py#L88)
**Parâmetros:**
num_train_timesteps (`int`, padrão `1000`) : O número de etapas de difusão para treinar o modelo.
beta_start (`float`, padrão `0.0001`) : O valor inicial de `beta` para a inferência.
beta_end (`float`, padrão `0.02`) : O valor final de `beta`.
beta_schedule (`"linear"`, `"scaled_linear"` ou `"squaredcos_cap_v2"`, padrão é `"linear"`) : O agendamento de beta, um mapeamento de um intervalo de beta para uma sequência de betas para dar passos no modelo. Escolha entre `linear`, `scaled_linear` ou `squaredcos_cap_v2`.
trained_betas (`np.ndarray` ou `list[float]`, *opcional*) : Passe um array de betas diretamente para o construtor para ignorar `beta_start` e `beta_end`.
solver_order (`int`, padrão `2`) : A ordem do DPMSolver, que pode ser `1` ou `2` ou `3`. Recomenda-se usar `solver_order=2` para amostragem guiada e `solver_order=3` para amostragem incondicional.
prediction_type (`"epsilon"`, `"sample"`, `"v_prediction"`, or `"flow_prediction"`, defaults to `"epsilon"`) : Prediction type of the scheduler function; can be `epsilon` (predicts the noise of the diffusion process), `sample` (directly predicts the noisy sample`), `v_prediction` (see section 2.4 of [Imagen Video](https://huggingface.co/papers/2210.02303) paper), or `flow_prediction`.
thresholding (`bool`, padrão `False`) : Se deve usar o método de "limiar dinâmico". Isso não é adequado para modelos de difusão em espaço latente, como o Stable Diffusion.
dynamic_thresholding_ratio (`float`, padrão `0.995`) : A proporção para o método de limiar dinâmico. Válido apenas quando `thresholding=True`.
sample_max_value (`float`, padrão `1.0`) : O valor de limiar para o limiar dinâmico. Válido apenas quando `thresholding=True` e `algorithm_type="dpmsolver++"`.
algorithm_type (`"dpmsolver"`, `"dpmsolver++"` ou `"sde-dpmsolver++"`, padrão é `"dpmsolver++"`) : Tipo de algoritmo para o solver; pode ser `dpmsolver`, `dpmsolver++` ou `sde-dpmsolver++`. O tipo `dpmsolver` implementa os algoritmos do paper [DPMSolver](https://huggingface.co/papers/2206.00927), e o tipo `dpmsolver++` implementa os algoritmos do paper [DPMSolver++](https://huggingface.co/papers/2211.01095). Recomenda-se usar `dpmsolver++` ou `sde-dpmsolver++` com `solver_order=2` para amostragem guiada, como no Stable Diffusion.
solver_type (`"midpoint"` ou `"heun"`, padrão `"midpoint"`) : Tipo de solver para o solver de segunda ordem; pode ser `midpoint` ou `heun`. O tipo de solver afeta levemente a qualidade da amostra, especialmente para um pequeno número de passos. É recomendado usar solvers `midpoint`.
lower_order_final (`bool`, padrão `False`) : Se deve usar solucionadores de ordem inferior nas etapas finais. Válido apenas para < 15 etapas de inferência. Isso pode estabilizar a amostragem do DPMSolver para etapas < 15, especialmente para etapas <= 10.
use_karras_sigmas (`bool`, *opcional*, padrão `False`) : Se deve usar sigmas de Karras para os tamanhos de passo no agendamento de ruído durante o processo de amostragem. Se `True`, os sigmas são determinados de acordo com uma sequência de níveis de ruído {σi}.
use_exponential_sigmas (`bool`, *opcional*, padrão `False`) : Se deve usar sigmas exponenciais para os tamanhos de passo no agendamento de ruído durante o processo de amostragem.
use_beta_sigmas (`bool`, *opcional*, padrão `False`) : Se deve usar betas sigmas para os tamanhos de passo no agendamento de ruído durante o processo de amostragem. Consulte [Beta Sampling is All You Need](https://huggingface.co/papers/2407.12173) para mais informações.
use_flow_sigmas (`bool`, *opcional*, padrão `False`) : Se deve usar sigmas de fluxo para os tamanhos de passo no agendamento de ruído durante o processo de amostragem.
flow_shift (`float`, *opcional*, padrão `1.0`) : O parâmetro de deslocamento de fluxo para modelos baseados em fluxo.
final_sigmas_type (`"zero"` ou `"sigma_min"`, *opcional*, padrão `"zero"`) : O valor final de `sigma` para o agendamento de ruído durante o processo de amostragem. Se `"sigma_min"`, o sigma final é o mesmo que o último sigma no agendamento de treinamento. Se `"zero"`, o sigma final é definido como 0.
lambda_min_clipped (`float`, padrão `-inf`) : Limite de corte para o valor mínimo de `lambda(t)` para estabilidade numérica. Isso é crítico para o agendamento de ruído cosseno (`squaredcos_cap_v2`).
variance_type (`"learned"` ou `"learned_range"`, *opcional*) : Defina como `"learned"` ou `"learned_range"` para modelos de difusão que preveem a variância. Se definido, a saída do modelo contém a variância gaussiana prevista.
use_dynamic_shifting (`bool`, padrão `False`) : Se deve usar deslocamento dinâmico para o agendamento de ruído.
time_shift_type (`"exponential"`, padrão é `"exponential"`) : O tipo de deslocamento temporal a ser aplicado.
`DPMSolverSinglestepScheduler` é um solver de alta ordem dedicado e rápido para equações diferenciais ordinárias de difusão.
Este modelo herda de [SchedulerMixin](/docs/diffusers/main/pt/api/schedulers/overview#diffusers.SchedulerMixin) e [ConfigMixin](/docs/diffusers/main/pt/api/configuration#diffusers.ConfigMixin). Consulte a documentação da superclasse para os métodos genéricos que a biblioteca implementa para todos os agendadores, como carregamento e salvamento.
#### add_noise[[diffusers.DPMSolverSinglestepScheduler.add_noise]]
```python
add_noise(original_samples: Tensor, noise: Tensor, timesteps: IntTensor)
```
[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_singlestep.py#L1277)
**Parâmetros:**
original_samples (`torch.Tensor`) : As amostras originais sem ruído.
noise (`torch.Tensor`) : O ruído a ser adicionado às amostras.
timesteps (`torch.IntTensor`) : Os passos de tempo nos quais adicionar ruído às amostras.
**Retorna:** `torch.Tensor`
As amostras ruidosas.
Adicione ruído às amostras originais de acordo com o agendamento de ruído nos timesteps especificados.
#### convert_model_output[[diffusers.DPMSolverSinglestepScheduler.convert_model_output]]
```python
convert_model_output(model_output: Tensor, *args, sample: typing.Optional[torch.Tensor] = None, **kwargs)
```
[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_singlestep.py#L666)
**Parâmetros:**
model_output (`torch.Tensor`) : A saída direta do modelo de difusão aprendido.
sample (`torch.Tensor`) : Uma instância atual de uma amostra criada pelo processo de difusão.
**Retorna:** `torch.Tensor`
A saída do modelo convertido.
Converte a saída do modelo para o tipo correspondente que o algoritmo DPMSolver/DPMSolver++ precisa. O DPM-Solver foi projetado para discretizar uma integral do modelo de previsão de ruído, e o DPM-Solver++ foi projetado para discretizar uma integral do modelo de previsão de dados.
> [!TIP] > O algoritmo e o tipo de modelo são desacoplados. Você pode usar DPMSolver ou DPMSolver++ para ambos
ruído > previsão e modelos de previsão de dados.
#### dpm_solver_first_order_update[[diffusers.DPMSolverSinglestepScheduler.dpm_solver_first_order_update]]
```python
dpm_solver_first_order_update(model_output: Tensor, *args, sample: typing.Optional[torch.Tensor] = None, noise: typing.Optional[torch.Tensor] = None, **kwargs)
```
[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_singlestep.py#L762)
**Parâmetros:**
model_output (`torch.Tensor`) : A saída direta do modelo de difusão aprendido.
timestep (`int`) : O passo de tempo discreto atual na cadeia de difusão.
prev_timestep (`int`) : O passo de tempo discreto anterior na cadeia de difusão.
sample (`torch.Tensor`) : Uma instância atual de uma amostra criada pelo processo de difusão.
noise (`torch.Tensor`, *opcional*) : Ruído aleatório usado pelas variantes de solucionador estocástico (`sde-*`). Obrigatório quando `algorithm_type` é definido como um deles e não utilizado caso contrário.
**Retorna:** `torch.Tensor`
O tensor de amostra no passo de tempo anterior.
Um passo para o DPMSolver de primeira ordem (equivalente ao DDIM).
#### get_order_list[[diffusers.DPMSolverSinglestepScheduler.get_order_list]]
```python
get_order_list(num_inference_steps: int)
```
[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_singlestep.py#L253)
**Parâmetros:**
num_inference_steps (`int`) : O número de etapas de difusão usadas ao gerar amostras com um modelo pré-treinado.
**Retorna:** `list[int]`
A lista de ordens do solver para cada passo de tempo.
Calcula a ordem do solver em cada passo de tempo.
#### index_for_timestep[[diffusers.DPMSolverSinglestepScheduler.index_for_timestep]]
```python
index_for_timestep(timestep: typing.Union[int, torch.Tensor], schedule_timesteps: typing.Optional[torch.Tensor] = None)
```
[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_singlestep.py#L1135)
**Parâmetros:**
timestep (`int` ou `torch.Tensor`) : O timestep para o qual encontrar o índice.
schedule_timesteps (`torch.Tensor`, *opcional*) : O cronograma de passos de tempo a ser pesquisado. Se `None`, usa `self.timesteps`.
**Retorna:** `int`
O índice do timestep no agendamento.
Encontre o índice para um passo de tempo (timestep) específico no agendamento.
#### scale_model_input[[diffusers.DPMSolverSinglestepScheduler.scale_model_input]]
```python
scale_model_input(sample: Tensor, *args, **kwargs)
```
[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_singlestep.py#L1261)
**Parâmetros:**
sample (`torch.Tensor`) : A amostra de entrada.
**Retorna:** `torch.Tensor`
Uma amostra de entrada escalada.
Garante a intercambiabilidade com agendadores que precisam escalar a entrada do modelo de desruidamento dependendo do passo de tempo atual.
#### set_begin_index[[diffusers.DPMSolverSinglestepScheduler.set_begin_index]]
```python
set_begin_index(begin_index: int = 0)
```
[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_singlestep.py#L320)
**Parâmetros:**
begin_index (`int`, padrão `0`) : O índice inicial para o agendador.
Define o índice inicial para o agendador. Esta função deve ser executada a partir do pipeline antes da inferência.
#### set_timesteps[[diffusers.DPMSolverSinglestepScheduler.set_timesteps]]
```python
set_timesteps(num_inference_steps: int = None, device: typing.Union[str, torch.device] = None, mu: float | None = None, timesteps: list[int] | None = None)
```
[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_singlestep.py#L330)
**Parâmetros:**
num_inference_steps (`int`, *opcional*) : O número de etapas de difusão usadas ao gerar amostras com um modelo pré-treinado.
device (`str` ou `torch.device`, *opcional*) : O dispositivo para o qual os timesteps devem ser movidos. Se `None`, os timesteps não são movidos.
mu (`float`, *opcional*) : Expoente para o deslocamento dinâmico do tempo. Exige `use_dynamic_shifting` e um `time_shift_type` de `"exponential"`; quando fornecido, `flow_shift` é definido como `exp(mu)`.
timesteps (`list[int]`, *opcional*) : Passos de tempo personalizados usados para suportar espaçamento arbitrário entre os passos de tempo. Se `None`, a estratégia de espaçamento padrão de espaçamento igual entre os passos de tempo do agendamento é usada. Se `timesteps` for passado, `num_inference_steps` deve ser `None`.
Define os passos discretos usados para a cadeia de difusão (a ser executado antes da inferência).
#### singlestep_dpm_solver_second_order_update[[diffusers.DPMSolverSinglestepScheduler.singlestep_dpm_solver_second_order_update]]
```python
singlestep_dpm_solver_second_order_update(model_output_list: list[torch.Tensor], *args, sample: typing.Optional[torch.Tensor] = None, noise: typing.Optional[torch.Tensor] = None, **kwargs)
```
[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_singlestep.py#L829)
**Parâmetros:**
model_output_list (`list[torch.Tensor]`) : As saídas diretas do modelo de difusão aprendido nos timesteps atuais e posteriores.
timestep (`int`) : O passo de tempo discreto atual e posterior na cadeia de difusão.
prev_timestep (`int`) : O passo de tempo discreto anterior na cadeia de difusão.
sample (`torch.Tensor`) : Uma instância atual de uma amostra criada pelo processo de difusão.
noise (`torch.Tensor`, *opcional*) : Ruído aleatório usado pelas variantes de solucionador estocástico (`sde-*`). Obrigatório quando `algorithm_type` é definido como um deles e não utilizado caso contrário.
**Retorna:** `torch.Tensor`
O tensor de amostra no passo de tempo anterior.
Um passo para o DPMSolver de segunda ordem singlestep que calcula a solução no tempo `prev_timestep` a partir do tempo `timestep_list[-2]`.
#### singlestep_dpm_solver_third_order_update[[diffusers.DPMSolverSinglestepScheduler.singlestep_dpm_solver_third_order_update]]
```python
singlestep_dpm_solver_third_order_update(model_output_list: list[torch.Tensor], *args, sample: typing.Optional[torch.Tensor] = None, noise: typing.Optional[torch.Tensor] = None, **kwargs)
```
[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_singlestep.py#L943)
**Parâmetros:**
model_output_list (`list[torch.Tensor]`) : As saídas diretas do modelo de difusão aprendido nos timesteps atuais e posteriores.
timestep (`int`) : O passo de tempo discreto atual e posterior na cadeia de difusão.
prev_timestep (`int`) : O passo de tempo discreto anterior na cadeia de difusão.
sample (`torch.Tensor`) : Uma instância atual de uma amostra criada pelo processo de difusão.
noise (`torch.Tensor`, *opcional*) : Ruído aleatório usado pelas variantes de solucionador estocástico (`sde-*`). Obrigatório quando `algorithm_type` é definido como um deles e não utilizado caso contrário.
**Retorna:** `torch.Tensor`
O tensor de amostra no passo de tempo anterior.
Um passo para o DPMSolver de terceira ordem singlestep que calcula a solução no tempo `prev_timestep` a partir do tempo `timestep_list[-3]`.
#### singlestep_dpm_solver_update[[diffusers.DPMSolverSinglestepScheduler.singlestep_dpm_solver_update]]
```python
singlestep_dpm_solver_update(model_output_list: list[torch.Tensor], *args, sample: typing.Optional[torch.Tensor] = None, order: int = None, noise: typing.Optional[torch.Tensor] = None, **kwargs)
```
[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_singlestep.py#L1068)
**Parâmetros:**
model_output_list (`list[torch.Tensor]`) : As saídas diretas do modelo de difusão aprendido nos timesteps atuais e posteriores.
timestep (`int`) : O passo de tempo discreto atual e posterior na cadeia de difusão.
prev_timestep (`int`) : O passo de tempo discreto anterior na cadeia de difusão.
sample (`torch.Tensor`) : Uma instância atual de uma amostra criada pelo processo de difusão.
order (`int`) : A ordem do solver nesta etapa.
noise (`torch.Tensor`, *opcional*) : Ruído aleatório usado pelas variantes de solucionador estocástico (`sde-*`). Obrigatório quando `algorithm_type` é definido como um deles e não utilizado caso contrário.
**Retorna:** `torch.Tensor`
O tensor de amostra no passo de tempo anterior.
Um passo para o DPMSolver singlestep.
#### etapa[[diffusers.DPMSolverSinglestepScheduler.step]]
```python
step(model_output: Tensor, timestep: typing.Union[int, torch.Tensor], sample: Tensor, generator: typing.Optional[torch.Generator] = None, return_dict: bool = True)
```
[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_dpmsolver_singlestep.py#L1188)
**Parâmetros:**
model_output (`torch.Tensor`) : A saída direta do modelo de difusão aprendido.
timestep (`int` ou `torch.Tensor`) : O passo de tempo discreto atual na cadeia de difusão.
sample (`torch.Tensor`) : Uma instância atual de uma amostra criada pelo processo de difusão.
generator (`torch.Generator`, *opcional*) : Um gerador de números aleatórios para amostragem estocástica.
return_dict (`bool`, padrão `True`) : Se deve ou não retornar um [SchedulerOutput](/docs/diffusers/main/pt/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) ou `tuple`.
**Retorna:** [SchedulerOutput](/docs/diffusers/main/pt/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) ou `tuple`
Se return_dict for `True`, [SchedulerOutput](/docs/diffusers/main/pt/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) é retornado; caso contrário, uma tupla é retornada, em que o primeiro elemento é o tensor de amostras.
Preveja a amostra do passo de tempo anterior revertendo o SDE. Esta função propaga a amostra com o DPMSolver de passo único.
## SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]]
#### diffusers.schedulers.scheduling_utils.SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]]
```python
diffusers.schedulers.scheduling_utils.SchedulerOutput(prev_sample: Tensor)
```
[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_utils.py#L66)
**Parâmetros:**
prev_sample (`torch.Tensor` de forma `(batch_size, num_channels, height, width)` para imagens) : Amostra calculada `(x_{t-1})` do passo anterior. `prev_sample` deve ser usado como entrada do próximo modelo no loop de remoção de ruído.
Classe base para a saída da função `step` de um agendador.

Xet Storage Details

Size:
20.7 kB
·
Xet hash:
5647efa164c8a2ccd189c7739acf03d913bfff13f80899a71bd0f08c312ebe9f

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.