Buckets:
| # DEISMultistepScheduler | |
| O Diffusion Exponential Integrator Sampler (DEIS) é proposto em [Fast Sampling of Diffusion Models with Exponential Integrator](https://huggingface.co/papers/2204.13902) por Qinsheng Zhang e Yongxin Chen. `DEISMultistepScheduler` é um solver rápido de alta ordem para equações diferenciais ordinárias (ODEs) de difusão. | |
| Esta implementação modifica a fórmula de ajuste polinomial no espaço log-rho, em vez do espaço linear `t` original do paper DEIS. Essa modificação possui coeficientes em forma fechada para a atualização multietapa exponencial, em vez de depender de um solver numérico. | |
| O resumo do artigo é: | |
| *Nos últimos anos, testemunhamos o grande sucesso dos modelos de Difusão~(DMs) na geração de amostras de alta fidelidade em tarefas de modelagem generativa. Uma limitação importante dos DMs é seu procedimento de amostragem notoriamente lento, que normalmente requer de centenas a milhares de passos de discretização temporal do processo de difusão aprendido para alcançar a precisão desejada. Nosso objetivo é desenvolver um método de amostragem rápido para DMs com um número muito menor de passos, mantendo a alta qualidade das amostras. Para isso, analisamos sistematicamente o procedimento de amostragem nos DMs e identificamos os fatores-chave que afetam a qualidade da amostra, sendo o método de discretização o mais crucial. Ao examinar cuidadosamente o processo de difusão aprendido, propomos o Diffusion Exponential Integrator Sampler~(DEIS). Ele é baseado no Exponential Integrator, projetado para discretizar equações diferenciais ordinárias (ODEs), e aproveita uma estrutura semilinear do processo de difusão aprendido para reduzir o erro de discretização. O método proposto pode ser aplicado a qualquer DM e pode gerar amostras de alta fidelidade em tão poucas quanto 10 etapas. Em nossos experimentos, leva cerca de 3 minutos em uma GPU A6000 para gerar 50 mil imagens do CIFAR10. Além disso, ao usar diretamente DMs pré-treinados, alcançamos o desempenho de amostragem state-of-the-art quando o número de avaliações da função de score~(NFE) é limitado, por exemplo, 4,17 FID com 10 NFEs, 3,37 FID e 9,74 IS com apenas 15 NFEs no CIFAR10. O código está disponível em [este URL https](https://github.com/qsh-zh/deis).* | |
| ## Dicas | |
| É recomendado definir `solver_order` como 2 ou 3, enquanto `solver_order=1` é equivalente ao [DDIMScheduler](/docs/diffusers/main/pt/api/schedulers/ddim#diffusers.DDIMScheduler). | |
| O thresholding dinâmico do [Imagen](https://huggingface.co/papers/2205.11487) é suportado, e para modelos de difusão no espaço de pixels, você pode definir `thresholding=True` para usar o thresholding dinâmico. | |
| ## DEISMultistepScheduler[[diffusers.DEISMultistepScheduler]] | |
| #### diffusers.DEISMultistepScheduler[[diffusers.DEISMultistepScheduler]] | |
| ```python | |
| diffusers.DEISMultistepScheduler(num_train_timesteps: int = 1000, beta_start: float = 0.0001, beta_end: float = 0.02, beta_schedule: typing.Literal['linear', 'scaled_linear', 'squaredcos_cap_v2'] = 'linear', trained_betas: numpy.ndarray | list[float] | None = None, solver_order: int = 2, prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction', 'flow_prediction'] = 'epsilon', thresholding: bool = False, dynamic_thresholding_ratio: float = 0.995, sample_max_value: float = 1.0, algorithm_type: typing.Literal['deis'] = 'deis', solver_type: typing.Literal['logrho'] = 'logrho', lower_order_final: bool = True, use_karras_sigmas: bool = False, use_exponential_sigmas: bool = False, use_beta_sigmas: bool = False, use_flow_sigmas: bool = False, flow_shift: float = 1.0, timestep_spacing: typing.Literal['linspace', 'leading', 'trailing'] = 'linspace', steps_offset: int = 0, use_dynamic_shifting: bool = False, time_shift_type: typing.Literal['exponential'] = 'exponential') | |
| ``` | |
| [Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_deis_multistep.py#L86) | |
| **Parâmetros:** | |
| num_train_timesteps (`int`, padrão `1000`) : O número de etapas de difusão para treinar o modelo. | |
| beta_start (`float`, padrão `0.0001`) : O valor inicial de `beta` para a inferência. | |
| beta_end (`float`, padrão `0.02`) : O valor final de `beta`. | |
| beta_schedule (`"linear"`, `"scaled_linear"` ou `"squaredcos_cap_v2"`, padrão é `"linear"`) : O agendamento de beta, um mapeamento de um intervalo de beta para uma sequência de betas para dar passos no modelo. Escolha entre `linear`, `scaled_linear` ou `squaredcos_cap_v2`. | |
| trained_betas (`np.ndarray` ou `list[float]`, *opcional*) : Passe um array de betas diretamente para o construtor para ignorar `beta_start` e `beta_end`. | |
| solver_order (`int`, padrão `2`) : A ordem DEIS, que pode ser `1` ou `2` ou `3`. Recomenda-se usar `solver_order=2` para amostragem guiada e `solver_order=3` para amostragem incondicional. | |
| prediction_type (`"epsilon"`, `"sample"`, `"v_prediction"`, or `"flow_prediction"`, defaults to `"epsilon"`) : Prediction type of the scheduler function; can be `epsilon` (predicts the noise of the diffusion process), `sample` (directly predicts the noisy sample`), `v_prediction` (see section 2.4 of [Imagen Video](https://huggingface.co/papers/2210.02303) paper), or `flow_prediction`. | |
| thresholding (`bool`, padrão `False`) : Se deve usar o método de "limiar dinâmico". Isso não é adequado para modelos de difusão em espaço latente, como o Stable Diffusion. | |
| dynamic_thresholding_ratio (`float`, padrão `0.995`) : A proporção para o método de limiar dinâmico. Válido apenas quando `thresholding=True`. | |
| sample_max_value (`float`, padrão `1.0`) : O valor de limiar para o limiar dinâmico. Válido apenas quando `thresholding=True`. | |
| algorithm_type (`"deis"`, padrão `"deis"`) : O tipo de algoritmo para o solver. | |
| solver_type (`"logrho"`, padrão `"logrho"`) : Tipo de solver para DEIS. | |
| lower_order_final (`bool`, padrão `True`) : Se deve usar solucionadores de ordem inferior nas etapas finais. Válido apenas para < 15 etapas de inferência. | |
| use_karras_sigmas (`bool`, *opcional*, padrão `False`) : Se deve usar sigmas de Karras para os tamanhos de passo no agendamento de ruído durante o processo de amostragem. Se `True`, os sigmas são determinados de acordo com uma sequência de níveis de ruído {σi}. | |
| use_exponential_sigmas (`bool`, *opcional*, padrão `False`) : Se deve usar sigmas exponenciais para os tamanhos de passo no agendamento de ruído durante o processo de amostragem. | |
| use_beta_sigmas (`bool`, *opcional*, padrão `False`) : Se deve usar betas sigmas para os tamanhos de passo no agendamento de ruído durante o processo de amostragem. Consulte [Beta Sampling is All You Need](https://huggingface.co/papers/2407.12173) para mais informações. | |
| use_flow_sigmas (`bool`, *opcional*, padrão `False`) : Se deve usar sigmas de fluxo para os tamanhos de passo no agendamento de ruído durante o processo de amostragem. | |
| flow_shift (`float`, *opcional*, padrão `1.0`) : O parâmetro de deslocamento de fluxo para modelos baseados em fluxo. | |
| timestep_spacing (`"linspace"`, `"leading"` ou `"trailing"`, padrão `"linspace"`) : A forma como os timesteps devem ser escalados. Consulte a Tabela 2 do [Common Diffusion Noise Schedules and Sample Steps are Flawed](https://huggingface.co/papers/2305.08891) para mais informações. | |
| steps_offset (`int`, padrão `0`) : Um deslocamento adicionado às etapas de inferência, conforme exigido por algumas famílias de modelos. | |
| use_dynamic_shifting (`bool`, padrão `False`) : Se deve usar deslocamento dinâmico para o agendamento de ruído. | |
| time_shift_type (`"exponential"`, padrão é `"exponential"`) : O tipo de deslocamento temporal a ser aplicado. | |
| `DEISMultistepScheduler` é um solver de alta ordem e rápido para equações diferenciais ordinárias (ODEs) de difusão. | |
| Este modelo herda de [SchedulerMixin](/docs/diffusers/main/pt/api/schedulers/overview#diffusers.SchedulerMixin) e [ConfigMixin](/docs/diffusers/main/pt/api/configuration#diffusers.ConfigMixin). Consulte a documentação da superclasse para os métodos genéricos que a biblioteca implementa para todos os agendadores, como carregamento e salvamento. | |
| #### add_noise[[diffusers.DEISMultistepScheduler.add_noise]] | |
| ```python | |
| add_noise(original_samples: Tensor, noise: Tensor, timesteps: IntTensor) | |
| ``` | |
| [Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_deis_multistep.py#L997) | |
| **Parâmetros:** | |
| original_samples (`torch.Tensor`) : As amostras originais sem ruído. | |
| noise (`torch.Tensor`) : O ruído a ser adicionado às amostras. | |
| timesteps (`torch.IntTensor`) : Os passos de tempo nos quais adicionar ruído às amostras. | |
| **Retorna:** `torch.Tensor` | |
| As amostras ruidosas. | |
| Adicione ruído às amostras originais de acordo com o agendamento de ruído nos timesteps especificados. | |
| #### convert_model_output[[diffusers.DEISMultistepScheduler.convert_model_output]] | |
| ```python | |
| convert_model_output(model_output: Tensor, *args, sample: Tensor = None, **kwargs) | |
| ``` | |
| [Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_deis_multistep.py#L581) | |
| **Parâmetros:** | |
| model_output (`torch.Tensor`) : A saída direta do modelo de difusão aprendido. | |
| timestep (`int`) : O passo de tempo discreto atual na cadeia de difusão. | |
| sample (`torch.Tensor`) : Uma instância atual de uma amostra criada pelo processo de difusão. | |
| **Retorna:** `torch.Tensor` | |
| A saída do modelo convertido. | |
| Converta a saída do modelo para o tipo correspondente necessário pelo algoritmo DEIS. | |
| #### deis_first_order_update[[diffusers.DEISMultistepScheduler.deis_first_order_update]] | |
| ```python | |
| deis_first_order_update(model_output: Tensor, *args, sample: Tensor = None, **kwargs) | |
| ``` | |
| [Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_deis_multistep.py#L641) | |
| **Parâmetros:** | |
| model_output (`torch.Tensor`) : A saída direta do modelo de difusão aprendido. | |
| timestep (`int`) : O passo de tempo discreto atual na cadeia de difusão. | |
| prev_timestep (`int`) : O passo de tempo discreto anterior na cadeia de difusão. | |
| sample (`torch.Tensor`) : Uma instância atual de uma amostra criada pelo processo de difusão. | |
| **Retorna:** `torch.Tensor` | |
| O tensor de amostra no passo de tempo anterior. | |
| Um passo para o DEIS de primeira ordem (equivalente ao DDIM). | |
| #### index_for_timestep[[diffusers.DEISMultistepScheduler.index_for_timestep]] | |
| ```python | |
| index_for_timestep(timestep: typing.Union[int, torch.Tensor], schedule_timesteps: typing.Optional[torch.Tensor] = None) | |
| ``` | |
| [Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_deis_multistep.py#L864) | |
| **Parâmetros:** | |
| timestep (`int` ou `torch.Tensor`) : O timestep para o qual encontrar o índice. | |
| schedule_timesteps (`torch.Tensor`, *opcional*) : O cronograma de passos de tempo a ser pesquisado. Se `None`, usa `self.timesteps`. | |
| **Retorna:** `int` | |
| O índice do timestep no agendamento. | |
| Encontre o índice para um passo de tempo (timestep) específico no agendamento. | |
| #### multistep_deis_second_order_update[[diffusers.DEISMultistepScheduler.multistep_deis_second_order_update]] | |
| ```python | |
| multistep_deis_second_order_update(model_output_list: list[torch.Tensor], *args, sample: Tensor = None, **kwargs) | |
| ``` | |
| [Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_deis_multistep.py#L702) | |
| **Parâmetros:** | |
| model_output_list (`list[torch.Tensor]`) : As saídas diretas do modelo de difusão aprendido nos timesteps atuais e posteriores. | |
| sample (`torch.Tensor`) : Uma instância atual de uma amostra criada pelo processo de difusão. | |
| **Retorna:** `torch.Tensor` | |
| O tensor de amostra no passo de tempo anterior. | |
| Um passo para o DEIS multietapa de segunda ordem. | |
| #### multistep_deis_third_order_update[[diffusers.DEISMultistepScheduler.multistep_deis_third_order_update]] | |
| ```python | |
| multistep_deis_third_order_update(model_output_list: list[torch.Tensor], *args, sample: Tensor = None, **kwargs) | |
| ``` | |
| [Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_deis_multistep.py#L775) | |
| **Parâmetros:** | |
| model_output_list (`list[torch.Tensor]`) : As saídas diretas do modelo de difusão aprendido nos timesteps atuais e posteriores. | |
| sample (`torch.Tensor`) : Uma instância atual de uma amostra criada pelo processo de difusão. | |
| **Retorna:** `torch.Tensor` | |
| O tensor de amostra no passo de tempo anterior. | |
| Um passo para o DEIS multietapa de terceira ordem. | |
| #### scale_model_input[[diffusers.DEISMultistepScheduler.scale_model_input]] | |
| ```python | |
| scale_model_input(sample: Tensor, *args, **kwargs) | |
| ``` | |
| [Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_deis_multistep.py#L981) | |
| **Parâmetros:** | |
| sample (`torch.Tensor`) : A amostra de entrada. | |
| **Retorna:** `torch.Tensor` | |
| Uma amostra de entrada escalada. | |
| Garante a intercambiabilidade com agendadores que precisam escalar a entrada do modelo de desruidamento dependendo do passo de tempo atual. | |
| #### set_begin_index[[diffusers.DEISMultistepScheduler.set_begin_index]] | |
| ```python | |
| set_begin_index(begin_index: int = 0) | |
| ``` | |
| [Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_deis_multistep.py#L262) | |
| **Parâmetros:** | |
| begin_index (`int`, padrão `0`) : O índice inicial para o agendador. | |
| Define o índice inicial para o agendador. Esta função deve ser executada a partir do pipeline antes da inferência. | |
| #### set_timesteps[[diffusers.DEISMultistepScheduler.set_timesteps]] | |
| ```python | |
| set_timesteps(num_inference_steps: int, device: typing.Union[str, torch.device] = None, mu: float | None = None) | |
| ``` | |
| [Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_deis_multistep.py#L272) | |
| **Parâmetros:** | |
| num_inference_steps (`int`) : O número de etapas de difusão usadas ao gerar amostras com um modelo pré-treinado. | |
| device (`str` ou `torch.device`, *opcional*) : O dispositivo para o qual os timesteps devem ser movidos. Se `None`, os timesteps não são movidos. | |
| mu (`float`, *opcional*) : O parâmetro mu para o deslocamento dinâmico. Usado apenas quando `use_dynamic_shifting=True` e `time_shift_type="exponential"`. | |
| Define os passos discretos usados para a cadeia de difusão (a ser executado antes da inferência). | |
| #### etapa[[diffusers.DEISMultistepScheduler.step]] | |
| ```python | |
| step(model_output: Tensor, timestep: typing.Union[int, torch.Tensor], sample: Tensor, return_dict: bool = True) | |
| ``` | |
| [Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_deis_multistep.py#L917) | |
| **Parâmetros:** | |
| model_output (`torch.Tensor`) : A saída direta do modelo de difusão aprendido. | |
| timestep (`int` ou `torch.Tensor`) : O passo de tempo discreto atual na cadeia de difusão. | |
| sample (`torch.Tensor`) : Uma instância atual de uma amostra criada pelo processo de difusão. | |
| return_dict (`bool`, padrão `True`) : Se deve ou não retornar um [SchedulerOutput](/docs/diffusers/main/pt/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) ou `tuple`. | |
| **Retorna:** [SchedulerOutput](/docs/diffusers/main/pt/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) ou `tuple` | |
| Se return_dict for `True`, [SchedulerOutput](/docs/diffusers/main/pt/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) é retornado; caso contrário, uma tupla é retornada, em que o primeiro elemento é o tensor de amostras. | |
| Preveja a amostra do passo de tempo anterior revertendo o SDE. Esta função propaga a amostra com o DEIS multietapa. | |
| ## SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]] | |
| #### diffusers.schedulers.scheduling_utils.SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]] | |
| ```python | |
| diffusers.schedulers.scheduling_utils.SchedulerOutput(prev_sample: Tensor) | |
| ``` | |
| [Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_utils.py#L66) | |
| **Parâmetros:** | |
| prev_sample (`torch.Tensor` de forma `(batch_size, num_channels, height, width)` para imagens) : Amostra calculada `(x_{t-1})` do passo anterior. `prev_sample` deve ser usado como entrada do próximo modelo no loop de remoção de ruído. | |
| Classe base para a saída da função `step` de um agendador. | |
Xet Storage Details
- Size:
- 16.5 kB
- Xet hash:
- 8c00351fd5cb24be21640fb31c0f4fd977aba4d6ffc8b0cb179f3b0b7f1e402e
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.