diffusers/main/pt/api/schedulers/repaint.md

RePaintScheduler

RePaintScheduler é um agendador de inpainting baseado em DDPM para inpainting não supervisionado com máscaras extremas. Ele foi projetado para ser usado com o RePaintPipeline e é baseado no artigo RePaint: Inpainting using Denoising Diffusion Probabilistic Models, de Andreas Lugmayr et al.

O resumo do artigo é:

O inpainting livre é a tarefa de adicionar novo conteúdo a uma imagem nas regiões especificadas por uma máscara binária arbitrária. A maioria das abordagens existentes é treinada para uma certa distribuição de máscaras, o que limita sua capacidade de generalização para tipos de máscara não vistos. Além disso, o treinamento com perdas por pixel e perdas perceptivas frequentemente leva a extensões texturais simples em direção às áreas ausentes, em vez de uma geração semanticamente significativa. Neste trabalho, propomos o RePaint: uma abordagem de inpainting baseada em um Modelo Probabilístico de Difusão com Denoising (DDPM) que é aplicável até mesmo a máscaras extremas. Utilizamos um DDPM incondicional pré-treinado como o prior generativo. Para condicionar o processo de geração, alteramos apenas as iterações de difusão reversa, amostrando as regiões não mascaradas usando as informações da imagem dada. Como essa técnica não modifica nem condiciona a própria rede DDPM original, o modelo produz imagens de saída de alta qualidade e diversas para qualquer forma de inpainting. Validamos nosso método para inpainting de rostos e de imagens de uso geral, usando máscaras padrão e extremas. O RePaint supera as abordagens Autoregressive e GAN do estado da arte para pelo menos cinco das seis distribuições de máscaras. Repositório no GitHub: este URL http.

A implementação original pode ser encontrada em andreas128/RePaint.

RePaintScheduler[[diffusers.RePaintScheduler]]

diffusers.RePaintScheduler[[diffusers.RePaintScheduler]]

diffusers.RePaintScheduler(num_train_timesteps: int = 1000, beta_start: float = 0.0001, beta_end: float = 0.02, beta_schedule: str = 'linear', eta: float = 0.0, trained_betas: numpy.ndarray | None = None, clip_sample: bool = True)

Fonte

Parâmetros:

num_train_timesteps (int, padrão 1000) : O número de etapas de difusão para treinar o modelo.

beta_start (float, padrão 0.0001) : O valor inicial de beta para a inferência.

beta_end (float, padrão 0.02) : O valor final de beta.

beta_schedule (str, padrão "linear") : O agendamento de beta, um mapeamento de um intervalo de beta para uma sequência de betas para dar passos no modelo. Escolha entre linear, scaled_linear, squaredcos_cap_v2 ou sigmoid.

eta (float, padrão 0.0) : O peso do ruído adicionado durante uma etapa de difusão. Um valor de 0.0 corresponde ao DDIM e um valor de 1.0 corresponde ao DDPM.

trained_betas (np.ndarray, opcional) : Passe um array de betas diretamente para o construtor para ignorar beta_start e beta_end.

clip_sample (bool, padrão True) : Recorta a amostra prevista entre -1 e 1 para estabilidade numérica.

RePaintScheduler é um agendador para inpainting de DDPM dentro de uma máscara definida.

Este modelo herda de SchedulerMixin e ConfigMixin. Consulte a documentação da superclasse para os métodos genéricos que a biblioteca implementa para todos os agendadores, como carregamento e salvamento.

add_noise[[diffusers.RePaintScheduler.add_noise]]

add_noise(original_samples: Tensor, noise: Tensor, timesteps: IntTensor)

Fonte

Parâmetros:

original_samples (torch.Tensor) : As amostras originais às quais o ruído seria adicionado.

noise (torch.Tensor) : O ruído que seria adicionado às amostras.

timesteps (torch.IntTensor) : Os timesteps que determinariam o nível de ruído para cada amostra.

Exceções: NotImplementedError

• NotImplementedError -- O treinamento do RePaint deve usar DDPMScheduler.add_noise() em vez disso.

Indique que a adição de ruído para o treinamento do RePaint não é suportada por este agendador.

scale_model_input[[diffusers.RePaintScheduler.scale_model_input]]

scale_model_input(sample: Tensor, timestep: int | None = None)

Fonte

Parâmetros:

sample (torch.Tensor) : A amostra de entrada.

timestep (int, opcional) : O timestep atual na cadeia de difusão.

Retorna: torch.Tensor

Uma amostra de entrada escalada.

Garante a intercambiabilidade com agendadores que precisam escalar a entrada do modelo de desruidamento dependendo do passo de tempo atual.

set_timesteps[[diffusers.RePaintScheduler.set_timesteps]]

set_timesteps(num_inference_steps: int, jump_length: int = 10, jump_n_sample: int = 10, device: typing.Union[str, torch.device, NoneType] = None)

Fonte

Parâmetros:

num_inference_steps (int) : O número de etapas de difusão usadas ao gerar amostras com um modelo pré-treinado.

jump_length (int, padrão 10) : O número de passos avançados no tempo antes de voltar no tempo para um único salto (“j” no artigo RePaint). Veja as Figuras 9 e 10 do artigo.

jump_n_sample (int, padrão 10) : O número de vezes para realizar um salto temporal para frente para uma amostra de tempo escolhida. Veja as Figuras 9 e 10 no artigo.

device (str ou torch.device, opcional) : O dispositivo para o qual os timesteps devem ser movidos. Se None, os timesteps não são movidos.

Define os passos discretos usados para a cadeia de difusão (a ser executado antes da inferência).

etapa[[diffusers.RePaintScheduler.step]]

step(model_output: Tensor, timestep: int, sample: Tensor, original_image: Tensor, mask: Tensor, generator: typing.Optional[torch.Generator] = None, return_dict: bool = True)

Fonte

Parâmetros:

model_output (torch.Tensor) : A saída direta do modelo de difusão aprendido.

timestep (int) : O passo de tempo discreto atual na cadeia de difusão.

sample (torch.Tensor) : Uma instância atual de uma amostra criada pelo processo de difusão.

original_image (torch.Tensor) : A imagem original para a inpaint.

mask (torch.Tensor) : A máscara em que um valor de 0.0 indica qual parte da imagem original deve ser preenchida.

generator (torch.Generator, opcional) : Um gerador de números aleatórios.

return_dict (bool, padrão True) : Se deve ou não retornar um RePaintSchedulerOutput em vez de uma tupla.

Retorna: RePaintSchedulerOutput ou tuple[torch.Tensor, torch.Tensor]

Se return_dict for True, RePaintSchedulerOutput é retornado; caso contrário, uma tupla é retornada, em que o primeiro elemento é a amostra anterior e o segundo é a amostra original prevista.

Preveja a amostra do passo de tempo anterior revertendo o SDE. Esta função propaga o processo de difusão a partir das saídas do modelo aprendido (na maioria das vezes, o ruído previsto).

undo_step[[diffusers.RePaintScheduler.undo_step]]

undo_step(sample: Tensor, timestep: int, generator: typing.Optional[torch.Generator] = None)

Fonte

Parâmetros:

sample (torch.Tensor) : A amostra à qual o ruído é adicionado.

timestep (int) : O passo de tempo discreto atual na cadeia de difusão.

generator (torch.Generator, opcional) : Um gerador de números aleatórios.

Retorna: torch.Tensor

A amostra no próximo passo de tempo na cadeia de difusão.

Adicione ruído a uma amostra para avançá-la em um passo de difusão.

RePaintSchedulerOutput[[diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput]]

diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput[[diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput]]

diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput(prev_sample: Tensor, pred_original_sample: Tensor)

Fonte

Parâmetros:

prev_sample (torch.Tensor de forma (batch_size, num_channels, height, width) para imagens) : Amostra calculada (x_{t-1}) do passo anterior. prev_sample deve ser usado como próxima entrada do modelo no loop de remoção de ruído.

pred_original_sample (torch.Tensor de forma (batch_size, num_channels, height, width) para imagens) : A amostra desruidada prevista (x_{0}) com base na saída do modelo do timestep atual. pred_original_sample pode ser usado para visualizar o progresso ou para orientação.

Classe de saída para a saída da função de passo do agendador.