Buckets:

hf-doc-build
/

doc

Files

xet

hf-doc-build/doc / diffusers /main /pt /api /schedulers /repaint.md

mishig

8 days ago

preview code

download

raw

9.9 kB

# RePaintScheduler

`RePaintScheduler` é um agendador de inpainting baseado em DDPM para inpainting não supervisionado com máscaras extremas. Ele foi projetado para ser usado com o `RePaintPipeline` e é baseado no artigo [RePaint: Inpainting using Denoising Diffusion Probabilistic Models](https://huggingface.co/papers/2201.09865), de Andreas Lugmayr et al.

O resumo do artigo é:

*O inpainting livre é a tarefa de adicionar novo conteúdo a uma imagem nas regiões especificadas por uma máscara binária arbitrária. A maioria das abordagens existentes é treinada para uma certa distribuição de máscaras, o que limita sua capacidade de generalização para tipos de máscara não vistos. Além disso, o treinamento com perdas por pixel e perdas perceptivas frequentemente leva a extensões texturais simples em direção às áreas ausentes, em vez de uma geração semanticamente significativa. Neste trabalho, propomos o RePaint: uma abordagem de inpainting baseada em um Modelo Probabilístico de Difusão com Denoising (DDPM) que é aplicável até mesmo a máscaras extremas. Utilizamos um DDPM incondicional pré-treinado como o prior generativo. Para condicionar o processo de geração, alteramos apenas as iterações de difusão reversa, amostrando as regiões não mascaradas usando as informações da imagem dada. Como essa técnica não modifica nem condiciona a própria rede DDPM original, o modelo produz imagens de saída de alta qualidade e diversas para qualquer forma de inpainting. Validamos nosso método para inpainting de rostos e de imagens de uso geral, usando máscaras padrão e extremas. O RePaint supera as abordagens Autoregressive e GAN do estado da arte para pelo menos cinco das seis distribuições de máscaras. Repositório no GitHub: [este URL http](http://git.io/RePaint).*

A implementação original pode ser encontrada em [andreas128/RePaint](https://github.com/andreas128/).

## RePaintScheduler[[diffusers.RePaintScheduler]]

#### diffusers.RePaintScheduler[[diffusers.RePaintScheduler]]

```python
diffusers.RePaintScheduler(num_train_timesteps: int = 1000, beta_start: float = 0.0001, beta_end: float = 0.02, beta_schedule: str = 'linear', eta: float = 0.0, trained_betas: numpy.ndarray | None = None, clip_sample: bool = True)
```

[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_repaint.py#L99)

**Parâmetros:**

num_train_timesteps (`int`, padrão `1000`) : O número de etapas de difusão para treinar o modelo.

beta_start (`float`, padrão `0.0001`) : O valor inicial de `beta` para a inferência.
beta_end (`float`, padrão `0.02`) : O valor final de `beta`.

beta_schedule (`str`, padrão `"linear"`) : O agendamento de beta, um mapeamento de um intervalo de beta para uma sequência de betas para dar passos no modelo. Escolha entre `linear`, `scaled_linear`, `squaredcos_cap_v2` ou `sigmoid`.

eta (`float`, padrão `0.0`) : O peso do ruído adicionado durante uma etapa de difusão. Um valor de `0.0` corresponde ao DDIM e um valor de `1.0` corresponde ao DDPM.

trained_betas (`np.ndarray`, *opcional*) : Passe um array de betas diretamente para o construtor para ignorar `beta_start` e `beta_end`.
clip_sample (`bool`, padrão `True`) : Recorta a amostra prevista entre -1 e 1 para estabilidade numérica.

`RePaintScheduler` é um agendador para inpainting de DDPM dentro de uma máscara definida.

Este modelo herda de [SchedulerMixin](/docs/diffusers/main/pt/api/schedulers/overview#diffusers.SchedulerMixin) e [ConfigMixin](/docs/diffusers/main/pt/api/configuration#diffusers.ConfigMixin). Consulte a documentação da superclasse para os métodos genéricos que a biblioteca implementa para todos os agendadores, como carregamento e salvamento.

#### add_noise[[diffusers.RePaintScheduler.add_noise]]

```python
add_noise(original_samples: Tensor, noise: Tensor, timesteps: IntTensor)
```

[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_repaint.py#L395)

**Parâmetros:**

original_samples (`torch.Tensor`) : As amostras originais às quais o ruído seria adicionado.
noise (`torch.Tensor`) : O ruído que seria adicionado às amostras.
timesteps (`torch.IntTensor`) : Os timesteps que determinariam o nível de ruído para cada amostra.
**Exceções:** ``NotImplementedError``
- ``NotImplementedError`` -- O treinamento do RePaint deve usar [DDPMScheduler.add_noise()](/docs/diffusers/main/pt/api/schedulers/ddpm#diffusers.DDPMScheduler.add_noise) em vez disso.
Indique que a adição de ruído para o treinamento do RePaint não é suportada por este agendador.
#### scale_model_input[[diffusers.RePaintScheduler.scale_model_input]]
```python
scale_model_input(sample: Tensor, timestep: int | None = None)
```
[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_repaint.py#L171)
**Parâmetros:**
sample (`torch.Tensor`) : A amostra de entrada.
timestep (`int`, *opcional*) : O timestep atual na cadeia de difusão.
**Retorna:** `torch.Tensor`
Uma amostra de entrada escalada.
Garante a intercambiabilidade com agendadores que precisam escalar a entrada do modelo de desruidamento dependendo do passo de tempo atual.
#### set_timesteps[[diffusers.RePaintScheduler.set_timesteps]]
```python
set_timesteps(num_inference_steps: int, jump_length: int = 10, jump_n_sample: int = 10, device: typing.Union[str, torch.device, NoneType] = None)
```
[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_repaint.py#L188)
**Parâmetros:**
num_inference_steps (`int`) : O número de etapas de difusão usadas ao gerar amostras com um modelo pré-treinado.
jump_length (`int`, padrão `10`) : O número de passos avançados no tempo antes de voltar no tempo para um único salto (“j” no artigo RePaint). Veja as Figuras 9 e 10 do artigo.

jump_n_sample (`int`, padrão `10`) : O número de vezes para realizar um salto temporal para frente para uma amostra de tempo escolhida. Veja as Figuras 9 e 10 no artigo.

device (`str` ou `torch.device`, *opcional*) : O dispositivo para o qual os timesteps devem ser movidos. Se `None`, os timesteps não são movidos.

Define os passos discretos usados para a cadeia de difusão (a ser executado antes da inferência).

#### etapa[[diffusers.RePaintScheduler.step]]

```python
step(model_output: Tensor, timestep: int, sample: Tensor, original_image: Tensor, mask: Tensor, generator: typing.Optional[torch.Generator] = None, return_dict: bool = True)
```

[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_repaint.py#L264)

**Parâmetros:**

model_output (`torch.Tensor`) : A saída direta do modelo de difusão aprendido.
timestep (`int`) : O passo de tempo discreto atual na cadeia de difusão.
sample (`torch.Tensor`) : Uma instância atual de uma amostra criada pelo processo de difusão.
original_image (`torch.Tensor`) : A imagem original para a inpaint.

mask (`torch.Tensor`) : A máscara em que um valor de 0.0 indica qual parte da imagem original deve ser preenchida.

generator (`torch.Generator`, *opcional*) : Um gerador de números aleatórios.

return_dict (`bool`, padrão `True`) : Se deve ou não retornar um [RePaintSchedulerOutput](/docs/diffusers/main/pt/api/schedulers/repaint#diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput) em vez de uma tupla.
**Retorna:** [RePaintSchedulerOutput](/docs/diffusers/main/pt/api/schedulers/repaint#diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput) ou `tuple[torch.Tensor, torch.Tensor]`
Se return_dict for `True`, [RePaintSchedulerOutput](/docs/diffusers/main/pt/api/schedulers/repaint#diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput) é retornado; caso contrário, uma tupla é retornada, em que o primeiro elemento é a amostra anterior e o segundo é a amostra original prevista.

Preveja a amostra do passo de tempo anterior revertendo o SDE. Esta função propaga o processo de difusão a partir das saídas do modelo aprendido (na maioria das vezes, o ruído previsto).

#### undo_step[[diffusers.RePaintScheduler.undo_step]]

```python
undo_step(sample: Tensor, timestep: int, generator: typing.Optional[torch.Generator] = None)
```

[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_repaint.py#L358)

**Parâmetros:**

sample (`torch.Tensor`) : A amostra à qual o ruído é adicionado.

timestep (`int`) : O passo de tempo discreto atual na cadeia de difusão.

generator (`torch.Generator`, *opcional*) : Um gerador de números aleatórios.

**Retorna:** `torch.Tensor`

A amostra no próximo passo de tempo na cadeia de difusão.

Adicione ruído a uma amostra para avançá-la em um passo de difusão.

## RePaintSchedulerOutput[[diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput]]
#### diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput[[diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput]]
```python
diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput(prev_sample: Tensor, pred_original_sample: Tensor)
```
[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_repaint.py#L29)
**Parâmetros:**
prev_sample (`torch.Tensor` de forma `(batch_size, num_channels, height, width)` para imagens) : Amostra calculada (x_{t-1}) do passo anterior. `prev_sample` deve ser usado como próxima entrada do modelo no loop de remoção de ruído.

pred_original_sample (`torch.Tensor` de forma `(batch_size, num_channels, height, width)` para imagens) : A amostra desruidada prevista (x_{0}) com base na saída do modelo do timestep atual. `pred_original_sample` pode ser usado para visualizar o progresso ou para orientação.
Classe de saída para a saída da função de passo do agendador.

Xet Storage Details

Size:: 9.9 kB
Xet hash:: c6238d4a2f1d1de89e0e2e9e97dabdecbfbf85e7cf2bae20fe06f6243067de13

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.

	# RePaintScheduler

	`RePaintScheduler` é um agendador de inpainting baseado em DDPM para inpainting não supervisionado com máscaras extremas. Ele foi projetado para ser usado com o `RePaintPipeline` e é baseado no artigo [RePaint: Inpainting using Denoising Diffusion Probabilistic Models](https://huggingface.co/papers/2201.09865), de Andreas Lugmayr et al.

	O resumo do artigo é:

	O inpainting livre é a tarefa de adicionar novo conteúdo a uma imagem nas regiões especificadas por uma máscara binária arbitrária. A maioria das abordagens existentes é treinada para uma certa distribuição de máscaras, o que limita sua capacidade de generalização para tipos de máscara não vistos. Além disso, o treinamento com perdas por pixel e perdas perceptivas frequentemente leva a extensões texturais simples em direção às áreas ausentes, em vez de uma geração semanticamente significativa. Neste trabalho, propomos o RePaint: uma abordagem de inpainting baseada em um Modelo Probabilístico de Difusão com Denoising (DDPM) que é aplicável até mesmo a máscaras extremas. Utilizamos um DDPM incondicional pré-treinado como o prior generativo. Para condicionar o processo de geração, alteramos apenas as iterações de difusão reversa, amostrando as regiões não mascaradas usando as informações da imagem dada. Como essa técnica não modifica nem condiciona a própria rede DDPM original, o modelo produz imagens de saída de alta qualidade e diversas para qualquer forma de inpainting. Validamos nosso método para inpainting de rostos e de imagens de uso geral, usando máscaras padrão e extremas. O RePaint supera as abordagens Autoregressive e GAN do estado da arte para pelo menos cinco das seis distribuições de máscaras. Repositório no GitHub: [este URL http](http://git.io/RePaint).

	A implementação original pode ser encontrada em [andreas128/RePaint](https://github.com/andreas128/).

	## RePaintScheduler[[diffusers.RePaintScheduler]]

	#### diffusers.RePaintScheduler[[diffusers.RePaintScheduler]]

	```python
	diffusers.RePaintScheduler(num_train_timesteps: int = 1000, beta_start: float = 0.0001, beta_end: float = 0.02, beta_schedule: str = 'linear', eta: float = 0.0, trained_betas: numpy.ndarray \| None = None, clip_sample: bool = True)
	```

	[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_repaint.py#L99)

	Parâmetros:

	num_train_timesteps (`int`, padrão `1000`) : O número de etapas de difusão para treinar o modelo.

	beta_start (`float`, padrão `0.0001`) : O valor inicial de `beta` para a inferência.

	beta_end (`float`, padrão `0.02`) : O valor final de `beta`.

	beta_schedule (`str`, padrão `"linear"`) : O agendamento de beta, um mapeamento de um intervalo de beta para uma sequência de betas para dar passos no modelo. Escolha entre `linear`, `scaled_linear`, `squaredcos_cap_v2` ou `sigmoid`.

	eta (`float`, padrão `0.0`) : O peso do ruído adicionado durante uma etapa de difusão. Um valor de `0.0` corresponde ao DDIM e um valor de `1.0` corresponde ao DDPM.

	trained_betas (`np.ndarray`, opcional) : Passe um array de betas diretamente para o construtor para ignorar `beta_start` e `beta_end`.

	clip_sample (`bool`, padrão `True`) : Recorta a amostra prevista entre -1 e 1 para estabilidade numérica.

	`RePaintScheduler` é um agendador para inpainting de DDPM dentro de uma máscara definida.

	Este modelo herda de [SchedulerMixin](/docs/diffusers/main/pt/api/schedulers/overview#diffusers.SchedulerMixin) e [ConfigMixin](/docs/diffusers/main/pt/api/configuration#diffusers.ConfigMixin). Consulte a documentação da superclasse para os métodos genéricos que a biblioteca implementa para todos os agendadores, como carregamento e salvamento.

	#### add_noise[[diffusers.RePaintScheduler.add_noise]]

	```python
	add_noise(original_samples: Tensor, noise: Tensor, timesteps: IntTensor)
	```

	[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_repaint.py#L395)

	Parâmetros:

	original_samples (`torch.Tensor`) : As amostras originais às quais o ruído seria adicionado.

	noise (`torch.Tensor`) : O ruído que seria adicionado às amostras.

	timesteps (`torch.IntTensor`) : Os timesteps que determinariam o nível de ruído para cada amostra.

	Exceções: ``NotImplementedError``

	- ``NotImplementedError`` -- O treinamento do RePaint deve usar [DDPMScheduler.add_noise()](/docs/diffusers/main/pt/api/schedulers/ddpm#diffusers.DDPMScheduler.add_noise) em vez disso.

	Indique que a adição de ruído para o treinamento do RePaint não é suportada por este agendador.

	#### scale_model_input[[diffusers.RePaintScheduler.scale_model_input]]

	```python
	scale_model_input(sample: Tensor, timestep: int \| None = None)
	```

	[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_repaint.py#L171)

	Parâmetros:

	sample (`torch.Tensor`) : A amostra de entrada.

	timestep (`int`, opcional) : O timestep atual na cadeia de difusão.

	Retorna: `torch.Tensor`

	Uma amostra de entrada escalada.

	Garante a intercambiabilidade com agendadores que precisam escalar a entrada do modelo de desruidamento dependendo do passo de tempo atual.

	#### set_timesteps[[diffusers.RePaintScheduler.set_timesteps]]

	```python
	set_timesteps(num_inference_steps: int, jump_length: int = 10, jump_n_sample: int = 10, device: typing.Union[str, torch.device, NoneType] = None)
	```

	[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_repaint.py#L188)

	Parâmetros:

	num_inference_steps (`int`) : O número de etapas de difusão usadas ao gerar amostras com um modelo pré-treinado.

	jump_length (`int`, padrão `10`) : O número de passos avançados no tempo antes de voltar no tempo para um único salto (“j” no artigo RePaint). Veja as Figuras 9 e 10 do artigo.

	jump_n_sample (`int`, padrão `10`) : O número de vezes para realizar um salto temporal para frente para uma amostra de tempo escolhida. Veja as Figuras 9 e 10 no artigo.

	device (`str` ou `torch.device`, opcional) : O dispositivo para o qual os timesteps devem ser movidos. Se `None`, os timesteps não são movidos.

	Define os passos discretos usados para a cadeia de difusão (a ser executado antes da inferência).

	#### etapa[[diffusers.RePaintScheduler.step]]

	```python
	step(model_output: Tensor, timestep: int, sample: Tensor, original_image: Tensor, mask: Tensor, generator: typing.Optional[torch.Generator] = None, return_dict: bool = True)
	```

	[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_repaint.py#L264)

	Parâmetros:

	model_output (`torch.Tensor`) : A saída direta do modelo de difusão aprendido.

	timestep (`int`) : O passo de tempo discreto atual na cadeia de difusão.

	sample (`torch.Tensor`) : Uma instância atual de uma amostra criada pelo processo de difusão.

	original_image (`torch.Tensor`) : A imagem original para a inpaint.

	mask (`torch.Tensor`) : A máscara em que um valor de 0.0 indica qual parte da imagem original deve ser preenchida.

	generator (`torch.Generator`, opcional) : Um gerador de números aleatórios.

	return_dict (`bool`, padrão `True`) : Se deve ou não retornar um [RePaintSchedulerOutput](/docs/diffusers/main/pt/api/schedulers/repaint#diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput) em vez de uma tupla.

	Retorna: [RePaintSchedulerOutput](/docs/diffusers/main/pt/api/schedulers/repaint#diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput) ou `tuple[torch.Tensor, torch.Tensor]`

	Se return_dict for `True`, [RePaintSchedulerOutput](/docs/diffusers/main/pt/api/schedulers/repaint#diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput) é retornado; caso contrário, uma tupla é retornada, em que o primeiro elemento é a amostra anterior e o segundo é a amostra original prevista.

	Preveja a amostra do passo de tempo anterior revertendo o SDE. Esta função propaga o processo de difusão a partir das saídas do modelo aprendido (na maioria das vezes, o ruído previsto).

	#### undo_step[[diffusers.RePaintScheduler.undo_step]]

	```python
	undo_step(sample: Tensor, timestep: int, generator: typing.Optional[torch.Generator] = None)
	```

	[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_repaint.py#L358)

	Parâmetros:

	sample (`torch.Tensor`) : A amostra à qual o ruído é adicionado.

	timestep (`int`) : O passo de tempo discreto atual na cadeia de difusão.

	generator (`torch.Generator`, opcional) : Um gerador de números aleatórios.

	Retorna: `torch.Tensor`

	A amostra no próximo passo de tempo na cadeia de difusão.

	Adicione ruído a uma amostra para avançá-la em um passo de difusão.

	## RePaintSchedulerOutput[[diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput]]

	#### diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput[[diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput]]

	```python
	diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput(prev_sample: Tensor, pred_original_sample: Tensor)
	```

	[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_repaint.py#L29)

	Parâmetros:

	prev_sample (`torch.Tensor` de forma `(batch_size, num_channels, height, width)` para imagens) : Amostra calculada (x_{t-1}) do passo anterior. `prev_sample` deve ser usado como próxima entrada do modelo no loop de remoção de ruído.

	pred_original_sample (`torch.Tensor` de forma `(batch_size, num_channels, height, width)` para imagens) : A amostra desruidada prevista (x_{0}) com base na saída do modelo do timestep atual. `pred_original_sample` pode ser usado para visualizar o progresso ou para orientação.

	Classe de saída para a saída da função de passo do agendador.