Buckets:

hf-doc-build
/

doc

Files
xet
hf-doc-build/doc / diffusers /main /pt /api /pipelines /auto_pipeline.md
mishig
8 days ago
preview code
download
raw
38.5 kB
# AutoPipeline

O `AutoPipeline` foi projetado para facilitar o carregamento de um checkpoint para uma tarefa sem a necessidade de conhecer a classe de pipeline específica. Com base na tarefa, o `AutoPipeline` recupera automaticamente a classe de pipeline correta do arquivo `model_index.json` do checkpoint.

> [!TIP]
> Confira o tutorial do [AutoPipeline](../../tutorials/autopipeline) para aprender a usar esta API!

## AutoPipelineForText2Image[[diffusers.AutoPipelineForText2Image]]

#### diffusers.AutoPipelineForText2Image[[diffusers.AutoPipelineForText2Image]]

```python
diffusers.AutoPipelineForText2Image(*args, **kwargs)
```

[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L378)

[AutoPipelineForText2Image](/docs/diffusers/main/pt/api/pipelines/auto_pipeline#diffusers.AutoPipelineForText2Image) é uma classe de pipeline genérica que instancia uma classe de pipeline de texto para imagem. A classe de pipeline subjacente específica é selecionada automaticamente a partir dos métodos [from_pretrained()](/docs/diffusers/main/pt/api/pipelines/auto_pipeline#diffusers.AutoPipelineForText2Image.from_pretrained) ou [from_pipe()](/docs/diffusers/main/pt/api/pipelines/auto_pipeline#diffusers.AutoPipelineForText2Image.from_pipe).

Esta classe não pode ser instanciada usando `__init__()` (lança um erro).

Atributos de classe:

- **config_name** (`str`) -- O nome do arquivo de configuração que armazena os nomes de classe e módulo de todos os componentes do pipeline de difusão.
#### from_pretrained[[diffusers.AutoPipelineForText2Image.from_pretrained]]
```python
from_pretrained(pretrained_model_or_path, **kwargs)
```
[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L403)
**Parâmetros:**
pretrained_model_or_path (`str` ou `os.PathLike`, *opcional*) : Pode ser:  - Uma string, o *repo id* (por exemplo `CompVis/ldm-text2im-large-256`) de um pipeline pré-treinado hospedado no Hub. - Um caminho para um *diretório* (por exemplo `./my_pipeline_directory/`) contendo pesos de pipeline salvos usando [save_pretrained()](/docs/diffusers/main/pt/api/pipelines/overview#diffusers.DiffusionPipeline.save_pretrained).
dtype (`torch.dtype`, *opcional*) : Substitui o `torch.dtype` padrão e carrega o modelo com outro dtype.
force_download (`bool`, *opcional*, padrão `False`) : Se deve forçar o (re-)download dos pesos do modelo e dos arquivos de configuração, sobrescrevendo as versões em cache, caso existam.
cache_dir (`str | os.PathLike`, *opcional*) : Caminho para um diretório onde a configuração de um modelo pré-treinado baixado é armazenada em cache, caso o cache padrão não seja utilizado.
proxies (`dict[str, str]`, *opcional*) : Um dicionário de servidores proxy a serem usados por protocolo ou endpoint, por exemplo, `{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}`. Os proxies são usados em cada solicitação.
output_loading_info(`bool`, *opcional*, padrão `False`) : Indica se deve ou não retornar também um dicionário contendo chaves ausentes, chaves inesperadas e mensagens de erro.
local_files_only (`bool`, *opcional*, padrão `False`) : Se deve carregar apenas os pesos e os arquivos de configuração do modelo localmente ou não. Se definido como `True`, o modelo não será baixado do Hub.
token (`str` ou *bool*, *opcional*) : O token a ser usado como autorização HTTP bearer para arquivos remotos. Se `True`, o token gerado por `diffusers-cli login` (armazenado em `~/.huggingface`) é utilizado.
revision (`str`, *opcional*, padrão `"main"`) : A versão específica do modelo a ser usada. Pode ser o nome de um branch, o nome de uma tag, um id de commit ou qualquer identificador permitido pelo Git.
custom_revision (`str`, *opcional*, padrão `"main"`) : A versão específica do modelo a ser usada. Pode ser um nome de branch, um nome de tag ou um id de commit, semelhante a `revision` ao carregar um pipeline personalizado do Hub. Pode ser uma versão do 🤗 Diffusers ao carregar um pipeline personalizado do GitHub; caso contrário, o padrão é `"main"` ao carregar do Hub.
mirror (`str`, *opcional*) : Espelho de origem para resolver problemas de acessibilidade se você estiver baixando um modelo na China. Não garantimos a pontualidade ou a segurança da origem, e você deve consultar o site do espelho para obter mais informações.
device_map (`str` ou `dict[str, int | str | torch.device]`, *opcional*) : Um mapa que especifica para onde cada submódulo deve ser enviado. Não precisa ser definido para cada nome de parâmetro/buffer; uma vez que um determinado nome de módulo esteja incluído, todos os seus submódulos serão enviados para o mesmo dispositivo. Defina `device_map="auto"` para que o 🤗 Accelerate calcule automaticamente o `device_map` mais otimizado. Para mais informações sobre cada opção, consulte [projetando um mapa de dispositivos](https://hf.co/docs/accelerate/main/en/usage_guides/big_modeling#designing-a-device-map).
max_memory (`Dict`, *opcional*) : Um dicionário com o identificador de dispositivo para a memória máxima. Se não for definido, o padrão será a memória máxima disponível para cada GPU e a RAM disponível na CPU.
offload_folder (`str` ou `os.PathLike`, *opcional*) : O caminho para descarregar os pesos se device_map contiver o valor `"disk"`.
offload_state_dict (`bool`, *opcional*) : Se `True`, descarrega temporariamente o state dict da CPU para o disco rígido para evitar a falta de RAM na CPU caso o peso do state dict da CPU + o maior shard do checkpoint não caiba. O padrão é `True` quando há algum offload para o disco.
low_cpu_mem_usage (`bool`, *opcional*, padrão é `True` se a versão do torch >= 1.9.0, caso contrário `False`) : Acelera o carregamento do modelo carregando apenas os pesos pré-treinados e não inicializando os pesos. Isso também tenta não usar mais do que 1x o tamanho do modelo na memória de CPU (incluindo a memória de pico) durante o carregamento do modelo. Suportado apenas para PyTorch >= 1.9.0. Se você estiver usando uma versão mais antiga do PyTorch, definir este argumento como `True` causará um erro.
use_safetensors (`bool`, *opcional*, padrão `None`) : Se definido como `None`, os pesos em safetensors são baixados se estiverem disponíveis **e** se a biblioteca safetensors estiver instalada. Se definido como `True`, o modelo é carregado forçadamente a partir dos pesos em safetensors. Se definido como `False`, os pesos em safetensors não são carregados.
kwargs (dicionário restante de argumentos de palavra-chave, *opcional*) : Pode ser usado para sobrescrever variáveis de carregamento e salvamento (os componentes do pipeline da classe de pipeline específica). Os componentes sobrescritos são passados diretamente para o método `__init__` dos pipelines. Veja o exemplo abaixo para mais informações.
variant (`str`, *opcional*) : Carrega os pesos de um nome de arquivo de variante especificado, como `"fp16"` ou `"ema"`.
Instancia um pipeline de difusão Pytorch de texto para imagem a partir de pesos de pipeline pré-treinados.
O método from_pretrained() cuida de retornar a instância da classe de pipeline correta por meio de:
1. Detecte a classe de pipeline do pretrained_model_or_path com base na propriedade _class_name do objeto de configuração dele
2. Encontre o pipeline de texto para imagem vinculado à classe de pipeline usando correspondência de padrões no nome da classe de pipeline.
Se um argumento `controlnet` for passado, um objeto [StableDiffusionControlNetPipeline](/docs/diffusers/main/pt/api/pipelines/controlnet#diffusers.StableDiffusionControlNetPipeline) será instanciado.
O pipeline é definido no modo de avaliação (`model.eval()`) por padrão.
Se você receber a mensagem de erro abaixo, é necessário ajustar os pesos para sua tarefa de destino:
```
Some weights of UNet2DConditionModel were not initialized from the model checkpoint at stable-diffusion-v1-5/stable-diffusion-v1-5 and are newly initialized because the shapes did not match:
- conv_in.weight: found shape torch.Size([320, 4, 3, 3]) in the checkpoint and torch.Size([320, 9, 3, 3]) in the model instantiated
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.
```
> [!TIP] > Para usar modelos privados ou [gated](https://huggingface.co/docs/hub/models-gated#gated-models), faça login
com `hf > auth login`.
Exemplos:
```py
>>> from diffusers import AutoPipelineForText2Image
>>> pipeline = AutoPipelineForText2Image.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5")
>>> image = pipeline(prompt).images[0]
```
#### from_pipe[[diffusers.AutoPipelineForText2Image.from_pipe]]
```python
from_pipe(pipeline, **kwargs)
```
[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L559)
**Parâmetros:**
pipeline (`DiffusionPipeline`) : um objeto `DiffusionPipeline` instanciado
Instancia um pipeline de difusão de texto para imagem do Pytorch a partir de outra classe de pipeline de difusão instanciada.
O método from_pipe() se encarrega de retornar a instância correta da classe de pipeline, localizando o pipeline de texto para imagem vinculado à classe de pipeline por meio de correspondência de padrões no nome da classe de pipeline.
Todos os módulos contidos no pipeline serão usados para inicializar o novo pipeline sem alocar memória adicional.
O pipeline é definido no modo de avaliação (`model.eval()`) por padrão.
```py
>>> from diffusers import AutoPipelineForText2Image, AutoPipelineForImage2Image

>>> pipe_i2i = AutoPipelineForImage2Image.from_pretrained(
...     "stable-diffusion-v1-5/stable-diffusion-v1-5", requires_safety_checker=False
... )

>>> pipe_t2i = AutoPipelineForText2Image.from_pipe(pipe_i2i)
>>> image = pipe_t2i(prompt).images[0]
```
## AutoPipelineForImage2Image[[diffusers.AutoPipelineForImage2Image]]
#### diffusers.AutoPipelineForImage2Image[[diffusers.AutoPipelineForImage2Image]]
```python
diffusers.AutoPipelineForImage2Image(*args, **kwargs)
```
[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L676)
[AutoPipelineForImage2Image](/docs/diffusers/main/pt/api/pipelines/auto_pipeline#diffusers.AutoPipelineForImage2Image) é uma classe de pipeline genérica que instancia uma classe de pipeline de imagem para imagem. A classe de pipeline subjacente específica é selecionada automaticamente a partir dos métodos [from_pretrained()](/docs/diffusers/main/pt/api/pipelines/auto_pipeline#diffusers.AutoPipelineForImage2Image.from_pretrained) ou [from_pipe()](/docs/diffusers/main/pt/api/pipelines/auto_pipeline#diffusers.AutoPipelineForImage2Image.from_pipe).
Esta classe não pode ser instanciada usando `__init__()` (lança um erro).
Atributos de classe:
- **config_name** (`str`) -- O nome do arquivo de configuração que armazena os nomes de classe e módulo de todos os componentes do pipeline de difusão.

#### from_pretrained[[diffusers.AutoPipelineForImage2Image.from_pretrained]]

```python
from_pretrained(pretrained_model_or_path, **kwargs)
```

[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L701)

**Parâmetros:**

pretrained_model_or_path (`str` ou `os.PathLike`, *opcional*) : Pode ser:  - Uma string, o *repo id* (por exemplo `CompVis/ldm-text2im-large-256`) de um pipeline pré-treinado hospedado no Hub. - Um caminho para um *diretório* (por exemplo `./my_pipeline_directory/`) contendo pesos de pipeline salvos usando [save_pretrained()](/docs/diffusers/main/pt/api/pipelines/overview#diffusers.DiffusionPipeline.save_pretrained).
dtype (`str` ou `torch.dtype`, *opcional*) : Substitui o `torch.dtype` padrão e carrega o modelo com outro dtype.
force_download (`bool`, *opcional*, padrão `False`) : Se deve forçar o (re-)download dos pesos do modelo e dos arquivos de configuração, sobrescrevendo as versões em cache, caso existam.

cache_dir (`str | os.PathLike`, *opcional*) : Caminho para um diretório onde a configuração de um modelo pré-treinado baixado é armazenada em cache, caso o cache padrão não seja utilizado.
proxies (`dict[str, str]`, *opcional*) : Um dicionário de servidores proxy a serem usados por protocolo ou endpoint, por exemplo, `{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}`. Os proxies são usados em cada solicitação.
output_loading_info(`bool`, *opcional*, padrão `False`) : Indica se deve ou não retornar também um dicionário contendo chaves ausentes, chaves inesperadas e mensagens de erro.
local_files_only (`bool`, *opcional*, padrão `False`) : Se deve carregar apenas os pesos e os arquivos de configuração do modelo localmente ou não. Se definido como `True`, o modelo não será baixado do Hub.
token (`str` ou *bool*, *opcional*) : O token a ser usado como autorização HTTP bearer para arquivos remotos. Se `True`, o token gerado por `diffusers-cli login` (armazenado em `~/.huggingface`) é utilizado.
revision (`str`, *opcional*, padrão `"main"`) : A versão específica do modelo a ser usada. Pode ser o nome de um branch, o nome de uma tag, um id de commit ou qualquer identificador permitido pelo Git.
custom_revision (`str`, *opcional*, padrão `"main"`) : A versão específica do modelo a ser usada. Pode ser um nome de branch, um nome de tag ou um id de commit, semelhante a `revision` ao carregar um pipeline personalizado do Hub. Pode ser uma versão do 🤗 Diffusers ao carregar um pipeline personalizado do GitHub; caso contrário, o padrão é `"main"` ao carregar do Hub.

mirror (`str`, *opcional*) : Espelho de origem para resolver problemas de acessibilidade se você estiver baixando um modelo na China. Não garantimos a pontualidade ou a segurança da origem, e você deve consultar o site do espelho para obter mais informações.

device_map (`str` ou `dict[str, int | str | torch.device]`, *opcional*) : Um mapa que especifica para onde cada submódulo deve ser enviado. Não precisa ser definido para cada nome de parâmetro/buffer; uma vez que um determinado nome de módulo esteja incluído, todos os seus submódulos serão enviados para o mesmo dispositivo. Defina `device_map="auto"` para que o 🤗 Accelerate calcule automaticamente o `device_map` mais otimizado. Para mais informações sobre cada opção, consulte [projetando um mapa de dispositivos](https://hf.co/docs/accelerate/main/en/usage_guides/big_modeling#designing-a-device-map).
max_memory (`Dict`, *opcional*) : Um dicionário com o identificador de dispositivo para a memória máxima. Se não for definido, o padrão será a memória máxima disponível para cada GPU e a RAM disponível na CPU.

offload_folder (`str` ou `os.PathLike`, *opcional*) : O caminho para descarregar os pesos se device_map contiver o valor `"disk"`.

offload_state_dict (`bool`, *opcional*) : Se `True`, descarrega temporariamente o state dict da CPU para o disco rígido para evitar a falta de RAM na CPU caso o peso do state dict da CPU + o maior shard do checkpoint não caiba. O padrão é `True` quando há algum offload para o disco.

low_cpu_mem_usage (`bool`, *opcional*, padrão é `True` se a versão do torch >= 1.9.0, caso contrário `False`) : Acelera o carregamento do modelo carregando apenas os pesos pré-treinados e não inicializando os pesos. Isso também tenta não usar mais do que 1x o tamanho do modelo na memória de CPU (incluindo a memória de pico) durante o carregamento do modelo. Suportado apenas para PyTorch >= 1.9.0. Se você estiver usando uma versão mais antiga do PyTorch, definir este argumento como `True` causará um erro.
use_safetensors (`bool`, *opcional*, padrão `None`) : Se definido como `None`, os pesos em safetensors são baixados se estiverem disponíveis **e** se a biblioteca safetensors estiver instalada. Se definido como `True`, o modelo é carregado forçadamente a partir dos pesos em safetensors. Se definido como `False`, os pesos em safetensors não são carregados.

kwargs (dicionário restante de argumentos de palavra-chave, *opcional*) : Pode ser usado para sobrescrever variáveis de carregamento e salvamento (os componentes do pipeline da classe de pipeline específica). Os componentes sobrescritos são passados diretamente para o método `__init__` dos pipelines. Veja o exemplo abaixo para mais informações.

variant (`str`, *opcional*) : Carrega os pesos de um nome de arquivo de variante especificado, como `"fp16"` ou `"ema"`.

Instancia um pipeline de difusão Pytorch de imagem para imagem a partir de pesos de pipeline pré-treinados.

O método from_pretrained() cuida de retornar a instância da classe de pipeline correta por meio de:
1. Detecte a classe de pipeline do pretrained_model_or_path com base na propriedade _class_name do objeto de configuração dele
2. Encontre o pipeline de imagem para imagem vinculado à classe de pipeline usando correspondência de padrões no nome da classe de pipeline.

Se um argumento `controlnet` for passado, um objeto [StableDiffusionControlNetImg2ImgPipeline](/docs/diffusers/main/pt/api/pipelines/controlnet#diffusers.StableDiffusionControlNetImg2ImgPipeline) será instanciado.

O pipeline é definido no modo de avaliação (`model.eval()`) por padrão.

Se você receber a mensagem de erro abaixo, é necessário ajustar os pesos para sua tarefa de destino:

```
Some weights of UNet2DConditionModel were not initialized from the model checkpoint at stable-diffusion-v1-5/stable-diffusion-v1-5 and are newly initialized because the shapes did not match:
- conv_in.weight: found shape torch.Size([320, 4, 3, 3]) in the checkpoint and torch.Size([320, 9, 3, 3]) in the model instantiated
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.
```

> [!TIP] > Para usar modelos privados ou [gated](https://huggingface.co/docs/hub/models-gated#gated-models), faça login
com `hf > auth login`.

Exemplos:

```py
>>> from diffusers import AutoPipelineForImage2Image
>>> pipeline = AutoPipelineForImage2Image.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5")
>>> image = pipeline(prompt, image).images[0]
```

#### from_pipe[[diffusers.AutoPipelineForImage2Image.from_pipe]]

```python
from_pipe(pipeline, **kwargs)
```

[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L868)

**Parâmetros:**

pipeline (`DiffusionPipeline`) : um objeto `DiffusionPipeline` instanciado

Instancia um pipeline de difusão Pytorch de imagem para imagem a partir de outra classe de pipeline de difusão instanciada.

O método from_pipe() se encarrega de retornar a instância correta da classe de pipeline, localizando o pipeline de imagem-para-imagem vinculado à classe de pipeline por meio de correspondência de padrões no nome da classe de pipeline.
Todos os módulos contidos no pipeline serão usados para inicializar o novo pipeline sem alocar memória adicional.
O pipeline é definido no modo de avaliação (`model.eval()`) por padrão.
Exemplos:
```py
>>> from diffusers import AutoPipelineForText2Image, AutoPipelineForImage2Image
>>> pipe_t2i = AutoPipelineForText2Image.from_pretrained(
...     "stable-diffusion-v1-5/stable-diffusion-v1-5", requires_safety_checker=False
... )
>>> pipe_i2i = AutoPipelineForImage2Image.from_pipe(pipe_t2i)
>>> image = pipe_i2i(prompt, image).images[0]
```
## AutoPipelineForInpainting[[diffusers.AutoPipelineForInpainting]]
#### diffusers.AutoPipelineForInpainting[[diffusers.AutoPipelineForInpainting]]
```python
diffusers.AutoPipelineForInpainting(*args, **kwargs)
```
[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L990)
[AutoPipelineForInpainting](/docs/diffusers/main/pt/api/pipelines/auto_pipeline#diffusers.AutoPipelineForInpainting) é uma classe de pipeline genérica que instancia uma classe de pipeline de inpainting. A classe de pipeline subjacente específica é selecionada automaticamente a partir dos métodos [from_pretrained()](/docs/diffusers/main/pt/api/pipelines/auto_pipeline#diffusers.AutoPipelineForInpainting.from_pretrained) ou [from_pipe()](/docs/diffusers/main/pt/api/pipelines/auto_pipeline#diffusers.AutoPipelineForInpainting.from_pipe).
Esta classe não pode ser instanciada usando `__init__()` (lança um erro).
Atributos de classe:
- **config_name** (`str`) -- O nome do arquivo de configuração que armazena os nomes de classe e módulo de todos os componentes do pipeline de difusão.

#### from_pretrained[[diffusers.AutoPipelineForInpainting.from_pretrained]]

```python
from_pretrained(pretrained_model_or_path, **kwargs)
```

[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L1015)

**Parâmetros:**

pretrained_model_or_path (`str` ou `os.PathLike`, *opcional*) : Pode ser:  - Uma string, o *repo id* (por exemplo `CompVis/ldm-text2im-large-256`) de um pipeline pré-treinado hospedado no Hub. - Um caminho para um *diretório* (por exemplo `./my_pipeline_directory/`) contendo pesos de pipeline salvos usando [save_pretrained()](/docs/diffusers/main/pt/api/pipelines/overview#diffusers.DiffusionPipeline.save_pretrained).
dtype (`str` ou `torch.dtype`, *opcional*) : Substitui o `torch.dtype` padrão e carrega o modelo com outro dtype.
force_download (`bool`, *opcional*, padrão `False`) : Se deve forçar o (re-)download dos pesos do modelo e dos arquivos de configuração, sobrescrevendo as versões em cache, caso existam.

cache_dir (`str | os.PathLike`, *opcional*) : Caminho para um diretório onde a configuração de um modelo pré-treinado baixado é armazenada em cache, caso o cache padrão não seja utilizado.
proxies (`dict[str, str]`, *opcional*) : Um dicionário de servidores proxy a serem usados por protocolo ou endpoint, por exemplo, `{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}`. Os proxies são usados em cada solicitação.
output_loading_info(`bool`, *opcional*, padrão `False`) : Indica se deve ou não retornar também um dicionário contendo chaves ausentes, chaves inesperadas e mensagens de erro.
local_files_only (`bool`, *opcional*, padrão `False`) : Se deve carregar apenas os pesos e os arquivos de configuração do modelo localmente ou não. Se definido como `True`, o modelo não será baixado do Hub.
token (`str` ou *bool*, *opcional*) : O token a ser usado como autorização HTTP bearer para arquivos remotos. Se `True`, o token gerado por `diffusers-cli login` (armazenado em `~/.huggingface`) é utilizado.
revision (`str`, *opcional*, padrão `"main"`) : A versão específica do modelo a ser usada. Pode ser o nome de um branch, o nome de uma tag, um id de commit ou qualquer identificador permitido pelo Git.
custom_revision (`str`, *opcional*, padrão `"main"`) : A versão específica do modelo a ser usada. Pode ser um nome de branch, um nome de tag ou um id de commit, semelhante a `revision` ao carregar um pipeline personalizado do Hub. Pode ser uma versão do 🤗 Diffusers ao carregar um pipeline personalizado do GitHub; caso contrário, o padrão é `"main"` ao carregar do Hub.

mirror (`str`, *opcional*) : Espelho de origem para resolver problemas de acessibilidade se você estiver baixando um modelo na China. Não garantimos a pontualidade ou a segurança da origem, e você deve consultar o site do espelho para obter mais informações.

device_map (`str` ou `dict[str, int | str | torch.device]`, *opcional*) : Um mapa que especifica para onde cada submódulo deve ser enviado. Não precisa ser definido para cada nome de parâmetro/buffer; uma vez que um determinado nome de módulo esteja incluído, todos os seus submódulos serão enviados para o mesmo dispositivo. Defina `device_map="auto"` para que o 🤗 Accelerate calcule automaticamente o `device_map` mais otimizado. Para mais informações sobre cada opção, consulte [projetando um mapa de dispositivos](https://hf.co/docs/accelerate/main/en/usage_guides/big_modeling#designing-a-device-map).
max_memory (`Dict`, *opcional*) : Um dicionário com o identificador de dispositivo para a memória máxima. Se não for definido, o padrão será a memória máxima disponível para cada GPU e a RAM disponível na CPU.

offload_folder (`str` ou `os.PathLike`, *opcional*) : O caminho para descarregar os pesos se device_map contiver o valor `"disk"`.

offload_state_dict (`bool`, *opcional*) : Se `True`, descarrega temporariamente o state dict da CPU para o disco rígido para evitar a falta de RAM na CPU caso o peso do state dict da CPU + o maior shard do checkpoint não caiba. O padrão é `True` quando há algum offload para o disco.

low_cpu_mem_usage (`bool`, *opcional*, padrão é `True` se a versão do torch >= 1.9.0, caso contrário `False`) : Acelera o carregamento do modelo carregando apenas os pesos pré-treinados e não inicializando os pesos. Isso também tenta não usar mais do que 1x o tamanho do modelo na memória de CPU (incluindo a memória de pico) durante o carregamento do modelo. Suportado apenas para PyTorch >= 1.9.0. Se você estiver usando uma versão mais antiga do PyTorch, definir este argumento como `True` causará um erro.
use_safetensors (`bool`, *opcional*, padrão `None`) : Se definido como `None`, os pesos em safetensors são baixados se estiverem disponíveis **e** se a biblioteca safetensors estiver instalada. Se definido como `True`, o modelo é carregado forçadamente a partir dos pesos em safetensors. Se definido como `False`, os pesos em safetensors não são carregados.

kwargs (dicionário restante de argumentos de palavra-chave, *opcional*) : Pode ser usado para sobrescrever variáveis de carregamento e salvamento (os componentes do pipeline da classe de pipeline específica). Os componentes sobrescritos são passados diretamente para o método `__init__` dos pipelines. Veja o exemplo abaixo para mais informações.

variant (`str`, *opcional*) : Carrega os pesos de um nome de arquivo de variante especificado, como `"fp16"` ou `"ema"`.

Instancia um pipeline de difusão Pytorch para inpainting a partir de pesos de pipeline pré-treinados.

O método from_pretrained() cuida de retornar a instância da classe de pipeline correta por meio de:
1. Detecte a classe de pipeline do pretrained_model_or_path com base na propriedade _class_name do objeto de configuração dele
2. Encontre o pipeline de inpainting vinculado à classe de pipeline usando correspondência de padrões no nome da classe de pipeline.

Se um argumento `controlnet` for passado, um objeto [StableDiffusionControlNetInpaintPipeline](/docs/diffusers/main/pt/api/pipelines/controlnet#diffusers.StableDiffusionControlNetInpaintPipeline) será instanciado.

O pipeline é definido no modo de avaliação (`model.eval()`) por padrão.

Se você receber a mensagem de erro abaixo, é necessário ajustar os pesos para sua tarefa de destino:

```
Some weights of UNet2DConditionModel were not initialized from the model checkpoint at stable-diffusion-v1-5/stable-diffusion-v1-5 and are newly initialized because the shapes did not match:
- conv_in.weight: found shape torch.Size([320, 4, 3, 3]) in the checkpoint and torch.Size([320, 9, 3, 3]) in the model instantiated
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.
```

> [!TIP] > Para usar modelos privados ou [gated](https://huggingface.co/docs/hub/models-gated#gated-models), faça login
com `hf > auth login`.

Exemplos:

```py
>>> from diffusers import AutoPipelineForInpainting
>>> pipeline = AutoPipelineForInpainting.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5")
>>> image = pipeline(prompt, image=init_image, mask_image=mask_image).images[0]
```

#### from_pipe[[diffusers.AutoPipelineForInpainting.from_pipe]]

```python
from_pipe(pipeline, **kwargs)
```

[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L1179)

**Parâmetros:**

pipeline (`DiffusionPipeline`) : um objeto `DiffusionPipeline` instanciado

Instancia um pipeline de difusão Pytorch para inpainting a partir de outra classe de pipeline de difusão instanciada.

O método from_pipe() se encarrega de retornar a instância correta da classe de pipeline, localizando o pipeline de inpainting vinculado à classe de pipeline por meio de correspondência de padrões no nome da classe de pipeline.
Todos os módulos contidos na classe pipeline serão usados para inicializar o novo pipeline sem alocar memória adicional.
O pipeline é definido no modo de avaliação (`model.eval()`) por padrão.
Exemplos:
```py
>>> from diffusers import AutoPipelineForText2Image, AutoPipelineForInpainting
>>> pipe_t2i = AutoPipelineForText2Image.from_pretrained(
...     "DeepFloyd/IF-I-XL-v1.0", requires_safety_checker=False
... )
>>> pipe_inpaint = AutoPipelineForInpainting.from_pipe(pipe_t2i)
>>> image = pipe_inpaint(prompt, image=init_image, mask_image=mask_image).images[0]
```
## AutoPipelineForText2Audio[[diffusers.AutoPipelineForText2Audio]]
#### diffusers.AutoPipelineForText2Audio[[diffusers.AutoPipelineForText2Audio]]
```python
diffusers.AutoPipelineForText2Audio(*args, **kwargs)
```
[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L1298)
[AutoPipelineForText2Audio](/docs/diffusers/main/pt/api/pipelines/auto_pipeline#diffusers.AutoPipelineForText2Audio) é uma classe de pipeline genérica que instancia uma classe de pipeline de texto para áudio. A classe de pipeline subjacente específica é selecionada automaticamente a partir dos métodos [from_pretrained()](/docs/diffusers/main/pt/api/pipelines/auto_pipeline#diffusers.AutoPipelineForText2Audio.from_pretrained) ou [from_pipe()](/docs/diffusers/main/pt/api/pipelines/auto_pipeline#diffusers.AutoPipelineForText2Audio.from_pipe).
Esta classe não pode ser instanciada usando `__init__()` (lança um erro).
Atributos de classe:
- **config_name** (`str`) -- O nome do arquivo de configuração que armazena os nomes de classe e módulo de todos os componentes do pipeline de difusão.

#### from_pretrained[[diffusers.AutoPipelineForText2Audio.from_pretrained]]

```python
from_pretrained(pretrained_model_or_path, **kwargs)
```

[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L1323)

**Parâmetros:**

pretrained_model_or_path (`str` ou `os.PathLike`, *opcional*) : Pode ser:  - Uma string, o *repo id* (por exemplo `stabilityai/stable-audio-open-1.0`) de um pipeline pré-treinado hospedado no Hub. - Um caminho para um *diretório* (por exemplo `./my_pipeline_directory/`) contendo pesos de pipeline salvos usando [save_pretrained()](/docs/diffusers/main/pt/api/pipelines/overview#diffusers.DiffusionPipeline.save_pretrained).
dtype (`torch.dtype`, *opcional*) : Substitui o `torch.dtype` padrão e carrega o modelo com outro dtype.
force_download (`bool`, *opcional*, padrão `False`) : Se deve forçar o (re-)download dos pesos do modelo e dos arquivos de configuração, sobrescrevendo as versões em cache, caso existam.

cache_dir (`str | os.PathLike`, *opcional*) : Caminho para um diretório onde a configuração de um modelo pré-treinado baixado é armazenada em cache, caso o cache padrão não seja utilizado.
proxies (`dict[str, str]`, *opcional*) : Um dicionário de servidores proxy a serem usados por protocolo ou endpoint, por exemplo, `{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}`. Os proxies são usados em cada solicitação.
output_loading_info(`bool`, *opcional*, padrão `False`) : Indica se deve ou não retornar também um dicionário contendo chaves ausentes, chaves inesperadas e mensagens de erro.
local_files_only (`bool`, *opcional*, padrão `False`) : Se deve carregar apenas os pesos e os arquivos de configuração do modelo localmente ou não. Se definido como `True`, o modelo não será baixado do Hub.
token (`str` ou *bool*, *opcional*) : O token a ser usado como autorização HTTP bearer para arquivos remotos. Se `True`, o token gerado por `diffusers-cli login` (armazenado em `~/.huggingface`) é utilizado.
revision (`str`, *opcional*, padrão `"main"`) : A versão específica do modelo a ser usada. Pode ser o nome de um branch, o nome de uma tag, um id de commit ou qualquer identificador permitido pelo Git.
custom_revision (`str`, *opcional*, padrão `"main"`) : A versão específica do modelo a ser usada. Pode ser um nome de branch, um nome de tag ou um id de commit, semelhante a `revision` ao carregar um pipeline personalizado do Hub. Pode ser uma versão do 🤗 Diffusers ao carregar um pipeline personalizado do GitHub; caso contrário, o padrão é `"main"` ao carregar do Hub.

mirror (`str`, *opcional*) : Espelho de origem para resolver problemas de acessibilidade se você estiver baixando um modelo na China. Não garantimos a pontualidade ou a segurança da origem, e você deve consultar o site do espelho para obter mais informações.

device_map (`str` ou `dict[str, int | str | torch.device]`, *opcional*) : Um mapa que especifica para onde cada submódulo deve ser enviado. Não precisa ser definido para cada nome de parâmetro/buffer; uma vez que um determinado nome de módulo esteja incluído, todos os seus submódulos serão enviados para o mesmo dispositivo. Defina `device_map="auto"` para que o 🤗 Accelerate calcule automaticamente o `device_map` mais otimizado. Para mais informações sobre cada opção, consulte [projetando um mapa de dispositivos](https://hf.co/docs/accelerate/main/en/usage_guides/big_modeling#designing-a-device-map).
max_memory (`Dict`, *opcional*) : Um dicionário com o identificador de dispositivo para a memória máxima. Se não for definido, o padrão será a memória máxima disponível para cada GPU e a RAM disponível na CPU.

offload_folder (`str` ou `os.PathLike`, *opcional*) : O caminho para descarregar os pesos se device_map contiver o valor `"disk"`.

offload_state_dict (`bool`, *opcional*) : Se `True`, descarrega temporariamente o state dict da CPU para o disco rígido para evitar a falta de RAM na CPU caso o peso do state dict da CPU + o maior shard do checkpoint não caiba. O padrão é `True` quando há algum offload para o disco.

low_cpu_mem_usage (`bool`, *opcional*, padrão é `True` se a versão do torch >= 1.9.0, caso contrário `False`) : Acelera o carregamento do modelo carregando apenas os pesos pré-treinados e não inicializando os pesos. Isso também tenta não usar mais do que 1x o tamanho do modelo na memória de CPU (incluindo a memória de pico) durante o carregamento do modelo. Suportado apenas para PyTorch >= 1.9.0. Se você estiver usando uma versão mais antiga do PyTorch, definir este argumento como `True` causará um erro.
use_safetensors (`bool`, *opcional*, padrão `None`) : Se definido como `None`, os pesos em safetensors são baixados se estiverem disponíveis **e** se a biblioteca safetensors estiver instalada. Se definido como `True`, o modelo é carregado forçadamente a partir dos pesos em safetensors. Se definido como `False`, os pesos em safetensors não são carregados.

kwargs (dicionário restante de argumentos de palavra-chave, *opcional*) : Pode ser usado para sobrescrever variáveis de carregamento e salvamento (os componentes do pipeline da classe de pipeline específica). Os componentes sobrescritos são passados diretamente para o método `__init__` dos pipelines. Veja o exemplo abaixo para mais informações.

variant (`str`, *opcional*) : Carrega os pesos de um nome de arquivo de variante especificado, como `"fp16"` ou `"ema"`.

Instancia um pipeline de difusão Pytorch de texto para áudio a partir de pesos de pipeline pré-treinados.

O método from_pretrained() cuida de retornar a instância da classe de pipeline correta por meio de:
1. Detecte a classe de pipeline do pretrained_model_or_path com base na propriedade _class_name do objeto de configuração dele
2. Encontre o pipeline de texto para áudio vinculado à classe de pipeline usando correspondência de padrões no nome da classe de pipeline.

O pipeline é definido no modo de avaliação (`model.eval()`) por padrão.

> [!TIP] > Para usar modelos privados ou [gated](https://huggingface.co/docs/hub/models-gated#gated-models), faça login
com `hf > auth login`.

Exemplos:

```py
>>> import torch
>>> import soundfile as sf
>>> from diffusers import AutoPipelineForText2Audio
>>> pipeline = AutoPipelineForText2Audio.from_pretrained(
...     "stabilityai/stable-audio-open-1.0", torch_dtype=torch.float16
... )
>>> pipeline = pipeline.to("cuda")
>>> output = pipeline(
...     "Generate a male voice reading a paragraph",
...     num_inference_steps=200,
...     audio_end_in_s=10.0,
... )
>>> audio = output.audios[0].T.float().cpu().numpy()
>>> sf.write("audio.wav", audio, pipeline.vae.sampling_rate)
```

#### from_pipe[[diffusers.AutoPipelineForText2Audio.from_pipe]]

```python
from_pipe(pipeline, **kwargs)
```

[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/auto_pipeline.py#L1467)

**Parâmetros:**

pipeline (`DiffusionPipeline`) : um objeto `DiffusionPipeline` instanciado

Instancia um pipeline de difusão Pytorch de texto para áudio a partir de outra classe de pipeline de difusão instanciada.

O método from_pipe() se encarrega de retornar a instância correta da classe de pipeline, localizando o pipeline de texto para áudio vinculado à classe de pipeline por meio de correspondência de padrões no nome da classe de pipeline.
Todos os módulos contidos no pipeline serão usados para inicializar o novo pipeline sem alocar memória adicional.
O pipeline é definido no modo de avaliação (`model.eval()`) por padrão.
```py
>>> import torch
>>> import soundfile as sf
>>> from diffusers import AutoPipelineForText2Audio, StableAudioPipeline
>>> pipe = StableAudioPipeline.from_pretrained("stabilityai/stable-audio-open-1.0", torch_dtype=torch.float16)
>>> pipe_audio = AutoPipelineForText2Audio.from_pipe(pipe)
>>> output = pipe_audio(
...     "Generate a sound",
...     num_inference_steps=200,
...     audio_end_in_s=10.0,
... )
>>> audio = output.audios[0].T.float().cpu().numpy()
>>> sf.write("audio.wav", audio, pipe_audio.vae.sampling_rate)
```
Xet Storage Details

Size:: 38.5 kB
Xet hash:: 67953277b25fa853899708229644d5700663a6ac91d0ae658a788c7dc4f28f82
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.