diffusers/main/es/api/pipelines/auto_pipeline.md

AutoPipeline

El AutoPipeline está diseñado para facilitar la carga de un punto de control para una tarea sin necesidad de conocer la clase de pipeline específica. En función de la tarea, el AutoPipeline recupera automáticamente la clase de pipeline correcta desde el archivo model_index.json del punto de control.

Consulta el tutorial de AutoPipeline para aprender a usar esta API.

AutoPipelineForText2Image[[diffusers.AutoPipelineForText2Image]]

diffusers.AutoPipelineForText2Image[[diffusers.AutoPipelineForText2Image]]

diffusers.AutoPipelineForText2Image(*args, **kwargs)

Fuente

AutoPipelineForText2Image es una clase de pipeline genérica que instancia una clase de pipeline de texto a imagen. La clase de pipeline subyacente específica se selecciona automáticamente a partir de los métodos from_pretrained() o from_pipe().

Esta clase no se puede instanciar usando __init__() (lanza un error).

Atributos de clase:

• config_name (str) -- El nombre del archivo de configuración que almacena los nombres de las clases y los módulos de todos los componentes del pipeline de difusión.

from_pretrained[[diffusers.AutoPipelineForText2Image.from_pretrained]]

from_pretrained(pretrained_model_or_path, **kwargs)

Fuente

Parámetros:

pretrained_model_or_path (str o os.PathLike, opcional) : Puede ser: - Una cadena, el repo id (por ejemplo CompVis/ldm-text2im-large-256) de un pipeline preentrenado alojado en el Hub. - Una ruta a un directorio (por ejemplo ./my_pipeline_directory/) que contenga los pesos del pipeline guardados usando save_pretrained().

dtype (torch.dtype, opcional) : Anula el torch.dtype predeterminado y carga el modelo con otro dtype.

force_download (bool, opcional, valor predeterminado False) : Indica si se debe forzar la (re)descarga de los pesos del modelo y los archivos de configuración, reemplazando las versiones en caché si existen.

cache_dir (str | os.PathLike, opcional) : Ruta a un directorio donde se almacena en caché la configuración de un modelo preentrenado descargado si no se utiliza la caché estándar.

proxies (dict[str, str], opcional) : Un diccionario de servidores proxy a utilizar por protocolo o punto de acceso, por ejemplo, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}. Los proxies se utilizan en cada solicitud.

output_loading_info(bool, opcional, valor predeterminado False) : Indica si se debe devolver también un diccionario que contenga las claves faltantes, las claves inesperadas y los mensajes de error.

local_files_only (bool, opcional, valor predeterminado False) : Indica si se deben cargar únicamente los pesos y archivos de configuración del modelo localmente. Si se establece en True, el modelo no se descargará desde el Hub.

token (str o bool, opcional) : El token que se usará como autorización HTTP bearer para archivos remotos. Si es True, se utiliza el token generado por diffusers-cli login (almacenado en ~/.huggingface).

revision (str, opcional, valor predeterminado "main") : La versión específica del modelo que se va a utilizar. Puede ser el nombre de una rama, el nombre de una etiqueta, un id de commit o cualquier identificador permitido por Git.

custom_revision (str, opcional, por defecto "main") : La versión específica del modelo a utilizar. Puede ser un nombre de rama, un nombre de etiqueta o un id de commit similar a revision al cargar un pipeline personalizado desde el Hub. Puede ser una versión de 🤗 Diffusers al cargar un pipeline personalizado desde GitHub, de lo contrario, por defecto es "main" al cargar desde el Hub.

mirror (str, opcional) : Origen de espejo para resolver problemas de accesibilidad si estás descargando un modelo en China. No garantizamos la oportunidad ni la seguridad del origen, y debes consultar el sitio de espejo para obtener más información.

device_map (str o dict[str, int | str | torch.device], opcional) : Un mapa que especifica dónde debe ir cada submódulo. No es necesario definirlo para cada nombre de parámetro/buffer; una vez que un nombre de módulo dado está incluido, todos sus submódulos se enviarán al mismo dispositivo. Establezca device_map="auto" para que 🤗 Accelerate calcule automáticamente el device_map más optimizado. Para obtener más información sobre cada opción, consulte diseñar un mapa de dispositivos.

max_memory (Dict, opcional) : Un diccionario de identificador de dispositivo para la memoria máxima. Si no se establece, se usará por defecto la memoria máxima disponible para cada GPU y la RAM de CPU disponible.

offload_folder (str o os.PathLike, opcional) : La ruta para descargar los pesos si device_map contiene el valor "disk".

offload_state_dict (bool, opcional) : Si True, descarga temporalmente el state dict de la CPU al disco duro para evitar quedarse sin RAM de CPU si el peso del state dict de la CPU + el shard más grande del checkpoint no cabe. El valor predeterminado es True cuando hay alguna descarga al disco.

low_cpu_mem_usage (bool, opcional, por defecto True si la versión de torch >= 1.9.0, en caso contrario False) : Acelera la carga del modelo cargando solo los pesos preentrenados y no inicializando los pesos. Esto también intenta no usar más de 1x el tamaño del modelo en la memoria de CPU (incluida la memoria pico) mientras se carga el modelo. Solo se admite para PyTorch >= 1.9.0. Si estás usando una versión anterior de PyTorch, establecer este argumento en True generará un error.

use_safetensors (bool, opcional, valor predeterminado None) : Si se establece en None, se descargan los pesos de safetensors si están disponibles y si la biblioteca safetensors está instalada. Si se establece en True, el modelo se carga forzosamente desde los pesos de safetensors. Si se establece en False, no se cargan los pesos de safetensors.

kwargs (resto del diccionario de argumentos de palabra clave, opcional) : Se puede usar para sobrescribir las variables de carga y guardado (los componentes de pipeline de la clase de pipeline específica). Los componentes sobrescritos se pasan directamente al método __init__ de los pipelines. Consulte el ejemplo siguiente para obtener más información.

variant (str, opcional) : Carga los pesos desde un nombre de archivo de variante especificado, como "fp16" o "ema".

Instancia un pipeline de difusión de texto a imagen de Pytorch a partir de pesos de pipeline preentrenados.

El método from_pretrained() se encarga de devolver la instancia correcta de la clase de pipeline mediante:

1. Detecta la clase de pipeline de pretrained_model_or_path en función de la propiedad _class_name de su objeto de configuración
2. Encuentra el pipeline de texto a imagen vinculado a la clase de pipeline mediante la coincidencia de patrones en el nombre de la clase de pipeline.

Si se pasa un argumento controlnet, se instanciará un objeto StableDiffusionControlNetPipeline.

El pipeline se configura en modo de evaluación (model.eval()) de forma predeterminada.

Si obtienes el siguiente mensaje de error, necesitas ajustar los pesos para tu tarea de destino:

Some weights of UNet2DConditionModel were not initialized from the model checkpoint at stable-diffusion-v1-5/stable-diffusion-v1-5 and are newly initialized because the shapes did not match:
- conv_in.weight: found shape torch.Size([320, 4, 3, 3]) in the checkpoint and torch.Size([320, 9, 3, 3]) in the model instantiated
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.

> Para usar modelos privados o gated, inicia sesión con hf > auth login.

Ejemplos:

>>> from diffusers import AutoPipelineForText2Image

>>> pipeline = AutoPipelineForText2Image.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5")
>>> image = pipeline(prompt).images[0]

from_pipe[[diffusers.AutoPipelineForText2Image.from_pipe]]

from_pipe(pipeline, **kwargs)

Fuente

Parámetros:

pipeline (DiffusionPipeline) : un objeto DiffusionPipeline instanciado

Instancia un pipeline de difusión de texto a imagen de Pytorch a partir de otra clase de pipeline de difusión instanciada.

El método from_pipe() se encarga de devolver la instancia correcta de la clase de pipeline al encontrar el pipeline de texto a imagen vinculado a la clase de pipeline mediante coincidencia de patrones en el nombre de la clase de pipeline.

Todos los módulos que contiene el pipeline se utilizarán para inicializar el nuevo pipeline sin asignar memoria adicional.

El pipeline se configura en modo de evaluación (model.eval()) de forma predeterminada.

>>> from diffusers import AutoPipelineForText2Image, AutoPipelineForImage2Image

>>> pipe_i2i = AutoPipelineForImage2Image.from_pretrained(
...     "stable-diffusion-v1-5/stable-diffusion-v1-5", requires_safety_checker=False
... )

>>> pipe_t2i = AutoPipelineForText2Image.from_pipe(pipe_i2i)
>>> image = pipe_t2i(prompt).images[0]

AutoPipelineForImage2Image[[diffusers.AutoPipelineForImage2Image]]

diffusers.AutoPipelineForImage2Image[[diffusers.AutoPipelineForImage2Image]]

diffusers.AutoPipelineForImage2Image(*args, **kwargs)

Fuente

AutoPipelineForImage2Image es una clase de pipeline genérica que instancia una clase de pipeline de imagen a imagen. La clase de pipeline subyacente específica se selecciona automáticamente desde los métodos from_pretrained() o from_pipe().

Esta clase no se puede instanciar usando __init__() (lanza un error).

Atributos de clase:

• config_name (str) -- El nombre del archivo de configuración que almacena los nombres de las clases y los módulos de todos los componentes del pipeline de difusión.

from_pretrained[[diffusers.AutoPipelineForImage2Image.from_pretrained]]

from_pretrained(pretrained_model_or_path, **kwargs)

Fuente

Parámetros:

pretrained_model_or_path (str o os.PathLike, opcional) : Puede ser: - Una cadena, el repo id (por ejemplo CompVis/ldm-text2im-large-256) de un pipeline preentrenado alojado en el Hub. - Una ruta a un directorio (por ejemplo ./my_pipeline_directory/) que contenga los pesos del pipeline guardados usando save_pretrained().

dtype (str o torch.dtype, opcional) : Anula el torch.dtype predeterminado y carga el modelo con otro dtype.

force_download (bool, opcional, valor predeterminado False) : Indica si se debe forzar la (re)descarga de los pesos del modelo y los archivos de configuración, reemplazando las versiones en caché si existen.

cache_dir (str | os.PathLike, opcional) : Ruta a un directorio donde se almacena en caché la configuración de un modelo preentrenado descargado si no se utiliza la caché estándar.

proxies (dict[str, str], opcional) : Un diccionario de servidores proxy a utilizar por protocolo o punto de acceso, por ejemplo, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}. Los proxies se utilizan en cada solicitud.

output_loading_info(bool, opcional, valor predeterminado False) : Indica si se debe devolver también un diccionario que contenga las claves faltantes, las claves inesperadas y los mensajes de error.

local_files_only (bool, opcional, valor predeterminado False) : Indica si se deben cargar únicamente los pesos y archivos de configuración del modelo localmente. Si se establece en True, el modelo no se descargará desde el Hub.

token (str o bool, opcional) : El token que se usará como autorización HTTP bearer para archivos remotos. Si es True, se utiliza el token generado por diffusers-cli login (almacenado en ~/.huggingface).

revision (str, opcional, valor predeterminado "main") : La versión específica del modelo que se va a utilizar. Puede ser el nombre de una rama, el nombre de una etiqueta, un id de commit o cualquier identificador permitido por Git.

custom_revision (str, opcional, por defecto "main") : La versión específica del modelo a utilizar. Puede ser un nombre de rama, un nombre de etiqueta o un id de commit similar a revision al cargar un pipeline personalizado desde el Hub. Puede ser una versión de 🤗 Diffusers al cargar un pipeline personalizado desde GitHub, de lo contrario, por defecto es "main" al cargar desde el Hub.

mirror (str, opcional) : Origen de espejo para resolver problemas de accesibilidad si estás descargando un modelo en China. No garantizamos la oportunidad ni la seguridad del origen, y debes consultar el sitio de espejo para obtener más información.

device_map (str o dict[str, int | str | torch.device], opcional) : Un mapa que especifica dónde debe ir cada submódulo. No es necesario definirlo para cada nombre de parámetro/buffer; una vez que un nombre de módulo dado está incluido, todos sus submódulos se enviarán al mismo dispositivo. Establezca device_map="auto" para que 🤗 Accelerate calcule automáticamente el device_map más optimizado. Para obtener más información sobre cada opción, consulte diseñar un mapa de dispositivos.

max_memory (Dict, opcional) : Un diccionario de identificador de dispositivo para la memoria máxima. Si no se establece, se usará por defecto la memoria máxima disponible para cada GPU y la RAM de CPU disponible.

offload_folder (str o os.PathLike, opcional) : La ruta para descargar los pesos si device_map contiene el valor "disk".

offload_state_dict (bool, opcional) : Si True, descarga temporalmente el state dict de la CPU al disco duro para evitar quedarse sin RAM de CPU si el peso del state dict de la CPU + el shard más grande del checkpoint no cabe. El valor predeterminado es True cuando hay alguna descarga al disco.

low_cpu_mem_usage (bool, opcional, por defecto True si la versión de torch >= 1.9.0, en caso contrario False) : Acelera la carga del modelo cargando solo los pesos preentrenados y no inicializando los pesos. Esto también intenta no usar más de 1x el tamaño del modelo en la memoria de CPU (incluida la memoria pico) mientras se carga el modelo. Solo se admite para PyTorch >= 1.9.0. Si estás usando una versión anterior de PyTorch, establecer este argumento en True generará un error.

use_safetensors (bool, opcional, valor predeterminado None) : Si se establece en None, se descargan los pesos de safetensors si están disponibles y si la biblioteca safetensors está instalada. Si se establece en True, el modelo se carga forzosamente desde los pesos de safetensors. Si se establece en False, no se cargan los pesos de safetensors.

kwargs (resto del diccionario de argumentos de palabra clave, opcional) : Se puede usar para sobrescribir las variables de carga y guardado (los componentes de pipeline de la clase de pipeline específica). Los componentes sobrescritos se pasan directamente al método __init__ de los pipelines. Consulte el ejemplo siguiente para obtener más información.

variant (str, opcional) : Carga los pesos desde un nombre de archivo de variante especificado, como "fp16" o "ema".

Instancia un pipeline de difusión de Pytorch de imagen a imagen a partir de pesos de pipeline preentrenados.

El método from_pretrained() se encarga de devolver la instancia correcta de la clase de pipeline mediante:

1. Detecta la clase de pipeline de pretrained_model_or_path en función de la propiedad _class_name de su objeto de configuración
2. Encuentra el pipeline de imagen a imagen vinculado a la clase de pipeline mediante la coincidencia de patrones en el nombre de la clase de pipeline.

Si se pasa un argumento controlnet, se instanciará un objeto StableDiffusionControlNetImg2ImgPipeline.

El pipeline se configura en modo de evaluación (model.eval()) de forma predeterminada.

Si obtienes el siguiente mensaje de error, necesitas ajustar los pesos para tu tarea de destino:

Some weights of UNet2DConditionModel were not initialized from the model checkpoint at stable-diffusion-v1-5/stable-diffusion-v1-5 and are newly initialized because the shapes did not match:
- conv_in.weight: found shape torch.Size([320, 4, 3, 3]) in the checkpoint and torch.Size([320, 9, 3, 3]) in the model instantiated
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.

> Para usar modelos privados o gated, inicia sesión con hf > auth login.

Ejemplos:

>>> from diffusers import AutoPipelineForImage2Image

>>> pipeline = AutoPipelineForImage2Image.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5")
>>> image = pipeline(prompt, image).images[0]

from_pipe[[diffusers.AutoPipelineForImage2Image.from_pipe]]

from_pipe(pipeline, **kwargs)

Fuente

Parámetros:

pipeline (DiffusionPipeline) : un objeto DiffusionPipeline instanciado

Instancia un pipeline de difusión de Pytorch de imagen a imagen a partir de otra clase de pipeline de difusión instanciada.

El método from_pipe() se encarga de devolver la instancia correcta de la clase de pipeline al encontrar el pipeline de imagen a imagen vinculado a la clase de pipeline mediante coincidencia de patrones en el nombre de la clase de pipeline.

Todos los módulos que contiene el pipeline se utilizarán para inicializar el nuevo pipeline sin asignar memoria adicional.

El pipeline se configura en modo de evaluación (model.eval()) de forma predeterminada.

Ejemplos:

>>> from diffusers import AutoPipelineForText2Image, AutoPipelineForImage2Image

>>> pipe_t2i = AutoPipelineForText2Image.from_pretrained(
...     "stable-diffusion-v1-5/stable-diffusion-v1-5", requires_safety_checker=False
... )

>>> pipe_i2i = AutoPipelineForImage2Image.from_pipe(pipe_t2i)
>>> image = pipe_i2i(prompt, image).images[0]

AutoPipelineForInpainting[[diffusers.AutoPipelineForInpainting]]

diffusers.AutoPipelineForInpainting[[diffusers.AutoPipelineForInpainting]]

diffusers.AutoPipelineForInpainting(*args, **kwargs)

Fuente

AutoPipelineForInpainting es una clase de pipeline genérica que instancia una clase de pipeline de inpainting. La clase de pipeline subyacente específica se selecciona automáticamente a partir de los métodos from_pretrained() o from_pipe().

Esta clase no se puede instanciar usando __init__() (lanza un error).

Atributos de clase:

• config_name (str) -- El nombre del archivo de configuración que almacena los nombres de las clases y los módulos de todos los componentes del pipeline de difusión.

from_pretrained[[diffusers.AutoPipelineForInpainting.from_pretrained]]

from_pretrained(pretrained_model_or_path, **kwargs)

Fuente

Parámetros:

pretrained_model_or_path (str o os.PathLike, opcional) : Puede ser: - Una cadena, el repo id (por ejemplo CompVis/ldm-text2im-large-256) de un pipeline preentrenado alojado en el Hub. - Una ruta a un directorio (por ejemplo ./my_pipeline_directory/) que contenga los pesos del pipeline guardados usando save_pretrained().

dtype (str o torch.dtype, opcional) : Anula el torch.dtype predeterminado y carga el modelo con otro dtype.

force_download (bool, opcional, valor predeterminado False) : Indica si se debe forzar la (re)descarga de los pesos del modelo y los archivos de configuración, reemplazando las versiones en caché si existen.

cache_dir (str | os.PathLike, opcional) : Ruta a un directorio donde se almacena en caché la configuración de un modelo preentrenado descargado si no se utiliza la caché estándar.

proxies (dict[str, str], opcional) : Un diccionario de servidores proxy a utilizar por protocolo o punto de acceso, por ejemplo, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}. Los proxies se utilizan en cada solicitud.

output_loading_info(bool, opcional, valor predeterminado False) : Indica si se debe devolver también un diccionario que contenga las claves faltantes, las claves inesperadas y los mensajes de error.

local_files_only (bool, opcional, valor predeterminado False) : Indica si se deben cargar únicamente los pesos y archivos de configuración del modelo localmente. Si se establece en True, el modelo no se descargará desde el Hub.

token (str o bool, opcional) : El token que se usará como autorización HTTP bearer para archivos remotos. Si es True, se utiliza el token generado por diffusers-cli login (almacenado en ~/.huggingface).

revision (str, opcional, valor predeterminado "main") : La versión específica del modelo que se va a utilizar. Puede ser el nombre de una rama, el nombre de una etiqueta, un id de commit o cualquier identificador permitido por Git.

custom_revision (str, opcional, por defecto "main") : La versión específica del modelo a utilizar. Puede ser un nombre de rama, un nombre de etiqueta o un id de commit similar a revision al cargar un pipeline personalizado desde el Hub. Puede ser una versión de 🤗 Diffusers al cargar un pipeline personalizado desde GitHub, de lo contrario, por defecto es "main" al cargar desde el Hub.

mirror (str, opcional) : Origen de espejo para resolver problemas de accesibilidad si estás descargando un modelo en China. No garantizamos la oportunidad ni la seguridad del origen, y debes consultar el sitio de espejo para obtener más información.

device_map (str o dict[str, int | str | torch.device], opcional) : Un mapa que especifica dónde debe ir cada submódulo. No es necesario definirlo para cada nombre de parámetro/buffer; una vez que un nombre de módulo dado está incluido, todos sus submódulos se enviarán al mismo dispositivo. Establezca device_map="auto" para que 🤗 Accelerate calcule automáticamente el device_map más optimizado. Para obtener más información sobre cada opción, consulte diseñar un mapa de dispositivos.

max_memory (Dict, opcional) : Un diccionario de identificador de dispositivo para la memoria máxima. Si no se establece, se usará por defecto la memoria máxima disponible para cada GPU y la RAM de CPU disponible.

offload_folder (str o os.PathLike, opcional) : La ruta para descargar los pesos si device_map contiene el valor "disk".

offload_state_dict (bool, opcional) : Si True, descarga temporalmente el state dict de la CPU al disco duro para evitar quedarse sin RAM de CPU si el peso del state dict de la CPU + el shard más grande del checkpoint no cabe. El valor predeterminado es True cuando hay alguna descarga al disco.

low_cpu_mem_usage (bool, opcional, por defecto True si la versión de torch >= 1.9.0, en caso contrario False) : Acelera la carga del modelo cargando solo los pesos preentrenados y no inicializando los pesos. Esto también intenta no usar más de 1x el tamaño del modelo en la memoria de CPU (incluida la memoria pico) mientras se carga el modelo. Solo se admite para PyTorch >= 1.9.0. Si estás usando una versión anterior de PyTorch, establecer este argumento en True generará un error.

use_safetensors (bool, opcional, valor predeterminado None) : Si se establece en None, se descargan los pesos de safetensors si están disponibles y si la biblioteca safetensors está instalada. Si se establece en True, el modelo se carga forzosamente desde los pesos de safetensors. Si se establece en False, no se cargan los pesos de safetensors.

kwargs (resto del diccionario de argumentos de palabra clave, opcional) : Se puede usar para sobrescribir las variables de carga y guardado (los componentes de pipeline de la clase de pipeline específica). Los componentes sobrescritos se pasan directamente al método __init__ de los pipelines. Consulte el ejemplo siguiente para obtener más información.

variant (str, opcional) : Carga los pesos desde un nombre de archivo de variante especificado, como "fp16" o "ema".

Instancia un pipeline de difusión de Pytorch para inpainting a partir de pesos de pipeline preentrenados.

El método from_pretrained() se encarga de devolver la instancia correcta de la clase de pipeline mediante:

1. Detecta la clase de pipeline de pretrained_model_or_path en función de la propiedad _class_name de su objeto de configuración
2. Encuentra el pipeline de inpainting vinculado a la clase de pipeline mediante la coincidencia de patrones en el nombre de la clase de pipeline.

Si se pasa un argumento controlnet, se instanciará un objeto StableDiffusionControlNetInpaintPipeline.

El pipeline se configura en modo de evaluación (model.eval()) de forma predeterminada.

Si obtienes el siguiente mensaje de error, necesitas ajustar los pesos para tu tarea de destino:

Some weights of UNet2DConditionModel were not initialized from the model checkpoint at stable-diffusion-v1-5/stable-diffusion-v1-5 and are newly initialized because the shapes did not match:
- conv_in.weight: found shape torch.Size([320, 4, 3, 3]) in the checkpoint and torch.Size([320, 9, 3, 3]) in the model instantiated
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.

> Para usar modelos privados o gated, inicia sesión con hf > auth login.

Ejemplos:

>>> from diffusers import AutoPipelineForInpainting

>>> pipeline = AutoPipelineForInpainting.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5")
>>> image = pipeline(prompt, image=init_image, mask_image=mask_image).images[0]

from_pipe[[diffusers.AutoPipelineForInpainting.from_pipe]]

from_pipe(pipeline, **kwargs)

Fuente

Parámetros:

pipeline (DiffusionPipeline) : un objeto DiffusionPipeline instanciado

Instancia un pipeline de difusión de Pytorch para inpainting a partir de otra clase de pipeline de difusión instanciada.

El método from_pipe() se encarga de devolver la instancia correcta de la clase de pipeline al encontrar el pipeline de inpainting vinculado a la clase de pipeline mediante coincidencia de patrones en el nombre de la clase de pipeline.

Todos los módulos que contiene la clase pipeline se utilizarán para inicializar el nuevo pipeline sin asignar memoria adicional.

El pipeline se configura en modo de evaluación (model.eval()) de forma predeterminada.

Ejemplos:

>>> from diffusers import AutoPipelineForText2Image, AutoPipelineForInpainting

>>> pipe_t2i = AutoPipelineForText2Image.from_pretrained(
...     "DeepFloyd/IF-I-XL-v1.0", requires_safety_checker=False
... )

>>> pipe_inpaint = AutoPipelineForInpainting.from_pipe(pipe_t2i)
>>> image = pipe_inpaint(prompt, image=init_image, mask_image=mask_image).images[0]

AutoPipelineForText2Audio[[diffusers.AutoPipelineForText2Audio]]

diffusers.AutoPipelineForText2Audio[[diffusers.AutoPipelineForText2Audio]]

diffusers.AutoPipelineForText2Audio(*args, **kwargs)

Fuente

AutoPipelineForText2Audio es una clase de pipeline genérica que instancia una clase de pipeline de texto a audio. La clase de pipeline subyacente específica se selecciona automáticamente a partir de los métodos from_pretrained() o from_pipe().

Esta clase no se puede instanciar usando __init__() (lanza un error).

Atributos de clase:

• config_name (str) -- El nombre del archivo de configuración que almacena los nombres de las clases y los módulos de todos los componentes del pipeline de difusión.

from_pretrained[[diffusers.AutoPipelineForText2Audio.from_pretrained]]

from_pretrained(pretrained_model_or_path, **kwargs)

Fuente

Parámetros:

pretrained_model_or_path (str o os.PathLike, opcional) : Puede ser: - Una cadena, el repo id (por ejemplo stabilityai/stable-audio-open-1.0) de un pipeline preentrenado alojado en el Hub. - Una ruta a un directorio (por ejemplo ./my_pipeline_directory/) que contenga los pesos del pipeline guardados usando save_pretrained().

dtype (torch.dtype, opcional) : Anula el torch.dtype predeterminado y carga el modelo con otro dtype.

force_download (bool, opcional, valor predeterminado False) : Indica si se debe forzar la (re)descarga de los pesos del modelo y los archivos de configuración, reemplazando las versiones en caché si existen.

cache_dir (str | os.PathLike, opcional) : Ruta a un directorio donde se almacena en caché la configuración de un modelo preentrenado descargado si no se utiliza la caché estándar.

proxies (dict[str, str], opcional) : Un diccionario de servidores proxy a utilizar por protocolo o punto de acceso, por ejemplo, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}. Los proxies se utilizan en cada solicitud.

output_loading_info(bool, opcional, valor predeterminado False) : Indica si se debe devolver también un diccionario que contenga las claves faltantes, las claves inesperadas y los mensajes de error.

local_files_only (bool, opcional, valor predeterminado False) : Indica si se deben cargar únicamente los pesos y archivos de configuración del modelo localmente. Si se establece en True, el modelo no se descargará desde el Hub.

token (str o bool, opcional) : El token que se usará como autorización HTTP bearer para archivos remotos. Si es True, se utiliza el token generado por diffusers-cli login (almacenado en ~/.huggingface).

revision (str, opcional, valor predeterminado "main") : La versión específica del modelo que se va a utilizar. Puede ser el nombre de una rama, el nombre de una etiqueta, un id de commit o cualquier identificador permitido por Git.

custom_revision (str, opcional, por defecto "main") : La versión específica del modelo a utilizar. Puede ser un nombre de rama, un nombre de etiqueta o un id de commit similar a revision al cargar un pipeline personalizado desde el Hub. Puede ser una versión de 🤗 Diffusers al cargar un pipeline personalizado desde GitHub, de lo contrario, por defecto es "main" al cargar desde el Hub.

mirror (str, opcional) : Origen de espejo para resolver problemas de accesibilidad si estás descargando un modelo en China. No garantizamos la oportunidad ni la seguridad de la fuente, y debes consultar el sitio de espejo para obtener más información.

device_map (str o dict[str, int | str | torch.device], opcional) : Un mapa que especifica dónde debe ir cada submódulo. No es necesario definirlo para cada nombre de parámetro/buffer; una vez que un nombre de módulo dado está incluido, todos sus submódulos se enviarán al mismo dispositivo. Establezca device_map="auto" para que 🤗 Accelerate calcule automáticamente el device_map más optimizado. Para obtener más información sobre cada opción, consulte diseñar un mapa de dispositivos.

max_memory (Dict, opcional) : Un diccionario de identificador de dispositivo para la memoria máxima. Si no se establece, se usará por defecto la memoria máxima disponible para cada GPU y la RAM de CPU disponible.

offload_folder (str o os.PathLike, opcional) : La ruta para descargar los pesos si device_map contiene el valor "disk".

offload_state_dict (bool, opcional) : Si True, descarga temporalmente el state dict de la CPU al disco duro para evitar quedarse sin RAM de CPU si el peso del state dict de la CPU + el shard más grande del checkpoint no cabe. El valor predeterminado es True cuando hay alguna descarga al disco.

low_cpu_mem_usage (bool, opcional, por defecto True si la versión de torch >= 1.9.0, en caso contrario False) : Acelera la carga del modelo cargando solo los pesos preentrenados y no inicializando los pesos. Esto también intenta no usar más de 1x el tamaño del modelo en la memoria de CPU (incluida la memoria pico) mientras se carga el modelo. Solo se admite para PyTorch >= 1.9.0. Si estás usando una versión anterior de PyTorch, establecer este argumento en True generará un error.

use_safetensors (bool, opcional, valor predeterminado None) : Si se establece en None, se descargan los pesos de safetensors si están disponibles y si la biblioteca safetensors está instalada. Si se establece en True, el modelo se carga forzosamente desde los pesos de safetensors. Si se establece en False, no se cargan los pesos de safetensors.

kwargs (resto del diccionario de argumentos de palabra clave, opcional) : Se puede usar para sobrescribir las variables de carga y guardado (los componentes de pipeline de la clase de pipeline específica). Los componentes sobrescritos se pasan directamente al método __init__ de los pipelines. Consulte el ejemplo siguiente para obtener más información.

variant (str, opcional) : Carga los pesos desde un nombre de archivo de variante especificado, como "fp16" o "ema".

Instancia un pipeline de difusión de texto a audio de Pytorch a partir de pesos de pipeline preentrenados.

El método from_pretrained() se encarga de devolver la instancia correcta de la clase de pipeline mediante:

1. Detecta la clase de pipeline de pretrained_model_or_path en función de la propiedad _class_name de su objeto de configuración
2. Encuentra el pipeline de texto a audio vinculado a la clase de pipeline mediante la coincidencia de patrones en el nombre de la clase de pipeline.

El pipeline se configura en modo de evaluación (model.eval()) de forma predeterminada.

> Para usar modelos privados o gated, inicia sesión con hf > auth login.

Ejemplos:

>>> import torch
>>> import soundfile as sf
>>> from diffusers import AutoPipelineForText2Audio

>>> pipeline = AutoPipelineForText2Audio.from_pretrained(
...     "stabilityai/stable-audio-open-1.0", torch_dtype=torch.float16
... )
>>> pipeline = pipeline.to("cuda")

>>> output = pipeline(
...     "Generate a male voice reading a paragraph",
...     num_inference_steps=200,
...     audio_end_in_s=10.0,
... )
>>> audio = output.audios[0].T.float().cpu().numpy()
>>> sf.write("audio.wav", audio, pipeline.vae.sampling_rate)

from_pipe[[diffusers.AutoPipelineForText2Audio.from_pipe]]

from_pipe(pipeline, **kwargs)

Fuente

Parámetros:

pipeline (DiffusionPipeline) : un objeto DiffusionPipeline instanciado

Instancia un pipeline de difusión de Pytorch de texto a audio a partir de otra clase de pipeline de difusión instanciada.

El método from_pipe() se encarga de devolver la instancia correcta de la clase de pipeline al encontrar el pipeline de texto a audio vinculado a la clase de pipeline mediante coincidencia de patrones en el nombre de la clase de pipeline.

Todos los módulos que contiene el pipeline se utilizarán para inicializar el nuevo pipeline sin asignar memoria adicional.

El pipeline se configura en modo de evaluación (model.eval()) de forma predeterminada.

>>> import torch
>>> import soundfile as sf
>>> from diffusers import AutoPipelineForText2Audio, StableAudioPipeline

>>> pipe = StableAudioPipeline.from_pretrained("stabilityai/stable-audio-open-1.0", torch_dtype=torch.float16)

>>> pipe_audio = AutoPipelineForText2Audio.from_pipe(pipe)
>>> output = pipe_audio(
...     "Generate a sound",
...     num_inference_steps=200,
...     audio_end_in_s=10.0,
... )
>>> audio = output.audios[0].T.float().cpu().numpy()
>>> sf.write("audio.wav", audio, pipe_audio.vae.sampling_rate)