Buckets:

mishig's picture
|
download
raw
7.62 kB
# Guías
[Classifier-free guidance](https://huggingface.co/papers/2207.12598) dirige la generación del modelo para que coincida mejor con el prompt y se utiliza comúnmente para mejorar la calidad, el control y la adherencia a los prompts. Existen diferentes tipos de métodos de guía y, en Diffusers, se conocen como *guiders*. Al igual que con los bloques, es fácil cambiar y utilizar diferentes guiders para distintos casos de uso sin reescribir el pipeline.
Esta guía te mostrará cómo cambiar de guías, ajustar los parámetros de las guías y cargarlas y compartirlas en el Hub.
## Cambiar guías
[ClassifierFreeGuidance](/docs/diffusers/v0.43.0/es/api/modular_diffusers/guiders#diffusers.ClassifierFreeGuidance) es el guider predeterminado y se crea cuando se inicializa un pipeline con [init_pipeline()](/docs/diffusers/v0.43.0/es/api/modular_diffusers/pipeline_blocks#diffusers.ModularPipelineBlocks.init_pipeline). Se crea mediante `from_config`, lo que significa que no requiere cargar especificaciones desde un repositorio modular. Un guider no se enumerará en `modular_model_index.json`.
Use [get_component_spec()](/docs/diffusers/v0.43.0/es/api/modular_diffusers/pipeline#diffusers.ModularPipeline.get_component_spec) para inspeccionar un guider.
```py
t2i_pipeline.get_component_spec("guider")
ComponentSpec(name='guider', type_hint=<class 'diffusers.guiders.classifier_free_guidance.ClassifierFreeGuidance'>, description=None, config=FrozenDict([('guidance_scale', 7.5), ('guidance_rescale', 0.0), ('use_original_formulation', False), ('start', 0.0), ('stop', 1.0), ('_use_default_values', ['start', 'guidance_rescale', 'stop', 'use_original_formulation'])]), repo=None, subfolder=None, variant=None, revision=None, default_creation_method='from_config')
```
Cambie a un guider diferente pasando el nuevo guider a [update_components()](/docs/diffusers/v0.43.0/es/api/modular_diffusers/pipeline#diffusers.ModularPipeline.update_components).
> [!TIP]
> Cambiar los guías devolverá un texto que te indicará que estás cambiando el tipo de guía.
> ```bash
> ModularPipeline.update_components: adding guider with new type: PerturbedAttentionGuidance, previous type: ClassifierFreeGuidance
> ```
```py
from diffusers import LayerSkipConfig, PerturbedAttentionGuidance
config = LayerSkipConfig(indices=[2, 9], fqn="mid_block.attentions.0.transformer_blocks", skip_attention=False, skip_attention_scores=True, skip_ff=False)
guider = PerturbedAttentionGuidance(
guidance_scale=5.0, perturbed_guidance_scale=2.5, perturbed_guidance_config=config
)
t2i_pipeline.update_components(guider=guider)
```
Use [get_component_spec()](/docs/diffusers/v0.43.0/es/api/modular_diffusers/pipeline#diffusers.ModularPipeline.get_component_spec) de nuevo para verificar que el tipo de guider es diferente.
```py
t2i_pipeline.get_component_spec("guider")
ComponentSpec(name='guider', type_hint=<class 'diffusers.guiders.perturbed_attention_guidance.PerturbedAttentionGuidance'>, description=None, config=FrozenDict([('guidance_scale', 5.0), ('perturbed_guidance_scale', 2.5), ('perturbed_guidance_start', 0.01), ('perturbed_guidance_stop', 0.2), ('perturbed_guidance_layers', None), ('perturbed_guidance_config', LayerSkipConfig(indices=[2, 9], fqn='mid_block.attentions.0.transformer_blocks', skip_attention=False, skip_attention_scores=True, skip_ff=False, dropout=1.0)), ('guidance_rescale', 0.0), ('use_original_formulation', False), ('start', 0.0), ('stop', 1.0), ('_use_default_values', ['perturbed_guidance_start', 'use_original_formulation', 'perturbed_guidance_layers', 'stop', 'start', 'guidance_rescale', 'perturbed_guidance_stop']), ('_class_name', 'PerturbedAttentionGuidance'), ('_diffusers_version', '0.35.0.dev0')]), repo=None, subfolder=None, variant=None, revision=None, default_creation_method='from_config')
```
## Carga de guías personalizadas
Los guiders que ya están guardados en el Hub con un archivo `modular_model_index.json` se consideran ahora un componente `from_pretrained` en lugar de un componente `from_config`.
```json
{
"guider": [
null,
null,
{
"repo": "YiYiXu/modular-loader-t2i-guider",
"revision": null,
"subfolder": "pag_guider",
"type_hint": [
"diffusers",
"PerturbedAttentionGuidance"
],
"variant": null
}
]
}
```
El guider solo se crea después de llamar a [load_components()](/docs/diffusers/v0.43.0/es/api/modular_diffusers/pipeline#diffusers.ModularPipeline.load_components) según la especificación de carga en `modular_model_index.json`.
```py
t2i_pipeline = t2i_blocks.init_pipeline("YiYiXu/modular-doc-guider")
# not created during init
assert t2i_pipeline.guider is None
t2i_pipeline.load_components()
# loaded as PAG guider
t2i_pipeline.guider
```
## Cambiar los parámetros del guider
Los parámetros del guider se pueden ajustar con el método [create()](/docs/diffusers/v0.43.0/es/api/modular_diffusers/pipeline_components#diffusers.ComponentSpec.create) y [update_components()](/docs/diffusers/v0.43.0/es/api/modular_diffusers/pipeline#diffusers.ModularPipeline.update_components). El ejemplo siguiente cambia el valor de `guidance_scale`.
```py
guider_spec = t2i_pipeline.get_component_spec("guider")
guider = guider_spec.create(guidance_scale=10)
t2i_pipeline.update_components(guider=guider)
```
## Subida de guías personalizadas
Llama al método [push_to_hub()](/docs/diffusers/v0.43.0/es/api/schedulers/overview#diffusers.utils.PushToHubMixin.push_to_hub) en un guider personalizado para compartirlo en el Hub.
```py
guider.push_to_hub("YiYiXu/modular-loader-t2i-guider", subfolder="pag_guider")
```
Para hacer este guider disponible para el pipeline, modifique el archivo `modular_model_index.json` o use el método [update_components()](/docs/diffusers/v0.43.0/es/api/modular_diffusers/pipeline#diffusers.ModularPipeline.update_components).
Edita el archivo `modular_model_index.json` y añade una especificación de carga para el guider apuntando a una carpeta que contenga la configuración del guider.
```json
{
"guider": [
"diffusers",
"PerturbedAttentionGuidance",
{
"repo": "YiYiXu/modular-loader-t2i-guider",
"revision": null,
"subfolder": "pag_guider",
"type_hint": [
"diffusers",
"PerturbedAttentionGuidance"
],
"variant": null
}
],
```
Cambie `default_creation_method()` por `from_pretrained` y use [update_components()](/docs/diffusers/v0.43.0/es/api/modular_diffusers/pipeline#diffusers.ModularPipeline.update_components) para actualizar las especificaciones del guider y de los componentes, así como la configuración de la pipeline.
> [!TIP]
> Cambiar el método de creación devolverá un texto que le indica que está cambiando el tipo de creación a `from_pretrained`.
> ```bash
> ModularPipeline.update_components: changing the default_creation_method of guider from from_config to from_pretrained.
> ```
```py
guider_spec = t2i_pipeline.get_component_spec("guider")
guider_spec.default_creation_method="from_pretrained"
guider_spec.pretrained_model_name_or_path="YiYiXu/modular-loader-t2i-guider"
guider_spec.subfolder="pag_guider"
pag_guider = guider_spec.load()
t2i_pipeline.update_components(guider=pag_guider)
```
Para establecerlo como el guider predeterminado de un pipeline, llama a [push_to_hub()](/docs/diffusers/v0.43.0/es/api/schedulers/overview#diffusers.utils.PushToHubMixin.push_to_hub). Este es un paso opcional y no es necesario si solo estás experimentando localmente.
```py
t2i_pipeline.push_to_hub("YiYiXu/modular-doc-guider")
```

Xet Storage Details

Size:
7.62 kB
·
Xet hash:
812885232b7a518a0d4cf8ac8d4ad451509d1740b510edc115f5a7a6d6a5ea8b

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.