Buckets:

hf-doc-build
/

doc

Files

xet

hf-doc-build/doc / diffusers /main /pt /using-diffusers /guiders.md

mishig

8 days ago

preview code

download

raw

7.58 kB

# Guias

[Classifier-free guidance](https://huggingface.co/papers/2207.12598) direciona a geração do modelo para que ela corresponda melhor ao prompt e é comumente usada para melhorar a qualidade, o controle e a aderência aos prompts. Existem diferentes tipos de métodos de orientação e, no Diffusers, eles são conhecidos como *guiders*. Assim como os blocos, é fácil alternar e usar diferentes guiders para diferentes casos de uso sem reescrever o pipeline.

Este guia mostrará como alternar entre guias, ajustar os parâmetros do guia e carregá-los e compartilhá-los no Hub.

## Alterando guias

[ClassifierFreeGuidance](/docs/diffusers/main/pt/api/modular_diffusers/guiders#diffusers.ClassifierFreeGuidance) é o guia padrão e é criado quando um pipeline é inicializado com [init_pipeline()](/docs/diffusers/main/pt/api/modular_diffusers/pipeline_blocks#diffusers.ModularPipelineBlocks.init_pipeline). Ele é criado por `from_config`, o que significa que não requer o carregamento de especificações de um repositório modular. Um guia não será listado em `modular_model_index.json`.

Use [get_component_spec()](/docs/diffusers/main/pt/api/modular_diffusers/pipeline#diffusers.ModularPipeline.get_component_spec) para inspecionar um guider.

```py
t2i_pipeline.get_component_spec("guider")
ComponentSpec(name='guider', type_hint=<class 'diffusers.guiders.classifier_free_guidance.ClassifierFreeGuidance'>, description=None, config=FrozenDict([('guidance_scale', 7.5), ('guidance_rescale', 0.0), ('use_original_formulation', False), ('start', 0.0), ('stop', 1.0), ('_use_default_values', ['start', 'guidance_rescale', 'stop', 'use_original_formulation'])]), repo=None, subfolder=None, variant=None, revision=None, default_creation_method='from_config')
```

Alterne para um guider diferente passando o novo guider para [update_components()](/docs/diffusers/main/pt/api/modular_diffusers/pipeline#diffusers.ModularPipeline.update_components).

> [!TIP]
> Alterar os guias retornará um texto informando que você está alterando o tipo de guia.
> ```bash
> ModularPipeline.update_components: adding guider with new type: PerturbedAttentionGuidance, previous type: ClassifierFreeGuidance
> ```
```py
from diffusers import LayerSkipConfig, PerturbedAttentionGuidance
config = LayerSkipConfig(indices=[2, 9], fqn="mid_block.attentions.0.transformer_blocks", skip_attention=False, skip_attention_scores=True, skip_ff=False)
guider = PerturbedAttentionGuidance(
    guidance_scale=5.0, perturbed_guidance_scale=2.5, perturbed_guidance_config=config
)
t2i_pipeline.update_components(guider=guider)
```
Use [get_component_spec()](/docs/diffusers/main/pt/api/modular_diffusers/pipeline#diffusers.ModularPipeline.get_component_spec) novamente para verificar se o tipo de guider é diferente.
```py
t2i_pipeline.get_component_spec("guider")
ComponentSpec(name='guider', type_hint=<class 'diffusers.guiders.perturbed_attention_guidance.PerturbedAttentionGuidance'>, description=None, config=FrozenDict([('guidance_scale', 5.0), ('perturbed_guidance_scale', 2.5), ('perturbed_guidance_start', 0.01), ('perturbed_guidance_stop', 0.2), ('perturbed_guidance_layers', None), ('perturbed_guidance_config', LayerSkipConfig(indices=[2, 9], fqn='mid_block.attentions.0.transformer_blocks', skip_attention=False, skip_attention_scores=True, skip_ff=False, dropout=1.0)), ('guidance_rescale', 0.0), ('use_original_formulation', False), ('start', 0.0), ('stop', 1.0), ('_use_default_values', ['perturbed_guidance_start', 'use_original_formulation', 'perturbed_guidance_layers', 'stop', 'start', 'guidance_rescale', 'perturbed_guidance_stop']), ('_class_name', 'PerturbedAttentionGuidance'), ('_diffusers_version', '0.35.0.dev0')]), repo=None, subfolder=None, variant=None, revision=None, default_creation_method='from_config')
```
## Carregando guias personalizados
Guiders que já estão salvos no Hub com um arquivo `modular_model_index.json` agora são considerados um componente `from_pretrained` em vez de um componente `from_config`.
```json
{
  "guider": [
    null,
    null,
    {
      "repo": "YiYiXu/modular-loader-t2i-guider",
      "revision": null,
      "subfolder": "pag_guider",
      "type_hint": [
        "diffusers",
        "PerturbedAttentionGuidance"
      ],
      "variant": null
    }
  ]
}
```
O guider é criado apenas após a chamada de [load_components()](/docs/diffusers/main/pt/api/modular_diffusers/pipeline#diffusers.ModularPipeline.load_components), com base na especificação de carregamento em `modular_model_index.json`.

```py
t2i_pipeline = t2i_blocks.init_pipeline("YiYiXu/modular-doc-guider")
# not created during init
assert t2i_pipeline.guider is None
t2i_pipeline.load_components()
# loaded as PAG guider
t2i_pipeline.guider
```

## Alterando os parâmetros do guider

Os parâmetros do guider podem ser ajustados com o método [create()](/docs/diffusers/main/pt/api/modular_diffusers/pipeline_components#diffusers.ComponentSpec.create) e [update_components()](/docs/diffusers/main/pt/api/modular_diffusers/pipeline#diffusers.ModularPipeline.update_components). O exemplo abaixo altera o valor de `guidance_scale`.

```py
guider_spec = t2i_pipeline.get_component_spec("guider")
guider = guider_spec.create(guidance_scale=10)
t2i_pipeline.update_components(guider=guider)
```

## Carregando guias personalizados

Chame o método [push_to_hub()](/docs/diffusers/main/pt/api/schedulers/overview#diffusers.utils.PushToHubMixin.push_to_hub) em um guider personalizado para compartilhá-lo no Hub.

```py
guider.push_to_hub("YiYiXu/modular-loader-t2i-guider", subfolder="pag_guider")
```

Para tornar este guider disponível para o pipeline, modifique o arquivo `modular_model_index.json` ou use o método [update_components()](/docs/diffusers/main/pt/api/modular_diffusers/pipeline#diffusers.ModularPipeline.update_components).

Edite o arquivo `modular_model_index.json` e adicione uma especificação de carregamento para o guider, apontando para uma pasta que contenha a configuração do guider.

```json
{
  "guider": [
    "diffusers",
    "PerturbedAttentionGuidance",
    {
      "repo": "YiYiXu/modular-loader-t2i-guider",
      "revision": null,
      "subfolder": "pag_guider",
      "type_hint": [
        "diffusers",
        "PerturbedAttentionGuidance"
      ],
      "variant": null
    }
  ],
```

Altere o `default_creation_method()` para `from_pretrained` e use [update_components()](/docs/diffusers/main/pt/api/modular_diffusers/pipeline#diffusers.ModularPipeline.update_components) para atualizar as especificações do guider e dos componentes, bem como a configuração do pipeline.

> [!TIP]
> Alterar o método de criação retornará um texto informando que você está alterando o tipo de criação para `from_pretrained`.
> ```bash
> ModularPipeline.update_components: changing the default_creation_method of guider from from_config to from_pretrained.
> ```

```py
guider_spec = t2i_pipeline.get_component_spec("guider")
guider_spec.default_creation_method="from_pretrained"
guider_spec.pretrained_model_name_or_path="YiYiXu/modular-loader-t2i-guider"
guider_spec.subfolder="pag_guider"
pag_guider = guider_spec.load()
t2i_pipeline.update_components(guider=pag_guider)
```

Para torná-lo o guia padrão de um pipeline, chame [push_to_hub()](/docs/diffusers/main/pt/api/schedulers/overview#diffusers.utils.PushToHubMixin.push_to_hub). Essa é uma etapa opcional e não é necessária se você estiver apenas experimentando localmente.

```py
t2i_pipeline.push_to_hub("YiYiXu/modular-doc-guider")
```

Xet Storage Details

Size:: 7.58 kB
Xet hash:: 6bd7921cc6d82f190079602811484d7b883f4faabbf67fc49a387f31d437db6b

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.

	# Guias

	[Classifier-free guidance](https://huggingface.co/papers/2207.12598) direciona a geração do modelo para que ela corresponda melhor ao prompt e é comumente usada para melhorar a qualidade, o controle e a aderência aos prompts. Existem diferentes tipos de métodos de orientação e, no Diffusers, eles são conhecidos como guiders. Assim como os blocos, é fácil alternar e usar diferentes guiders para diferentes casos de uso sem reescrever o pipeline.

	Este guia mostrará como alternar entre guias, ajustar os parâmetros do guia e carregá-los e compartilhá-los no Hub.

	## Alterando guias

	[ClassifierFreeGuidance](/docs/diffusers/main/pt/api/modular_diffusers/guiders#diffusers.ClassifierFreeGuidance) é o guia padrão e é criado quando um pipeline é inicializado com [init_pipeline()](/docs/diffusers/main/pt/api/modular_diffusers/pipeline_blocks#diffusers.ModularPipelineBlocks.init_pipeline). Ele é criado por `from_config`, o que significa que não requer o carregamento de especificações de um repositório modular. Um guia não será listado em `modular_model_index.json`.

	Use [get_component_spec()](/docs/diffusers/main/pt/api/modular_diffusers/pipeline#diffusers.ModularPipeline.get_component_spec) para inspecionar um guider.

	```py
	t2i_pipeline.get_component_spec("guider")
	ComponentSpec(name='guider', type_hint=<class 'diffusers.guiders.classifier_free_guidance.ClassifierFreeGuidance'>, description=None, config=FrozenDict([('guidance_scale', 7.5), ('guidance_rescale', 0.0), ('use_original_formulation', False), ('start', 0.0), ('stop', 1.0), ('_use_default_values', ['start', 'guidance_rescale', 'stop', 'use_original_formulation'])]), repo=None, subfolder=None, variant=None, revision=None, default_creation_method='from_config')
	```

	Alterne para um guider diferente passando o novo guider para [update_components()](/docs/diffusers/main/pt/api/modular_diffusers/pipeline#diffusers.ModularPipeline.update_components).

	> [!TIP]
	> Alterar os guias retornará um texto informando que você está alterando o tipo de guia.
	> ```bash
	> ModularPipeline.update_components: adding guider with new type: PerturbedAttentionGuidance, previous type: ClassifierFreeGuidance
	> ```

	```py
	from diffusers import LayerSkipConfig, PerturbedAttentionGuidance

	config = LayerSkipConfig(indices=[2, 9], fqn="mid_block.attentions.0.transformer_blocks", skip_attention=False, skip_attention_scores=True, skip_ff=False)
	guider = PerturbedAttentionGuidance(
	guidance_scale=5.0, perturbed_guidance_scale=2.5, perturbed_guidance_config=config
	)
	t2i_pipeline.update_components(guider=guider)
	```

	Use [get_component_spec()](/docs/diffusers/main/pt/api/modular_diffusers/pipeline#diffusers.ModularPipeline.get_component_spec) novamente para verificar se o tipo de guider é diferente.

	```py
	t2i_pipeline.get_component_spec("guider")
	ComponentSpec(name='guider', type_hint=<class 'diffusers.guiders.perturbed_attention_guidance.PerturbedAttentionGuidance'>, description=None, config=FrozenDict([('guidance_scale', 5.0), ('perturbed_guidance_scale', 2.5), ('perturbed_guidance_start', 0.01), ('perturbed_guidance_stop', 0.2), ('perturbed_guidance_layers', None), ('perturbed_guidance_config', LayerSkipConfig(indices=[2, 9], fqn='mid_block.attentions.0.transformer_blocks', skip_attention=False, skip_attention_scores=True, skip_ff=False, dropout=1.0)), ('guidance_rescale', 0.0), ('use_original_formulation', False), ('start', 0.0), ('stop', 1.0), ('_use_default_values', ['perturbed_guidance_start', 'use_original_formulation', 'perturbed_guidance_layers', 'stop', 'start', 'guidance_rescale', 'perturbed_guidance_stop']), ('_class_name', 'PerturbedAttentionGuidance'), ('_diffusers_version', '0.35.0.dev0')]), repo=None, subfolder=None, variant=None, revision=None, default_creation_method='from_config')
	```

	## Carregando guias personalizados

	Guiders que já estão salvos no Hub com um arquivo `modular_model_index.json` agora são considerados um componente `from_pretrained` em vez de um componente `from_config`.

	```json
	{
	"guider": [
	null,
	null,
	{
	"repo": "YiYiXu/modular-loader-t2i-guider",
	"revision": null,
	"subfolder": "pag_guider",
	"type_hint": [
	"diffusers",
	"PerturbedAttentionGuidance"
	],
	"variant": null
	}
	]
	}
	```

	O guider é criado apenas após a chamada de [load_components()](/docs/diffusers/main/pt/api/modular_diffusers/pipeline#diffusers.ModularPipeline.load_components), com base na especificação de carregamento em `modular_model_index.json`.

	```py
	t2i_pipeline = t2i_blocks.init_pipeline("YiYiXu/modular-doc-guider")
	# not created during init
	assert t2i_pipeline.guider is None
	t2i_pipeline.load_components()
	# loaded as PAG guider
	t2i_pipeline.guider
	```

	## Alterando os parâmetros do guider

	Os parâmetros do guider podem ser ajustados com o método [create()](/docs/diffusers/main/pt/api/modular_diffusers/pipeline_components#diffusers.ComponentSpec.create) e [update_components()](/docs/diffusers/main/pt/api/modular_diffusers/pipeline#diffusers.ModularPipeline.update_components). O exemplo abaixo altera o valor de `guidance_scale`.

	```py
	guider_spec = t2i_pipeline.get_component_spec("guider")
	guider = guider_spec.create(guidance_scale=10)
	t2i_pipeline.update_components(guider=guider)
	```

	## Carregando guias personalizados

	Chame o método [push_to_hub()](/docs/diffusers/main/pt/api/schedulers/overview#diffusers.utils.PushToHubMixin.push_to_hub) em um guider personalizado para compartilhá-lo no Hub.

	```py
	guider.push_to_hub("YiYiXu/modular-loader-t2i-guider", subfolder="pag_guider")
	```

	Para tornar este guider disponível para o pipeline, modifique o arquivo `modular_model_index.json` ou use o método [update_components()](/docs/diffusers/main/pt/api/modular_diffusers/pipeline#diffusers.ModularPipeline.update_components).

	Edite o arquivo `modular_model_index.json` e adicione uma especificação de carregamento para o guider, apontando para uma pasta que contenha a configuração do guider.

	```json
	{
	"guider": [
	"diffusers",
	"PerturbedAttentionGuidance",
	{
	"repo": "YiYiXu/modular-loader-t2i-guider",
	"revision": null,
	"subfolder": "pag_guider",
	"type_hint": [
	"diffusers",
	"PerturbedAttentionGuidance"
	],
	"variant": null
	}
	],
	```

	Altere o `default_creation_method()` para `from_pretrained` e use [update_components()](/docs/diffusers/main/pt/api/modular_diffusers/pipeline#diffusers.ModularPipeline.update_components) para atualizar as especificações do guider e dos componentes, bem como a configuração do pipeline.

	> [!TIP]
	> Alterar o método de criação retornará um texto informando que você está alterando o tipo de criação para `from_pretrained`.
	> ```bash
	> ModularPipeline.update_components: changing the default_creation_method of guider from from_config to from_pretrained.
	> ```

	```py
	guider_spec = t2i_pipeline.get_component_spec("guider")
	guider_spec.default_creation_method="from_pretrained"
	guider_spec.pretrained_model_name_or_path="YiYiXu/modular-loader-t2i-guider"
	guider_spec.subfolder="pag_guider"
	pag_guider = guider_spec.load()
	t2i_pipeline.update_components(guider=pag_guider)
	```

	Para torná-lo o guia padrão de um pipeline, chame [push_to_hub()](/docs/diffusers/main/pt/api/schedulers/overview#diffusers.utils.PushToHubMixin.push_to_hub). Essa é uma etapa opcional e não é necessária se você estiver apenas experimentando localmente.

	```py
	t2i_pipeline.push_to_hub("YiYiXu/modular-doc-guider")
	```