Buckets:
| # FreeU | |
| [FreeU](https://huggingface.co/papers/2309.11497) improves image detail by rebalancing how much the UNet decoder draws from backbone features versus skip-connection features. Skip connections can drown out the backbone's semantic features, which produces unnatural detail in the output. FreeU needs no training, and you can turn it on or off at inference time for text-to-image and text-to-video pipelines. | |
| > [!NOTE] | |
| > FreeU работает только с пайплайнами на основе UNet, такими как Stable Diffusion, SDXL и AnimateDiff. Он не поддерживается в пайплайнах на основе трансформеров, таких как Flux или Qwen-Image. | |
| Используйте метод [enable_freeu()](/docs/diffusers/v0.43.0/ru/api/pipelines/overview#diffusers.StableDiffusionMixin.enable_freeu) в вашем пайплайне и настройте коэффициенты масштабирования. `b1` и `b2` усиливают признаки базовой сети, а `s1` и `s2` ослабляют признаки обходных связей. Индексы `1` и `2` указывают на первые два этапа апсемплинга в декодере UNet. Справочные гиперпараметры для различных моделей приведены в репозитории [FreeU](https://github.com/ChenyangSi/FreeU#parameters). | |
| Начните со значений параметров из репозитория для модели. Чтобы настроить для других моделей, оставьте `s1=0.9` и `s2=0.2` и сначала отрегулируйте `b1` и `b2`. Установка всех четырех факторов в `1.0` эквивалентна отключению FreeU. Большие значения `b` усиливают эффект, но могут чрезмерно сгладить мелкую текстуру, а снижение `s1` и `s2` компенсирует это. | |
| ```py | |
| import torch | |
| from diffusers import DiffusionPipeline | |
| pipeline = DiffusionPipeline.from_pretrained( | |
| "stabilityai/stable-diffusion-xl-base-1.0", dtype=torch.float16, | |
| ).to("cuda") # or "mps", "xpu", "cpu" | |
| pipeline.enable_freeu(s1=0.9, s2=0.2, b1=1.3, b2=1.4) | |
| generator = torch.Generator(device="cpu").manual_seed(13) | |
| prompt = "A squirrel eating a burger" | |
| image = pipeline(prompt, generator=generator).images[0] | |
| image | |
| ``` | |
| FreeU отключен | |
| FreeU включен | |
| Вызовите метод [disable_freeu()](/docs/diffusers/v0.43.0/ru/api/pipelines/overview#diffusers.StableDiffusionMixin.disable_freeu), чтобы отключить FreeU. | |
| ```py | |
| pipeline.disable_freeu() | |
| ``` | |
| ## Дальнейшие шаги | |
| - См. справочник API [enable_freeu()](/docs/diffusers/v0.43.0/ru/api/pipelines/overview#diffusers.StableDiffusionMixin.enable_freeu) для полного описания параметров. | |
| - Попробуйте FreeU для видео с [AnimateDiff](../api/pipelines/animatediff). | |
Xet Storage Details
- Size:
- 3.14 kB
- Xet hash:
- bc9e157bdc2cf63a48aff71214297cedb9aa7ba68aa840a9989a4569cf17396c
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.