Buckets:

mishig's picture
|
download
raw
3.16 kB

FreeU

يحسّن FreeU تفاصيل الصورة من خلال إعادة التوازن بين مقدار ما يستخلصه مُفكّك UNet من ميزات العمود الفقري (backbone) مقارنةً بميزات وصلات التخطي (skip-connections). يمكن أن تُغمر ميزات العمود الفقري الدلالية بواسطة وصلات التخطي، مما ينتج عنه تفاصيل غير طبيعية في المخرجات. لا يتطلب FreeU أي تدريب، ويمكنك تفعيله أو تعطيله في وقت الاستدلال (inference) لأنابيب النص إلى الصورة والنص إلى الفيديو.

يعمل FreeU فقط مع خطوط الأنابيب المعتمدة على UNet مثل Stable Diffusion وSDXL وAnimateDiff. ولا يحظى بدعم خطوط الأنابيب المعتمدة على المحولات (transformers) مثل Flux أو Qwen-Image.

استخدم طريقة enable_freeu() على خط الأنابيب الخاص بك وقم بإعداد عوامل التوسيع. تُعزّز b1 وb2 ميزات الهيكل الأساسي، بينما تُخمد s1 وs2 ميزات التخطي. تشير 1 و2 إلى مرحلتي إعادة العينات الأولى والثانية في فكّ تشفير UNet. راجع مستودع FreeU للاطلاع على المعلمات الفائقة المرجعية للنماذج المختلفة.

ابدأ بقيم المستودع الخاصة بنموذج. لضبط نماذج أخرى، احتفظ بـs1=0.9 وs2=0.2 وقم بتعديل b1 وb2 أولاً. ضبط العوامل الأربعة جميعها على 1.0 يعادل تعطيل FreeU. تزيد القيم الأكبر لـb من قوة التأثير لكنها قد تُنعّم النسيج الدقيق بشكل مفرط، بينما يُخفّض خفض s1 وs2 من ذلك.

import torch
from diffusers import DiffusionPipeline

pipeline = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", dtype=torch.float16,
).to("cuda")  # or "mps", "xpu", "cpu"
pipeline.enable_freeu(s1=0.9, s2=0.2, b1=1.3, b2=1.4)
generator = torch.Generator(device="cpu").manual_seed(13)
prompt = "A squirrel eating a burger"
image = pipeline(prompt, generator=generator).images[0]
image
تم تعطيل FreeU



تمكين FreeU

استدعِ الطريقة disable_freeu() لتعطيل FreeU.

pipeline.disable_freeu()

الخطوات التالية

  • راجع مرجع واجهة enable_freeu() للحصول على أوصاف كاملة للمعاملات.
  • جرّب FreeU على الفيديو باستخدام AnimateDiff.

Xet Storage Details

Size:
3.16 kB
·
Xet hash:
6bd0b2cc95ef3815e401973a4c356487d249c0315c1b0a455da9451bf7737013

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.