hf-doc-build/doc / diffusers /main /ar /api /pipelines /stable_diffusion /stable_diffusion_xl.md

|

118 kB

Stable Diffusion XL

قُدم Stable Diffusion XL (SDXL) في SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis بواسطة Dustin Podell وZion English وKyle Lacey وAndreas Blattmann وTim Dockhorn وJonas Müller وJoe Penna وRobin Rombach.

ملخص الورقة البحثية هو:

نقدّم SDXL، وهو نموذج انتشار كامن لتوليد الصور من النص. مقارنةً بالإصدارات السابقة من Stable Diffusion، يستفيد SDXL من هيكل UNet أكبر بثلاث مرات: يعود سبب زيادة عدد معاملات النموذج بشكل رئيسي إلى وجود المزيد من كتل الانتباه وسياق انتباه متقاطع أكبر، حيث يستخدم SDXL مشفّر نصي ثانٍ. صمّمنا عدة مخططات تكييف جديدة وقمنا بتدريب SDXL على نسب أبعاد متعددة. كما نقدم نموذج تحسين يُستخدم لتحسين الدقة البصرية للعينات التي يولّدها SDXL باستخدام تقنية من صورة إلى صورة بعد التوليد. نُظهر أن SDXL يُظهر أداءً محسّنًا بشكل كبير مقارنةً بالإصدارات السابقة من Stable Diffusion، ويحقق نتائج تنافسية مع تلك التي تحققها أحدث مولدات الصور المغلقة.

نصائح

من المعروف أن استخدام SDXL مع جدولة DPM++ لعدد خطوات أقل من 50 ينتج تشوهات بصرية لأن المُحلِّل يصبح غير مستقر عددياً. لمعالجة هذه المشكلة، راجع هذا طلب الدمج الذي يوصي بمُحلِّلات ODE/SDE:
- اضبط use_karras_sigmas=True أو lu_lambdas=True لتحسين جودة الصورة
- اضبط euler_at_final=True إذا كنت تستخدم محللًا بحجم خطوات موحّد (DPM++2M أو DPM++2M SDE)
يعمل معظم نقاط التفتيش (checkpoints) الخاصة بـ SDXL بشكل أفضل مع حجم صورة 1024x1024. يتم أيضًا دعم أحجام الصور 768x768 و 512x512، لكن النتائج لا تكون بنفس الجودة. لا يُنصح بأي حجم أقل من 512x512، ومن المرجح أن يكون الأمر كذلك بالنسبة لنقاط التفتيش الافتراضية مثل stabilityai/stable-diffusion-xl-base-1.0.
يمكن لـ SDXL تمرير موجه مختلف لكل من مشفّرات النص التي تم تدريبه عليها. بل يمكننا تمرير أجزاء مختلفة من نفس الموجه إلى مشفّرات النص.
يمكن تحسين صور المخرجات من SDXL من خلال استخدام نموذج تحسين (Refiner) في إعداد تحويل الصورة إلى صورة.
يوفر SDXL المعاملات negative_original_size وnegative_crops_coords_top_left وnegative_target_size لفرض شروط سلبية على النموذج فيما يتعلق بمعايير دقة الصورة وقصّها.

اطّلع على منظمة Stability AI على Hub للحصول على نقاط التفتيش الرسمية لنماذج الأساس والمُحسّن!

تأكد من تثبيت المكتبات التالية.

# uncomment to install the necessary libraries in Colab
#!pip install -q diffusers transformers accelerate invisible-watermark>=0.2.0

نوصي بتثبيت مكتبة invisible-watermark للمساعدة في تحديد الصور المولّدة. إذا كانت مكتبة invisible-watermark مثبّتة، فسيتم استخدامها افتراضيًا. لتعطيل أداة العلامة المائية:
pipeline = StableDiffusionXLPipeline.from_pretrained(..., add_watermarker=False)

تحميل نقاط التفتيش للنماذج

قد تُخزَّن أوزان النموذج في مجلدات فرعية منفصلة على Hub أو محليًا، وفي هذه الحالة، يجب عليك استخدام طريقة from_pretrained():

from diffusers import StableDiffusionXLPipeline, StableDiffusionXLImg2ImgPipeline
import torch

pipeline = StableDiffusionXLPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", dtype=torch.float16, variant="fp16", use_safetensors=True
).to("cuda")  # or "mps", "xpu", "cpu"

refiner = StableDiffusionXLImg2ImgPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-refiner-1.0", dtype=torch.float16, use_safetensors=True, variant="fp16"
).to("cuda")

يمكنك أيضًا استخدام طريقة from_single_file() لتحميل نقطة تحقق لنموذج مخزّنة في صيغة ملف واحد (.ckpt أو .safetensors) من Hub أو محليًا:

from diffusers import StableDiffusionXLPipeline, StableDiffusionXLImg2ImgPipeline
import torch

pipeline = StableDiffusionXLPipeline.from_single_file(
    "https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/blob/main/sd_xl_base_1.0.safetensors",
    dtype=torch.float16
).to("cuda")  # or "mps", "xpu", "cpu"

refiner = StableDiffusionXLImg2ImgPipeline.from_single_file(
    "https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/blob/main/sd_xl_refiner_1.0.safetensors", dtype=torch.float16
).to("cuda")

النص إلى صورة

في حالة النص إلى صورة، مرّر موجهًا نصيًا. افتراضيًا، يولّد SDXL صورة بأبعاد 1024x1024 للحصول على أفضل النتائج. يمكنك تجربة ضبط المعاملين height وwidth على 768x768 أو 512x512، لكن أي أبعاد أقل من 512x512 من غير المرجح أن تعمل.

from diffusers import AutoPipelineForText2Image
import torch

pipeline_text2image = AutoPipelineForText2Image.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", dtype=torch.float16, variant="fp16", use_safetensors=True
).to("cuda")  # or "mps", "xpu", "cpu"

prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipeline_text2image(prompt=prompt).images[0]
image

من صورة إلى صورة

في حالة التحويل من صورة إلى صورة، يعمل SDXL بشكل خاص جيد مع أحجام الصور بين 768x768 و1024x1024. مرّر صورة أولية، وموجّهًا نصيًا لتكييف الصورة باستخدام:

from diffusers import AutoPipelineForImage2Image
from diffusers.utils import load_image, make_image_grid

# use from_pipe to avoid consuming additional memory when loading a checkpoint
pipeline = AutoPipelineForImage2Image.from_pipe(pipeline_text2image).to("cuda")  # or "mps", "xpu", "cpu"

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/sdxl-text2img.png"
init_image = load_image(url)
prompt = "a dog catching a frisbee in the jungle"
image = pipeline(prompt, image=init_image, strength=0.8, guidance_scale=10.5).images[0]
make_image_grid([init_image, image], rows=1, cols=2)

الترميم

لتطبيق تقنية إعادة رسم الصور (Inpainting)، ستحتاج إلى الصورة الأصلية وقناع (Mask) يحدد الجزء الذي تريد استبداله في الصورة الأصلية. أنشئ وصفًا (Prompt) يصف ما تريد استبدال منطقة القناع به.

from diffusers import AutoPipelineForInpainting
from diffusers.utils import load_image, make_image_grid

# use from_pipe to avoid consuming additional memory when loading a checkpoint
pipeline = AutoPipelineForInpainting.from_pipe(pipeline_text2image).to("cuda")  # or "mps", "xpu", "cpu"

img_url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/sdxl-text2img.png"
mask_url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/sdxl-inpaint-mask.png"

init_image = load_image(img_url)
mask_image = load_image(mask_url)

prompt = "A deep sea diver floating"
image = pipeline(prompt=prompt, image=init_image, mask_image=mask_image, strength=0.85, guidance_scale=12.5).images[0]
make_image_grid([init_image, mask_image, image], rows=1, cols=3)

تحسين جودة الصورة

يتضمن SDXL نموذج تحسين متخصصًا في إزالة الضوضاء من الصور في مرحلة الضوضاء المنخفضة لتوليد صور ذات جودة أعلى من النموذج الأساسي. هناك طريقتان لاستخدام نموذج التحسين:

استخدم نموذجي الأساس والمُحسّن معًا لإنتاج صورة مُحسّنة
استخدم النموذج الأساسي لإنتاج صورة، ثم استخدم نموذج المُحسّن (refiner) لإضافة مزيد من التفاصيل إلى الصورة (وهذا هو الأسلوب الذي تم تدريب SDXL عليه في الأصل)

النموذج الأساسي + نموذج التحسين

عند استخدام النموذج الأساسي ونموذج المُحسّن معًا لتوليد صورة، يُعرف ذلك بـ مجموعة من مُزيلات الضوضاء المتخصصة. تتطلب طريقة مجموعة مُزيلات الضوضاء المتخصصة عددًا أقل من خطوات إزالة الضوضاء الإجمالية مقارنةً بتمرير مخرجات النموذج الأساسي إلى نموذج المُحسّن، لذا يجب أن يكون تشغيلها أسرع بشكل ملحوظ. ومع ذلك، لن تتمكن من فحص مخرجات النموذج الأساسي لأنها لا تزال تحتوي على كمية كبيرة من الضوضاء.

بوصفه مجموعة من خبراء إزالة الضوضاء، يعمل النموذج الأساسي كخبير خلال مرحلة الانتشار عالية الضوضاء، بينما يعمل نموذج التحسين كخبير خلال مرحلة الانتشار منخفضة الضوضاء. حمّل النموذج الأساسي ونموذج التحسين:

from diffusers import DiffusionPipeline
import torch

base = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", dtype=torch.float16, variant="fp16", use_safetensors=True
).to("cuda")  # or "mps", "xpu", "cpu"

refiner = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-refiner-1.0",
    text_encoder_2=base.text_encoder_2,
    vae=base.vae,
    dtype=torch.float16,
    use_safetensors=True,
    variant="fp16",
).to("cuda")

لاستخدام هذا النهج، عليك تحديد عدد خطوات الزمن لكل نموذج ليمر عبر مراحله الخاصة. بالنسبة للنموذج الأساسي، يتم التحكم في ذلك عبر معامل denoising_end، وبالنسبة لنموذج التحسين، يتم التحكم فيه عبر معامل denoising_start.

يجب أن تكون المعاملات denoising_end وdenoising_start أرقامًا عشرية بين 0 و1. تُعبَّر هذه المعاملات كنسبة من خطوات الزمن المنفصلة كما يحددها المجدول. إذا كنت تستخدم أيضًا معامل strength، فسيتم تجاهله لأن عدد خطوات إزالة الضوضاء يُحدَّد بواسطة خطوات الزمن المنفصلة التي تم تدريب النموذج عليها والنقطة التقطعية الكسرية المُعلَنة.

لنقم بإعداد denoising_end=0.8 بحيث يقوم النموذج الأساسي بتنفيذ أول 80% من إزالة الضوضاء على خطوات الزمن ذات الضوضاء العالية، ونضبط denoising_start=0.8 بحيث يقوم نموذج التصفية بتنفيذ آخر 20% من إزالة الضوضاء على خطوات الزمن ذات الضوضاء المنخفضة. يجب أن يكون مخرَج النموذج الأساسي في فضاء الكامن بدلاً من صورة بصيغة PIL.

prompt = "A majestic lion jumping from a big stone at night"

image = base(
    prompt=prompt,
    num_inference_steps=40,
    denoising_end=0.8,
    output_type="latent",
).images
image = refiner(
    prompt=prompt,
    num_inference_steps=40,
    denoising_start=0.8,
    image=image,
).images[0]
image

النموذج الأساسي الافتراضي



مجموعة من خبراء إزالة الضوضاء

يمكن أيضًا استخدام نموذج المُحسّن (refiner) لعملية التعبئة (inpainting) في StableDiffusionXLInpaintPipeline:

from diffusers import StableDiffusionXLInpaintPipeline
from diffusers.utils import load_image, make_image_grid
import torch

base = StableDiffusionXLInpaintPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", dtype=torch.float16, variant="fp16", use_safetensors=True
).to("cuda")  # or "mps", "xpu", "cpu"

refiner = StableDiffusionXLInpaintPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-refiner-1.0",
    text_encoder_2=base.text_encoder_2,
    vae=base.vae,
    dtype=torch.float16,
    use_safetensors=True,
    variant="fp16",
).to("cuda")

img_url = "https://raw.githubusercontent.com/CompVis/latent-diffusion/main/data/inpainting_examples/overture-creations-5sI6fQgYIuo.png"
mask_url = "https://raw.githubusercontent.com/CompVis/latent-diffusion/main/data/inpainting_examples/overture-creations-5sI6fQgYIuo_mask.png"

init_image = load_image(img_url)
mask_image = load_image(mask_url)

prompt = "A majestic tiger sitting on a bench"
num_inference_steps = 75
high_noise_frac = 0.7

image = base(
    prompt=prompt,
    image=init_image,
    mask_image=mask_image,
    num_inference_steps=num_inference_steps,
    denoising_end=high_noise_frac,
    output_type="latent",
).images
image = refiner(
    prompt=prompt,
    image=image,
    mask_image=mask_image,
    num_inference_steps=num_inference_steps,
    denoising_start=high_noise_frac,
).images[0]
make_image_grid([init_image, mask_image, image.resize((512, 512))], rows=1, cols=3)

يعمل هذا الأسلوب القائم على مجموعة من خبراء إزالة الضوضاء بشكل جيد مع جميع مجدوليات التوقيت المتاحة!

النموذج الأساسي إلى نموذج التحسين

يحصل SDXL على تعزيز في جودة الصورة من خلال استخدام نموذج المُحسّن (refiner) لإضافة تفاصيل عالية الجودة إضافية إلى الصورة المُزالة الضوضاء بالكامل من النموذج الأساسي، في إعداد تحويل الصورة إلى صورة.

حمّل نموذج الأساس ونموذج التحسين:

from diffusers import DiffusionPipeline
import torch

base = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", dtype=torch.float16, variant="fp16", use_safetensors=True
).to("cuda")  # or "mps", "xpu", "cpu"

refiner = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-refiner-1.0",
    text_encoder_2=base.text_encoder_2,
    vae=base.vae,
    dtype=torch.float16,
    use_safetensors=True,
    variant="fp16",
).to("cuda")

يمكنك استخدام SDXL refiner مع نموذج أساسي مختلف. على سبيل المثال، يمكنك استخدام خطوط أنابيب Hunyuan-DiT أو PixArt-Sigma لتوليد صور بامتثال أفضل للتعليمات النصية. بمجرد توليد صورة، يمكنك تمريرها إلى نموذج SDXL refiner لتعزيز جودة التوليد النهائي.

أنشئ صورة من النموذج الأساسي، واضبط مخرجات النموذج على فضاء latent:

prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"

image = base(prompt=prompt, output_type="latent").images[0]

مرّر الصورة المولّدة إلى نموذج التحسين:

image = refiner(prompt=prompt, image=image[None, :]).images[0]

النموذج الأساسي



النموذج الأساسي + نموذج المُحسّن

لعملية inpainting، حمّل النموذج الأساسي ونموذج التحسين في StableDiffusionXLInpaintPipeline، واحذف المعاملين denoising_end وdenoising_start، واختر عددًا أقل من خطوات الاستدلال لنموذج التحسين.

التكييف الدقيق

يتضمن تدريب SDXL عدة تقنيات إضافية للتحكم الشرطي، تُعرف باسم micro-conditioning. وتشمل هذه التقنيات حجم الصورة الأصلي، وحجم الصورة المستهدفة، ومعلمات القص. يمكن استخدام هذه الشروط الدقيقة في وقت الاستدلال لإنشاء صور عالية الجودة ومركزة.

يمكنك استخدام كلا من معلمات التكييف الدقيق (micro-conditioning) والتكييف الدقيق السلبي (negative micro-conditioning) بفضل التوجيه الحر من التصنيف (classifier-free guidance). وهي متاحة في StableDiffusionXLPipeline وStableDiffusionXLImg2ImgPipeline وStableDiffusionXLInpaintPipeline وStableDiffusionXLControlNetPipeline.

شرط الحجم

هناك نوعان من تكييف الحجم:

تأتي حالة original_size من الصور المُكبَّرة في دفعة التدريب (لأنه من المُهدِر للتكلفة التخلّي عن الصور الأصغر التي تشكّل ما يقرب من 40% من إجمالي بيانات التدريب). وبهذه الطريقة، يتعلّم SDXL أن آثار التكبير لا ينبغي أن تكون موجودة في الصور عالية الدقة. أثناء الاستدلال، يمكنك استخدام original_size للإشارة إلى دقة الصورة الأصلية. يؤدي استخدام القيمة الافتراضية (1024, 1024) إلى إنتاج صور ذات جودة أعلى تشبه صور 1024x1024 في مجموعة البيانات. إذا اخترت استخدام دقة أقل، مثل (256, 256)، فإن النموذج لا يزال يولّد صوراً بدقة 1024x1024، لكنها ستبدو كصور الدقة المنخفضة (أنماط أبسط، ضبابية) في مجموعة البيانات.
تأتي حالة target_size من ضبط SDXL الدقيق لدعم نسب أبعاد الصور المختلفة. أثناء الاستدلال، إذا استخدمت القيمة الافتراضية (1024, 1024)، فستحصل على صورة تشبه تكوين الصور المربعة في مجموعة البيانات. ننصح باستخدام القيمة نفسها لكل من target_size وoriginal_size، لكن لا تتردد في تجربة خيارات أخرى!

🤗 يتيح لك Diffusers أيضًا تحديد شروط سلبية تتعلق بحجم الصورة لتوجيه عملية التوليد بعيدًا عن دقات صور معينة:

from diffusers import StableDiffusionXLPipeline
import torch

pipe = StableDiffusionXLPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", dtype=torch.float16, variant="fp16", use_safetensors=True
).to("cuda")  # or "mps", "xpu", "cpu"

prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(
    prompt=prompt,
    negative_original_size=(512, 512),
    negative_target_size=(1024, 1024),
).images[0]

صور مشروطة سلبياً بدقة صور (128, 128) و(256, 256) و(512, 512).

شرطية المحاصيل

قد تبدو الصور المولّدة بواسطة نماذج Stable Diffusion السابقة وكأنها مقصوصة أحياناً. والسبب في ذلك أن الصور تُقصّ فعلياً أثناء التدريب بحيث تكون جميع الصور في الدفعة (batch) بنفس الحجم. من خلال الاشتراط على إحداثيات القص، يتعلّم SDXL أن عدم القص - الإحداثيات (0, 0) - يرتبط عادةً بمواضيع متمركزة ووجوه كاملة (وهذا هو القيمة الافتراضية في 🤗 Diffusers). يمكنك تجربة إحداثيات مختلفة إذا كنت ترغب في توليد تكوينات غير متمركزة!

from diffusers import StableDiffusionXLPipeline
import torch

pipeline = StableDiffusionXLPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", dtype=torch.float16, variant="fp16", use_safetensors=True
).to("cuda")  # or "mps", "xpu", "cpu"

prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipeline(prompt=prompt, crops_coords_top_left=(256, 0)).images[0]
image

يمكنك أيضًا تحديد إحداثيات قصّ سالبة لتوجيه عملية التوليد بعيدًا عن معلمات قصّ معينة:

from diffusers import StableDiffusionXLPipeline
import torch

pipe = StableDiffusionXLPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", dtype=torch.float16, variant="fp16", use_safetensors=True
).to("cuda")  # or "mps", "xpu", "cpu"

prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(
    prompt=prompt,
    negative_original_size=(512, 512),
    negative_crops_coords_top_left=(0, 0),
    negative_target_size=(1024, 1024),
).images[0]
image

استخدم موجهًا مختلفًا لكل مشفّر نص

يستخدم SDXL مشفّري نصّين، لذا يمكن تمرير موجه مختلف إلى كل مشفّر نصّ، مما قد يحسّن الجودة. مرّر موجهك الأصلي إلى prompt والموجه الثاني إلى prompt_2 (استخدم negative_prompt وnegative_prompt_2 إذا كنت تستخدم موجهات سلبية):

from diffusers import StableDiffusionXLPipeline
import torch

pipeline = StableDiffusionXLPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", dtype=torch.float16, variant="fp16", use_safetensors=True
).to("cuda")  # or "mps", "xpu", "cpu"

# prompt is passed to OAI CLIP-ViT/L-14
prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
# prompt_2 is passed to OpenCLIP-ViT/bigG-14
prompt_2 = "Van Gogh painting"
image = pipeline(prompt=prompt, prompt_2=prompt_2).images[0]
image

تدعم مشفّرات النص المزدوجة أيضًا تضمينات الانعكاس النصي التي يجب تحميلها بشكل منفصل كما هو موضح في دليل الانعكاس النصي.

التحسينات

SDXL هو نموذج كبير، وقد تحتاج إلى تحسين الذاكرة لتشغيله على جهازك. فيما يلي بعض النصائح لتوفير الذاكرة وتسريع الاستدلال.

قم بإسناد النموذج إلى وحدة المعالجة المركزية باستخدام enable_model_cpu_offload() للتعامل مع أخطاء نفاد الذاكرة:

- base.to("cuda")  # or "mps", "xpu", "cpu"
- refiner.to("cuda")
+ base.enable_model_cpu_offload()
+ refiner.enable_model_cpu_offload()

استخدم torch.compile للحصول على تسريع بنسبة ~20% (يتطلب torch>=2.0):

+ base.unet = torch.compile(base.unet, mode="reduce-overhead", fullgraph=True)
+ refiner.unet = torch.compile(refiner.unet, mode="reduce-overhead", fullgraph=True)

فعّل xFormers لتشغيل SDXL إذا كان torch<2.0:

+ base.enable_xformers_memory_efficient_attention()
+ refiner.enable_xformers_memory_efficient_attention()

الموارد

إذا كنت مهتمًا بالتجربة مع نسخة مبسطة من UNet2DConditionModel المستخدمة في SDXL، فتفضل بالاطلاع على تطبيق minSDXL المكتوب بلغة PyTorch والمتوافق مباشرةً مع 🤗 Diffusers.

StableDiffusionXLPipeline[[diffusers.StableDiffusionXLPipeline]]

diffusers.StableDiffusionXLPipeline[[diffusers.StableDiffusionXLPipeline]]

diffusers.StableDiffusionXLPipeline(vae: AutoencoderKL, text_encoder: CLIPTextModel, text_encoder_2: CLIPTextModelWithProjection, tokenizer: CLIPTokenizer, tokenizer_2: CLIPTokenizer, unet: UNet2DConditionModel, scheduler: KarrasDiffusionSchedulers, image_encoder: CLIPVisionModelWithProjection = None, feature_extractor: CLIPImageProcessorPil = None, force_zeros_for_empty_prompt: bool = True, add_watermarker: bool | None = None)

المصدر

المعاملات:

vae (AutoencoderKL) : نموذج الترميز التحويلي التبايني (VAE) لتشفير وفك تشفير الصور إلى تمثيلات كامنة ومنها.

text_encoder (CLIPTextModel) : مُشفِّر نص ثابت. يستخدم Stable Diffusion XL الجزء النصي من CLIP، وتحديداً النسخة clip-vit-large-patch14.

text_encoder_2 ( CLIPTextModelWithProjection) : مُشفِّر نصي مجمّد ثانٍ. يستخدم Stable Diffusion XL جزء النص والجزء المُجمَّع (pool) من CLIP، وتحديداً النسخة laion/CLIP-ViT-bigG-14-laion2B-39B-b160k.

tokenizer (CLIPTokenizer) : مُقسِّم من الفئة CLIPTokenizer.

tokenizer_2 (CLIPTokenizer) : مُقسِّم ثانٍ من الفئة CLIPTokenizer.

unet (UNet2DConditionModel) : بنية U-Net الشرطية لفك تشويش كامن الصورة المُرمّزة.

scheduler (SchedulerMixin) : مُجدول يُستخدم بالاقتران مع unet لإزالة الضوضاء من كائنات الصورة المُرمّزة. يمكن أن يكون أحد DDIMScheduler أو LMSDiscreteScheduler أو PNDMScheduler.

force_zeros_for_empty_prompt (bool، اختياري، القيمة الافتراضية "True") : ما إذا كان يجب إجبار تضمينات الموجه السلبي على أن تكون دائمًا 0. راجع أيضًا إعدادات stabilityai/stable-diffusion-xl-base-1-0.

add_watermarker (bool, اختياري) : ما إذا كان سيتم استخدام مكتبة invisible_watermark لإضافة علامة مائية إلى الصور المُخرَجة. إذا لم يُعرَّف، فسيكون الافتراضي True إذا كانت الحزمة مثبّتة، وإلا فلن تُستخدم أي أداة لإضافة علامة مائية.

خط أنابيب لتوليد الصور من النص باستخدام Stable Diffusion XL.

يرث هذا النموذج من DiffusionPipeline. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع خطوط الأنابيب (مثل التنزيل أو الحفظ، أو التشغيل على جهاز معين، وما إلى ذلك).

تورث خط الأنابيب أيضًا طرق التحميل التالية:

load_textual_inversion() لتحميل تضمينات الانعكاس النصي
from_single_file() لتحميل ملفات .ckpt
load_lora_weights() لتحميل أوزان LoRA
save_lora_weights() لحفظ أوزان LoRA
load_ip_adapter() لتحميل وحدات IP Adapter

call[[diffusers.StableDiffusionXLPipeline.call]]

__call__(prompt: str | list[str] = None, prompt_2: str | list[str] | None = None, height: int | None = None, width: int | None = None, num_inference_steps: int = 50, timesteps: list[int] = None, sigmas: list[float] = None, denoising_end: float | None = None, guidance_scale: float = 5.0, negative_prompt: str | list[str] | None = None, negative_prompt_2: str | list[str] | None = None, num_images_per_prompt: int | None = 1, eta: float = 0.0, generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = None, latents: typing.Optional[torch.Tensor] = None, prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, pooled_prompt_embeds: typing.Optional[torch.Tensor] = None, negative_pooled_prompt_embeds: typing.Optional[torch.Tensor] = None, ip_adapter_image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor], NoneType] = None, ip_adapter_image_embeds: list[torch.Tensor] | None = None, output_type: str | None = 'pil', return_dict: bool = True, cross_attention_kwargs: dict[str, typing.Any] | None = None, guidance_rescale: float = 0.0, original_size: tuple[int, int] | None = None, crops_coords_top_left: tuple[int, int] = (0, 0), target_size: tuple[int, int] | None = None, negative_original_size: tuple[int, int] | None = None, negative_crops_coords_top_left: tuple[int, int] = (0, 0), negative_target_size: tuple[int, int] | None = None, clip_skip: int | None = None, callback_on_step_end: typing.Union[typing.Callable[[int, int], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None, callback_on_step_end_tensor_inputs: list[str] = ['latents'], **kwargs)

المصدر

المعاملات:

prompt (str أو list[str]، اختياري) : الأمر أو الأوامر التي تُوجّه توليد الصورة. إذا لم يُعرَّف، يجب تمرير prompt_embeds بدلاً من ذلك.

prompt_2 (str أو list[str]، اختياري) : الموجه أو الموجهات المرسل إلى tokenizer_2 وtext_encoder_2. إذا لم يُعرَّف، يُستخدم prompt في كلا مشفّري النص

height (int، اختياري، القيمة الافتراضية هي self.unet.config.sample_size * self.vae_scale_factor) : ارتفاع الصورة المولّدة بالبكسلات. يتم ضبطه على 1024 افتراضيًا للحصول على أفضل النتائج. أي قيمة أقل من 512 بكسل لن تعمل بشكل جيد مع stabilityai/stable-diffusion-xl-base-1.0 ونقاط التفتيش التي لم يتم ضبطها بدقة خصيصًا على الدقة المنخفضة.

width (int، اختياري، القيمة الافتراضية هي self.unet.config.sample_size * self.vae_scale_factor) : عرض الصورة المولدة بالبكسلات. يتم ضبطه على 1024 افتراضيًا للحصول على أفضل النتائج. أي قيمة أقل من 512 بكسل لن تعمل بشكل جيد مع stabilityai/stable-diffusion-xl-base-1.0 ونقاط التفتيش التي لم يتم ضبطها بدقة خصيصًا على الدقات المنخفضة.

num_inference_steps (int، اختياري، القيمة الافتراضية 50) : عدد خطوات إزالة الضوضاء. تؤدي زيادة عدد خطوات إزالة الضوضاء عادةً إلى صورة ذات جودة أعلى على حساب بطء الاستدلال.

timesteps (list[int]، اختياري) : خطوات زمنية مخصصة لاستخدامها في عملية إزالة الضوضاء مع المجدولين الذين يدعمون معامل timesteps في طريقة set_timesteps الخاصة بهم. إذا لم يُعرَّف، فسيتم استخدام السلوك الافتراضي عند تمرير num_inference_steps. يجب أن تكون بترتيب تنازلي.

sigmas (list[float]، اختياري) : قيم sigmas مخصصة لاستخدامها في عملية إزالة الضوضاء مع المجدولين الذين يدعمون معامل sigmas في طريقة set_timesteps الخاصة بهم. إذا لم تُعرَّف، فسيتم استخدام السلوك الافتراضي عند تمرير num_inference_steps.

denoising_end (float، اختياري) : عند تحديده، يحدد نسبة (بين 0.0 و 1.0) من إجمالي عملية إزالة الضوضاء التي يجب إكمالها قبل إنهائها مبكرًا عمدًا. ونتيجةً لذلك، سيحتفظ العينة المُعاد بها بكمية كبيرة من الضوضاء كما تحددها الخطوات الزمنية المنفصلة التي يختارها المجدول. ينبغي استخدام معامل denoising_end بشكل مثالي عندما يشكل هذا الخط الأنابيب جزءًا من إعداد متعدد الخطوط الأنابيب "خليط من مُزيلات الضوضاء"، كما هو موضح في تحسين مخرجات الصورة

guidance_scale (float، اختياري، القيمة الافتراضية 5.0) : مقياس التوجيه كما هو مُعرَّف في Classifier-Free Diffusion Guidance. يُعرَّف guidance_scale على أنه w من المعادلة 2. في Imagen Paper. يتم تفعيل مقياس التوجيه عن طريق تعيين guidance_scale > 1. يشجع مقياس التوجيه الأعلى على توليد صور مرتبطة ارتباطًا وثيقًا بنص prompt، وعادةً على حساب انخفاض جودة الصورة.

negative_prompt (str أو list[str]، اختياري) : الموجه أو الموجهات التي لا ينبغي توجيه توليد الصورة بها. إذا لم يُعرَّف، يجب تمرير negative_prompt_embeds بدلاً من ذلك. يتم تجاهله عند عدم استخدام التوجيه (أي يتم تجاهله إذا كان guidance_scale أقل من 1).

negative_prompt_2 (str أو list[str]، اختياري) : الموجه أو الموجهات التي لا ينبغي توجيه توليد الصورة إليها، والتي سيتم إرسالها إلى tokenizer_2 وtext_encoder_2. إذا لم يُعرَّف، يُستخدم negative_prompt في كلا مشفري النص

num_images_per_prompt (int، اختياري، القيمة الافتراضية 1) : عدد الصور التي سيتم توليدها لكل موجه.

eta (float، اختياري، القيمة الافتراضية 0.0) : يتوافق مع المعامل eta (η) في ورقة DDIM: https://huggingface.co/papers/2010.02502. ينطبق فقط على schedulers.DDIMScheduler، وسيتم تجاهله في الحالات الأخرى.

generator (torch.Generator أو list[torch.Generator]، اختياري) : مولّد واحد أو قائمة من مولّدات torch لجعل التوليد حتميًا.

latents (torch.Tensor، اختياري) : كامنات ضجيج مُولّدة مسبقًا، مُستخرجة من توزيع غاوسي، تُستخدم كمدخلات لتوليد الصور. يمكن استخدامها لتعديل نفس التوليد باستخدام أوامر مختلفة. إذا لم تُقدَّم، سيتم توليد كامنات من خلال الاستخراج باستخدام generator العشوائي المُقدَّم.

prompt_embeds (torch.Tensor، اختياري) : تمثيلات نصية مُولّدة مسبقًا. يمكن استخدامها لتعديل مدخلات النص بسهولة، مثلًا وزن الأوامر. إذا لم تُقدَّم، فسيتم توليد تمثيلات النص من معامل الإدخال prompt.

negative_prompt_embeds (torch.Tensor, اختياري) : تمثيلات نصية سالبة مُولّدة مسبقًا. يمكن استخدامها لتعديل مدخلات النص بسهولة، مثلًا وزن الأوامر. إذا لم تُقدَّم، فسيتم توليد negative_prompt_embeds من معامل الإدخال negative_prompt.

pooled_prompt_embeds (torch.Tensor، اختياري) : تمثيلات نصية مجمّعة مُولّدة مسبقًا. يمكن استخدامها لتعديل مدخلات النص بسهولة، مثلًا وزن الأوامر. إذا لم تُقدَّم، فسيتم توليد تمثيلات نصية مجمّعة من معامل الإدخال prompt.

negative_pooled_prompt_embeds (torch.Tensor, اختياري) : تمثيلات نصية مجمعة سالبة مُولّدة مسبقًا. يمكن استخدامها لتعديل مدخلات النص بسهولة، مثلًا وزن الأوامر. إذا لم تُقدَّم، فسيتم توليد pooled negative_prompt_embeds من معامل الإدخال negative_prompt.

ip_adapter_image : (PipelineImageInput، اختياري): إدخال صورة اختياري للعمل مع IP Adapters.

ip_adapter_image_embeds (list[torch.Tensor], اختياري) : تمثيلات صور مُولّدة مسبقًا لـ IP-Adapter. يجب أن يكون قائمة بطول يساوي عدد وحدات IP-adapter. يجب أن يكون كل عنصر منها متجهًا (tensor) بشكل (batch_size, num_images, emb_dim). يجب أن يحتوي على تمثيل الصورة السلبية إذا كان do_classifier_free_guidance مضبوطًا على True. إذا لم يُقدَّم، تُحسب التمثيلات من معامل الإدخال ip_adapter_image.

output_type (str، اختياري، القيمة الافتراضية "pil") : صيغة الصورة الناتجة عن عملية التوليد. اختر بين PIL: PIL.Image.Image أو np.array.

return_dict (bool، اختياري، القيمة الافتراضية True) : ما إذا كان يجب إرجاع ~pipelines.stable_diffusion_xl.StableDiffusionXLPipelineOutput بدلاً من tuple عادي.

cross_attention_kwargs (dict، اختياري) : قاموس kwargs يُمرَّر إلى AttentionProcessor إذا تم تحديده، كما هو معرَّف تحت self.processor في diffusers.models.attention_processor.

guidance_rescale (float, optional, defaults to 0.0) : Guidance rescale factor proposed by Common Diffusion Noise Schedules and Sample Steps are Flawed guidance_scale is defined as φ in equation 16. of Common Diffusion Noise Schedules and Sample Steps are Flawed. Guidance rescale factor should fix overexposure when using zero terminal SNR.

original_size (tuple[int]، اختياري، القيمة الافتراضية (1024, 1024)) : إذا لم تكن original_size مطابقة لـ target_size، فسيبدو أن الصورة قد خضعت لتقليل أو زيادة حجمها. القيمة الافتراضية لـ original_size هي (height, width) إذا لم تُحدد. جزء من التكييف الدقيق (micro-conditioning) الخاص بـ SDXL كما هو موضح في القسم 2.2 من https://huggingface.co/papers/2307.01952.

crops_coords_top_left (tuple[int]، اختياري، القيمة الافتراضية (0, 0)) : يمكن استخدام crops_coords_top_left لتوليد صورة تبدو وكأنها "مقتطعة" من الموضع crops_coords_top_left إلى الأسفل. عادةً ما يتم تحقيق صور مفضلة ومركزة جيدًا عن طريق تعيين crops_coords_top_left إلى (0, 0). جزء من micro-conditioning الخاص بـ SDXL كما هو موضح في القسم 2.2 من https://huggingface.co/papers/2307.01952.

target_size (tuple[int]، اختياري، القيمة الافتراضية (1024, 1024)) : في معظم الحالات، يجب ضبط target_size على الارتفاع والعرض المطلوبين للصورة المولّدة. إذا لم يُحدد، فسيكون الافتراضي (height, width). جزء من التكييف الدقيق (micro-conditioning) في SDXL كما هو موضح في القسم 2.2 من https://huggingface.co/papers/2307.01952.

negative_original_size (tuple[int]، اختياري، القيمة الافتراضية (1024, 1024)) : يُستخدم لتقييد عملية التوليد سلبياً بناءً على دقة صورة محددة. وهو جزء من التكييف الدقيق (micro-conditioning) في SDXL كما هو موضح في القسم 2.2 من https://huggingface.co/papers/2307.01952. لمزيد من المعلومات، راجع موضوع هذا المسألة: https://github.com/huggingface/diffusers/issues/4208.

negative_crops_coords_top_left (tuple[int]، اختياري، القيمة الافتراضية (0, 0)) : يُستخدم لتوجيه عملية التوليد سلبياً بناءً على إحداثيات قصّ محددة. وهو جزء من التكييف الدقيق (micro-conditioning) في SDXL كما هو موضح في القسم 2.2 من https://huggingface.co/papers/2307.01952. لمزيد من المعلومات، راجع موضوع هذا الإشكال: https://github.com/huggingface/diffusers/issues/4208.

negative_target_size (tuple[int]، اختياري، القيمة الافتراضية (1024, 1024)) : يُستخدم لتقييد عملية التوليد سلبياً بناءً على دقة الصورة المستهدفة. يجب أن تكون مطابقة لـ target_size في معظم الحالات. وهو جزء من التكييف الدقيق (micro-conditioning) في SDXL كما هو موضح في القسم 2.2 من https://huggingface.co/papers/2307.01952. لمزيد من المعلومات، راجع موضوع هذا الإشكال: https://github.com/huggingface/diffusers/issues/4208.

clip_skip (int, اختياري) : عدد الطبقات التي سيتم تجاوزها من CLIP أثناء حساب تمثيلات الموجه. القيمة 1 تعني أنه سيتم استخدام مخرجات الطبقة قبل الأخيرة لحساب تمثيلات الموجه.

callback_on_step_end (Callable، PipelineCallback، MultiPipelineCallbacks، اختياري) : دالة أو فئة فرعية من PipelineCallback أو MultiPipelineCallbacks تُستدعى في نهاية كل خطوة إزالة ضوضاء أثناء الاستدلال، مع الحُجج التالية: callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict). ستتضمن callback_kwargs قائمة بجميع المصفوفات كما حددتها callback_on_step_end_tensor_inputs.

callback_on_step_end_tensor_inputs (list، اختياري) : قائمة مدخلات المصفوفات (tensors) لدالة callback_on_step_end. سيتم تمرير المصفوفات المحددة في القائمة كحجة callback_kwargs. لن تتمكن من تضمين سوى المتغيرات المدرجة في خاصية ._callback_tensor_inputs لفئة خط الأنابيب (pipeline) الخاص بك.

يعيد: ~pipelines.stable_diffusion_xl.StableDiffusionXLPipelineOutput أو tuple

~pipelines.stable_diffusion_xl.StableDiffusionXLPipelineOutput إذا كان return_dict هو True، وإلا tuple. عند إرجاع tuple، يكون العنصر الأول قائمة تحتوي على الصور المولّدة.

الدالة التي تُستدعى عند استدعاء خط الأنابيب للتوليد.

أمثلة:

>>> import torch
>>> from diffusers import StableDiffusionXLPipeline

>>> pipe = StableDiffusionXLPipeline.from_pretrained(
...     "stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16
... )
>>> pipe = pipe.to("cuda")

>>> prompt = "a photo of an astronaut riding a horse on mars"
>>> image = pipe(prompt).images[0]

encode_prompt[[diffusers.StableDiffusionXLPipeline.encode_prompt]]

encode_prompt(prompt: str, prompt_2: str | None = None, device: typing.Optional[torch.device] = None, num_images_per_prompt: int = 1, do_classifier_free_guidance: bool = True, negative_prompt: str | None = None, negative_prompt_2: str | None = None, prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, pooled_prompt_embeds: typing.Optional[torch.Tensor] = None, negative_pooled_prompt_embeds: typing.Optional[torch.Tensor] = None, lora_scale: float | None = None, clip_skip: int | None = None)

المصدر

المعاملات:

prompt (str أو list[str]، اختياري) : النص الذي سيتم ترميزه

prompt_2 (str أو list[str]، اختياري) : الموجه أو الموجهات المرسل إلى tokenizer_2 وtext_encoder_2. إذا لم يُعرَّف، يُستخدم prompt في كلا مشفّري النص

device : (torch.device): جهاز torch

num_images_per_prompt (int) : عدد الصور التي يجب توليدها لكل موجه

do_classifier_free_guidance (bool) : ما إذا كان سيتم استخدام التوجيه الحر للتصنيف أم لا

negative_prompt (str أو list[str]، اختياري) : الموجه أو الموجهات التي لا ينبغي توجيه توليد الصورة بها. إذا لم يُعرَّف، يجب تمرير negative_prompt_embeds بدلاً من ذلك. يتم تجاهله عند عدم استخدام التوجيه (أي يتم تجاهله إذا كان guidance_scale أقل من 1).

negative_prompt_2 (str أو list[str]، اختياري) : الموجه أو الموجهات التي لا ينبغي توجيه توليد الصورة إليها، والتي سيتم إرسالها إلى tokenizer_2 وtext_encoder_2. إذا لم يُعرَّف، يُستخدم negative_prompt في كلا مشفري النص

prompt_embeds (torch.Tensor، اختياري) : تمثيلات نصية مُولّدة مسبقًا. يمكن استخدامها لتعديل مدخلات النص بسهولة، مثلًا وزن الأوامر. إذا لم تُقدَّم، فسيتم توليد تمثيلات النص من معامل الإدخال prompt.

negative_prompt_embeds (torch.Tensor, اختياري) : تمثيلات نصية سالبة مُولّدة مسبقًا. يمكن استخدامها لتعديل مدخلات النص بسهولة، مثلًا وزن الأوامر. إذا لم تُقدَّم، فسيتم توليد negative_prompt_embeds من معامل الإدخال negative_prompt.

pooled_prompt_embeds (torch.Tensor، اختياري) : تمثيلات نصية مجمّعة مُولّدة مسبقًا. يمكن استخدامها لتعديل مدخلات النص بسهولة، مثلًا وزن الأوامر. إذا لم تُقدَّم، فسيتم توليد تمثيلات نصية مجمّعة من معامل الإدخال prompt.

negative_pooled_prompt_embeds (torch.Tensor, اختياري) : تمثيلات نصية مجمعة سالبة مُولّدة مسبقًا. يمكن استخدامها لتعديل مدخلات النص بسهولة، مثلًا وزن الأوامر. إذا لم تُقدَّم، فسيتم توليد pooled negative_prompt_embeds من معامل الإدخال negative_prompt.

lora_scale (float، اختياري) : مقياس lora سيُطبَّق على جميع طبقات LoRA في مُشفِّر النص إذا كانت طبقات LoRA محمَّلة.

clip_skip (int, اختياري) : عدد الطبقات التي سيتم تجاوزها من CLIP أثناء حساب تمثيلات الموجه. القيمة 1 تعني أنه سيتم استخدام مخرجات الطبقة قبل الأخيرة لحساب تمثيلات الموجه.

يقوم بتشفير الموجه إلى حالات مخفية لمشفّر النص.

get_guidance_scale_embedding[[diffusers.StableDiffusionXLPipeline.get_guidance_scale_embedding]]

get_guidance_scale_embedding(w: Tensor, embedding_dim: int = 512, dtype: dtype = torch.float32)

المصدر

المعاملات:

w (torch.Tensor) : توليد متجهات تضمين بمقياس توجيه محدد لتُثري متضمينات خطوات الزمن اللاحقة.

embedding_dim (int، اختياري، القيمة الافتراضية 512) : بُعد التضمينات (embeddings) التي سيتم توليدها.

dtype (torch.dtype، اختياري، الافتراضي torch.float32) : نوع البيانات للتضمينات المولّدة.

يعيد: torch.Tensor

متجهات تضمين بشكل (len(w), embedding_dim).

انظر إلى https://github.com/google-research/vdm/blob/dc27b98a554f65cdc654b800da5aa1846545d41b/model_vdm.py#L298

StableDiffusionXLImg2ImgPipeline[[diffusers.StableDiffusionXLImg2ImgPipeline]]

diffusers.StableDiffusionXLImg2ImgPipeline[[diffusers.StableDiffusionXLImg2ImgPipeline]]

diffusers.StableDiffusionXLImg2ImgPipeline(vae: AutoencoderKL, text_encoder: CLIPTextModel, text_encoder_2: CLIPTextModelWithProjection, tokenizer: CLIPTokenizer, tokenizer_2: CLIPTokenizer, unet: UNet2DConditionModel, scheduler: KarrasDiffusionSchedulers, image_encoder: CLIPVisionModelWithProjection = None, feature_extractor: CLIPImageProcessorPil = None, requires_aesthetics_score: bool = False, force_zeros_for_empty_prompt: bool = True, add_watermarker: bool | None = None)

المصدر

المعاملات:

vae (AutoencoderKL) : نموذج الترميز التحويلي التبايني (VAE) لتشفير وفك تشفير الصور إلى تمثيلات كامنة ومنها.

text_encoder (CLIPTextModel) : مُشفِّر نص ثابت. يستخدم Stable Diffusion XL الجزء النصي من CLIP، وتحديداً النسخة clip-vit-large-patch14.

text_encoder_2 ( CLIPTextModelWithProjection) : مُشفِّر نصي مجمّد ثانٍ. يستخدم Stable Diffusion XL جزء النص والجزء المُجمَّع (pool) من CLIP، وتحديداً النسخة laion/CLIP-ViT-bigG-14-laion2B-39B-b160k.

tokenizer (CLIPTokenizer) : مُقسِّم من الفئة CLIPTokenizer.

tokenizer_2 (CLIPTokenizer) : مُقسِّم ثانٍ من الفئة CLIPTokenizer.

unet (UNet2DConditionModel) : بنية U-Net الشرطية لفك تشويش كامن الصورة المُرمّزة.

scheduler (SchedulerMixin) : مُجدول يُستخدم بالاقتران مع unet لإزالة الضوضاء من كائنات الصورة المُرمّزة. يمكن أن يكون أحد DDIMScheduler أو LMSDiscreteScheduler أو PNDMScheduler.

requires_aesthetics_score (bool، اختياري، القيمة الافتراضية "False") : ما إذا كان unet يتطلب تمرير شرط aesthetic_score أثناء الاستدلال. راجع أيضًا إعدادات stabilityai/stable-diffusion-xl-refiner-1-0.

force_zeros_for_empty_prompt (bool، اختياري، القيمة الافتراضية "True") : ما إذا كان يجب إجبار تضمينات الموجه السلبي على أن تكون دائمًا 0. راجع أيضًا إعدادات stabilityai/stable-diffusion-xl-base-1-0.

add_watermarker (bool, اختياري) : ما إذا كان سيتم استخدام مكتبة invisible_watermark لإضافة علامة مائية إلى الصور المُخرَجة. إذا لم يُعرَّف، فسيكون الافتراضي True إذا كانت الحزمة مثبّتة، وإلا فلن تُستخدم أي أداة لإضافة علامة مائية.

خط أنابيب لتوليد الصور من النص باستخدام Stable Diffusion XL.

يرث هذا النموذج من DiffusionPipeline. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع خطوط الأنابيب (مثل التنزيل أو الحفظ، أو التشغيل على جهاز معين، وما إلى ذلك).

تورث خط الأنابيب أيضًا طرق التحميل التالية:

load_textual_inversion() لتحميل تضمينات الانعكاس النصي
from_single_file() لتحميل ملفات .ckpt
load_lora_weights() لتحميل أوزان LoRA
save_lora_weights() لحفظ أوزان LoRA
load_ip_adapter() لتحميل وحدات IP Adapter

call[[diffusers.StableDiffusionXLImg2ImgPipeline.call]]

__call__(prompt: str | list[str] = None, prompt_2: str | list[str] | None = None, image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]] = None, strength: float = 0.3, num_inference_steps: int = 50, timesteps: list[int] = None, sigmas: list[float] = None, denoising_start: float | None = None, denoising_end: float | None = None, guidance_scale: float = 5.0, negative_prompt: str | list[str] | None = None, negative_prompt_2: str | list[str] | None = None, num_images_per_prompt: int | None = 1, eta: float = 0.0, generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = None, latents: typing.Optional[torch.Tensor] = None, prompt_embeds: typing.Optional[torch.Tensor] = None, negative_prompt_embeds: typing.Optional[torch.Tensor] = None, pooled_prompt_embeds: typing.Optional[torch.Tensor] = None, negative_pooled_prompt_embeds: typing.Optional[torch.Tensor] = None, ip_adapter_image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor], NoneType] = None, ip_adapter_image_embeds: list[torch.Tensor] | None = None, output_type: str | None = 'pil', return_dict: bool = True, cross_attention_kwargs: dict[str, typing.Any] | None = None, guidance_rescale: float = 0.0, original_size: tuple[int, int] = None, crops_coords_top_left: tuple[int, int] = (0, 0), target_size: tuple[int, int] = None, negative_original_size: tuple[int, int] | None = None, negative_crops_coords_top_left: tuple[int, int] = (0, 0), negative_target_size: tuple[int, int] | None = None, aesthetic_score: float = 6.0, negative_aesthetic_score: float = 2.5, clip_skip: int | None = None, callback_on_step_end: typing.Union[typing.Callable[[int, int], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None, callback_on_step_end_tensor_inputs: list[str] = ['latents'], **kwargs)

المصدر

المعاملات:

prompt (str أو list[str]، اختياري) : الأمر أو الأوامر التي تُوجّه توليد الصورة. إذا لم يُعرَّف، يجب تمرير prompt_embeds بدلاً من ذلك.

prompt_2 (str أو list[str]، اختياري) : الموجه أو الموجهات المرسل إلى tokenizer_2 وtext_encoder_2. إذا لم يُعرَّف، يُستخدم prompt في كلا مشفّري النص

image (torch.Tensor أو PIL.Image.Image أو np.ndarray أو list[torch.Tensor] أو list[PIL.Image.Image] أو list[np.ndarray]) : الصورة أو الصور التي سيتم تعديلها باستخدام خط الأنابيب.

strength (float، اختياري، القيمة الافتراضية 0.3) : يُشير مفهومياً إلى مقدار تحويل الصورة المرجعية image. يجب أن يكون بين 0 و 1. ستُستخدم image كنقطة انطلاق، حيث يُضاف المزيد من الضوضاء إليها كلما زاد strength. يعتمد عدد خطوات إزالة الضوضاء على كمية الضوضاء المضافة في البداية. عندما تكون strength تساوي 1، ستكون الضوضاء المضافة في أقصى حد، وستعمل عملية إزالة الضوضاء لعدد التكرارات الكامل المحدد في num_inference_steps. وبالتالي، فإن القيمة 1 تتجاهل image بشكل أساسي. لاحظ أنه في حالة إعلان denoising_start كعدد صحيح، سيتم تجاهل قيمة strength.

num_inference_steps (int، اختياري، القيمة الافتراضية 50) : عدد خطوات إزالة الضوضاء. تؤدي زيادة عدد خطوات إزالة الضوضاء عادةً إلى صورة ذات جودة أعلى على حساب بطء الاستدلال.

timesteps (list[int]، اختياري) : خطوات زمنية مخصصة لاستخدامها في عملية إزالة الضوضاء مع المجدولين الذين يدعمون معامل timesteps في طريقة set_timesteps الخاصة بهم. إذا لم يُعرَّف، فسيتم استخدام السلوك الافتراضي عند تمرير num_inference_steps. يجب أن تكون بترتيب تنازلي.

sigmas (list[float]، اختياري) : قيم sigmas مخصصة لاستخدامها في عملية إزالة الضوضاء مع المجدولين الذين يدعمون معامل sigmas في طريقة set_timesteps الخاصة بهم. إذا لم تُعرَّف، فسيتم استخدام السلوك الافتراضي عند تمرير num_inference_steps.

denoising_start (float, اختياري) : عند تحديده، يشير إلى نسبة (بين 0.0 و 1.0) من إجمالي عملية إزالة الضوضاء التي سيتم تجاوزها قبل بدء العملية. ونتيجةً لذلك، يتم تخطي الجزء الأولي من عملية إزالة الضوضاء ويُفترض أن image المُمرَّر هو صورة مُزالة الضوضاء جزئيًا. لاحظ أنه عند تحديد هذا، سيتم تجاهل strength. يُعدّ معامل denoising_start مفيدًا بشكل خاص عند دمج هذا الخط الأنابيب في إعداد متعدد الخطوط الأنابيب "Mixture of Denoisers"، كما هو موضح في تحسين جودة الصورة.

denoising_end (float, اختياري) : عند تحديده، يحدد نسبة (بين 0.0 و 1.0) من عملية إزالة الضوضاء الإجمالية التي يجب إكمالها قبل إنهائها مبكرًا عمدًا. ونتيجةً لذلك، سيحتفظ العينة المُعاد بها بكمية كبيرة من الضوضاء (حيث لا يزال هناك حاجة إلى حوالي 20% الأخيرة من خطوات الزمن) ويجب إزالة ضوضائها بواسطة خط أنابيب تابع تم ضبط denoising_start فيه على 0.8 بحيث يقوم بإزالة الضوضاء عن 20% الأخيرة من المجدول فقط. يجب استخدام معامل denoising_end بشكل مثالي عندما يشكل هذا الخط أنابيب جزءًا من إعداد متعدد خطوط الأنابيب "خليط من مُزيلات الضوضاء"، كما هو موضح في تحسين جودة الصورة.

guidance_scale (float, اختياري, القيمة الافتراضية 7.5) : مقياس التوجيه كما هو مُعرَّف في Classifier-Free Diffusion Guidance. يُعرَّف guidance_scale على أنه w من المعادلة 2. في Imagen Paper. يتم تفعيل مقياس التوجيه عن طريق تعيين guidance_scale > 1. يشجع مقياس التوجيه الأعلى على توليد صور مرتبطة ارتباطًا وثيقًا بنص prompt، وعادةً على حساب انخفاض جودة الصورة.