diffusers/main/ar/api/schedulers/ddim.md

DDIMScheduler

نماذج الانتشار الضمنية غير الضجيج (DDIM) من تأليف جيامينغ سونغ وتشينلين منغ وستيفانو إيرمون.

ملخص الورقة البحثية هو:

حققت نماذج الانتشار الاحتمالية لإزالة الضوضاء (DDPMs) توليد صور عالية الجودة دون تدريب عدائي، لكنها تتطلب محاكاة سلسلة ماركوف لعدد كبير من الخطوات لإنتاج عينة. لتسريع عملية أخذ العينات، نقدم نماذج الانتشار الضمنية لإزالة الضوضاء (DDIMs)، وهي فئة أكثر كفاءة من النماذج الاحتمالية الضمنية التكرارية التي تتبع نفس إجراء التدريب المستخدم في DDPMs. في نماذج DDPMs، يُعرَّف العملية التوليدية على أنها عكس عملية انتشار ماركوفية. نبني فئة من عمليات الانتشار غير الماركوفية التي تؤدي إلى هدف تدريب متطابق، لكن عملية العكس فيها يمكن أن تكون أسرع بكثير في أخذ العينات. نُظهر تجريبيًا أن نماذج DDIMs يمكنها إنتاج عينات عالية الجودة أسرع بمقدار 10 إلى 50 مرة من حيث الوقت الفعلي مقارنةً بنماذج DDPMs، وتتيح لنا الموازنة بين الحساب وجودة العينة، كما يمكنها تنفيذ استيفاء دلالي ذي معنى للصور مباشرةً في الفضاء الكامن.

يمكن العثور على قاعدة الكود الأصلية لهذا الورقة البحثية في ermongroup/ddim، ويمكنك التواصل مع المؤلف عبر tsong.me.

نصائح

The paper Common Diffusion Noise Schedules and Sample Steps are Flawed claims that a mismatch between the training and inference settings leads to suboptimal inference generation results for Stable Diffusion. To fix this, the authors propose:

🧪 هذه ميزة تجريبية!

1. إعادة مقياس جدول الضوضاء لفرض نسبة إشارة إلى ضوضاء نهائية صفرية (SNR)

pipe.scheduler = DDIMScheduler.from_config(pipe.scheduler.config, rescale_betas_zero_snr=True)

2. train a model with v_prediction (add the following argument to the train_text_to_image.py or train_text_to_image_lora.py scripts)

--prediction_type="v_prediction"

3. غيّر المُعيّن (sampler) ليبدأ دائمًا من خطوة الزمن (timestep) الأخيرة

pipe.scheduler = DDIMScheduler.from_config(pipe.scheduler.config, timestep_spacing="trailing")

4. إعادة تحجيم التوجيه الحر من التصنيف لمنع الإفراط في التعرض

image = pipe(prompt, guidance_rescale=0.7).images[0]

على سبيل المثال:

from diffusers import DiffusionPipeline, DDIMScheduler
import torch

pipe = DiffusionPipeline.from_pretrained("ptx0/pseudo-journey-v2", dtype=torch.float16)
pipe.scheduler = DDIMScheduler.from_config(
    pipe.scheduler.config, rescale_betas_zero_snr=True, timestep_spacing="trailing"
)
pipe.to("cuda")  # or "mps", "xpu", "cpu"

prompt = "A lion in galaxies, spirals, nebulae, stars, smoke, iridescent, intricate detail, octane render, 8k"
image = pipe(prompt, guidance_rescale=0.7).images[0]
image

DDIMScheduler[[diffusers.DDIMScheduler]]

diffusers.DDIMScheduler[[diffusers.DDIMScheduler]]

diffusers.DDIMScheduler(num_train_timesteps: int = 1000, beta_start: float = 0.0001, beta_end: float = 0.02, beta_schedule: str = 'linear', trained_betas: numpy.ndarray | list[float] | None = None, clip_sample: bool = True, set_alpha_to_one: bool = True, steps_offset: int = 0, prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction'] = 'epsilon', thresholding: bool = False, dynamic_thresholding_ratio: float = 0.995, clip_sample_range: float = 1.0, sample_max_value: float = 1.0, timestep_spacing: typing.Literal['leading', 'trailing', 'linspace'] = 'leading', rescale_betas_zero_snr: bool = False)

المصدر

المعاملات:

num_train_timesteps (int، القيمة الافتراضية 1000) : عدد خطوات الانتشار لتدريب النموذج.

beta_start (float، القيمة الافتراضية 0.0001) : القيمة الابتدائية لـbeta أثناء الاستدلال.

beta_end (float، القيمة الافتراضية 0.02) : القيمة النهائية لـbeta.

beta_schedule (Literal["linear", "scaled_linear", "squaredcos_cap_v2"]، الافتراضي "linear") : جدول بيتا، وهو إسناد من نطاق بيتا إلى تسلسل من قيم بيتا لتقدم النموذج خطوة بخطوة. يجب أن يكون أحد "linear" أو "scaled_linear" أو "squaredcos_cap_v2".

trained_betas (np.ndarray، اختياري) : مرر مصفوفة من قيم بيتا مباشرةً إلى منشئ الكائن لتجاوز beta_start وbeta_end.

clip_sample (bool، القيمة الافتراضية True) : قصّ العينة المتنبأ بها من أجل الاستقرار العددي.

clip_sample_range (float، القيمة الافتراضية 1.0) : الحد الأقصى لحجم قصّ العينة. صالح فقط عندما يكون clip_sample=True.

set_alpha_to_one (bool، القيمة الافتراضية True) : يستخدم كل خطوة انتشار قيمة حاصل ضرب الألفا في تلك الخطوة وفي الخطوة السابقة. لا توجد ألفا سابقة للخطوة الأخيرة. عندما تكون هذه الخانة True يتم تثبيت حاصل ضرب ألفا السابقة عند 1، وإلا فإنه يستخدم قيمة ألفا في الخطوة 0.

steps_offset (int، القيمة الافتراضية 0) : إزاحة تُضاف إلى خطوات الاستدلال، كما تتطلبها بعض عائلات النماذج.

prediction_type (Literal["epsilon", "sample", "v_prediction"]، القيمة الافتراضية هي "epsilon") : نوع التنبؤ لدالة المجدول. يجب أن يكون أحد "epsilon" (يتنبض بضوضاء عملية الانتشار)، أو "sample" (يتنبأ مباشرةً بالعينة الضوضائية)، أو "v_prediction" (انظر القسم 2.4 من ورقة Imagen Video).

thresholding (bool، القيمة الافتراضية False) : ما إذا كان سيتم استخدام طريقة "العتبة الديناميكية". هذه الطريقة غير مناسبة لنماذج الانتشار في الفضاء الكامن مثل Stable Diffusion.

dynamic_thresholding_ratio (float، القيمة الافتراضية 0.995) : نسبة طريقة العتبة الديناميكية. صالحة فقط عندما يكون thresholding=True.

sample_max_value (float، القيمة الافتراضية 1.0) : قيمة العتبة الخاصة بالعتبة الديناميكية. صالحة فقط عندما يكون thresholding=True.

timestep_spacing (Literal["leading", "trailing", "linspace"]، الافتراضي "leading") : الطريقة التي يجب بها قياس خطوات الزمن. يجب أن تكون واحدة من "leading" أو "trailing" أو "linspace". راجع الجدول 2 من جداول ضوضاء الانتشار الشائعة وخطوات العينات معيبة لمزيد من المعلومات.

rescale_betas_zero_snr (bool، القيمة الافتراضية False) : ما إذا كان يجب إعادة مقياس معاملات بيتا (betas) بحيث يكون SNR النهائي صفراً. يتيح هذا النموذج توليد عينات ساطعة جداً ومظلمة جداً بدلاً من تقييده بتوليد عينات بإضاءة متوسطة. له علاقة غير مباشرة بـ --offset_noise.

يمتد DDIMScheduler على إجراء إزالة الضوضاء المُقدَّم في نماذج الانتشار الاحتمالية لإزالة الضوضاء (DDPMs) مع توجيه غير ماركوفي.

يرث هذا النموذج من SchedulerMixin و ConfigMixin. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع مجدولات التعلم، مثل التحميل والحفظ.

add_noise[[diffusers.DDIMScheduler.add_noise]]

add_noise(original_samples: Tensor, noise: Tensor, timesteps: IntTensor)

المصدر

المعاملات:

original_samples (torch.Tensor) : العينات الأصلية التي سيتم إضافة الضوضاء إليها.

noise (torch.Tensor) : الضوضاء التي يجب إضافتها إلى العينات.

timesteps (torch.IntTensor) : خطوات الزمن التي تشير إلى مستوى الضوضاء لكل عينة.

يعيد: torch.Tensor

العينات الضجيجية.

أضف الضوضاء إلى العينات الأصلية وفقًا لحجم الضوضاء في كل خطوة زمنية (وهذا هو عملية الانتشار الأمامي).

get_velocity[[diffusers.DDIMScheduler.get_velocity]]

get_velocity(sample: Tensor, noise: Tensor, timesteps: IntTensor)

المصدر

المعاملات:

sample (torch.Tensor) : العينة المدخلة.

noise (torch.Tensor) : متجه الضوضاء.

timesteps (torch.IntTensor) : خطوات الزمن لحساب السرعة.

يعيد: torch.Tensor

السرعة المحسوبة.

احسب تنبؤ السرعة من العينة والضوضاء وفقًا لصيغة السرعة.

scale_model_input[[diffusers.DDIMScheduler.scale_model_input]]

scale_model_input(sample: Tensor, timestep: int = None)

المصدر

المعاملات:

sample (torch.Tensor) : العينة المدخلة.

timestep (int، اختياري) : الخطوة الزمنية الحالية في سلسلة الانتشار.

يعيد: torch.Tensor

عينة إدخال مُقيّمة.

يضمن قابلية الاستبدال مع المجدولات التي تحتاج إلى تحجيم مدخلات نموذج إزالة الضوضاء اعتمادًا على خطوة الزمن الحالية.

set_timesteps[[diffusers.DDIMScheduler.set_timesteps]]

set_timesteps(num_inference_steps: int, device: typing.Union[str, torch.device] = None)

المصدر

المعاملات:

num_inference_steps (int) : عدد خطوات الانتشار المستخدمة عند توليد العينات باستخدام نموذج مُدرَّب مسبقًا.

device (str | torch.device، اختياري) : الجهاز المستخدم لخطوات الزمن.

يرفع: ValueError

• ValueError -- إذا كان num_inference_steps أكبر من self.config.num_train_timesteps.

يحدد الخطوات الزمنية المنفصلة المستخدمة لسلسلة الانتشار (لتُنفَّذ قبل الاستدلال).

خطوة[[diffusers.DDIMScheduler.step]]

step(model_output: Tensor, timestep: int, sample: Tensor, eta: float = 0.0, use_clipped_model_output: bool = False, generator: typing.Optional[torch.Generator] = None, variance_noise: typing.Optional[torch.Tensor] = None, return_dict: bool = True)

المصدر

المعاملات:

model_output (torch.Tensor) : المخرجات المباشرة من نموذج الانتشار المُتعلَّم.

timestep (int) : الخطوة الزمنية المنفصلة الحالية في سلسلة الانتشار.

sample (torch.Tensor) : نسخة حالية من عينة تم إنشاؤها بواسطة عملية الانتشار.

eta (float، اختياري، القيمة الافتراضية 0.0) : وزن الضوضاء المضافة في خطوة الانتشار. القيمة 0 تقابل DDIM (حتمي) والقيمة 1 تقابل DDPM (عشوائي بالكامل).

use_clipped_model_output (bool، اختياري، القيمة الافتراضية False) : إذا كانت True، تُحسب model_output "المُصحَّحة" من العينة الأصلية المتنبأ بها والمُقصَّاة. هذا ضروري لأن العينة الأصلية المتنبأ بها تُقصّ إلى [-1, 1] عندما تكون self.config.clip_sample هي True. إذا لم يحدث أي قصّ، فإن model_output "المُصحَّحة" ستطابق تلك المُقدَّمة كمدخل، ولن يكون لـuse_clipped_model_output أي تأثير.

generator (torch.Generator، اختياري) : مولّد أرقام عشوائية لعينات قابلة للتكرار.

variance_noise (torch.Tensor، اختياري) : بديل لتوليد الضوضاء باستخدام generator من خلال تقديم الضوضاء مباشرةً للتباين نفسه. مفيد لطرق مثل CycleDiffusion.

return_dict (bool، اختياري، الافتراضي True) : ما إذا كان يجب إرجاع DDIMSchedulerOutput أو tuple أم لا.

يعيد: DDIMSchedulerOutput أو tuple

If return_dict is True, DDIMSchedulerOutput is returned, otherwise a tuple is returned where the first element is the sample tensor.

تنبّأ بالعيّنة من الخطوة الزمنية السابقة عن طريق عكس عملية المعادلة التفاضلية العشوائية (SDE). تنقل هذه الدالة عملية الانتشار من مخرجات النموذج المُتعلَّم (والتي تكون في الغالب الضوضاء المتنبَّأ بها).

DDIMSchedulerOutput[[diffusers.schedulers.scheduling_ddim.DDIMSchedulerOutput]]

diffusers.schedulers.scheduling_ddim.DDIMSchedulerOutput[[diffusers.schedulers.scheduling_ddim.DDIMSchedulerOutput]]

diffusers.schedulers.scheduling_ddim.DDIMSchedulerOutput(prev_sample: Tensor, pred_original_sample: typing.Optional[torch.Tensor] = None)

المصدر

المعاملات:

prev_sample (torch.Tensor من الشكل (batch_size, num_channels, height, width) للصور) : العينة المحسوبة (x_{t-1}) لخطوة الزمن السابقة. يجب استخدام prev_sample كمدخل للنموذج التالي في حلقة إزالة الضوضاء.

pred_original_sample (torch.Tensor من الشكل (batch_size, num_channels, height, width) للصور) : العينة المُتوقَّع إزالة الضوضاء منها (x_{0}) بناءً على مخرجات النموذج من خطوة الزمن الحالية. يمكن استخدام pred_original_sample لمعاينة التقدم أو للإرشاد.

فئة الإخراج لدالة step الخاصة بالجدول الزمني.