Buckets:

hf-doc-build
/

doc

Files

xet

hf-doc-build/doc / diffusers /main /ar /training /distributed_inference.md

mishig

3 days ago

preview code

download

raw

4.1 kB

# الاستدلال الموزّع

يقوم الاستدلال الموزّع بتقسيم عبء العمل على عدة وحدات معالجة رسومية (GPU). وهو مفيد لإسكان نماذج أكبر في الذاكرة ومعالجة عدد أكبر من الطلبات في وقت واحد.

يدعم Diffusers أربع استراتيجيات. لكل استراتيجية منها دليل خاص بها، وتساعدك هذه الصفحة في اختيار واحدة منها.

## اختيار استراتيجية

تُحلّ كل استراتيجية مشكلة مختلفة، لذا اختر واحدة بناءً على المورد الذي يُقيّدك.

| الاستراتيجية | التقسيمات | يقلل | زمن الاستجابة لطلب واحد | أفضل وقت |
|---|---|---|---|---|
| [التوازي في البيانات](../optimization/data_parallelism) | الموجّهات عبر النسخ | لا شيء، حيث يحتفظ كل معالج رسومي بنسخة كاملة | غير متغيّر | يتناسب النموذج بالفعل ولديك العديد من الاستعلامات |
| [device_map](../optimization/device_map) | المكونات عبر الأجهزة | ذاكرة الأوزان | أسوأ قليلاً | لا يتسع النموذج، وواجهة الربط بطيئة |
| [التوازي السياقي](../optimization/context_parallelism) | التسلسل المُدخل | ذاكرة التفعيل | أدنى | تكون التسلسلات طويلة، مثل الصور عالية الدقة أو الفيديو |
| [التوازي على مستوى المصفوفات](../optimization/tensor_parallelism) | مصفوفات الأوزان | ذاكرة الأوزان | أدنى | لا تتسع أوزان مكوّن واحد، والاتصال الداخلي سريع |

بعض الإرشادات العملية:

- إذا كان النموذج يتسع بالفعل ولديك العديد من الاستعلامات، فاستخدم توازي البيانات. فهو يوسّع الإنتاجية مع عدد وحدات معالجة الرسومات دون المساس بالنموذج، ويترك زمن استجابة الاستعلام الواحد كما هو. اضبطه باستخدام [Accelerate](../optimization/data_parallelism#accelerate) أو [PyTorch Distributed](../optimization/data_parallelism#pytorch-distributed).
- إذا لم تتسع أوزان مكوّن واحد، جرّب توازي الموترات أولاً، لأنه يُقلّل من الذاكرة والكمون معاً. يتواصل توازي الموترات عند كل حدّ للكتل، لذا يحتاج إلى وصلة سريعة مثل NVLink. على PCIe، قد يتجاوز حجم المرور لكل طبقة مقدار الحساب الذي يوفره، ويصبح `device_map` الخيار الأفضل. كما يتعامل `device_map` مع الحالة التي تكون فيها المكوّنات مناسبة بشكل فردي لكنها كبيرة بشكل جماعي.
- إذا كانت المشكلة في التفعيلات وليس في الأوزان، فاستخدم توازي السياق. يساعد ذلك في التعامل مع التسلسلات الطويلة، مثل الصور الكبيرة والفيديوهات ذات الإطارات العديدة. اختر واجهة خلفية من المعايير المرجعية في دليل [توازي السياق](../optimization/context_parallelism).
- إذا كانت الأوزان والتسلسل كبيرين جداً، فلا يمكن لـ Diffusers تطبيق توازي المصفوفات وتوازي السياق على نفس النموذج. يرمي `ParallelConfig` خطأً إذا مررت كلا التكوينين، ولا يمكن استدعاء `enable_parallelism` مرة ثانية على نموذج تم توازيه مسبقاً.

توفر تكاملات المجتمع [xDiT](../optimization/xdit) و[ParaAttention](../optimization/para_attn) تنفيذاتها الخاصة لتوازي السياق.

Xet Storage Details

Size:: 4.1 kB
Xet hash:: 1b4e1ca7c6aa2bf0112fd0c37b74a5a33fbf17c66a5961d2ef5b9401c7b85080

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.

	# الاستدلال الموزّع

	يقوم الاستدلال الموزّع بتقسيم عبء العمل على عدة وحدات معالجة رسومية (GPU). وهو مفيد لإسكان نماذج أكبر في الذاكرة ومعالجة عدد أكبر من الطلبات في وقت واحد.

	يدعم Diffusers أربع استراتيجيات. لكل استراتيجية منها دليل خاص بها، وتساعدك هذه الصفحة في اختيار واحدة منها.

	## اختيار استراتيجية

	تُحلّ كل استراتيجية مشكلة مختلفة، لذا اختر واحدة بناءً على المورد الذي يُقيّدك.

	\| الاستراتيجية \| التقسيمات \| يقلل \| زمن الاستجابة لطلب واحد \| أفضل وقت \|
	\|---\|---\|---\|---\|---\|
	\| [التوازي في البيانات](../optimization/data_parallelism) \| الموجّهات عبر النسخ \| لا شيء، حيث يحتفظ كل معالج رسومي بنسخة كاملة \| غير متغيّر \| يتناسب النموذج بالفعل ولديك العديد من الاستعلامات \|
	\| [device_map](../optimization/device_map) \| المكونات عبر الأجهزة \| ذاكرة الأوزان \| أسوأ قليلاً \| لا يتسع النموذج، وواجهة الربط بطيئة \|
	\| [التوازي السياقي](../optimization/context_parallelism) \| التسلسل المُدخل \| ذاكرة التفعيل \| أدنى \| تكون التسلسلات طويلة، مثل الصور عالية الدقة أو الفيديو \|
	\| [التوازي على مستوى المصفوفات](../optimization/tensor_parallelism) \| مصفوفات الأوزان \| ذاكرة الأوزان \| أدنى \| لا تتسع أوزان مكوّن واحد، والاتصال الداخلي سريع \|

	بعض الإرشادات العملية:

	- إذا كان النموذج يتسع بالفعل ولديك العديد من الاستعلامات، فاستخدم توازي البيانات. فهو يوسّع الإنتاجية مع عدد وحدات معالجة الرسومات دون المساس بالنموذج، ويترك زمن استجابة الاستعلام الواحد كما هو. اضبطه باستخدام [Accelerate](../optimization/data_parallelism#accelerate) أو [PyTorch Distributed](../optimization/data_parallelism#pytorch-distributed).
	- إذا لم تتسع أوزان مكوّن واحد، جرّب توازي الموترات أولاً، لأنه يُقلّل من الذاكرة والكمون معاً. يتواصل توازي الموترات عند كل حدّ للكتل، لذا يحتاج إلى وصلة سريعة مثل NVLink. على PCIe، قد يتجاوز حجم المرور لكل طبقة مقدار الحساب الذي يوفره، ويصبح `device_map` الخيار الأفضل. كما يتعامل `device_map` مع الحالة التي تكون فيها المكوّنات مناسبة بشكل فردي لكنها كبيرة بشكل جماعي.
	- إذا كانت المشكلة في التفعيلات وليس في الأوزان، فاستخدم توازي السياق. يساعد ذلك في التعامل مع التسلسلات الطويلة، مثل الصور الكبيرة والفيديوهات ذات الإطارات العديدة. اختر واجهة خلفية من المعايير المرجعية في دليل [توازي السياق](../optimization/context_parallelism).
	- إذا كانت الأوزان والتسلسل كبيرين جداً، فلا يمكن لـ Diffusers تطبيق توازي المصفوفات وتوازي السياق على نفس النموذج. يرمي `ParallelConfig` خطأً إذا مررت كلا التكوينين، ولا يمكن استدعاء `enable_parallelism` مرة ثانية على نموذج تم توازيه مسبقاً.

	توفر تكاملات المجتمع [xDiT](../optimization/xdit) و[ParaAttention](../optimization/para_attn) تنفيذاتها الخاصة لتوازي السياق.