الأجهزة

يعمل Transformers على وحدات المعالجة المركزية (CPU) ووحدات معالجة الرسومات من NVIDIA وAMD ووحدات Apple Silicon ووحدات Google TPU ومهامات AWS Trainium وغيرها، وذلك من خلال واجهات PyTorch الخاصة بها.

للتدريب، يكتشف TrainingArguments الخلفية تلقائيًا.
في الاستدلال، لا تغطي الاكتشاف التلقائي كل وحدة خلفية، لذا مرر سلسلة الجهاز لاختيار وحدة خلفية بشكل صريح. تدرج هذه الصفحة سلسلة الجهاز والحزمة لكل وحدة خلفية، وما يهيئه TrainingArguments لذلك، وكيف يقرر Transformers أي جهاز يجب استخدامه.

ابحث عن جهازك

يحتوي كل إطار عمل على سلسلة أجهزة تمررها إلى device_map أو device. يعمل المعالج المركزي (CPU) وشريحة Apple Silicon مع حزمة torch القياسية. تتطلب إطارات العمل الأخرى حزمة امتداد PyTorch تسجّل الإطار العمل مع PyTorch.

الأجهزة	سلسلة الجهاز	الحزمة
CPU	`cpu`	`torch`
وحدة معالجة رسومات من NVIDIA	`cuda`	`torch`
وحدة معالجة الرسوميات من AMD	`cuda`	`torch` (نسخة ROCm)
تدريب AWS Trainium	`neuron`	`torch-neuronx`
Google TPU	`tpu`	`torch-tpu`
وحدة معالجة الرسوميات من Intel	`xpu`	`torch`
Apple Silicon	`mps`	`torch`
Intel Gaudi	`hpu`	`habana-torch-plugin`
وحدة المعالجة العصبية Ascend من هواوي	`npu`	`torch-npu`
Cambricon MLU	`mlu`	`torch-mlu`
معالج الرسوميات من Moore Threads	`musa`	`torch-musa`

إذا كان هناك واجهة خلفية للأجهزة مفقودة من هذه الجدول وتعتقد أن Transformers يدعمها، يرجى فتح مشكلة.

كيف يختار Transformers جهاز التنفيذ

يختار Transformers جهازًا مختلفًا للتدريب والاستدلال.

التدريب

يتعرّف TrainingArguments على الخلفية تلقائيًا من خلال Accelerate. في التشغيل الموزّع، يستخدم كل عملية الجهاز الذي يسنده Accelerate إليها. في عملية واحدة، يختار TrainingArguments أول خلفية متاحة، ويلجأ إلى المعالج المركزي (CPU) إذا لم تتوفر أي خلفية. اضبط use_cpu=True لفرض التدريب على المعالج المركزي.

الاستدلال

تحمّل from_pretrained() النموذج على وحدة المعالجة المركزية (CPU) افتراضيًا.

اضبط device_map="auto" لوضعه على المعجلات المتاحة. يعتمد التوزيع التلقائي على Accelerate للكشف عن CUDA وIntel XPU وIntel Gaudi (HPU) وApple Silicon (MPS)، من بين غيرها، لكنه لا يغطي جميع الخوادم الخلفية. للخوادم الخلفية الأخرى، مثل AWS Trainium وGoogle TPU، مرر سلسلة الجهاز إلى device_map بشكل صريح.

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-0.6B", device_map="neuron")

Update on GitHub