SGLang

SGLang هو محرك استدلال منخفض الكمون وعالي الإنتاجية لنماذج اللغة الكبيرة (LLMs). كما يتضمن لغة واجهة أمامية لبناء سير عمل الوكلاء.

اضبط model_impl="transformers" لتحميل واجهة برمجة نماذج Transformers.

import sglang as sgl

llm = sgl.Engine("meta-llama/Llama-3.2-1B-Instruct", model_impl="transformers")
print(llm.generate(["The capital of France is"], {"max_new_tokens": 20})[0])

مرّر --model-impl transformers إلى أمر sglang.launch_server للخدمة عبر الإنترنت.

python3 -m sglang.launch_server \
  --model-path meta-llama/Llama-3.2-1B-Instruct \
  --model-impl transformers \
  --host 0.0.0.0 \
  --port 30000

تكامل Transformers

إعداد model_impl="transformers" يُخبر SGLang بتخطي مطابقة النموذج الأصلية لديه واستخدام نموذج Transformers مباشرة.

1. PreTrainedConfig.from_pretrained() loads the model’s config.json from the Hub or your Hugging Face cache.
2. تحلّ AutoModel.from_config() فئة النموذج بناءً على ملف الإعداد.
3. أثناء التحميل، يُضبط _attn_implementation على "sglang". وهذا يُوجّه استدعاءات الانتباه عبر نواة RadixAttention الخاصة بـ SGLang.
4. يستبدل صف التوازي الخطي في SGLang طبقات الخطي لدعم توازي الموترات.
5. تعمل دالة load_weights على تعبئة النموذج بالأوزان من ملفات safetensors.

يستفيد النموذج من جميع تحسينات SGLang مع استخدام بنية نموذج Transformers.

يتطلب النماذج المتوافقة _supports_attention_backend=True حتى يتمكن SGLang من التحكم في تنفيذ الانتباه. راجع دليل بناء واجهة خلفية متوافقة للنموذج للاستدلال للتفاصيل.

الموارد

• تحتوي وثائق SGLang على مزيد من أمثلة الاستخدام ونصائح حول استخدام Transformers كخلفية.
• يوضح منشور المدونة تكامل خلفية Transformers في SGLang ما الذي يُمكّنه هذا التكامل.