TRL

TRL هو إطار عمل للتدريب اللاحق لنماذج الأساس. يتضمن طرقًا مثل SFT وGRPO وDPO. لكل طريقة مُدرِّب مخصص يُبنى على فئة Trainer ويتوسع من وحدة معالجة رسومية واحدة إلى عناقيد متعددة العقد.

from datasets import load_dataset
from trl import GRPOTrainer
from trl.rewards import accuracy_reward

dataset = load_dataset("trl-lib/DeepMath-103K", split="train")

trainer = GRPOTrainer(
    model="Qwen/Qwen2-0.5B-Instruct",
    reward_funcs=accuracy_reward,
    train_dataset=dataset,
)
trainer.train()

تكامل Transformers

توسّع TRL واجهات برمجة تطبيقات Transformers وتضيف إعدادات محددة لكل طريقة.

• تُبنى مدرِّبات TRL على Trainer. وتضيف مدرِّبات محددة للطريقة، مثل GRPOTrainer، عمليات التوليد، وتقييم المكافآت، وحساب الخسارة. كما توسّع فئات الإعداد TrainingArguments بحقول محددة للطريقة.

• يستخدم تحميل النموذج AutoConfig.from_pretrained()، ثم يُنشئ كائنًا من فئة النموذج من الإعدادات باستخدام from_pretrained الخاص بتلك الفئة.

الموارد

• توثيق TRL
• محادثة الضبط الدقيق باستخدام TRL