Buckets:
پیادهسازی GRPO در TRL
در این صفحه یاد میگیریم چگونه با استفاده از کتابخانهٔ Transformer Reinforcement Learning (TRL)، بهینهسازی خطمشی نسبی گروهی (GRPO) را پیادهسازی کنیم. تمرکز ما بر پیادهسازی عملی با حداقل کد است.
مفاهیم اصلی GRPO را همانگونه که در GRPOTrainer مربوط به TRL پیادهسازی شدهاند بررسی میکنیم و برای راهنمایی از قطعهکدهای مستندات رسمی TRL کمک میگیریم.
این فصل برای افرادی نوشته شده است که با TRL تازه آشنا شدهاند. اگر از قبل با TRL آشنایی دارید، شاید بخواهید پیادهسازی Open R1 از GRPO را هم ببینید.
ابتدا برخی از مفاهیم مهم الگوریتم GRPO را مرور کنیم:
- تشکیل گروه: مدل برای هر پرامپت چندین تکمیل تولید میکند.
- یادگیری ترجیح: مدل از تابع پاداشی یاد میگیرد که گروههای تکمیل را با هم مقایسه میکند.
- پیکربندی آموزش: مدل از یک پیکربندی برای کنترل فرایند آموزش استفاده میکند.
برای پیادهسازی GRPO چه کارهایی لازم است؟
- یک مجموعهداده از پرامپتها تعریف کنید.
- تابع پاداشی تعریف کنید که فهرستی از تکمیلها را میگیرد و فهرستی از پاداشها را برمیگرداند.
- فرایند آموزش را با GRPOConfig پیکربندی کنید.
- مدل را با GRPOTrainer آموزش دهید.
در ادامه یک مثال حداقلی برای شروع آموزش با GRPO میبینید:
from trl import GRPOTrainer, GRPOConfig
from datasets import load_dataset
# 1. Load your dataset
dataset = load_dataset("your_dataset", split="train")
# 2. Define a simple reward function
def reward_func(completions, **kwargs):
"""Example: Reward longer completions"""
return [float(len(completion)) for completion in completions]
# 3. Configure training
training_args = GRPOConfig(
output_dir="output",
num_train_epochs=3,
per_device_train_batch_size=4,
gradient_accumulation_steps=2,
logging_steps=10,
)
# 4. Initialize and train
trainer = GRPOTrainer(
model="your_model", # e.g. "Qwen/Qwen2-0.5B-Instruct"
args=training_args,
train_dataset=dataset,
reward_funcs=reward_func,
)
trainer.train()
مؤلفههای اصلی
۱. قالب مجموعهداده
مجموعهدادهٔ شما باید شامل پرامپتهایی باشد که مدل به آنها پاسخ میدهد. آموزشدهندهٔ GRPO برای هر پرامپت چندین تکمیل تولید میکند و با استفاده از تابع پاداش آنها را مقایسه میکند.
۲. تابع پاداش
تابع پاداش اهمیت زیادی دارد؛ این تابع تعیین میکند مدل چگونه یاد بگیرد. در ادامه دو مثال عملی میبینید:
# Example 1: Reward based on completion length
def reward_length(completions, **kwargs):
return [float(len(completion)) for completion in completions]
# Example 2: Reward based on matching a pattern
import re
def reward_format(completions, **kwargs):
pattern = r"^<think>.*?</think><answer>.*?</answer>$"
return [1.0 if re.match(pattern, c) else 0.0 for c in completions]
۳. پیکربندی آموزش
پارامترهای مهمی که باید در GRPOConfig در نظر بگیرید:
training_args = GRPOConfig(
# Essential parameters
output_dir="output",
num_train_epochs=3,
num_generation=4, # Number of completions to generate for each prompt
per_device_train_batch_size=4, # We want to get all generations in one device batch
# Optional but useful
gradient_accumulation_steps=2,
learning_rate=1e-5,
logging_steps=10,
# GRPO specific (optional)
use_vllm=True, # Speed up generation
)
پارامتر num_generation برای GRPO اهمیت ویژهای دارد، چون اندازهٔ گروه، یعنی تعداد تکمیلهای متفاوتی را که مدل برای هر پرامپت تولید میکند، تعیین میکند. این ویژگی GRPO را از روشهای دیگر RL متمایز میسازد:
- خیلی کوچک (مثلاً ۲ تا ۳): ممکن است تنوع کافی برای مقایسههای معنادار فراهم نکند.
- مقدار پیشنهادی (۴ تا ۱۶): تعادل خوبی بین تنوع و بهرهوری محاسباتی ایجاد میکند.
- مقادیر بزرگتر: ممکن است یادگیری را بهتر کنند، اما هزینهٔ محاسباتی را بهطور چشمگیری افزایش میدهند.
اندازهٔ گروه را باید بر اساس منابع محاسباتی و پیچیدگی کار خود انتخاب کنید. برای کارهای ساده، گروههای کوچکتر (۴ تا ۸) ممکن است کافی باشند، درحالیکه کارهای استدلالی پیچیدهتر شاید از گروههای بزرگتر (۸ تا ۱۶) سود ببرند.
نکتههایی برای موفقیت
- مدیریت حافظه:
per_device_train_batch_sizeوgradient_accumulation_stepsرا بر اساس حافظهٔ GPU خود تنظیم کنید. - سرعت: اگر مدل شما پشتیبانی میشود، برای تولید سریعتر
use_vllm=Trueرا فعال کنید. - پایش: در طول آموزش، معیارهای ثبتشده را بررسی کنید:
reward: میانگین پاداش در میان تکمیلهاreward_std: انحراف معیار در گروههای پاداشkl: واگرایی KL از مدل مرجع
طراحی تابع پاداش
مقالهٔ DeepSeek R1 چند رویکرد مؤثر برای طراحی تابع پاداش نشان میدهد که میتوانید آنها را برای پیادهسازی GRPO خود سازگار کنید:
۱. پاداشهای مبتنی بر طول
یکی از سادهترین پاداشها برای پیادهسازی، پاداش مبتنی بر طول است. میتوانید به تکمیلهای طولانیتر پاداش بدهید:
def reward_len(completions, **kwargs):
ideal_length = 20
return [-abs(ideal_length - len(completion)) for completion in completions]
این تابع پاداش تکمیلهایی را که بیش از حد کوتاه یا بلند هستند جریمه میکند و مدل را تشویق میکند تکمیلهایی نزدیک به طول ایدئال ۲۰ توکن تولید کند.
Xet Storage Details
- Size:
- 10.8 kB
- Xet hash:
- 033c2f3f21fe3e53533f90575c79f92579dac19c11526c8fc1cabc0de8ba4a24
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.