Buckets:
| # پیادهسازی GRPO در TRL | |
| در این صفحه یاد میگیریم چگونه با استفاده از کتابخانهٔ Transformer Reinforcement Learning (TRL)، بهینهسازی خطمشی نسبی گروهی (GRPO) را پیادهسازی کنیم. تمرکز ما بر پیادهسازی عملی با حداقل کد است. | |
| مفاهیم اصلی GRPO را همانگونه که در GRPOTrainer مربوط به TRL پیادهسازی شدهاند بررسی میکنیم و برای راهنمایی از قطعهکدهای مستندات رسمی TRL کمک میگیریم. | |
| > [!TIP] | |
| > این فصل برای افرادی نوشته شده است که با TRL تازه آشنا شدهاند. اگر از قبل با TRL آشنایی دارید، شاید بخواهید [پیادهسازی Open R1](https://github.com/huggingface/open-r1/blob/main/src/open_r1/grpo.py) از GRPO را هم ببینید. | |
| ابتدا برخی از مفاهیم مهم الگوریتم GRPO را مرور کنیم: | |
| - تشکیل گروه: مدل برای هر پرامپت چندین تکمیل تولید میکند. | |
| - یادگیری ترجیح: مدل از تابع پاداشی یاد میگیرد که گروههای تکمیل را با هم مقایسه میکند. | |
| - پیکربندی آموزش: مدل از یک پیکربندی برای کنترل فرایند آموزش استفاده میکند. | |
| برای پیادهسازی GRPO چه کارهایی لازم است؟ | |
| - یک مجموعهداده از پرامپتها تعریف کنید. | |
| - تابع پاداشی تعریف کنید که فهرستی از تکمیلها را میگیرد و فهرستی از پاداشها را برمیگرداند. | |
| - فرایند آموزش را با GRPOConfig پیکربندی کنید. | |
| - مدل را با GRPOTrainer آموزش دهید. | |
| در ادامه یک مثال حداقلی برای شروع آموزش با GRPO میبینید: | |
| ```python | |
| from trl import GRPOTrainer, GRPOConfig | |
| from datasets import load_dataset | |
| # 1. Load your dataset | |
| dataset = load_dataset("your_dataset", split="train") | |
| # 2. Define a simple reward function | |
| def reward_func(completions, **kwargs): | |
| """Example: Reward longer completions""" | |
| return [float(len(completion)) for completion in completions] | |
| # 3. Configure training | |
| training_args = GRPOConfig( | |
| output_dir="output", | |
| num_train_epochs=3, | |
| per_device_train_batch_size=4, | |
| gradient_accumulation_steps=2, | |
| logging_steps=10, | |
| ) | |
| # 4. Initialize and train | |
| trainer = GRPOTrainer( | |
| model="your_model", # e.g. "Qwen/Qwen2-0.5B-Instruct" | |
| args=training_args, | |
| train_dataset=dataset, | |
| reward_funcs=reward_func, | |
| ) | |
| trainer.train() | |
| ``` | |
| ## مؤلفههای اصلی | |
| ### ۱. قالب مجموعهداده | |
| مجموعهدادهٔ شما باید شامل پرامپتهایی باشد که مدل به آنها پاسخ میدهد. آموزشدهندهٔ GRPO برای هر پرامپت چندین تکمیل تولید میکند و با استفاده از تابع پاداش آنها را مقایسه میکند. | |
| ### ۲. تابع پاداش | |
| تابع پاداش اهمیت زیادی دارد؛ این تابع تعیین میکند مدل چگونه یاد بگیرد. در ادامه دو مثال عملی میبینید: | |
| ```python | |
| # Example 1: Reward based on completion length | |
| def reward_length(completions, **kwargs): | |
| return [float(len(completion)) for completion in completions] | |
| # Example 2: Reward based on matching a pattern | |
| import re | |
| def reward_format(completions, **kwargs): | |
| pattern = r"^<think>.*?</think><answer>.*?</answer>$" | |
| return [1.0 if re.match(pattern, c) else 0.0 for c in completions] | |
| ``` | |
| ### ۳. پیکربندی آموزش | |
| پارامترهای مهمی که باید در `GRPOConfig` در نظر بگیرید: | |
| ```python | |
| training_args = GRPOConfig( | |
| # Essential parameters | |
| output_dir="output", | |
| num_train_epochs=3, | |
| num_generation=4, # Number of completions to generate for each prompt | |
| per_device_train_batch_size=4, # We want to get all generations in one device batch | |
| # Optional but useful | |
| gradient_accumulation_steps=2, | |
| learning_rate=1e-5, | |
| logging_steps=10, | |
| # GRPO specific (optional) | |
| use_vllm=True, # Speed up generation | |
| ) | |
| ``` | |
| پارامتر `num_generation` برای GRPO اهمیت ویژهای دارد، چون اندازهٔ گروه، یعنی تعداد تکمیلهای متفاوتی را که مدل برای هر پرامپت تولید میکند، تعیین میکند. این ویژگی GRPO را از روشهای دیگر RL متمایز میسازد: | |
| - خیلی کوچک (مثلاً ۲ تا ۳): ممکن است تنوع کافی برای مقایسههای معنادار فراهم نکند. | |
| - مقدار پیشنهادی (۴ تا ۱۶): تعادل خوبی بین تنوع و بهرهوری محاسباتی ایجاد میکند. | |
| - مقادیر بزرگتر: ممکن است یادگیری را بهتر کنند، اما هزینهٔ محاسباتی را بهطور چشمگیری افزایش میدهند. | |
| اندازهٔ گروه را باید بر اساس منابع محاسباتی و پیچیدگی کار خود انتخاب کنید. برای کارهای ساده، گروههای کوچکتر (۴ تا ۸) ممکن است کافی باشند، درحالیکه کارهای استدلالی پیچیدهتر شاید از گروههای بزرگتر (۸ تا ۱۶) سود ببرند. | |
| ## نکتههایی برای موفقیت | |
| 1. **مدیریت حافظه**: `per_device_train_batch_size` و `gradient_accumulation_steps` را بر اساس حافظهٔ GPU خود تنظیم کنید. | |
| 2. **سرعت**: اگر مدل شما پشتیبانی میشود، برای تولید سریعتر `use_vllm=True` را فعال کنید. | |
| 3. **پایش**: در طول آموزش، معیارهای ثبتشده را بررسی کنید: | |
| - `reward`: میانگین پاداش در میان تکمیلها | |
| - `reward_std`: انحراف معیار در گروههای پاداش | |
| - `kl`: واگرایی KL از مدل مرجع | |
| ## طراحی تابع پاداش | |
| مقالهٔ DeepSeek R1 چند رویکرد مؤثر برای طراحی تابع پاداش نشان میدهد که میتوانید آنها را برای پیادهسازی GRPO خود سازگار کنید: | |
| ### ۱. پاداشهای مبتنی بر طول | |
| یکی از سادهترین پاداشها برای پیادهسازی، پاداش مبتنی بر طول است. میتوانید به تکمیلهای طولانیتر پاداش بدهید: | |
| ```python | |
| def reward_len(completions, **kwargs): | |
| ideal_length = 20 | |
| return [-abs(ideal_length - len(completion)) for completion in completions] | |
| ``` | |
| این تابع پاداش تکمیلهایی را که بیش از حد کوتاه یا بلند هستند جریمه میکند و مدل را تشویق میکند تکمیلهایی نزدیک به طول ایدئال ۲۰ توکن تولید کند. | |
| <iframe | |
| src="https://marimo.app/gh/huggingface/notebooks/main/e?entrypoint=course%2Fen%2Fchapter13%2Fgrpo_length.py&embed=true&show-chrome=false" | |
| title="Marimo Notebook" | |
| width="100%" | |
| height="800px" | |
| frameBorder="0" | |
| allow="clipboard-write" | |
| > | |
| ## ۲. پاداشهای مبتنی بر قانون برای کارهای قابلراستیآزمایی | |
| برای کارهایی با پاسخهای عینی و درست (مانند ریاضی یا کدنویسی)، میتوانید توابع پاداش مبتنی بر قانون پیادهسازی کنید: | |
| ```python | |
| def problem_reward(completions, answers, **kwargs): | |
| """Reward function for math problems with verifiable answers | |
| completions: list of completions to evaluate | |
| answers: list of answers to the problems from the dataset | |
| """ | |
| rewards = [] | |
| for completion, correct_answer in zip(completions, answers): | |
| # Extract the answer from the completion | |
| try: | |
| # This is a simplified example - you'd need proper parsing | |
| answer = extract_final_answer(completion) | |
| # Binary reward: 1 for correct, 0 for incorrect | |
| reward = 1.0 if answer == correct_answer else 0.0 | |
| rewards.append(reward) | |
| except: | |
| # If we can't parse an answer, give a low reward | |
| rewards.append(0.0) | |
| return rewards | |
| ``` | |
| <iframe | |
| src="https://marimo.app/gh/huggingface/notebooks/main/e?entrypoint=course%2Fen%2Fchapter13%2Fgrpo_math.py&embed=true&show-chrome=false" | |
| title="Marimo Notebook" | |
| width="100%" | |
| height="800px" | |
| frameBorder="0" | |
| allow="clipboard-write" | |
| > | |
| ## ۳. پاداشهای مبتنی بر قالب | |
| همچنین میتوانید به قالببندی درست پاداش بدهید؛ این موضوع در آموزش DeepSeek R1 اهمیت داشت: | |
| ```python | |
| def format_reward(completions, **kwargs): | |
| """Reward completions that follow the desired format""" | |
| # Example: Check if the completion follows a think-then-answer format | |
| pattern = r"<think>(.*?)</think>\s*<answer>(.*?)</answer>" | |
| rewards = [] | |
| for completion in completions: | |
| match = re.search(pattern, completion, re.DOTALL) | |
| if match: | |
| # Check if there's substantial content in both sections | |
| think_content = match.group(1).strip() | |
| answer_content = match.group(2).strip() | |
| if len(think_content) > 20 and len(answer_content) > 0: | |
| rewards.append(1.0) | |
| else: | |
| rewards.append( | |
| 0.5 | |
| ) # Partial reward for correct format but limited content | |
| else: | |
| rewards.append(0.0) # No reward for incorrect format | |
| return rewards | |
| ``` | |
| <iframe | |
| src="https://marimo.app/gh/huggingface/notebooks/main/e?entrypoint=course%2Fen%2Fchapter13%2Fgrpo_format.py&embed=true&show-chrome=false" | |
| title="Marimo Notebook" | |
| width="100%" | |
| height="800px" | |
| frameBorder="0" | |
| allow="clipboard-write" | |
| > | |
| این مثالها نشان میدهند چگونه میتوانید با الهام از فرایند آموزش DeepSeek R1، توابع پاداشی با تمرکز بر درستی، قالببندی و سیگنالهای ترکیبی پیادهسازی کنید. | |
| ## همین بود! | |
| در بخش بعدی، تمرینی را دنبال میکنید تا GRPO را در TRL پیادهسازی کنید. | |
Xet Storage Details
- Size:
- 10.8 kB
- Xet hash:
- 033c2f3f21fe3e53533f90575c79f92579dac19c11526c8fc1cabc0de8ba4a24
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.