Buckets:

|
download
raw
23.7 kB
# مقدمه‌ای بر یادگیری تقویتی و نقش آن در مدل‌های زبانی بزرگ
به نخستین صفحه خوش آمدید!
سفر خود را به دنیای هیجان‌انگیز یادگیری تقویتی (RL) آغاز می‌کنیم و می‌بینیم این روش چگونه شیوه‌ی تعلیم مدل‌های زبانی، مانند مدل‌هایی را که هر روز استفاده می‌کنید، دگرگون می‌کند.
> [!TIP]
> در این فصل بر یادگیری تقویتی برای مدل‌های زبانی تمرکز می‌کنیم. بااین‌حال، یادگیری تقویتی حوزه‌ای گسترده با کاربردهای فراوانی فراتر از مدل‌های زبانی است. اگر می‌خواهید بیشتر درباره‌ی یادگیری تقویتی بدانید، [دوره‌ی یادگیری تقویتی عمیق](https://huggingface.co/courses/deep-rl-course/en/unit1/introduction) را ببینید.
این صفحه مقدمه‌ای روشن و دوستانه برای RL ارائه می‌دهد، حتی اگر قبلاً با آن روبه‌رو نشده باشید. ایده‌های اصلی را بررسی می‌کنیم و می‌بینیم چرا RL در حوزه‌ی مدل‌های زبانی بزرگ (LLM) اهمیت زیادی پیدا کرده است.
## یادگیری تقویتی (RL) چیست؟
فرض کنید می‌خواهید سگی را تعلیم دهید. می‌خواهید به او بنشانید. ممکن است بگویید «بنشین!» و اگر سگ نشست، به او خوراکی و تشویق بدهید. اگر ننشست، شاید آرام راهنمایی‌اش کنید یا دوباره تلاش کنید. سگ به‌مرور نشستن را با پاداش مثبت (خوراکی و تشویق) مرتبط می‌کند و وقتی دوباره می‌گویید «بنشین!» احتمال بیشتری دارد که بنشیند. در یادگیری تقویتی، این بازخورد را **پاداش** می‌نامیم.
این، در یک جمله، ایده‌ی اصلی یادگیری تقویتی است! به‌جای سگ، یک **مدل زبانی** داریم (در یادگیری تقویتی آن را **عامل** می‌نامیم) و به‌جای شما، **محیطی** داریم که بازخورد می‌دهد.
![فرایند اصطلاحات RL](https://huggingface.co/reasoning-course/images/resolve/main/grpo/3.jpg)
بیایید اجزای اصلی RL را بررسی کنیم:
### عامل
این همان یادگیرنده‌ی ماست. در مثال سگ، سگ عامل است. در زمینه‌ی LLMها، خود LLM به عاملی تبدیل می‌شود که می‌خواهیم تعلیم دهیم. عامل تصمیم می‌گیرد و از محیط و پاداش‌های آن یاد می‌گیرد.
### محیط
این همان جهانی است که عامل در آن زندگی می‌کند و با آن تعامل دارد. برای سگ، محیط خانه و شما هستید. برای یک LLM، محیط کمی انتزاعی‌تر است؛ ممکن است کاربرانی باشد که با آن‌ها تعامل می‌کند یا سناریویی شبیه‌سازی‌شده که برایش آماده کرده‌ایم. محیط به عامل بازخورد می‌دهد.
### کنش
این‌ها انتخاب‌هایی هستند که عامل می‌تواند در محیط انجام دهد. کنش‌های سگ چیزهایی مانند «نشستن»، «ایستادن» و «واق‌واق کردن» هستند. برای یک LLM، کنش‌ها می‌توانند تولید کلمات در یک جمله، انتخاب پاسخ به یک پرسش یا تصمیم‌گیری درباره‌ی نحوه‌ی پاسخ‌گویی در یک گفت‌وگو باشند.
### پاداش
این بازخوردی است که محیط پس از انجام یک کنش به عامل می‌دهد. پاداش‌ها معمولاً عدد هستند.
**پاداش‌های مثبت** مانند خوراکی و تشویق‌اند؛ آن‌ها به عامل می‌گویند «آفرین، کار درستی انجام دادی!»
**پاداش‌های منفی** (یا جریمه‌ها) مانند «نه» گفتنی آرام‌اند؛ آن‌ها به عامل می‌گویند «این کاملاً درست نبود، چیز دیگری را امتحان کن». برای سگ، خوراکی همان پاداش است.
برای یک LLM، پاداش‌ها طوری طراحی می‌شوند که نشان دهند LLM در یک وظیفه‌ی مشخص چقدر خوب عمل می‌کند؛ مثلاً پاسخ آن چقدر مفید، درست یا بی‌ضرر است.
### سیاست
این راهبرد عامل برای انتخاب کنش‌هاست. سیاست مانند درک سگ از کاری است که باید پس از شنیدن «بنشین!» انجام دهد. در RL، چیزی که واقعاً می‌خواهیم یاد بگیریم و بهبود دهیم، سیاست است. سیاست مجموعه‌ای از قواعد یا تابعی است که به عامل می‌گوید در موقعیت‌های گوناگون چه کنشی انجام دهد. در ابتدا ممکن است سیاست تصادفی باشد، اما با یادگیری عامل، سیاست در انتخاب کنش‌هایی که به پاداش بیشتر می‌انجامند بهتر می‌شود.
## فرایند RL: آزمون و خطا
![فرایند RL](https://huggingface.co/reasoning-course/images/resolve/main/grpo/1.jpg)
یادگیری تقویتی از طریق فرایند آزمون و خطا انجام می‌شود:
| گام | فرایند | توضیح |
|------|---------|-------------|
| 1. مشاهده | عامل محیط را مشاهده می‌کند | عامل اطلاعات مربوط به وضعیت کنونی و پیرامون خود را دریافت می‌کند |
| 2. کنش | عامل بر اساس سیاست کنونی خود کنشی انجام می‌دهد | عامل با استفاده از راهبرد آموخته‌شده‌ی خود (سیاست) تصمیم می‌گیرد قدم بعدی چه باشد |
| 3. بازخورد | محیط به عامل پاداش می‌دهد | عامل بازخوردی درباره‌ی خوب یا بد بودن کنش خود دریافت می‌کند |
| 4. یادگیری | عامل سیاست خود را بر اساس پاداش به‌روزرسانی می‌کند | عامل راهبرد خود را تنظیم می‌کند؛ کنش‌هایی را که پاداش زیادی داشته‌اند تقویت می‌کند و از کنش‌هایی که پاداش کمی داشته‌اند دوری می‌کند |
| 5. تکرار | فرایند تکرار می‌شود | این چرخه ادامه می‌یابد و به عامل اجازه می‌دهد تصمیم‌گیری خود را پیوسته بهبود دهد |
به یادگیری دوچرخه‌سواری فکر کنید. ممکن است ابتدا تلوتلو بخورید و بیفتید (پاداش منفی!). اما وقتی بتوانید تعادل خود را حفظ کنید و نرم رکاب بزنید، احساس خوبی خواهید داشت (پاداش مثبت!). بر اساس این بازخورد کنش‌های خود را تنظیم می‌کنید—کمی خم شدن، سریع‌تر رکاب زدن و غیره—تا سرانجام دوچرخه‌سواری را خوب یاد بگیرید. RL نیز شبیه همین است؛ یادگیری از طریق تعامل و بازخورد.
## نقش RL در مدل‌های زبانی بزرگ (LLM)
حالا چرا RL برای مدل‌های زبانی بزرگ این‌قدر مهم است؟
تعلیم LLMهای واقعاً خوب دشوار است. می‌توانیم آن‌ها را با حجم عظیمی از متن اینترنت تعلیم دهیم و آن‌ها در پیش‌بینی کلمه‌ی بعدی جمله بسیار خوب شوند. به این ترتیب یاد می‌گیرند متنی روان و از نظر دستوری درست تولید کنند؛ همان‌طور که در [فصل ۲](/course/chapter2/1) آموختیم.
بااین‌حال، روان بودن کافی نیست. می‌خواهیم LLMهای ما چیزی بیش از مدل‌هایی باشند که فقط در کنار هم گذاشتن کلمات خوب‌اند. می‌خواهیم آن‌ها:
* **مفید باشند:** اطلاعات سودمند و مرتبط ارائه دهند.
* **بی‌ضرر باشند:** از تولید محتوای سمی، سوگیرانه یا زیان‌بار دوری کنند.
* **با ترجیحات انسان هم‌راستا باشند:** به شیوه‌ای پاسخ دهند که برای انسان طبیعی، مفید و جذاب باشد.
روش‌های پیش‌تعلیم LLM که بیشتر بر پیش‌بینی کلمه‌ی بعدی از داده‌های متنی تکیه دارند، گاهی در این جنبه‌ها کافی نیستند.
تعلیم نظارت‌شده برای تولید خروجی‌های ساختاریافته عالی است، اما ممکن است در تولید پاسخ‌های مفید، بی‌ضرر و هم‌راستا عملکرد کمتری داشته باشد. تعلیم نظارت‌شده را در [فصل ۱۱](/course/chapter11/1) بررسی می‌کنیم.
مدل‌های کوک‌شده ممکن است متنی روان و ساختاریافته تولید کنند که همچنان از نظر واقعی نادرست، سوگیرانه باشد یا واقعاً به پرسش کاربر به شکلی مفید پاسخ ندهد.
**یادگیری تقویتی وارد می‌شود\!** RL راهی برای کوک کردن این LLMهای از پیش تعلیم‌دیده در اختیارمان می‌گذارد تا بهتر به این ویژگی‌های مطلوب برسند. مانند این است که به سگ LLM خود تعلیم بیشتری بدهیم تا همراهی خوش‌رفتار و مفید شود، نه اینکه فقط سگی باشد که واق‌واق کردن را روان بلد است\!
## یادگیری تقویتی از بازخورد انسانی (RLHF)
یکی از روش‌های بسیار رایج برای هم‌راستا کردن مدل‌های زبانی، **یادگیری تقویتی از بازخورد انسانی (RLHF)** است. در RLHF، از بازخورد انسان به‌عنوان جانشینی برای سیگنال «پاداش» در RL استفاده می‌کنیم. این روش چنین کار می‌کند:
1. **ترجیحات انسانی را به دست آورید:** از انسان‌ها می‌خواهیم پاسخ‌های متفاوتی را که LLM برای یک اعلان ورودی تولید کرده مقایسه کنند و بگویند کدام پاسخ را ترجیح می‌دهند. برای نمونه، ممکن است دو پاسخ متفاوت به پرسش «پایتخت فرانسه کجاست؟» به انسانی نشان دهیم و بپرسیم «کدام پاسخ بهتر است؟»
2. **یک مدل پاداش تعلیم دهید:** از داده‌های ترجیح انسانی برای تعلیم مدل جداگانه‌ای به نام **مدل پاداش** استفاده می‌کنیم. این مدل یاد می‌گیرد پیش‌بینی کند انسان‌ها چه نوع پاسخ‌هایی را ترجیح می‌دهند. همچنین یاد می‌گیرد پاسخ‌ها را بر اساس مفید بودن، بی‌ضرر بودن و هم‌راستایی با ترجیحات انسانی امتیازدهی کند.
3. **LLM را با RL کوک کنید:** اکنون از مدل پاداش به‌عنوان محیط عامل LLM استفاده می‌کنیم. LLM پاسخ‌هایی تولید می‌کند (کنش‌ها) و مدل پاداش به آن پاسخ‌ها امتیاز می‌دهد (پاداش فراهم می‌کند). در اصل، LLM را تعلیم می‌دهیم متنی تولید کند که مدل پاداش ما، که از ترجیحات انسانی یاد گرفته است، آن را خوب می‌داند.
![مفهوم پایه‌ی RL](https://huggingface.co/reasoning-course/images/resolve/main/grpo/2.jpg)
از دیدگاهی کلی، مزایای استفاده از RL در LLMها را بررسی کنیم:
| مزیت | توضیح |
|---------|-------------|
| کنترل بهتر | RL کنترل بیشتری بر نوع متنی که LLMها تولید می‌کنند در اختیارمان می‌گذارد. می‌توانیم آن‌ها را هدایت کنیم تا متنی تولید کنند که با هدف‌های مشخصی مانند مفید، خلاق یا مختصر بودن هم‌راستا باشد. |
| هم‌راستایی بیشتر با ارزش‌های انسانی | RLHF، به‌ویژه، کمک می‌کند LLMها را با ترجیحات انسانی پیچیده و اغلب ذهنی هم‌راستا کنیم. نوشتن قواعدی برای «چه چیزی یک پاسخ خوب می‌سازد» دشوار است، اما انسان‌ها می‌توانند پاسخ‌ها را به‌سادگی قضاوت و مقایسه کنند. RLHF به مدل اجازه می‌دهد از این قضاوت‌های انسانی یاد بگیرد. |
| کاهش رفتارهای نامطلوب | می‌توان از RL برای کاهش رفتارهای منفی در LLMها استفاده کرد؛ مانند تولید زبان سمی، انتشار اطلاعات نادرست یا نشان دادن سوگیری. با طراحی پاداش‌هایی که این رفتارها را جریمه می‌کنند، می‌توانیم مدل را به دوری از آن‌ها سوق دهیم. |
یادگیری تقویتی از بازخورد انسانی برای تعلیم بسیاری از محبوب‌ترین LLMهای امروزی، مانند GPT-4 شرکت OpenAI، Gemini شرکت گوگل و R1 شرکت DeepSeek، استفاده شده است. تکنیک‌های گوناگونی برای RLHF وجود دارد که پیچیدگی و ظرافت متفاوتی دارند. در این فصل بر Group Relative Policy Optimization (GRPO) تمرکز می‌کنیم؛ تکنیکی برای RLHF که نشان داده است در تعلیم LLMهای مفید، بی‌ضرر و هم‌راستا با ترجیحات انسانی مؤثر است.
## چرا باید به GRPO (Group Relative Policy Optimization) اهمیت بدهیم؟
تکنیک‌های گوناگونی برای RLHF وجود دارد، اما این دوره بر GRPO تمرکز دارد، زیرا این روش پیشرفت مهمی در یادگیری تقویتی برای مدل‌های زبانی به شمار می‌رود.
بیایید به‌اختصار دو تکنیک محبوب دیگر برای RLHF را در نظر بگیریم:
- Proximal Policy Optimization (PPO)
- Direct Preference Optimization (DPO)
Proximal Policy Optimization (PPO) یکی از نخستین تکنیک‌های بسیار مؤثر برای RLHF بود. این روش با استفاده از یک روش گرادیان سیاست، سیاست را بر اساس پاداشی که یک مدل پاداش جداگانه فراهم می‌کند به‌روزرسانی می‌کند.
Direct Preference Optimization (DPO) بعداً به‌عنوان تکنیکی ساده‌تر توسعه یافت که با استفاده‌ی مستقیم از داده‌های ترجیحی، نیاز به مدل پاداش جداگانه را از بین می‌برد. در اصل، مسئله را به یک مسئله‌ی دسته‌بندی میان پاسخ انتخاب‌شده و پاسخ ردشده تبدیل می‌کند.
> [!TIP]
> DPO و PPO خود الگوریتم‌های پیچیده‌ی یادگیری تقویتی هستند و در این دوره آن‌ها را پوشش نمی‌دهیم. اگر می‌خواهید درباره‌ی آن‌ها بیشتر بدانید، منابع زیر را ببینید:
>
> - [بهینه‌سازی سیاست نزدیک](https://huggingface.co/docs/trl/main/en/ppo_trainer)
> - [بهینه‌سازی مستقیم ترجیحات](https://huggingface.co/docs/trl/main/en/dpo_trainer)
برخلاف DPO و PPO، GRPO نمونه‌های مشابه را کنار هم قرار می‌دهد و آن‌ها را به‌صورت گروهی مقایسه می‌کند. رویکرد گروه‌محور در مقایسه با روش‌های دیگر، گرادیان‌های باثبات‌تر و ویژگی‌های همگرایی بهتری فراهم می‌کند.
GRPO مانند DPO از داده‌های ترجیح استفاده نمی‌کند، بلکه گروه‌هایی از نمونه‌های مشابه را با استفاده از سیگنال پاداش یک مدل یا تابع مقایسه می‌کند.
GRPO در نحوه‌ی دریافت سیگنال‌های پاداش انعطاف‌پذیر است؛ می‌تواند با یک مدل پاداش (مانند PPO) کار کند، اما الزاماً به آن نیاز ندارد. دلیلش این است که GRPO می‌تواند سیگنال‌های پاداش را از هر تابع یا مدلی دریافت کند که قادر به ارزیابی کیفیت پاسخ‌ها باشد.
برای نمونه، می‌توانیم از تابعی برای طول استفاده کنیم تا پاسخ‌های کوتاه‌تر را پاداش دهد، از حل‌گر ریاضی برای بررسی درست بودن راه‌حل استفاده کنیم، یا از تابع درستی واقعی برای پاداش دادن به پاسخ‌هایی استفاده کنیم که از نظر واقعی دقیق‌ترند. این انعطاف‌پذیری GRPO را برای انواع گوناگون وظایف هم‌راستاسازی بسیار توانمند می‌کند.
---
آفرین، ماژول ۱ را به پایان رساندید\! اکنون مقدمه‌ای محکم بر یادگیری تقویتی و نقش مهم آن در شکل دادن به آینده‌ی مدل‌های زبانی بزرگ دارید. مفاهیم پایه‌ی RL، دلیل استفاده از آن برای LLMها و GRPO، یکی از الگوریتم‌های کلیدی این حوزه، را می‌شناسید.
در ماژول بعدی دست‌به‌کار می‌شویم و مقاله‌ی DeepSeek R1 را بررسی می‌کنیم تا این مفاهیم را در عمل ببینیم\!
## آزمون
### ۱. اجزای اصلی یادگیری تقویتی کدام‌اند؟
<Question
choices={[
{
text: "عامل، محیط، کنش، پاداش و سیاست",
explain: "درست است! این‌ها اجزای بنیادی تشکیل‌دهنده‌ی یک سامانه‌ی یادگیری تقویتی هستند.",
correct: true
},
{
text: "مدل، داده، تابع هزینه و بهینه‌ساز",
explain: "این‌ها اجزایی هستند که بیشتر با یادگیری نظارت‌شده مرتبط‌اند."
},
{
text: "ورودی، خروجی و لایه‌های پنهان",
explain: "این‌ها اجزای معماری شبکه‌ی عصبی هستند، نه اجزای خاص RL."
}
]}
/>
### ۲. مزیت اصلی RLHF برای تعلیم مدل‌های زبانی چیست؟
<Question
choices={[
{
text: "کمک می‌کند مدل‌ها با ترجیحات و ارزش‌های انسانی هم‌راستا شوند",
explain: "درست است! RLHF از بازخورد انسانی استفاده می‌کند تا مدل‌ها را به سوی رفتاری مفیدتر، بی‌ضررتر و هم‌راستاتر هدایت کند.",
correct: true
},
{
text: "باعث می‌شود مدل‌ها متن را سریع‌تر تولید کنند",
explain: "RLHF در درجه‌ی نخست برای بهبود سرعت تولید نیست."
},
{
text: "مصرف حافظه‌ی مدل را کاهش می‌دهد",
explain: "RLHF بر کارایی مدل یا بهینه‌سازی حافظه تمرکز ندارد."
}
]}
/>
### ۳. در زمینه‌ی RL برای LLMها، چه چیزی یک «کنش» را نشان می‌دهد؟
<Question
choices={[
{
text: "تولید کلمات یا انتخاب پاسخ‌ها در یک گفت‌وگو",
explain: "درست است! برای LLMها، کنش‌ها معمولاً شامل تصمیم‌های مربوط به تولید متن هستند.",
correct: true
},
{
text: "به‌روزرسانی وزن‌های مدل",
explain: "این بخشی از فرایند تعلیم است، نه یک کنش در زمینه‌ی RL."
},
{
text: "پردازش توکِن‌های ورودی",
explain: "این بخشی از عملکرد مدل است، نه یک کنش در زمینه‌ی RL."
}
]}
/>
### ۴. نقش پاداش در تعلیم RL مدل‌های زبانی چیست؟
<Question
choices={[
{
text: "بازخوردی درباره‌ی میزان هم‌راستایی پاسخ‌های مدل با رفتار مطلوب فراهم می‌کند",
explain: "درست است! پاداش‌ها مدل را به سوی تولید پاسخ‌هایی مفیدتر، درست‌تر و مناسب‌تر هدایت می‌کنند.",
correct: true
},
{
text: "اندازه‌ی واژگان مدل را اندازه‌گیری می‌کند",
explain: "از پاداش‌ها برای ارزیابی دانش واژگان استفاده نمی‌شود."
},
{
text: "سرعت تعلیم مدل را تعیین می‌کند",
explain: "پاداش‌ها درباره‌ی کیفیت پاسخ بازخورد می‌دهند، نه کارایی تعلیم."
}
]}
/>
### ۵. پاداش در زمینه‌ی RL برای LLMها چیست؟
<Question
choices={[
{
text: "امتیازی عددی که کیفیت یک پاسخ را اندازه‌گیری می‌کند",
explain: "درست است! پاداش‌ها درباره‌ی کیفیت پاسخ بازخورد می‌دهند و مدل را به سوی رفتار مطلوب هدایت می‌کنند.",
correct: true
},
{
text: "تابعی که پاسخ تولید می‌کند",
explain: "پاداش‌ها بازخوردی درباره‌ی کیفیت پاسخ‌اند، نه خود فرایند تولید."
},
{
text: "مدلی که کیفیت پاسخ‌ها را ارزیابی می‌کند",
explain: "پاداش‌ها بازخوردی درباره‌ی کیفیت پاسخ‌اند، نه یک مدل ارزیابی."
}
]}
/>

Xet Storage Details

Size:
23.7 kB
·
Xet hash:
129e6fb439e1b715b933ea73d9c7b8a4eefa8b194b0ff64c8583d6bb429fc3b4

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.