Buckets:

download
raw
38.4 kB
import"../chunks/DsnmJJEf.js";import{i as W,h as F,C as X,H as l,b as P,E as D,s as z}from"../chunks/BjCHz3cj.js";import{p as H,o as Y,s as e,f as N,t as Q,a as C,b as K,d as q,c as L,r as $,n as ee}from"../chunks/B3UUDp28.js";import{Q as a}from"../chunks/NA1Q7nSg.js";const le='{"title":"درک مقاله‌ی DeepSeek R1","local":"درک-مقالهی-deepseek-r1","sections":[{"title":"لحظه‌ی پیشرفت «آها»","local":"لحظهی-پیشرفت-آها","sections":[],"depth":2},{"title":"فرایند تعلیم","local":"فرایند-تعلیم","sections":[{"title":"مرحله‌ی شروع سرد (پایه‌ی کیفی)","local":"مرحلهی-شروع-سرد-پایهی-کیفی","sections":[],"depth":3},{"title":"مرحله‌ی RL استدلالی (ساخت توانایی)","local":"مرحلهی-rl-استدلالی-ساخت-توانایی","sections":[],"depth":3},{"title":"مرحله‌ی نمونه‌گیری ردشدن (کنترل کیفیت)","local":"مرحلهی-نمونهگیری-ردشدن-کنترل-کیفیت","sections":[],"depth":3},{"title":"مرحله‌ی RL متنوع (هم‌راستاسازی گسترده)","local":"مرحلهی-rl-متنوع-همراستاسازی-گسترده","sections":[],"depth":3}],"depth":2},{"title":"الگوریتم: Group Relative Policy Optimization (GRPO)","local":"الگوریتم-group-relative-policy-optimization-grpo","sections":[{"title":"تشکیل گروه: ایجاد راه‌حل‌های متعدد","local":"تشکیل-گروه-ایجاد-راهحلهای-متعدد","sections":[],"depth":3},{"title":"یادگیری ترجیحات: درک ویژگی‌های یک راه‌حل خوب","local":"یادگیری-ترجیحات-درک-ویژگیهای-یک-راهحل-خوب","sections":[],"depth":3},{"title":"بهینه‌سازی: یادگیری از تجربه","local":"بهینهسازی-یادگیری-از-تجربه","sections":[],"depth":3},{"title":"الگوریتم GRPO در شبه‌کد","local":"الگوریتم-grpo-در-شبهکد","sections":[],"depth":3}],"depth":2},{"title":"نتایج و تأثیر","local":"نتایج-و-تأثیر","sections":[],"depth":2},{"title":"محدودیت‌ها و چالش‌های GRPO","local":"محدودیتها-و-چالشهای-grpo","sections":[],"depth":2},{"title":"نتیجه‌گیری","local":"نتیجهگیری","sections":[],"depth":2},{"title":"آزمون","local":"آزمون","sections":[{"title":"۱. نوآوری اصلی مقاله‌ی DeepSeek R1 چیست؟","local":"۱-نوآوری-اصلی-مقالهی-deepseek-r1-چیست","sections":[],"depth":3},{"title":"۲. چهار مرحله‌ی فرایند تعلیم DeepSeek R1 کدام‌اند؟","local":"۲-چهار-مرحلهی-فرایند-تعلیم-deepseek-r1-کداماند","sections":[],"depth":3},{"title":"۳. پدیده‌ی «لحظه‌ی آها» در تعلیم R1-Zero چیست؟","local":"۳-پدیدهی-لحظهی-آها-در-تعلیم-r1-zero-چیست","sections":[],"depth":3},{"title":"۴. تشکیل گروه در GRPO چگونه کار می‌کند؟","local":"۴-تشکیل-گروه-در-grpo-چگونه-کار-میکند","sections":[],"depth":3},{"title":"۵. تفاوت اصلی DeepSeek-R1-Zero و DeepSeek-R1 چیست؟","local":"۵-تفاوت-اصلی-deepseek-r1-zero-و-deepseek-r1-چیست","sections":[],"depth":3}],"depth":2}],"depth":1}';var te=L('<meta name="hf:doc:metadata"/>'),ae=L('<p></p> <!> <!> <div dir="rtl"><p>این فصل یک دوره‌ی فشرده برای خواندن مقاله است. مقاله را با زبانی ساده مرور می‌کنیم و سپس مفاهیم و نکات اصلی آن را بررسی خواهیم کرد.</p> <p>DeepSeek R1 پیشرفتی چشمگیر در تعلیم مدل‌های زبانی، به‌ویژه در ایجاد توانایی‌های استدلالی از طریق یادگیری تقویتی، به شمار می‌رود. این مقاله الگوریتم تازه‌ای برای یادگیری تقویتی به نام Group Relative Policy Optimization (GRPO) معرفی می‌کند.</p> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/4.png" alt="نمای کلی DeepSeek R1"/></p> <p>در فصل بعد بر این دانش تکیه می‌کنیم و GRPO را در عمل پیاده‌سازی خواهیم کرد.</p> <p>هدف اولیه‌ی مقاله بررسی این بود که آیا یادگیری تقویتی خالص می‌تواند بدون کوک کردن نظارت‌شده توانایی استدلال ایجاد کند یا نه.</p> <blockquote class="tip"><p>تا آن زمان، همه‌ی LLMهای محبوب به نوعی کوک کردن نظارت‌شده نیاز داشتند؛ موضوعی که در <a href="/course/chapter11/1">فصل ۱۱</a> بررسی کردیم.</p></blockquote> <!> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/9.png" alt="لحظه‌ی «آها»"/></p> <p>یکی از شگفت‌انگیزترین کشف‌ها در تعلیم R1-Zero ظهور پدیده‌ای به نام «لحظه‌ی آها» بود. این پدیده تا حدی شبیه لحظه‌ای است که انسان هنگام حل مسئله ناگهان چیزی را درمی‌یابد. این فرایند چنین است:</p> <ol><li>تلاش اولیه: مدل نخستین تلاش خود را برای حل مسئله انجام می‌دهد</li> <li>تشخیص: مدل خطاها یا ناسازگاری‌های احتمالی را تشخیص می‌دهد</li> <li>اصلاح خودکار: بر اساس این تشخیص رویکرد خود را تنظیم می‌کند</li> <li>توضیح: می‌تواند توضیح دهد چرا رویکرد جدید بهتر است</li></ol> <p>این پیشرفت برای یادگیرندگان جذاب است و حسی شبیه لحظه‌ی «یافتم!» ایجاد می‌کند. این پدیده یادگیری را، نه صرفاً حفظ کردن، نشان می‌دهد؛ پس لحظه‌ای تصور کنیم داشتن چنین «لحظه‌ی آها»یی چه حسی دارد.</p> <p>برای نمونه، تصور کنید می‌خواهید معمایی را حل کنید:</p> <ul><li>تلاش اول: «این قطعه باید بر اساس رنگش اینجا قرار بگیرد»</li> <li>تشخیص: «اما صبر کن، شکلش کاملاً جور درنمی‌آید»</li> <li>اصلاح: «آهان، در واقع باید آن طرف قرار بگیرد»</li> <li>توضیح: «چون هم الگوی رنگ و هم الگوی شکل در این موقعیت مطابقت دارند»</li></ul> <p>این توانایی به‌طور طبیعی از تعلیم RL پدیدار شد، بدون اینکه به‌طور صریح برنامه‌ریزی شده باشد؛ و یادگیری، نه صرفاً حفظ فرایندی از داده‌های تعلیم، را نشان می‌دهد.</p> <p>ساده‌ترین راه برای درک لحظه‌ی «آها» دیدن آن در عمل است. بیایید مثالی را ببینیم. در گفت‌وگوی زیر، از مدل می‌خواهیم مسئله‌ای را حل کند و رابط کاربری فرایند فکر کردن مدل هنگام حل مسئله را نشان می‌دهد.</p> <iframe src="https://reasoning-course-deepseek-ai-deepseek-r1-distill-0f5fad4.hf.space/" frameborder="0" width="850" height="450"></iframe> <p>اگر می‌خواهید R1 متعلق به DeepSeek را امتحان کنید، <a href="https://huggingface.co/chat/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B" rel="nofollow">Hugging Chat</a> را نیز ببینید.</p> <!> <p>تعلیم R1 فرایندی چندمرحله‌ای بود. بیایید مراحل و نوآوری‌های اصلی هر مرحله را بررسی کنیم.</p> <p>فرایند نهایی به دو مدل می‌انجامد:</p> <ul><li>DeepSeek-R1-Zero: مدلی که کاملاً با یادگیری تقویتی تعلیم داده شده است.</li> <li>DeepSeek-R1: مدلی که بر پایه‌ی DeepSeek-R1-Zero ساخته شده و تعلیم نظارت‌شده را نیز اضافه می‌کند.</li></ul> <table><thead><tr><th>ویژگی</th><th>DeepSeek-R1-Zero</th><th>DeepSeek-R1</th></tr></thead><tbody><tr><td>رویکرد تعلیم</td><td>RL خالص</td><td>چندمرحله‌ای (SFT + RL)</td></tr><tr><td>کوک کردن</td><td>ندارد</td><td>کوک کردن نظارت‌شده</td></tr><tr><td>توانایی استدلال</td><td>پدیدارشونده</td><td>تقویت‌شده</td></tr><tr><td>عملکرد AIME</td><td>71.0%</td><td>79.8%</td></tr><tr><td>ویژگی‌های اصلی</td><td>استدلال قوی اما مشکلات خوانایی</td><td>سازگاری زبانی و خوانایی بهتر</td></tr></tbody></table> <p>DeepSeek-R1-Zero ظرفیت یادگیری تقویتی خالص برای ایجاد توانایی استدلال را نشان می‌دهد، درحالی‌که DeepSeek-R1 با تکیه بر این پایه رویکردی متعادل‌تر در پیش می‌گیرد که هم عملکرد استدلالی و هم قابلیت استفاده را در اولویت قرار می‌دهد.</p> <p>فرایند تعلیم چهار مرحله دارد:</p> <ol><li>مرحله‌ی شروع سرد</li> <li>مرحله‌ی RL استدلالی</li> <li>مرحله‌ی نمونه‌گیری ردشدن</li> <li>مرحله‌ی RL متنوع</li></ol> <p>بیایید هر مرحله را بررسی کنیم:</p> <!> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/5.png" alt="مرحله‌ی شروع سرد"/></p> <p>این مرحله برای ایجاد پایه‌ای قوی برای خوانایی و کیفیت پاسخ مدل طراحی شده است. در این مرحله از دیتاسِتی کوچک از نمونه‌های باکیفیت R1-Zero برای کوک کردن مدل V3-Base استفاده می‌شود. تیم با شروع از مدل DeepSeek-V3-Base، هزاران نمونه‌ی معتبر و باکیفیت از R1-Zero را برای کوک کردن نظارت‌شده به کار برد. این رویکرد نوآورانه از دیتاسِتی کوچک اما باکیفیت استفاده می‌کند تا خوانایی و کیفیت پاسخ پایه‌ی قدرتمندی ایجاد شود.</p> <!> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/6.png" alt="مرحله‌ی RL استدلالی"/></p> <p>مرحله‌ی RL استدلالی بر ایجاد توانایی‌های اصلی استدلال در حوزه‌هایی مانند ریاضیات، کدنویسی، علوم و منطق تمرکز دارد. در این مرحله از یادگیری تقویتی مبتنی بر قواعد استفاده می‌شود و پاداش‌ها مستقیماً به درست بودن راه‌حل وابسته‌اند.</p> <p>نکته‌ی مهم این است که همه‌ی وظایف این مرحله «قابل راستی‌آزمایی» هستند؛ بنابراین می‌توانیم درست یا نادرست بودن پاسخ مدل را بررسی کنیم. برای نمونه، در ریاضیات می‌توانیم با استفاده از حل‌گر ریاضی بررسی کنیم پاسخ مدل درست است یا نه.</p> <p>نوآوری ویژه‌ی این مرحله رویکرد بهینه‌سازی مستقیم آن است که نیاز به مدل پاداش جداگانه را از بین می‌برد و فرایند تعلیم را ساده‌تر می‌کند.</p> <!> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/7.png" alt="مرحله‌ی نمونه‌گیری ردشدن"/></p> <p>در مرحله‌ی نمونه‌گیری ردشدن، مدل نمونه‌هایی تولید می‌کند که سپس از یک فرایند کنترل کیفیت عبور داده می‌شوند. DeepSeek-V3 داور کیفیت است و خروجی‌ها را در دامنه‌ای گسترده، فراتر از وظایف صرفاً استدلالی، ارزیابی می‌کند. سپس از داده‌های پالایش‌شده برای کوک کردن نظارت‌شده استفاده می‌شود. نوآوری این مرحله توانایی آن در ترکیب چند سیگنال کیفیت برای تضمین خروجی‌های با استاندارد بالا است.</p> <!> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/8.png" alt="مرحله‌ی RL متنوع"/></p> <p>مرحله‌ی نهایی RL متنوع با رویکردی ترکیبی و پیشرفته، انواع وظایف را پوشش می‌دهد. برای وظایف قطعی از پاداش‌های مبتنی بر قواعد استفاده می‌کند، درحالی‌که وظایف ذهنی با بازخورد LLM ارزیابی می‌شوند. هدف این مرحله دستیابی به هم‌راستایی با ترجیحات انسانی از طریق رویکرد نوآورانه‌ی پاداش ترکیبی است؛ رویکردی که دقت سامانه‌های مبتنی بر قواعد را با انعطاف‌پذیری ارزیابی مدل زبانی ترکیب می‌کند.</p> <!> <p>حالا که درک خوبی از فرایند تعلیم پیدا کرده‌ایم، بیایید الگوریتمی را ببینیم که برای تعلیم مدل استفاده شد.</p> <p>نویسندگان GRPO را پیشرفتی مهم در کوک کردن مدل می‌دانند:</p> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/10.png" alt="فرایند GRPO"/></p> <p>نوآوری GRPO در توانایی آن برای «بهینه‌سازی مستقیم اصلاح ترجیحات» است. این ویژگی مسیر مستقیم‌تر و کارآمدتری برای هم‌راستا کردن مدل با خروجی‌های مطلوب فراهم می‌کند و با الگوریتم‌های سنتی یادگیری تقویتی مانند PPO تفاوت دارد. بیایید GRPO را در سه مؤلفه‌ی اصلی آن بررسی کنیم.</p> <!> <p>نخستین گام در GRPO بسیار شهودی است؛ شبیه کاری که دانش‌آموز برای حل مسئله‌ای دشوار با امتحان کردن چند رویکرد انجام می‌دهد. وقتی اعلانی به مدل داده می‌شود، مدل فقط یک پاسخ تولید نمی‌کند؛ بلکه چند تلاش برای حل همان مسئله ایجاد می‌کند (معمولاً ۴، ۸ یا ۱۶ تلاش متفاوت).</p> <p>تصور کنید به مدلی تعلیم می‌دهید مسائل ریاضی را حل کند. برای پرسشی درباره‌ی شمارش مرغ‌ها در یک مزرعه، مدل ممکن است چند راه‌حل مختلف تولید کند:</p> <ul><li>یک راه‌حل ممکن است مسئله را مرحله‌به‌مرحله باز کند: ابتدا تعداد کل مرغ‌ها را بشمارد، سپس خروس‌ها را کم کند و در پایان مرغ‌های تخم‌نکننده را در نظر بگیرد</li> <li>راه‌حل دیگری ممکن است از رویکردی متفاوت اما به همان اندازه معتبر استفاده کند</li> <li>بعضی تلاش‌ها ممکن است اشتباه یا کم‌کارآمدتر باشند</li></ul> <p>همه‌ی این تلاش‌ها کنار هم و در قالب یک گروه نگه داشته می‌شوند؛ مانند چند راه‌حل از چند دانش‌آموز که برای مقایسه و یادگیری در اختیار داریم.</p> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/11.jpg" alt="تشکیل گروه"/></p> <!> <p>اینجاست که سادگی GRPO واقعاً خود را نشان می‌دهد. برخلاف روش‌های دیگر RLHF که همیشه به مدل پاداش جداگانه‌ای برای پیش‌بینی کیفیت احتمالی راه‌حل نیاز دارند، GRPO می‌تواند از هر تابع یا مدلی برای ارزیابی کیفیت راه‌حل استفاده کند. برای نمونه، می‌توانیم از تابعی برای طول استفاده کنیم تا پاسخ‌های کوتاه‌تر را پاداش دهد یا از حل‌گر ریاضی برای پاداش دادن به راه‌حل‌های دقیق ریاضی استفاده کنیم.</p> <p>فرایند ارزیابی جنبه‌های مختلف هر راه‌حل را بررسی می‌کند:</p> <ul><li>آیا پاسخ نهایی درست است؟</li> <li>آیا راه‌حل از قالب‌بندی درست پیروی می‌کند (مثلاً از برچسب‌های XML مناسب استفاده می‌کند)؟</li> <li>آیا استدلال با پاسخ ارائه‌شده مطابقت دارد؟</li></ul> <p>نکته‌ی هوشمندانه‌ی این رویکرد نحوه‌ی امتیازدهی آن است. GRPO به‌جای دادن امتیازهای مطلق، پاداش‌ها را درون هر گروه نرمال می‌کند. برای برآورد مزیت نسبی گروه از فرمولی ساده اما مؤثر استفاده می‌کند:</p> <!> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/12.jpg" alt="یادگیری ترجیحات"/></p> <p>این نرمال‌سازی مانند نمره‌دهی بر اساس منحنی است، با این تفاوت که برای هوش مصنوعی انجام می‌شود. به مدل کمک می‌کند بفهمد کدام راه‌حل‌ها درون گروه، در مقایسه با همتایان خود، بهتر یا بدتر بوده‌اند؛ نه اینکه فقط امتیازهای مطلق را ببیند.</p> <!> <p>گام نهایی جایی است که GRPO به مدل می‌آموزد بر اساس آنچه از ارزیابی گروه راه‌حل‌ها یاد گرفته است بهبود پیدا کند. این فرایند قدرتمند و باثبات است و از دو اصل اصلی استفاده می‌کند:</p> <ol><li>مدل را تشویق می‌کند راه‌حل‌های بیشتری شبیه راه‌حل‌های موفق تولید کند و از رویکردهای کم‌اثر فاصله بگیرد</li> <li>سازوکار ایمنی‌ای (به نام جریمه‌ی واگرایی KL) دارد که مانع تغییرات بیش از حد مدل در یک‌باره می‌شود</li></ol> <p>این رویکرد از روش‌های سنتی باثبات‌تر است، زیرا:</p> <ul><li>چند راه‌حل را با هم بررسی می‌کند، نه اینکه فقط دو راه‌حل را هر بار مقایسه کند</li> <li>نرمال‌سازی گروه‌محور به پیشگیری از مشکلات مقیاس‌بندی پاداش کمک می‌کند</li> <li>جریمه‌ی KL مانند یک شبکه‌ی ایمنی عمل می‌کند و مطمئن می‌شود مدل هنگام یادگیری چیزهای جدید، آنچه را از قبل می‌داند فراموش نمی‌کند</li></ul> <blockquote class="tip"><p>نوآوری‌های اصلی GRPO عبارت‌اند از:</p> <ul><li>یادگیری مستقیم از هر تابع یا مدل، که وابستگی به مدل پاداش جداگانه را از بین می‌برد.</li> <li>یادگیری گروه‌محور، که از روش‌های سنتی مانند مقایسه‌های دوتایی باثبات‌تر و کارآمدتر است.</li></ul></blockquote> <p>این تجزیه‌وتحلیل پیچیده است، اما نکته‌ی اصلی این است که GRPO روشی کارآمدتر و باثبات‌تر برای تعلیم مدل به‌منظور استدلال است.</p> <!> <p>حالا که مؤلفه‌های اصلی GRPO را می‌شناسیم، الگوریتم را در قالب شبه‌کد ببینیم. این نسخه ساده‌شده است، اما ایده‌های اصلی را در خود دارد.</p> <!> <p>این الگوریتم نشان می‌دهد GRPO چگونه برآورد مزیت گروه‌محور را با بهینه‌سازی سیاست ترکیب می‌کند و هم‌زمان با برش و محدودیت‌های واگرایی KL ثبات را حفظ می‌کند.</p> <!> <p>حالا که الگوریتم را بررسی کردیم، نتایج را ببینیم. DeepSeek R1 در چندین حوزه به عملکردی در سطح پیشرفته دست پیدا می‌کند:</p> <table><thead><tr><th>حوزه</th><th>نتایج اصلی</th></tr></thead><tbody><tr><td>ریاضیات</td><td>• 79.8% در AIME 2024<br/>• 97.3% در MATH-500</td></tr><tr><td>کدنویسی</td><td>• امتیاز Codeforces: 2029<br/>• LiveCodeBench: 65.9%</td></tr><tr><td>دانش عمومی</td><td>• MMLU: 90.8%<br/>• GPQA Diamond: 71.5%</td></tr><tr><td>وظایف زبانی</td><td>• نرخ برد AlpacaEval 2.0: 87.6%<br/>• FRAMES: 82.5%</td></tr></tbody></table> <p>تأثیر عملی مدل فراتر از محک‌هاست و قیمت‌گذاری مقرون‌به‌صرفه‌ی API (۰٫۱۴ دلار به‌ازای هر میلیون توکِن ورودی) و تقطیر موفق مدل در اندازه‌های گوناگون (از 1.5B تا 70B پارامتر) را نیز دربرمی‌گیرد. شایان توجه است که حتی مدل 7B در AIME 2024 به امتیاز 55.5% می‌رسد، درحالی‌که نسخه‌ی تقطیرشده‌ی 70B در MATH-500 به عملکرد o1-mini نزدیک می‌شود (94.5%)؛ این موضوع حفظ مؤثر توانایی‌ها در مقیاس‌های گوناگون را نشان می‌دهد.</p> <!> <p>با اینکه GRPO پیشرفتی مهم در یادگیری تقویتی برای مدل‌های زبانی است، درک محدودیت‌ها و چالش‌های آن اهمیت دارد:</p> <ul><li><strong>هزینه‌ی تولید</strong>: تولید چند تکمیل (۴ تا ۱۶) برای هر اعلان، در مقایسه با روش‌هایی که فقط یک یا دو تکمیل تولید می‌کنند، نیازهای محاسباتی را افزایش می‌دهد.</li> <li><strong>محدودیت اندازه‌ی بتچ</strong>: نیاز به پردازش گروهی تکمیل‌ها می‌تواند اندازه‌ی مؤثر بتچ را محدود کند، پیچیدگی فرایند تعلیم را افزایش دهد و احتمالاً تعلیم را کندتر کند.</li> <li><strong>طراحی تابع پاداش</strong>: کیفیت تعلیم به‌شدت به تابع‌های پاداش خوب‌طراحی‌شده وابسته است. پاداش‌های ضعیف ممکن است به رفتارهای ناخواسته یا بهینه‌سازی برای هدف‌های نادرست منجر شوند.</li> <li><strong>مصالحه‌ی اندازه‌ی گروه</strong>: انتخاب اندازه‌ی بهینه‌ی گروه مستلزم ایجاد تعادل میان تنوع راه‌حل‌ها و هزینه‌ی محاسباتی است. نمونه‌های بسیار کم ممکن است تنوع کافی فراهم نکنند، درحالی‌که تعداد بسیار زیاد زمان تعلیم و منابع لازم را افزایش می‌دهد.</li> <li><strong>تنظیم واگرایی KL</strong>: یافتن تعادل مناسب برای جریمه‌ی واگرایی KL به تنظیم دقیق نیاز دارد؛ مقدار بیش از حد زیاد مانع یادگیری مؤثر مدل می‌شود و مقدار بیش از حد کم ممکن است باعث شود مدل بیش از اندازه از توانایی‌های اولیه‌ی خود فاصله بگیرد.</li></ul> <!> <p>مقاله‌ی DeepSeek R1 نقطه‌ی عطفی مهم در توسعه‌ی مدل‌های زبانی است. الگوریتم Group Relative Policy Optimization (GRPO) نشان داده است که یادگیری تقویتی خالص واقعاً می‌تواند توانایی‌های استدلالی قدرتمندی ایجاد کند و فرض‌های قبلی درباره‌ی ضرورت کوک کردن نظارت‌شده را به چالش بکشد.</p> <p>شاید مهم‌تر از همه، DeepSeek R1 نشان داده باشد که می‌توان عملکرد بالا را با ملاحظات عملی مانند مقرون‌به‌صرفه بودن و دسترس‌پذیری متعادل کرد. تقطیر موفق توانایی‌های مدل در اندازه‌های مختلف، از 1.5B تا 70B پارامتر، مسیری برای دسترس‌پذیرتر کردن توانایی‌های پیشرفته‌ی هوش مصنوعی نشان می‌دهد.</p> <hr/> <p>در بخش بعدی پیاده‌سازی‌های عملی این مفاهیم را بررسی می‌کنیم و بر نحوه‌ی استفاده از GRPO و RFTrans در پروژه‌های توسعه‌ی مدل زبانی خود تمرکز خواهیم داشت.</p> <!> <!> <!> <!> <!> <!> <!> <!> <!> <!> <!></div> <!> <p></p>',1);function ne(O,I){H(I,!1),Y(()=>{new URLSearchParams(window.location.search).get("fw")}),W();var i=ae();F("1hrs6xn",S=>{var x=te();z(x,"content",le),C(S,x)});var p=e(N(i),2);X(p,{containerStyle:"float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"});var o=e(p,2);l(o,{title:"درک مقاله‌ی DeepSeek R1",local:"درک-مقالهی-deepseek-r1",headingTag:"h1"});var t=e(o,2),s=e(q(t),12);l(s,{title:"لحظه‌ی پیشرفت «آها»",local:"لحظهی-پیشرفت-آها",headingTag:"h2"});var n=e(s,22);l(n,{title:"فرایند تعلیم",local:"فرایند-تعلیم",headingTag:"h2"});var r=e(n,18);l(r,{title:"مرحله‌ی شروع سرد (پایه‌ی کیفی)",local:"مرحلهی-شروع-سرد-پایهی-کیفی",headingTag:"h3"});var c=e(r,6);l(c,{title:"مرحله‌ی RL استدلالی (ساخت توانایی)",local:"مرحلهی-rl-استدلالی-ساخت-توانایی",headingTag:"h3"});var d=e(c,10);l(d,{title:"مرحله‌ی نمونه‌گیری ردشدن (کنترل کیفیت)",local:"مرحلهی-نمونهگیری-ردشدن-کنترل-کیفیت",headingTag:"h3"});var M=e(d,6);l(M,{title:"مرحله‌ی RL متنوع (هم‌راستاسازی گسترده)",local:"مرحلهی-rl-متنوع-همراستاسازی-گسترده",headingTag:"h3"});var h=e(M,6);l(h,{title:"الگوریتم: Group Relative Policy Optimization (GRPO)",local:"الگوریتم-group-relative-policy-optimization-grpo",headingTag:"h2"});var g=e(h,10);l(g,{title:"تشکیل گروه: ایجاد راه‌حل‌های متعدد",local:"تشکیل-گروه-ایجاد-راهحلهای-متعدد",headingTag:"h3"});var m=e(g,12);l(m,{title:"یادگیری ترجیحات: درک ویژگی‌های یک راه‌حل خوب",local:"یادگیری-ترجیحات-درک-ویژگیهای-یک-راهحل-خوب",headingTag:"h3"});var j=e(m,10);P(j,{code:"QWR2YW50YWdlJTIwJTNEJTIwKHJld2FyZCUyMC0lMjBtZWFuKGdyb3VwX3Jld2FyZHMpKSUyMCUyRiUyMHN0ZChncm91cF9yZXdhcmRzKQ==",highlighted:'<span class="hljs-variable">Advantage</span> = (<span class="hljs-variable">reward</span> - <span class="hljs-function"><span class="hljs-title">mean</span>(<span class="hljs-variable">group_rewards</span>)) / <span class="hljs-title">std</span>(<span class="hljs-variable">group_rewards</span>)</span>',lang:"",wrap:!1});var R=e(j,6);l(R,{title:"بهینه‌سازی: یادگیری از تجربه",local:"بهینهسازی-یادگیری-از-تجربه",headingTag:"h3"});var y=e(R,14);l(y,{title:"الگوریتم GRPO در شبه‌کد",local:"الگوریتم-grpo-در-شبهکد",headingTag:"h3"});var u=e(y,4);P(u,{code:"SW5wdXQlM0ElMjAlMEEtJTIwaW5pdGlhbF9wb2xpY3klM0ElMjBTdGFydGluZyUyMG1vZGVsJTIwdG8lMjBiZSUyMHRyYWluZWQlMEEtJTIwcmV3YXJkX2Z1bmN0aW9uJTNBJTIwRnVuY3Rpb24lMjB0aGF0JTIwZXZhbHVhdGVzJTIwb3V0cHV0cyUwQS0lMjB0cmFpbmluZ19wcm9tcHRzJTNBJTIwU2V0JTIwb2YlMjB0cmFpbmluZyUyMGV4YW1wbGVzJTBBLSUyMGdyb3VwX3NpemUlM0ElMjBOdW1iZXIlMjBvZiUyMG91dHB1dHMlMjBwZXIlMjBwcm9tcHQlMjAodHlwaWNhbGx5JTIwNC0xNiklMEElMEFBbGdvcml0aG0lMjBHUlBPJTNBJTBBMS4lMjBGb3IlMjBlYWNoJTIwdHJhaW5pbmclMjBpdGVyYXRpb24lM0ElMEElMjAlMjAlMjBhLiUyMFNldCUyMHJlZmVyZW5jZV9wb2xpY3klMjAlM0QlMjBpbml0aWFsX3BvbGljeSUyMChzbmFwc2hvdCUyMGN1cnJlbnQlMjBwb2xpY3kpJTBBJTIwJTIwJTIwYi4lMjBGb3IlMjBlYWNoJTIwcHJvbXB0JTIwaW4lMjBiYXRjaCUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMGkuJTIwR2VuZXJhdGUlMjBncm91cF9zaXplJTIwZGlmZmVyZW50JTIwb3V0cHV0cyUyMHVzaW5nJTIwaW5pdGlhbF9wb2xpY3klMEElMjAlMjAlMjAlMjAlMjAlMjBpaS4lMjBDb21wdXRlJTIwcmV3YXJkcyUyMGZvciUyMGVhY2glMjBvdXRwdXQlMjB1c2luZyUyMHJld2FyZF9mdW5jdGlvbiUwQSUyMCUyMCUyMCUyMCUyMCUyMGlpaS4lMjBOb3JtYWxpemUlMjByZXdhcmRzJTIwd2l0aGluJTIwZ3JvdXAlM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBub3JtYWxpemVkX2FkdmFudGFnZSUyMCUzRCUyMChyZXdhcmQlMjAtJTIwbWVhbihyZXdhcmRzKSklMjAlMkYlMjBzdGQocmV3YXJkcyklMEElMjAlMjAlMjAlMjAlMjAlMjBpdi4lMjBVcGRhdGUlMjBwb2xpY3klMjBieSUyMG1heGltaXppbmclMjB0aGUlMjBjbGlwcGVkJTIwcmF0aW8lM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBtaW4ocHJvYl9yYXRpbyUyMColMjBub3JtYWxpemVkX2FkdmFudGFnZSUyQyUyMCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGNsaXAocHJvYl9yYXRpbyUyQyUyMDEtZXBzaWxvbiUyQyUyMDElMkJlcHNpbG9uKSUyMColMjBub3JtYWxpemVkX2FkdmFudGFnZSklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAtJTIwa2xfd2VpZ2h0JTIwKiUyMEtMKGluaXRpYWxfcG9saWN5JTIwJTdDJTdDJTIwcmVmZXJlbmNlX3BvbGljeSklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjB3aGVyZSUyMHByb2JfcmF0aW8lMjBpcyUyMGN1cnJlbnRfcHJvYiUyMCUyRiUyMHJlZmVyZW5jZV9wcm9iJTBBJTBBT3V0cHV0JTNBJTIwT3B0aW1pemVkJTIwcG9saWN5JTIwbW9kZWw=",highlighted:`Input:
- initial_policy: Starting <span class="hljs-keyword">model</span> to be trained
- reward_function: Function that evaluates outputs
- training_prompts: <span class="hljs-keyword">Set</span> of <span class="hljs-comment">training examples</span>
- group_size: Number <span class="hljs-comment">of outputs per prompt (typically 4-16)</span>
Algorithm <span class="hljs-comment">GRPO:</span>
1. For <span class="hljs-comment">each training iteration:</span>
a. <span class="hljs-keyword">Set</span> <span class="hljs-comment">reference_policy = initial_policy (snapshot current policy)</span>
b. For <span class="hljs-comment">each prompt in batch:</span>
i. Generate <span class="hljs-comment">group_size different outputs using initial_policy</span>
ii. Compute <span class="hljs-comment">rewards for each output using reward_function</span>
iii. Normalize <span class="hljs-comment">rewards within group:</span>
normalized_advantage <span class="hljs-comment">= (reward - mean(rewards))</span> / std(rewards)
iv. Update policy by <span class="hljs-keyword">maximizing</span> the clipped ratio:
<span class="hljs-built_in">min</span>(prob_ratio * normalized_advantage,
clip(prob_ratio, <span class="hljs-number">1</span>-epsilon, <span class="hljs-number">1</span>+epsilon) * normalized_advantage)
- kl_weight * KL(initial_policy || reference_policy)
where prob_ratio is current_prob / <span class="hljs-comment">reference_prob</span>
Output: Optimized <span class="hljs-comment">policy model</span>`,lang:"",wrap:!1});var G=e(u,4);l(G,{title:"نتایج و تأثیر",local:"نتایج-و-تأثیر",headingTag:"h2"});var b=e(G,8);l(b,{title:"محدودیت‌ها و چالش‌های GRPO",local:"محدودیتها-و-چالشهای-grpo",headingTag:"h2"});var w=e(b,6);l(w,{title:"نتیجه‌گیری",local:"نتیجهگیری",headingTag:"h2"});var v=e(w,10);l(v,{title:"آزمون",local:"آزمون",headingTag:"h2"});var A=e(v,2);l(A,{title:"۱. نوآوری اصلی مقاله‌ی DeepSeek R1 چیست؟",local:"۱-نوآوری-اصلی-مقالهی-deepseek-r1-چیست",headingTag:"h3"});var U=e(A,2);a(U,{choices:[{text:"الگوریتم GRPO که امکان یادگیری از ترجیحات را با مدل پاداش یا بدون آن فراهم می‌کند",explain:"درست است! نوآوری اصلی GRPO توانایی آن برای بهینه‌سازی مستقیم اصلاح ترجیحات است که آن را از روش‌های سنتی RL کارآمدتر می‌کند.",correct:!0},{text:"استفاده از GPUهای بیشتر از هر مدل قبلی برای تعلیم",explain:"نوآوری مقاله در رویکرد الگوریتمی آن (GRPO) است، نه منابع محاسباتی استفاده‌شده."},{text:"ساختن مدل زبانی بزرگ‌تری نسبت به مدل‌های موجود",explain:"نوآوری در روش تعلیم و الگوریتم GRPO است، نه اندازه‌ی مدل."}]});var T=e(U,2);l(T,{title:"۲. چهار مرحله‌ی فرایند تعلیم DeepSeek R1 کدام‌اند؟",local:"۲-چهار-مرحلهی-فرایند-تعلیم-deepseek-r1-کداماند",headingTag:"h3"});var k=e(T,2);a(k,{choices:[{text:"شروع سرد، RL استدلالی، نمونه‌گیری ردشدن و RL متنوع",explain:"درست است! این‌ها دقیقاً چهار مرحله‌ی توصیف‌شده در مقاله‌اند و هرکدام هدف مشخصی در خط تعلیم دارند.",correct:!0},{text:"پیش‌تعلیم، کوک کردن، آزمون و استقرار",explain:"مقاله چهار مرحله‌ی مشخص را شرح می‌دهد: شروع سرد (پایه‌ی کیفی)، RL استدلالی (ساخت توانایی)، نمونه‌گیری ردشدن (کنترل کیفیت) و RL متنوع (هم‌راستاسازی گسترده)."},{text:"جمع‌آوری داده، تعلیم مدل، ارزیابی و بهینه‌سازی",explain:"مقاله فرایند چهارمرحله‌ای مشخصی شامل مراحل شروع سرد، RL استدلالی، نمونه‌گیری ردشدن و RL متنوع را توصیف می‌کند."}]});var B=e(k,2);l(B,{title:"۳. پدیده‌ی «لحظه‌ی آها» در تعلیم R1-Zero چیست؟",local:"۳-پدیدهی-لحظهی-آها-در-تعلیم-r1-zero-چیست",headingTag:"h3"});var J=e(B,2);a(J,{choices:[{text:"فرایندی که در آن مدل خطاها را تشخیص می‌دهد، خود را اصلاح می‌کند و اصلاحاتش را توضیح می‌دهد",explain:"درست است! مقاله این پدیده را فرایندی چهارمرحله‌ای توصیف می‌کند: تلاش اولیه، تشخیص خطاها، اصلاح خودکار و توضیح بهبود.",correct:!0},{text:"نقطه‌ای که مدل به عملکردی هم‌سطح انسان می‌رسد",explain:"«لحظه‌ی آها» مشخصاً به توانایی مدل برای تشخیص و اصلاح اشتباه‌های خودش، شبیه دریافت ناگهانی انسان هنگام حل مسئله، اشاره دارد."},{text:"زمانی که مدل فرایند تعلیم خود را کامل می‌کند",explain:"«لحظه‌ی آها» درباره‌ی توانایی پدیدارشونده‌ی مدل برای تشخیص خطاها و اصلاح خود هنگام حل مسئله است، نه پایان تعلیم."}]});var Z=e(J,2);l(Z,{title:"۴. تشکیل گروه در GRPO چگونه کار می‌کند؟",local:"۴-تشکیل-گروه-در-grpo-چگونه-کار-میکند",headingTag:"h3"});var _=e(Z,2);a(_,{choices:[{text:"برای یک مسئله‌ی یکسان چند راه‌حل (۴ تا ۱۶) تولید می‌کند و آن‌ها را با هم ارزیابی می‌کند",explain:"درست است! GRPO چند تلاش برای حل همان مسئله تولید می‌کند، معمولاً ۴، ۸ یا ۱۶ تلاش متفاوت، و سپس آن‌ها را به‌عنوان یک گروه ارزیابی می‌کند.",correct:!0},{text:"چند مدل را در یک گروه ترکیب می‌کند",explain:"GRPO از یک مدل برای تولید چند تلاش حل مسئله استفاده می‌کند، نه از مجموعه‌ای از مدل‌های متفاوت."},{text:"داده‌های تعلیم را به گروه‌های متفاوت تقسیم می‌کند",explain:"تشکیل گروه در GRPO شامل تولید چند راه‌حل برای یک مسئله است، نه تقسیم داده‌های تعلیم."}]});var f=e(_,2);l(f,{title:"۵. تفاوت اصلی DeepSeek-R1-Zero و DeepSeek-R1 چیست؟",local:"۵-تفاوت-اصلی-deepseek-r1-zero-و-deepseek-r1-چیست",headingTag:"h3"});var E=e(f,2);a(E,{choices:[{text:"R1-Zero از RL خالص استفاده می‌کند، درحالی‌که R1، RL را با کوک کردن نظارت‌شده ترکیب می‌کند",explain:"درست است! همان‌طور که جدول مقایسه نشان می‌دهد، R1-Zero از تعلیم RL خالص استفاده می‌کند، اما R1 رویکردی چندمرحله‌ای دارد که کوک کردن نظارت‌شده و RL را ترکیب می‌کند و به سازگاری زبانی بهتر می‌انجامد.",correct:!0},{text:"R1-Zero از R1 کوچک‌تر است",explain:"تفاوت آن‌ها در رویکرد تعلیم (RL خالص در برابر رویکرد چندمرحله‌ای) است، نه اندازه‌ی مدل."},{text:"R1-Zero با داده‌ی کمتری تعلیم داده شده است",explain:"تمایز اصلی روش تعلیم آن‌هاست: RL خالص برای R1-Zero در برابر رویکرد ترکیبی SFT و RL برای R1."}]}),$(t);var V=e(t,2);D(V,{source:"https://github.com/huggingface/course/blob/main/chapters/fa/chapter12/3.mdx"}),ee(2),Q(()=>t.dir=t.dir),C(O,i),K()}export{ne as component};

Xet Storage Details

Size:
38.4 kB
·
Xet hash:
91ff33772833c9d7d48e716b089d0fd1f06ad500ab5943e03031e297b633c175

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.