Buckets:

download
raw
69.5 kB
<meta charset="utf-8" /><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;درک مقاله‌ی DeepSeek R1&quot;,&quot;local&quot;:&quot;درک-مقالهی-deepseek-r1&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;لحظه‌ی پیشرفت «آها»&quot;,&quot;local&quot;:&quot;لحظهی-پیشرفت-آها&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;فرایند تعلیم&quot;,&quot;local&quot;:&quot;فرایند-تعلیم&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;مرحله‌ی شروع سرد (پایه‌ی کیفی)&quot;,&quot;local&quot;:&quot;مرحلهی-شروع-سرد-پایهی-کیفی&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;مرحله‌ی RL استدلالی (ساخت توانایی)&quot;,&quot;local&quot;:&quot;مرحلهی-rl-استدلالی-ساخت-توانایی&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;مرحله‌ی نمونه‌گیری ردشدن (کنترل کیفیت)&quot;,&quot;local&quot;:&quot;مرحلهی-نمونهگیری-ردشدن-کنترل-کیفیت&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;مرحله‌ی RL متنوع (هم‌راستاسازی گسترده)&quot;,&quot;local&quot;:&quot;مرحلهی-rl-متنوع-همراستاسازی-گسترده&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3}],&quot;depth&quot;:2},{&quot;title&quot;:&quot;الگوریتم: Group Relative Policy Optimization (GRPO)&quot;,&quot;local&quot;:&quot;الگوریتم-group-relative-policy-optimization-grpo&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;تشکیل گروه: ایجاد راه‌حل‌های متعدد&quot;,&quot;local&quot;:&quot;تشکیل-گروه-ایجاد-راهحلهای-متعدد&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;یادگیری ترجیحات: درک ویژگی‌های یک راه‌حل خوب&quot;,&quot;local&quot;:&quot;یادگیری-ترجیحات-درک-ویژگیهای-یک-راهحل-خوب&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;بهینه‌سازی: یادگیری از تجربه&quot;,&quot;local&quot;:&quot;بهینهسازی-یادگیری-از-تجربه&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;الگوریتم GRPO در شبه‌کد&quot;,&quot;local&quot;:&quot;الگوریتم-grpo-در-شبهکد&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3}],&quot;depth&quot;:2},{&quot;title&quot;:&quot;نتایج و تأثیر&quot;,&quot;local&quot;:&quot;نتایج-و-تأثیر&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;محدودیت‌ها و چالش‌های GRPO&quot;,&quot;local&quot;:&quot;محدودیتها-و-چالشهای-grpo&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;نتیجه‌گیری&quot;,&quot;local&quot;:&quot;نتیجهگیری&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;آزمون&quot;,&quot;local&quot;:&quot;آزمون&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;۱. نوآوری اصلی مقاله‌ی DeepSeek R1 چیست؟&quot;,&quot;local&quot;:&quot;۱-نوآوری-اصلی-مقالهی-deepseek-r1-چیست&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;۲. چهار مرحله‌ی فرایند تعلیم DeepSeek R1 کدام‌اند؟&quot;,&quot;local&quot;:&quot;۲-چهار-مرحلهی-فرایند-تعلیم-deepseek-r1-کداماند&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;۳. پدیده‌ی «لحظه‌ی آها» در تعلیم R1-Zero چیست؟&quot;,&quot;local&quot;:&quot;۳-پدیدهی-لحظهی-آها-در-تعلیم-r1-zero-چیست&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;۴. تشکیل گروه در GRPO چگونه کار می‌کند؟&quot;,&quot;local&quot;:&quot;۴-تشکیل-گروه-در-grpo-چگونه-کار-میکند&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;۵. تفاوت اصلی DeepSeek-R1-Zero و DeepSeek-R1 چیست؟&quot;,&quot;local&quot;:&quot;۵-تفاوت-اصلی-deepseek-r1-zero-و-deepseek-r1-چیست&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3}],&quot;depth&quot;:2}],&quot;depth&quot;:1}"/>
<link href="/docs/course/pr_1364/fa/_app/immutable/entry/start.CqZXmSrv.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/oyrVqMhC.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/B3UUDp28.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/entry/app.B4UvgX5H.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/BioDZtGL.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/NIl2lQjl.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/DN6uzRQe.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/DsnmJJEf.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/nodes/0.DcFj1eGj.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/u5kFQ1Zb.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/nodes/30.CTeUO2YF.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/BjCHz3cj.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/NA1Q7nSg.js" rel="modulepreload">
<!--1hrs6xn--><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;درک مقاله‌ی DeepSeek R1&quot;,&quot;local&quot;:&quot;درک-مقالهی-deepseek-r1&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;لحظه‌ی پیشرفت «آها»&quot;,&quot;local&quot;:&quot;لحظهی-پیشرفت-آها&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;فرایند تعلیم&quot;,&quot;local&quot;:&quot;فرایند-تعلیم&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;مرحله‌ی شروع سرد (پایه‌ی کیفی)&quot;,&quot;local&quot;:&quot;مرحلهی-شروع-سرد-پایهی-کیفی&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;مرحله‌ی RL استدلالی (ساخت توانایی)&quot;,&quot;local&quot;:&quot;مرحلهی-rl-استدلالی-ساخت-توانایی&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;مرحله‌ی نمونه‌گیری ردشدن (کنترل کیفیت)&quot;,&quot;local&quot;:&quot;مرحلهی-نمونهگیری-ردشدن-کنترل-کیفیت&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;مرحله‌ی RL متنوع (هم‌راستاسازی گسترده)&quot;,&quot;local&quot;:&quot;مرحلهی-rl-متنوع-همراستاسازی-گسترده&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3}],&quot;depth&quot;:2},{&quot;title&quot;:&quot;الگوریتم: Group Relative Policy Optimization (GRPO)&quot;,&quot;local&quot;:&quot;الگوریتم-group-relative-policy-optimization-grpo&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;تشکیل گروه: ایجاد راه‌حل‌های متعدد&quot;,&quot;local&quot;:&quot;تشکیل-گروه-ایجاد-راهحلهای-متعدد&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;یادگیری ترجیحات: درک ویژگی‌های یک راه‌حل خوب&quot;,&quot;local&quot;:&quot;یادگیری-ترجیحات-درک-ویژگیهای-یک-راهحل-خوب&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;بهینه‌سازی: یادگیری از تجربه&quot;,&quot;local&quot;:&quot;بهینهسازی-یادگیری-از-تجربه&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;الگوریتم GRPO در شبه‌کد&quot;,&quot;local&quot;:&quot;الگوریتم-grpo-در-شبهکد&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3}],&quot;depth&quot;:2},{&quot;title&quot;:&quot;نتایج و تأثیر&quot;,&quot;local&quot;:&quot;نتایج-و-تأثیر&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;محدودیت‌ها و چالش‌های GRPO&quot;,&quot;local&quot;:&quot;محدودیتها-و-چالشهای-grpo&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;نتیجه‌گیری&quot;,&quot;local&quot;:&quot;نتیجهگیری&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;آزمون&quot;,&quot;local&quot;:&quot;آزمون&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;۱. نوآوری اصلی مقاله‌ی DeepSeek R1 چیست؟&quot;,&quot;local&quot;:&quot;۱-نوآوری-اصلی-مقالهی-deepseek-r1-چیست&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;۲. چهار مرحله‌ی فرایند تعلیم DeepSeek R1 کدام‌اند؟&quot;,&quot;local&quot;:&quot;۲-چهار-مرحلهی-فرایند-تعلیم-deepseek-r1-کداماند&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;۳. پدیده‌ی «لحظه‌ی آها» در تعلیم R1-Zero چیست؟&quot;,&quot;local&quot;:&quot;۳-پدیدهی-لحظهی-آها-در-تعلیم-r1-zero-چیست&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;۴. تشکیل گروه در GRPO چگونه کار می‌کند؟&quot;,&quot;local&quot;:&quot;۴-تشکیل-گروه-در-grpo-چگونه-کار-میکند&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;۵. تفاوت اصلی DeepSeek-R1-Zero و DeepSeek-R1 چیست؟&quot;,&quot;local&quot;:&quot;۵-تفاوت-اصلی-deepseek-r1-zero-و-deepseek-r1-چیست&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3}],&quot;depth&quot;:2}],&quot;depth&quot;:1}"/><!---->
<link href="/docs/course/pr_1364/fa/_app/immutable/assets/0.tn0RQdqM.css" rel="modulepreload"> <!--[--><!--[0--><!--[--><!--[0--><!--[--><p></p> <div class="items-center shrink-0 min-w-[100px] max-sm:min-w-[50px] justify-end ml-auto flex" style="float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"><div class="inline-flex rounded-md max-sm:rounded-sm"><button class="inline-flex items-center gap-1 h-7 max-sm:h-7 px-2 max-sm:px-1.5 text-sm font-medium text-gray-800 border border-r-0 rounded-l-md max-sm:rounded-l-sm border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-live="polite"><span class="inline-flex items-center justify-center rounded-md p-0.5 max-sm:p-0 hover:text-gray-800 dark:hover:text-gray-200"><svg class="sm:size-3.5 size-3" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----></span> <span>Copy page</span></button> <button class="inline-flex items-center justify-center w-6 max-sm:w-5 h-7 max-sm:h-7 disabled:pointer-events-none text-sm text-gray-500 hover:text-gray-700 dark:hover:text-white rounded-r-md max-sm:rounded-r-sm border border-l transition border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-haspopup="menu" aria-expanded="false" aria-label="Open copy menu"><svg class="transition-transform text-gray-400 overflow-visible sm:size-3.5 size-3 rotate-0" width="1em" height="1em" viewBox="0 0 12 7" fill="none" xmlns="http://www.w3.org/2000/svg"><path d="M1 1L6 6L11 1" stroke="currentColor"></path></svg><!----></button></div> <!--[-1--><!--]--></div><!----> <!--[0--><h1 class="relative group"><a id="درک-مقالهی-deepseek-r1" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#درک-مقالهی-deepseek-r1"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>درک مقاله‌ی DeepSeek R1</span></h1><!--]--><!----> <div dir="rtl"><p>این فصل یک دوره‌ی فشرده برای خواندن مقاله است. مقاله را با زبانی ساده مرور می‌کنیم و سپس مفاهیم و نکات اصلی آن را بررسی خواهیم کرد.</p> <p>DeepSeek R1 پیشرفتی چشمگیر در تعلیم مدل‌های زبانی، به‌ویژه در ایجاد توانایی‌های استدلالی از طریق یادگیری تقویتی، به شمار می‌رود. این مقاله الگوریتم تازه‌ای برای یادگیری تقویتی به نام Group Relative Policy Optimization (GRPO) معرفی می‌کند.</p> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/4.png" alt="نمای کلی DeepSeek R1"/></p> <p>در فصل بعد بر این دانش تکیه می‌کنیم و GRPO را در عمل پیاده‌سازی خواهیم کرد.</p> <p>هدف اولیه‌ی مقاله بررسی این بود که آیا یادگیری تقویتی خالص می‌تواند بدون کوک کردن نظارت‌شده توانایی استدلال ایجاد کند یا نه.</p> <blockquote class="tip"><p>تا آن زمان، همه‌ی LLMهای محبوب به نوعی کوک کردن نظارت‌شده نیاز داشتند؛ موضوعی که در <a href="/course/chapter11/1">فصل ۱۱</a> بررسی کردیم.</p></blockquote> <!--[1--><h2 class="relative group"><a id="لحظهی-پیشرفت-آها" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#لحظهی-پیشرفت-آها"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>لحظه‌ی پیشرفت «آها»</span></h2><!--]--><!----> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/9.png" alt="لحظه‌ی «آها»"/></p> <p>یکی از شگفت‌انگیزترین کشف‌ها در تعلیم R1-Zero ظهور پدیده‌ای به نام «لحظه‌ی آها» بود. این پدیده تا حدی شبیه لحظه‌ای است که انسان هنگام حل مسئله ناگهان چیزی را درمی‌یابد. این فرایند چنین است:</p> <ol><li>تلاش اولیه: مدل نخستین تلاش خود را برای حل مسئله انجام می‌دهد</li> <li>تشخیص: مدل خطاها یا ناسازگاری‌های احتمالی را تشخیص می‌دهد</li> <li>اصلاح خودکار: بر اساس این تشخیص رویکرد خود را تنظیم می‌کند</li> <li>توضیح: می‌تواند توضیح دهد چرا رویکرد جدید بهتر است</li></ol> <p>این پیشرفت برای یادگیرندگان جذاب است و حسی شبیه لحظه‌ی «یافتم!» ایجاد می‌کند. این پدیده یادگیری را، نه صرفاً حفظ کردن، نشان می‌دهد؛ پس لحظه‌ای تصور کنیم داشتن چنین «لحظه‌ی آها»یی چه حسی دارد.</p> <p>برای نمونه، تصور کنید می‌خواهید معمایی را حل کنید:</p> <ul><li>تلاش اول: «این قطعه باید بر اساس رنگش اینجا قرار بگیرد»</li> <li>تشخیص: «اما صبر کن، شکلش کاملاً جور درنمی‌آید»</li> <li>اصلاح: «آهان، در واقع باید آن طرف قرار بگیرد»</li> <li>توضیح: «چون هم الگوی رنگ و هم الگوی شکل در این موقعیت مطابقت دارند»</li></ul> <p>این توانایی به‌طور طبیعی از تعلیم RL پدیدار شد، بدون اینکه به‌طور صریح برنامه‌ریزی شده باشد؛ و یادگیری، نه صرفاً حفظ فرایندی از داده‌های تعلیم، را نشان می‌دهد.</p> <p>ساده‌ترین راه برای درک لحظه‌ی «آها» دیدن آن در عمل است. بیایید مثالی را ببینیم. در گفت‌وگوی زیر، از مدل می‌خواهیم مسئله‌ای را حل کند و رابط کاربری فرایند فکر کردن مدل هنگام حل مسئله را نشان می‌دهد.</p> <iframe src="https://reasoning-course-deepseek-ai-deepseek-r1-distill-0f5fad4.hf.space/" frameborder="0" width="850" height="450"></iframe> <p>اگر می‌خواهید R1 متعلق به DeepSeek را امتحان کنید، <a href="https://huggingface.co/chat/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B" rel="nofollow">Hugging Chat</a> را نیز ببینید.</p> <!--[1--><h2 class="relative group"><a id="فرایند-تعلیم" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#فرایند-تعلیم"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>فرایند تعلیم</span></h2><!--]--><!----> <p>تعلیم R1 فرایندی چندمرحله‌ای بود. بیایید مراحل و نوآوری‌های اصلی هر مرحله را بررسی کنیم.</p> <p>فرایند نهایی به دو مدل می‌انجامد:</p> <ul><li>DeepSeek-R1-Zero: مدلی که کاملاً با یادگیری تقویتی تعلیم داده شده است.</li> <li>DeepSeek-R1: مدلی که بر پایه‌ی DeepSeek-R1-Zero ساخته شده و تعلیم نظارت‌شده را نیز اضافه می‌کند.</li></ul> <table><thead><tr><th>ویژگی</th><th>DeepSeek-R1-Zero</th><th>DeepSeek-R1</th></tr></thead><tbody><tr><td>رویکرد تعلیم</td><td>RL خالص</td><td>چندمرحله‌ای (SFT + RL)</td></tr><tr><td>کوک کردن</td><td>ندارد</td><td>کوک کردن نظارت‌شده</td></tr><tr><td>توانایی استدلال</td><td>پدیدارشونده</td><td>تقویت‌شده</td></tr><tr><td>عملکرد AIME</td><td>71.0%</td><td>79.8%</td></tr><tr><td>ویژگی‌های اصلی</td><td>استدلال قوی اما مشکلات خوانایی</td><td>سازگاری زبانی و خوانایی بهتر</td></tr></tbody></table> <p>DeepSeek-R1-Zero ظرفیت یادگیری تقویتی خالص برای ایجاد توانایی استدلال را نشان می‌دهد، درحالی‌که DeepSeek-R1 با تکیه بر این پایه رویکردی متعادل‌تر در پیش می‌گیرد که هم عملکرد استدلالی و هم قابلیت استفاده را در اولویت قرار می‌دهد.</p> <p>فرایند تعلیم چهار مرحله دارد:</p> <ol><li>مرحله‌ی شروع سرد</li> <li>مرحله‌ی RL استدلالی</li> <li>مرحله‌ی نمونه‌گیری ردشدن</li> <li>مرحله‌ی RL متنوع</li></ol> <p>بیایید هر مرحله را بررسی کنیم:</p> <!--[2--><h3 class="relative group"><a id="مرحلهی-شروع-سرد-پایهی-کیفی" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#مرحلهی-شروع-سرد-پایهی-کیفی"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>مرحله‌ی شروع سرد (پایه‌ی کیفی)</span></h3><!--]--><!----> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/5.png" alt="مرحله‌ی شروع سرد"/></p> <p>این مرحله برای ایجاد پایه‌ای قوی برای خوانایی و کیفیت پاسخ مدل طراحی شده است. در این مرحله از دیتاسِتی کوچک از نمونه‌های باکیفیت R1-Zero برای کوک کردن مدل V3-Base استفاده می‌شود. تیم با شروع از مدل DeepSeek-V3-Base، هزاران نمونه‌ی معتبر و باکیفیت از R1-Zero را برای کوک کردن نظارت‌شده به کار برد. این رویکرد نوآورانه از دیتاسِتی کوچک اما باکیفیت استفاده می‌کند تا خوانایی و کیفیت پاسخ پایه‌ی قدرتمندی ایجاد شود.</p> <!--[2--><h3 class="relative group"><a id="مرحلهی-rl-استدلالی-ساخت-توانایی" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#مرحلهی-rl-استدلالی-ساخت-توانایی"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>مرحله‌ی RL استدلالی (ساخت توانایی)</span></h3><!--]--><!----> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/6.png" alt="مرحله‌ی RL استدلالی"/></p> <p>مرحله‌ی RL استدلالی بر ایجاد توانایی‌های اصلی استدلال در حوزه‌هایی مانند ریاضیات، کدنویسی، علوم و منطق تمرکز دارد. در این مرحله از یادگیری تقویتی مبتنی بر قواعد استفاده می‌شود و پاداش‌ها مستقیماً به درست بودن راه‌حل وابسته‌اند.</p> <p>نکته‌ی مهم این است که همه‌ی وظایف این مرحله «قابل راستی‌آزمایی» هستند؛ بنابراین می‌توانیم درست یا نادرست بودن پاسخ مدل را بررسی کنیم. برای نمونه، در ریاضیات می‌توانیم با استفاده از حل‌گر ریاضی بررسی کنیم پاسخ مدل درست است یا نه.</p> <p>نوآوری ویژه‌ی این مرحله رویکرد بهینه‌سازی مستقیم آن است که نیاز به مدل پاداش جداگانه را از بین می‌برد و فرایند تعلیم را ساده‌تر می‌کند.</p> <!--[2--><h3 class="relative group"><a id="مرحلهی-نمونهگیری-ردشدن-کنترل-کیفیت" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#مرحلهی-نمونهگیری-ردشدن-کنترل-کیفیت"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>مرحله‌ی نمونه‌گیری ردشدن (کنترل کیفیت)</span></h3><!--]--><!----> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/7.png" alt="مرحله‌ی نمونه‌گیری ردشدن"/></p> <p>در مرحله‌ی نمونه‌گیری ردشدن، مدل نمونه‌هایی تولید می‌کند که سپس از یک فرایند کنترل کیفیت عبور داده می‌شوند. DeepSeek-V3 داور کیفیت است و خروجی‌ها را در دامنه‌ای گسترده، فراتر از وظایف صرفاً استدلالی، ارزیابی می‌کند. سپس از داده‌های پالایش‌شده برای کوک کردن نظارت‌شده استفاده می‌شود. نوآوری این مرحله توانایی آن در ترکیب چند سیگنال کیفیت برای تضمین خروجی‌های با استاندارد بالا است.</p> <!--[2--><h3 class="relative group"><a id="مرحلهی-rl-متنوع-همراستاسازی-گسترده" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#مرحلهی-rl-متنوع-همراستاسازی-گسترده"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>مرحله‌ی RL متنوع (هم‌راستاسازی گسترده)</span></h3><!--]--><!----> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/8.png" alt="مرحله‌ی RL متنوع"/></p> <p>مرحله‌ی نهایی RL متنوع با رویکردی ترکیبی و پیشرفته، انواع وظایف را پوشش می‌دهد. برای وظایف قطعی از پاداش‌های مبتنی بر قواعد استفاده می‌کند، درحالی‌که وظایف ذهنی با بازخورد LLM ارزیابی می‌شوند. هدف این مرحله دستیابی به هم‌راستایی با ترجیحات انسانی از طریق رویکرد نوآورانه‌ی پاداش ترکیبی است؛ رویکردی که دقت سامانه‌های مبتنی بر قواعد را با انعطاف‌پذیری ارزیابی مدل زبانی ترکیب می‌کند.</p> <!--[1--><h2 class="relative group"><a id="الگوریتم-group-relative-policy-optimization-grpo" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#الگوریتم-group-relative-policy-optimization-grpo"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>الگوریتم: Group Relative Policy Optimization (GRPO)</span></h2><!--]--><!----> <p>حالا که درک خوبی از فرایند تعلیم پیدا کرده‌ایم، بیایید الگوریتمی را ببینیم که برای تعلیم مدل استفاده شد.</p> <p>نویسندگان GRPO را پیشرفتی مهم در کوک کردن مدل می‌دانند:</p> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/10.png" alt="فرایند GRPO"/></p> <p>نوآوری GRPO در توانایی آن برای «بهینه‌سازی مستقیم اصلاح ترجیحات» است. این ویژگی مسیر مستقیم‌تر و کارآمدتری برای هم‌راستا کردن مدل با خروجی‌های مطلوب فراهم می‌کند و با الگوریتم‌های سنتی یادگیری تقویتی مانند PPO تفاوت دارد. بیایید GRPO را در سه مؤلفه‌ی اصلی آن بررسی کنیم.</p> <!--[2--><h3 class="relative group"><a id="تشکیل-گروه-ایجاد-راهحلهای-متعدد" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#تشکیل-گروه-ایجاد-راهحلهای-متعدد"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>تشکیل گروه: ایجاد راه‌حل‌های متعدد</span></h3><!--]--><!----> <p>نخستین گام در GRPO بسیار شهودی است؛ شبیه کاری که دانش‌آموز برای حل مسئله‌ای دشوار با امتحان کردن چند رویکرد انجام می‌دهد. وقتی اعلانی به مدل داده می‌شود، مدل فقط یک پاسخ تولید نمی‌کند؛ بلکه چند تلاش برای حل همان مسئله ایجاد می‌کند (معمولاً ۴، ۸ یا ۱۶ تلاش متفاوت).</p> <p>تصور کنید به مدلی تعلیم می‌دهید مسائل ریاضی را حل کند. برای پرسشی درباره‌ی شمارش مرغ‌ها در یک مزرعه، مدل ممکن است چند راه‌حل مختلف تولید کند:</p> <ul><li>یک راه‌حل ممکن است مسئله را مرحله‌به‌مرحله باز کند: ابتدا تعداد کل مرغ‌ها را بشمارد، سپس خروس‌ها را کم کند و در پایان مرغ‌های تخم‌نکننده را در نظر بگیرد</li> <li>راه‌حل دیگری ممکن است از رویکردی متفاوت اما به همان اندازه معتبر استفاده کند</li> <li>بعضی تلاش‌ها ممکن است اشتباه یا کم‌کارآمدتر باشند</li></ul> <p>همه‌ی این تلاش‌ها کنار هم و در قالب یک گروه نگه داشته می‌شوند؛ مانند چند راه‌حل از چند دانش‌آموز که برای مقایسه و یادگیری در اختیار داریم.</p> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/11.jpg" alt="تشکیل گروه"/></p> <!--[2--><h3 class="relative group"><a id="یادگیری-ترجیحات-درک-ویژگیهای-یک-راهحل-خوب" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#یادگیری-ترجیحات-درک-ویژگیهای-یک-راهحل-خوب"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>یادگیری ترجیحات: درک ویژگی‌های یک راه‌حل خوب</span></h3><!--]--><!----> <p>اینجاست که سادگی GRPO واقعاً خود را نشان می‌دهد. برخلاف روش‌های دیگر RLHF که همیشه به مدل پاداش جداگانه‌ای برای پیش‌بینی کیفیت احتمالی راه‌حل نیاز دارند، GRPO می‌تواند از هر تابع یا مدلی برای ارزیابی کیفیت راه‌حل استفاده کند. برای نمونه، می‌توانیم از تابعی برای طول استفاده کنیم تا پاسخ‌های کوتاه‌تر را پاداش دهد یا از حل‌گر ریاضی برای پاداش دادن به راه‌حل‌های دقیق ریاضی استفاده کنیم.</p> <p>فرایند ارزیابی جنبه‌های مختلف هر راه‌حل را بررسی می‌کند:</p> <ul><li>آیا پاسخ نهایی درست است؟</li> <li>آیا راه‌حل از قالب‌بندی درست پیروی می‌کند (مثلاً از برچسب‌های XML مناسب استفاده می‌کند)؟</li> <li>آیا استدلال با پاسخ ارائه‌شده مطابقت دارد؟</li></ul> <p>نکته‌ی هوشمندانه‌ی این رویکرد نحوه‌ی امتیازدهی آن است. GRPO به‌جای دادن امتیازهای مطلق، پاداش‌ها را درون هر گروه نرمال می‌کند. برای برآورد مزیت نسبی گروه از فرمولی ساده اما مؤثر استفاده می‌کند:</p> <div class="code-block relative "><div class="absolute top-2.5 right-4"><button class="inline-flex items-center relative text-sm focus:text-green-500 cursor-pointer focus:outline-none transition duration-200 ease-in-out opacity-0 mx-0.5 text-gray-600 " title="code excerpt" type="button"><svg xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----> <div class=" absolute pointer-events-none transition-opacity bg-black text-white py-1 px-2 leading-tight rounded font-normal shadow left-1/2 top-full transform -translate-x-1/2 translate-y-2 opacity-0 "><div class="absolute bottom-full left-1/2 transform -translate-x-1/2 w-0 h-0 border-black border-4 border-t-0" style="border-left-color: transparent; border-right-color: transparent;"></div> Copied</div><!----></button><!----></div> <pre class=" "><!----><span class="hljs-variable">Advantage</span> = (<span class="hljs-variable">reward</span> - <span class="hljs-function"><span class="hljs-title">mean</span>(<span class="hljs-variable">group_rewards</span>)) / <span class="hljs-title">std</span>(<span class="hljs-variable">group_rewards</span>)</span><!----></pre></div><!----> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/12.jpg" alt="یادگیری ترجیحات"/></p> <p>این نرمال‌سازی مانند نمره‌دهی بر اساس منحنی است، با این تفاوت که برای هوش مصنوعی انجام می‌شود. به مدل کمک می‌کند بفهمد کدام راه‌حل‌ها درون گروه، در مقایسه با همتایان خود، بهتر یا بدتر بوده‌اند؛ نه اینکه فقط امتیازهای مطلق را ببیند.</p> <!--[2--><h3 class="relative group"><a id="بهینهسازی-یادگیری-از-تجربه" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#بهینهسازی-یادگیری-از-تجربه"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>بهینه‌سازی: یادگیری از تجربه</span></h3><!--]--><!----> <p>گام نهایی جایی است که GRPO به مدل می‌آموزد بر اساس آنچه از ارزیابی گروه راه‌حل‌ها یاد گرفته است بهبود پیدا کند. این فرایند قدرتمند و باثبات است و از دو اصل اصلی استفاده می‌کند:</p> <ol><li>مدل را تشویق می‌کند راه‌حل‌های بیشتری شبیه راه‌حل‌های موفق تولید کند و از رویکردهای کم‌اثر فاصله بگیرد</li> <li>سازوکار ایمنی‌ای (به نام جریمه‌ی واگرایی KL) دارد که مانع تغییرات بیش از حد مدل در یک‌باره می‌شود</li></ol> <p>این رویکرد از روش‌های سنتی باثبات‌تر است، زیرا:</p> <ul><li>چند راه‌حل را با هم بررسی می‌کند، نه اینکه فقط دو راه‌حل را هر بار مقایسه کند</li> <li>نرمال‌سازی گروه‌محور به پیشگیری از مشکلات مقیاس‌بندی پاداش کمک می‌کند</li> <li>جریمه‌ی KL مانند یک شبکه‌ی ایمنی عمل می‌کند و مطمئن می‌شود مدل هنگام یادگیری چیزهای جدید، آنچه را از قبل می‌داند فراموش نمی‌کند</li></ul> <blockquote class="tip"><p>نوآوری‌های اصلی GRPO عبارت‌اند از:</p> <ul><li>یادگیری مستقیم از هر تابع یا مدل، که وابستگی به مدل پاداش جداگانه را از بین می‌برد.</li> <li>یادگیری گروه‌محور، که از روش‌های سنتی مانند مقایسه‌های دوتایی باثبات‌تر و کارآمدتر است.</li></ul></blockquote> <p>این تجزیه‌وتحلیل پیچیده است، اما نکته‌ی اصلی این است که GRPO روشی کارآمدتر و باثبات‌تر برای تعلیم مدل به‌منظور استدلال است.</p> <!--[2--><h3 class="relative group"><a id="الگوریتم-grpo-در-شبهکد" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#الگوریتم-grpo-در-شبهکد"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>الگوریتم GRPO در شبه‌کد</span></h3><!--]--><!----> <p>حالا که مؤلفه‌های اصلی GRPO را می‌شناسیم، الگوریتم را در قالب شبه‌کد ببینیم. این نسخه ساده‌شده است، اما ایده‌های اصلی را در خود دارد.</p> <div class="code-block relative "><div class="absolute top-2.5 right-4"><button class="inline-flex items-center relative text-sm focus:text-green-500 cursor-pointer focus:outline-none transition duration-200 ease-in-out opacity-0 mx-0.5 text-gray-600 " title="code excerpt" type="button"><svg xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----> <div class=" absolute pointer-events-none transition-opacity bg-black text-white py-1 px-2 leading-tight rounded font-normal shadow left-1/2 top-full transform -translate-x-1/2 translate-y-2 opacity-0 "><div class="absolute bottom-full left-1/2 transform -translate-x-1/2 w-0 h-0 border-black border-4 border-t-0" style="border-left-color: transparent; border-right-color: transparent;"></div> Copied</div><!----></button><!----></div> <pre class=" "><!---->Input:
- initial_policy: Starting <span class="hljs-keyword">model</span> to be trained
- reward_function: Function that evaluates outputs
- training_prompts: <span class="hljs-keyword">Set</span> of <span class="hljs-comment">training examples</span>
- group_size: Number <span class="hljs-comment">of outputs per prompt (typically 4-16)</span>
Algorithm <span class="hljs-comment">GRPO:</span>
1. For <span class="hljs-comment">each training iteration:</span>
a. <span class="hljs-keyword">Set</span> <span class="hljs-comment">reference_policy = initial_policy (snapshot current policy)</span>
b. For <span class="hljs-comment">each prompt in batch:</span>
i. Generate <span class="hljs-comment">group_size different outputs using initial_policy</span>
ii. Compute <span class="hljs-comment">rewards for each output using reward_function</span>
iii. Normalize <span class="hljs-comment">rewards within group:</span>
normalized_advantage <span class="hljs-comment">= (reward - mean(rewards))</span> / std(rewards)
iv. Update policy by <span class="hljs-keyword">maximizing</span> the clipped ratio:
<span class="hljs-built_in">min</span>(prob_ratio * normalized_advantage,
clip(prob_ratio, <span class="hljs-number">1</span>-epsilon, <span class="hljs-number">1</span>+epsilon) * normalized_advantage)
- kl_weight * KL(initial_policy || reference_policy)
where prob_ratio is current_prob / <span class="hljs-comment">reference_prob</span>
Output: Optimized <span class="hljs-comment">policy model</span><!----></pre></div><!----> <p>این الگوریتم نشان می‌دهد GRPO چگونه برآورد مزیت گروه‌محور را با بهینه‌سازی سیاست ترکیب می‌کند و هم‌زمان با برش و محدودیت‌های واگرایی KL ثبات را حفظ می‌کند.</p> <!--[1--><h2 class="relative group"><a id="نتایج-و-تأثیر" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#نتایج-و-تأثیر"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>نتایج و تأثیر</span></h2><!--]--><!----> <p>حالا که الگوریتم را بررسی کردیم، نتایج را ببینیم. DeepSeek R1 در چندین حوزه به عملکردی در سطح پیشرفته دست پیدا می‌کند:</p> <table><thead><tr><th>حوزه</th><th>نتایج اصلی</th></tr></thead><tbody><tr><td>ریاضیات</td><td>• 79.8% در AIME 2024<br/>• 97.3% در MATH-500</td></tr><tr><td>کدنویسی</td><td>• امتیاز Codeforces: 2029<br/>• LiveCodeBench: 65.9%</td></tr><tr><td>دانش عمومی</td><td>• MMLU: 90.8%<br/>• GPQA Diamond: 71.5%</td></tr><tr><td>وظایف زبانی</td><td>• نرخ برد AlpacaEval 2.0: 87.6%<br/>• FRAMES: 82.5%</td></tr></tbody></table> <p>تأثیر عملی مدل فراتر از محک‌هاست و قیمت‌گذاری مقرون‌به‌صرفه‌ی API (۰٫۱۴ دلار به‌ازای هر میلیون توکِن ورودی) و تقطیر موفق مدل در اندازه‌های گوناگون (از 1.5B تا 70B پارامتر) را نیز دربرمی‌گیرد. شایان توجه است که حتی مدل 7B در AIME 2024 به امتیاز 55.5% می‌رسد، درحالی‌که نسخه‌ی تقطیرشده‌ی 70B در MATH-500 به عملکرد o1-mini نزدیک می‌شود (94.5%)؛ این موضوع حفظ مؤثر توانایی‌ها در مقیاس‌های گوناگون را نشان می‌دهد.</p> <!--[1--><h2 class="relative group"><a id="محدودیتها-و-چالشهای-grpo" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#محدودیتها-و-چالشهای-grpo"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>محدودیت‌ها و چالش‌های GRPO</span></h2><!--]--><!----> <p>با اینکه GRPO پیشرفتی مهم در یادگیری تقویتی برای مدل‌های زبانی است، درک محدودیت‌ها و چالش‌های آن اهمیت دارد:</p> <ul><li><strong>هزینه‌ی تولید</strong>: تولید چند تکمیل (۴ تا ۱۶) برای هر اعلان، در مقایسه با روش‌هایی که فقط یک یا دو تکمیل تولید می‌کنند، نیازهای محاسباتی را افزایش می‌دهد.</li> <li><strong>محدودیت اندازه‌ی بتچ</strong>: نیاز به پردازش گروهی تکمیل‌ها می‌تواند اندازه‌ی مؤثر بتچ را محدود کند، پیچیدگی فرایند تعلیم را افزایش دهد و احتمالاً تعلیم را کندتر کند.</li> <li><strong>طراحی تابع پاداش</strong>: کیفیت تعلیم به‌شدت به تابع‌های پاداش خوب‌طراحی‌شده وابسته است. پاداش‌های ضعیف ممکن است به رفتارهای ناخواسته یا بهینه‌سازی برای هدف‌های نادرست منجر شوند.</li> <li><strong>مصالحه‌ی اندازه‌ی گروه</strong>: انتخاب اندازه‌ی بهینه‌ی گروه مستلزم ایجاد تعادل میان تنوع راه‌حل‌ها و هزینه‌ی محاسباتی است. نمونه‌های بسیار کم ممکن است تنوع کافی فراهم نکنند، درحالی‌که تعداد بسیار زیاد زمان تعلیم و منابع لازم را افزایش می‌دهد.</li> <li><strong>تنظیم واگرایی KL</strong>: یافتن تعادل مناسب برای جریمه‌ی واگرایی KL به تنظیم دقیق نیاز دارد؛ مقدار بیش از حد زیاد مانع یادگیری مؤثر مدل می‌شود و مقدار بیش از حد کم ممکن است باعث شود مدل بیش از اندازه از توانایی‌های اولیه‌ی خود فاصله بگیرد.</li></ul> <!--[1--><h2 class="relative group"><a id="نتیجهگیری" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#نتیجهگیری"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>نتیجه‌گیری</span></h2><!--]--><!----> <p>مقاله‌ی DeepSeek R1 نقطه‌ی عطفی مهم در توسعه‌ی مدل‌های زبانی است. الگوریتم Group Relative Policy Optimization (GRPO) نشان داده است که یادگیری تقویتی خالص واقعاً می‌تواند توانایی‌های استدلالی قدرتمندی ایجاد کند و فرض‌های قبلی درباره‌ی ضرورت کوک کردن نظارت‌شده را به چالش بکشد.</p> <p>شاید مهم‌تر از همه، DeepSeek R1 نشان داده باشد که می‌توان عملکرد بالا را با ملاحظات عملی مانند مقرون‌به‌صرفه بودن و دسترس‌پذیری متعادل کرد. تقطیر موفق توانایی‌های مدل در اندازه‌های مختلف، از 1.5B تا 70B پارامتر، مسیری برای دسترس‌پذیرتر کردن توانایی‌های پیشرفته‌ی هوش مصنوعی نشان می‌دهد.</p> <hr/> <p>در بخش بعدی پیاده‌سازی‌های عملی این مفاهیم را بررسی می‌کنیم و بر نحوه‌ی استفاده از GRPO و RFTrans در پروژه‌های توسعه‌ی مدل زبانی خود تمرکز خواهیم داشت.</p> <!--[1--><h2 class="relative group"><a id="آزمون" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#آزمون"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>آزمون</span></h2><!--]--><!----> <!--[2--><h3 class="relative group"><a id="۱-نوآوری-اصلی-مقالهی-deepseek-r1-چیست" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۱-نوآوری-اصلی-مقالهی-deepseek-r1-چیست"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۱. نوآوری اصلی مقاله‌ی DeepSeek R1 چیست؟</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->الگوریتم GRPO که امکان یادگیری از ترجیحات را با مدل پاداش یا بدون آن فراهم می‌کند<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->استفاده از GPUهای بیشتر از هر مدل قبلی برای تعلیم<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->ساختن مدل زبانی بزرگ‌تری نسبت به مدل‌های موجود<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----> <!--[2--><h3 class="relative group"><a id="۲-چهار-مرحلهی-فرایند-تعلیم-deepseek-r1-کداماند" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۲-چهار-مرحلهی-فرایند-تعلیم-deepseek-r1-کداماند"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۲. چهار مرحله‌ی فرایند تعلیم DeepSeek R1 کدام‌اند؟</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->شروع سرد، RL استدلالی، نمونه‌گیری ردشدن و RL متنوع<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->پیش‌تعلیم، کوک کردن، آزمون و استقرار<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->جمع‌آوری داده، تعلیم مدل، ارزیابی و بهینه‌سازی<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----> <!--[2--><h3 class="relative group"><a id="۳-پدیدهی-لحظهی-آها-در-تعلیم-r1-zero-چیست" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۳-پدیدهی-لحظهی-آها-در-تعلیم-r1-zero-چیست"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۳. پدیده‌ی «لحظه‌ی آها» در تعلیم R1-Zero چیست؟</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->فرایندی که در آن مدل خطاها را تشخیص می‌دهد، خود را اصلاح می‌کند و اصلاحاتش را توضیح می‌دهد<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->نقطه‌ای که مدل به عملکردی هم‌سطح انسان می‌رسد<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->زمانی که مدل فرایند تعلیم خود را کامل می‌کند<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----> <!--[2--><h3 class="relative group"><a id="۴-تشکیل-گروه-در-grpo-چگونه-کار-میکند" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۴-تشکیل-گروه-در-grpo-چگونه-کار-میکند"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۴. تشکیل گروه در GRPO چگونه کار می‌کند؟</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->برای یک مسئله‌ی یکسان چند راه‌حل (۴ تا ۱۶) تولید می‌کند و آن‌ها را با هم ارزیابی می‌کند<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->چند مدل را در یک گروه ترکیب می‌کند<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->داده‌های تعلیم را به گروه‌های متفاوت تقسیم می‌کند<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----> <!--[2--><h3 class="relative group"><a id="۵-تفاوت-اصلی-deepseek-r1-zero-و-deepseek-r1-چیست" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۵-تفاوت-اصلی-deepseek-r1-zero-و-deepseek-r1-چیست"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۵. تفاوت اصلی DeepSeek-R1-Zero و DeepSeek-R1 چیست؟</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->R1-Zero از RL خالص استفاده می‌کند، درحالی‌که R1، RL را با کوک کردن نظارت‌شده ترکیب می‌کند<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->R1-Zero از R1 کوچک‌تر است<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->R1-Zero با داده‌ی کمتری تعلیم داده شده است<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----></div> <a class="!text-gray-400 !no-underline text-sm flex items-center not-prose mt-4" href="https://github.com/huggingface/course/blob/main/chapters/fa/chapter12/3.mdx" target="_blank"><svg class="mr-1" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M31,16l-7,7l-1.41-1.41L28.17,16l-5.58-5.59L24,9l7,7z"></path><path d="M1,16l7-7l1.41,1.41L3.83,16l5.58,5.59L8,23l-7-7z"></path><path d="M12.419,25.484L17.639,6.552l1.932,0.518L14.351,26.002z"></path></svg><!----> <span><span class="underline">Update</span> on GitHub</span></a><!----> <p></p><!--]--><!----><!--]--><!--]--><!--]--> <!--[-1--><!--]--><!--]-->
<script>
{
__sveltekit_pfm8ny = {
base: "/docs/course/pr_1364/fa",
assets: "/docs/course/pr_1364/fa"
};
const element = document.currentScript.parentElement;
Promise.all([
import("/docs/course/pr_1364/fa/_app/immutable/entry/start.CqZXmSrv.js"),
import("/docs/course/pr_1364/fa/_app/immutable/entry/app.B4UvgX5H.js")
]).then(([kit, app]) => {
kit.start(app, element, {
node_ids: [0, 30],
data: [null,null],
form: null,
error: null
});
});
}
</script>

Xet Storage Details

Size:
69.5 kB
·
Xet hash:
41bd60f3aa4d179ca6929330700cc355ff018fc1d87d6208db85c438e48b7c05

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.