Buckets:

download
raw
55.6 kB
<meta charset="utf-8" /><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;مقدمه‌ای بر یادگیری تقویتی و نقش آن در مدل‌های زبانی بزرگ&quot;,&quot;local&quot;:&quot;مقدمهای-بر-یادگیری-تقویتی-و-نقش-آن-در-مدلهای-زبانی-بزرگ&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;یادگیری تقویتی (RL) چیست؟&quot;,&quot;local&quot;:&quot;یادگیری-تقویتی-rl-چیست&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;عامل&quot;,&quot;local&quot;:&quot;عامل&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;محیط&quot;,&quot;local&quot;:&quot;محیط&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;کنش&quot;,&quot;local&quot;:&quot;کنش&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;پاداش&quot;,&quot;local&quot;:&quot;پاداش&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;سیاست&quot;,&quot;local&quot;:&quot;سیاست&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3}],&quot;depth&quot;:2},{&quot;title&quot;:&quot;فرایند RL: آزمون و خطا&quot;,&quot;local&quot;:&quot;فرایند-rl-آزمون-و-خطا&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;نقش RL در مدل‌های زبانی بزرگ (LLM)&quot;,&quot;local&quot;:&quot;نقش-rl-در-مدلهای-زبانی-بزرگ-llm&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;یادگیری تقویتی از بازخورد انسانی (RLHF)&quot;,&quot;local&quot;:&quot;یادگیری-تقویتی-از-بازخورد-انسانی-rlhf&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;چرا باید به GRPO (Group Relative Policy Optimization) اهمیت بدهیم؟&quot;,&quot;local&quot;:&quot;چرا-باید-به-grpo-group-relative-policy-optimization-اهمیت-بدهیم&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;آزمون&quot;,&quot;local&quot;:&quot;آزمون&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;۱. اجزای اصلی یادگیری تقویتی کدام‌اند؟&quot;,&quot;local&quot;:&quot;۱-اجزای-اصلی-یادگیری-تقویتی-کداماند&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;۲. مزیت اصلی RLHF برای تعلیم مدل‌های زبانی چیست؟&quot;,&quot;local&quot;:&quot;۲-مزیت-اصلی-rlhf-برای-تعلیم-مدلهای-زبانی-چیست&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;۳. در زمینه‌ی RL برای LLMها، چه چیزی یک «کنش» را نشان می‌دهد؟&quot;,&quot;local&quot;:&quot;۳-در-زمینهی-rl-برای-llmها-چه-چیزی-یک-کنش-را-نشان-میدهد&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;۴. نقش پاداش در تعلیم RL مدل‌های زبانی چیست؟&quot;,&quot;local&quot;:&quot;۴-نقش-پاداش-در-تعلیم-rl-مدلهای-زبانی-چیست&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;۵. پاداش در زمینه‌ی RL برای LLMها چیست؟&quot;,&quot;local&quot;:&quot;۵-پاداش-در-زمینهی-rl-برای-llmها-چیست&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3}],&quot;depth&quot;:2}],&quot;depth&quot;:1}"/>
<link href="/docs/course/pr_1364/fa/_app/immutable/entry/start.CqZXmSrv.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/oyrVqMhC.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/B3UUDp28.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/entry/app.B4UvgX5H.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/BioDZtGL.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/NIl2lQjl.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/DN6uzRQe.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/DsnmJJEf.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/nodes/0.DcFj1eGj.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/u5kFQ1Zb.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/nodes/29.BPODrmk_.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/BjCHz3cj.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/NA1Q7nSg.js" rel="modulepreload">
<!--ygo2hc--><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;مقدمه‌ای بر یادگیری تقویتی و نقش آن در مدل‌های زبانی بزرگ&quot;,&quot;local&quot;:&quot;مقدمهای-بر-یادگیری-تقویتی-و-نقش-آن-در-مدلهای-زبانی-بزرگ&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;یادگیری تقویتی (RL) چیست؟&quot;,&quot;local&quot;:&quot;یادگیری-تقویتی-rl-چیست&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;عامل&quot;,&quot;local&quot;:&quot;عامل&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;محیط&quot;,&quot;local&quot;:&quot;محیط&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;کنش&quot;,&quot;local&quot;:&quot;کنش&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;پاداش&quot;,&quot;local&quot;:&quot;پاداش&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;سیاست&quot;,&quot;local&quot;:&quot;سیاست&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3}],&quot;depth&quot;:2},{&quot;title&quot;:&quot;فرایند RL: آزمون و خطا&quot;,&quot;local&quot;:&quot;فرایند-rl-آزمون-و-خطا&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;نقش RL در مدل‌های زبانی بزرگ (LLM)&quot;,&quot;local&quot;:&quot;نقش-rl-در-مدلهای-زبانی-بزرگ-llm&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;یادگیری تقویتی از بازخورد انسانی (RLHF)&quot;,&quot;local&quot;:&quot;یادگیری-تقویتی-از-بازخورد-انسانی-rlhf&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;چرا باید به GRPO (Group Relative Policy Optimization) اهمیت بدهیم؟&quot;,&quot;local&quot;:&quot;چرا-باید-به-grpo-group-relative-policy-optimization-اهمیت-بدهیم&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;آزمون&quot;,&quot;local&quot;:&quot;آزمون&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;۱. اجزای اصلی یادگیری تقویتی کدام‌اند؟&quot;,&quot;local&quot;:&quot;۱-اجزای-اصلی-یادگیری-تقویتی-کداماند&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;۲. مزیت اصلی RLHF برای تعلیم مدل‌های زبانی چیست؟&quot;,&quot;local&quot;:&quot;۲-مزیت-اصلی-rlhf-برای-تعلیم-مدلهای-زبانی-چیست&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;۳. در زمینه‌ی RL برای LLMها، چه چیزی یک «کنش» را نشان می‌دهد؟&quot;,&quot;local&quot;:&quot;۳-در-زمینهی-rl-برای-llmها-چه-چیزی-یک-کنش-را-نشان-میدهد&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;۴. نقش پاداش در تعلیم RL مدل‌های زبانی چیست؟&quot;,&quot;local&quot;:&quot;۴-نقش-پاداش-در-تعلیم-rl-مدلهای-زبانی-چیست&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;۵. پاداش در زمینه‌ی RL برای LLMها چیست؟&quot;,&quot;local&quot;:&quot;۵-پاداش-در-زمینهی-rl-برای-llmها-چیست&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3}],&quot;depth&quot;:2}],&quot;depth&quot;:1}"/><!---->
<link href="/docs/course/pr_1364/fa/_app/immutable/assets/0.tn0RQdqM.css" rel="modulepreload"> <!--[--><!--[0--><!--[--><!--[0--><!--[--><p></p> <div class="items-center shrink-0 min-w-[100px] max-sm:min-w-[50px] justify-end ml-auto flex" style="float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"><div class="inline-flex rounded-md max-sm:rounded-sm"><button class="inline-flex items-center gap-1 h-7 max-sm:h-7 px-2 max-sm:px-1.5 text-sm font-medium text-gray-800 border border-r-0 rounded-l-md max-sm:rounded-l-sm border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-live="polite"><span class="inline-flex items-center justify-center rounded-md p-0.5 max-sm:p-0 hover:text-gray-800 dark:hover:text-gray-200"><svg class="sm:size-3.5 size-3" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----></span> <span>Copy page</span></button> <button class="inline-flex items-center justify-center w-6 max-sm:w-5 h-7 max-sm:h-7 disabled:pointer-events-none text-sm text-gray-500 hover:text-gray-700 dark:hover:text-white rounded-r-md max-sm:rounded-r-sm border border-l transition border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-haspopup="menu" aria-expanded="false" aria-label="Open copy menu"><svg class="transition-transform text-gray-400 overflow-visible sm:size-3.5 size-3 rotate-0" width="1em" height="1em" viewBox="0 0 12 7" fill="none" xmlns="http://www.w3.org/2000/svg"><path d="M1 1L6 6L11 1" stroke="currentColor"></path></svg><!----></button></div> <!--[-1--><!--]--></div><!----> <!--[0--><h1 class="relative group"><a id="مقدمهای-بر-یادگیری-تقویتی-و-نقش-آن-در-مدلهای-زبانی-بزرگ" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#مقدمهای-بر-یادگیری-تقویتی-و-نقش-آن-در-مدلهای-زبانی-بزرگ"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>مقدمه‌ای بر یادگیری تقویتی و نقش آن در مدل‌های زبانی بزرگ</span></h1><!--]--><!----> <div dir="rtl"><p>به نخستین صفحه خوش آمدید!</p> <p>سفر خود را به دنیای هیجان‌انگیز یادگیری تقویتی (RL) آغاز می‌کنیم و می‌بینیم این روش چگونه شیوه‌ی تعلیم مدل‌های زبانی، مانند مدل‌هایی را که هر روز استفاده می‌کنید، دگرگون می‌کند.</p> <blockquote class="tip"><p>در این فصل بر یادگیری تقویتی برای مدل‌های زبانی تمرکز می‌کنیم. بااین‌حال، یادگیری تقویتی حوزه‌ای گسترده با کاربردهای فراوانی فراتر از مدل‌های زبانی است. اگر می‌خواهید بیشتر درباره‌ی یادگیری تقویتی بدانید، <a href="https://huggingface.co/courses/deep-rl-course/en/unit1/introduction" rel="nofollow">دوره‌ی یادگیری تقویتی عمیق</a> را ببینید.</p></blockquote> <p>این صفحه مقدمه‌ای روشن و دوستانه برای RL ارائه می‌دهد، حتی اگر قبلاً با آن روبه‌رو نشده باشید. ایده‌های اصلی را بررسی می‌کنیم و می‌بینیم چرا RL در حوزه‌ی مدل‌های زبانی بزرگ (LLM) اهمیت زیادی پیدا کرده است.</p> <!--[1--><h2 class="relative group"><a id="یادگیری-تقویتی-rl-چیست" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#یادگیری-تقویتی-rl-چیست"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>یادگیری تقویتی (RL) چیست؟</span></h2><!--]--><!----> <p>فرض کنید می‌خواهید سگی را تعلیم دهید. می‌خواهید به او بنشانید. ممکن است بگویید «بنشین!» و اگر سگ نشست، به او خوراکی و تشویق بدهید. اگر ننشست، شاید آرام راهنمایی‌اش کنید یا دوباره تلاش کنید. سگ به‌مرور نشستن را با پاداش مثبت (خوراکی و تشویق) مرتبط می‌کند و وقتی دوباره می‌گویید «بنشین!» احتمال بیشتری دارد که بنشیند. در یادگیری تقویتی، این بازخورد را <strong>پاداش</strong> می‌نامیم.</p> <p>این، در یک جمله، ایده‌ی اصلی یادگیری تقویتی است! به‌جای سگ، یک <strong>مدل زبانی</strong> داریم (در یادگیری تقویتی آن را <strong>عامل</strong> می‌نامیم) و به‌جای شما، <strong>محیطی</strong> داریم که بازخورد می‌دهد.</p> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/3.jpg" alt="فرایند اصطلاحات RL"/></p> <p>بیایید اجزای اصلی RL را بررسی کنیم:</p> <!--[2--><h3 class="relative group"><a id="عامل" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#عامل"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>عامل</span></h3><!--]--><!----> <p>این همان یادگیرنده‌ی ماست. در مثال سگ، سگ عامل است. در زمینه‌ی LLMها، خود LLM به عاملی تبدیل می‌شود که می‌خواهیم تعلیم دهیم. عامل تصمیم می‌گیرد و از محیط و پاداش‌های آن یاد می‌گیرد.</p> <!--[2--><h3 class="relative group"><a id="محیط" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#محیط"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>محیط</span></h3><!--]--><!----> <p>این همان جهانی است که عامل در آن زندگی می‌کند و با آن تعامل دارد. برای سگ، محیط خانه و شما هستید. برای یک LLM، محیط کمی انتزاعی‌تر است؛ ممکن است کاربرانی باشد که با آن‌ها تعامل می‌کند یا سناریویی شبیه‌سازی‌شده که برایش آماده کرده‌ایم. محیط به عامل بازخورد می‌دهد.</p> <!--[2--><h3 class="relative group"><a id="کنش" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#کنش"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>کنش</span></h3><!--]--><!----> <p>این‌ها انتخاب‌هایی هستند که عامل می‌تواند در محیط انجام دهد. کنش‌های سگ چیزهایی مانند «نشستن»، «ایستادن» و «واق‌واق کردن» هستند. برای یک LLM، کنش‌ها می‌توانند تولید کلمات در یک جمله، انتخاب پاسخ به یک پرسش یا تصمیم‌گیری درباره‌ی نحوه‌ی پاسخ‌گویی در یک گفت‌وگو باشند.</p> <!--[2--><h3 class="relative group"><a id="پاداش" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#پاداش"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>پاداش</span></h3><!--]--><!----> <p>این بازخوردی است که محیط پس از انجام یک کنش به عامل می‌دهد. پاداش‌ها معمولاً عدد هستند.</p> <p><strong>پاداش‌های مثبت</strong> مانند خوراکی و تشویق‌اند؛ آن‌ها به عامل می‌گویند «آفرین، کار درستی انجام دادی!»</p> <p><strong>پاداش‌های منفی</strong> (یا جریمه‌ها) مانند «نه» گفتنی آرام‌اند؛ آن‌ها به عامل می‌گویند «این کاملاً درست نبود، چیز دیگری را امتحان کن». برای سگ، خوراکی همان پاداش است.</p> <p>برای یک LLM، پاداش‌ها طوری طراحی می‌شوند که نشان دهند LLM در یک وظیفه‌ی مشخص چقدر خوب عمل می‌کند؛ مثلاً پاسخ آن چقدر مفید، درست یا بی‌ضرر است.</p> <!--[2--><h3 class="relative group"><a id="سیاست" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#سیاست"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>سیاست</span></h3><!--]--><!----> <p>این راهبرد عامل برای انتخاب کنش‌هاست. سیاست مانند درک سگ از کاری است که باید پس از شنیدن «بنشین!» انجام دهد. در RL، چیزی که واقعاً می‌خواهیم یاد بگیریم و بهبود دهیم، سیاست است. سیاست مجموعه‌ای از قواعد یا تابعی است که به عامل می‌گوید در موقعیت‌های گوناگون چه کنشی انجام دهد. در ابتدا ممکن است سیاست تصادفی باشد، اما با یادگیری عامل، سیاست در انتخاب کنش‌هایی که به پاداش بیشتر می‌انجامند بهتر می‌شود.</p> <!--[1--><h2 class="relative group"><a id="فرایند-rl-آزمون-و-خطا" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#فرایند-rl-آزمون-و-خطا"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>فرایند RL: آزمون و خطا</span></h2><!--]--><!----> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/1.jpg" alt="فرایند RL"/></p> <p>یادگیری تقویتی از طریق فرایند آزمون و خطا انجام می‌شود:</p> <table><thead><tr><th>گام</th><th>فرایند</th><th>توضیح</th></tr></thead><tbody><tr><td>1. مشاهده</td><td>عامل محیط را مشاهده می‌کند</td><td>عامل اطلاعات مربوط به وضعیت کنونی و پیرامون خود را دریافت می‌کند</td></tr><tr><td>2. کنش</td><td>عامل بر اساس سیاست کنونی خود کنشی انجام می‌دهد</td><td>عامل با استفاده از راهبرد آموخته‌شده‌ی خود (سیاست) تصمیم می‌گیرد قدم بعدی چه باشد</td></tr><tr><td>3. بازخورد</td><td>محیط به عامل پاداش می‌دهد</td><td>عامل بازخوردی درباره‌ی خوب یا بد بودن کنش خود دریافت می‌کند</td></tr><tr><td>4. یادگیری</td><td>عامل سیاست خود را بر اساس پاداش به‌روزرسانی می‌کند</td><td>عامل راهبرد خود را تنظیم می‌کند؛ کنش‌هایی را که پاداش زیادی داشته‌اند تقویت می‌کند و از کنش‌هایی که پاداش کمی داشته‌اند دوری می‌کند</td></tr><tr><td>5. تکرار</td><td>فرایند تکرار می‌شود</td><td>این چرخه ادامه می‌یابد و به عامل اجازه می‌دهد تصمیم‌گیری خود را پیوسته بهبود دهد</td></tr></tbody></table> <p>به یادگیری دوچرخه‌سواری فکر کنید. ممکن است ابتدا تلوتلو بخورید و بیفتید (پاداش منفی!). اما وقتی بتوانید تعادل خود را حفظ کنید و نرم رکاب بزنید، احساس خوبی خواهید داشت (پاداش مثبت!). بر اساس این بازخورد کنش‌های خود را تنظیم می‌کنید—کمی خم شدن، سریع‌تر رکاب زدن و غیره—تا سرانجام دوچرخه‌سواری را خوب یاد بگیرید. RL نیز شبیه همین است؛ یادگیری از طریق تعامل و بازخورد.</p> <!--[1--><h2 class="relative group"><a id="نقش-rl-در-مدلهای-زبانی-بزرگ-llm" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#نقش-rl-در-مدلهای-زبانی-بزرگ-llm"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>نقش RL در مدل‌های زبانی بزرگ (LLM)</span></h2><!--]--><!----> <p>حالا چرا RL برای مدل‌های زبانی بزرگ این‌قدر مهم است؟</p> <p>تعلیم LLMهای واقعاً خوب دشوار است. می‌توانیم آن‌ها را با حجم عظیمی از متن اینترنت تعلیم دهیم و آن‌ها در پیش‌بینی کلمه‌ی بعدی جمله بسیار خوب شوند. به این ترتیب یاد می‌گیرند متنی روان و از نظر دستوری درست تولید کنند؛ همان‌طور که در <a href="/course/chapter2/1">فصل ۲</a> آموختیم.</p> <p>بااین‌حال، روان بودن کافی نیست. می‌خواهیم LLMهای ما چیزی بیش از مدل‌هایی باشند که فقط در کنار هم گذاشتن کلمات خوب‌اند. می‌خواهیم آن‌ها:</p> <ul><li><strong>مفید باشند:</strong> اطلاعات سودمند و مرتبط ارائه دهند.</li> <li><strong>بی‌ضرر باشند:</strong> از تولید محتوای سمی، سوگیرانه یا زیان‌بار دوری کنند.</li> <li><strong>با ترجیحات انسان هم‌راستا باشند:</strong> به شیوه‌ای پاسخ دهند که برای انسان طبیعی، مفید و جذاب باشد.</li></ul> <p>روش‌های پیش‌تعلیم LLM که بیشتر بر پیش‌بینی کلمه‌ی بعدی از داده‌های متنی تکیه دارند، گاهی در این جنبه‌ها کافی نیستند.</p> <p>تعلیم نظارت‌شده برای تولید خروجی‌های ساختاریافته عالی است، اما ممکن است در تولید پاسخ‌های مفید، بی‌ضرر و هم‌راستا عملکرد کمتری داشته باشد. تعلیم نظارت‌شده را در <a href="/course/chapter11/1">فصل ۱۱</a> بررسی می‌کنیم.</p> <p>مدل‌های کوک‌شده ممکن است متنی روان و ساختاریافته تولید کنند که همچنان از نظر واقعی نادرست، سوگیرانه باشد یا واقعاً به پرسش کاربر به شکلی مفید پاسخ ندهد.</p> <p><strong>یادگیری تقویتی وارد می‌شود!</strong> RL راهی برای کوک کردن این LLMهای از پیش تعلیم‌دیده در اختیارمان می‌گذارد تا بهتر به این ویژگی‌های مطلوب برسند. مانند این است که به سگ LLM خود تعلیم بیشتری بدهیم تا همراهی خوش‌رفتار و مفید شود، نه اینکه فقط سگی باشد که واق‌واق کردن را روان بلد است!</p> <!--[1--><h2 class="relative group"><a id="یادگیری-تقویتی-از-بازخورد-انسانی-rlhf" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#یادگیری-تقویتی-از-بازخورد-انسانی-rlhf"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>یادگیری تقویتی از بازخورد انسانی (RLHF)</span></h2><!--]--><!----> <p>یکی از روش‌های بسیار رایج برای هم‌راستا کردن مدل‌های زبانی، <strong>یادگیری تقویتی از بازخورد انسانی (RLHF)</strong> است. در RLHF، از بازخورد انسان به‌عنوان جانشینی برای سیگنال «پاداش» در RL استفاده می‌کنیم. این روش چنین کار می‌کند:</p> <ol><li><p><strong>ترجیحات انسانی را به دست آورید:</strong> از انسان‌ها می‌خواهیم پاسخ‌های متفاوتی را که LLM برای یک اعلان ورودی تولید کرده مقایسه کنند و بگویند کدام پاسخ را ترجیح می‌دهند. برای نمونه، ممکن است دو پاسخ متفاوت به پرسش «پایتخت فرانسه کجاست؟» به انسانی نشان دهیم و بپرسیم «کدام پاسخ بهتر است؟»</p></li> <li><p><strong>یک مدل پاداش تعلیم دهید:</strong> از داده‌های ترجیح انسانی برای تعلیم مدل جداگانه‌ای به نام <strong>مدل پاداش</strong> استفاده می‌کنیم. این مدل یاد می‌گیرد پیش‌بینی کند انسان‌ها چه نوع پاسخ‌هایی را ترجیح می‌دهند. همچنین یاد می‌گیرد پاسخ‌ها را بر اساس مفید بودن، بی‌ضرر بودن و هم‌راستایی با ترجیحات انسانی امتیازدهی کند.</p></li> <li><p><strong>LLM را با RL کوک کنید:</strong> اکنون از مدل پاداش به‌عنوان محیط عامل LLM استفاده می‌کنیم. LLM پاسخ‌هایی تولید می‌کند (کنش‌ها) و مدل پاداش به آن پاسخ‌ها امتیاز می‌دهد (پاداش فراهم می‌کند). در اصل، LLM را تعلیم می‌دهیم متنی تولید کند که مدل پاداش ما، که از ترجیحات انسانی یاد گرفته است، آن را خوب می‌داند.</p></li></ol> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/grpo/2.jpg" alt="مفهوم پایه‌ی RL"/></p> <p>از دیدگاهی کلی، مزایای استفاده از RL در LLMها را بررسی کنیم:</p> <table><thead><tr><th>مزیت</th><th>توضیح</th></tr></thead><tbody><tr><td>کنترل بهتر</td><td>RL کنترل بیشتری بر نوع متنی که LLMها تولید می‌کنند در اختیارمان می‌گذارد. می‌توانیم آن‌ها را هدایت کنیم تا متنی تولید کنند که با هدف‌های مشخصی مانند مفید، خلاق یا مختصر بودن هم‌راستا باشد.</td></tr><tr><td>هم‌راستایی بیشتر با ارزش‌های انسانی</td><td>RLHF، به‌ویژه، کمک می‌کند LLMها را با ترجیحات انسانی پیچیده و اغلب ذهنی هم‌راستا کنیم. نوشتن قواعدی برای «چه چیزی یک پاسخ خوب می‌سازد» دشوار است، اما انسان‌ها می‌توانند پاسخ‌ها را به‌سادگی قضاوت و مقایسه کنند. RLHF به مدل اجازه می‌دهد از این قضاوت‌های انسانی یاد بگیرد.</td></tr><tr><td>کاهش رفتارهای نامطلوب</td><td>می‌توان از RL برای کاهش رفتارهای منفی در LLMها استفاده کرد؛ مانند تولید زبان سمی، انتشار اطلاعات نادرست یا نشان دادن سوگیری. با طراحی پاداش‌هایی که این رفتارها را جریمه می‌کنند، می‌توانیم مدل را به دوری از آن‌ها سوق دهیم.</td></tr></tbody></table> <p>یادگیری تقویتی از بازخورد انسانی برای تعلیم بسیاری از محبوب‌ترین LLMهای امروزی، مانند GPT-4 شرکت OpenAI، Gemini شرکت گوگل و R1 شرکت DeepSeek، استفاده شده است. تکنیک‌های گوناگونی برای RLHF وجود دارد که پیچیدگی و ظرافت متفاوتی دارند. در این فصل بر Group Relative Policy Optimization (GRPO) تمرکز می‌کنیم؛ تکنیکی برای RLHF که نشان داده است در تعلیم LLMهای مفید، بی‌ضرر و هم‌راستا با ترجیحات انسانی مؤثر است.</p> <!--[1--><h2 class="relative group"><a id="چرا-باید-به-grpo-group-relative-policy-optimization-اهمیت-بدهیم" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#چرا-باید-به-grpo-group-relative-policy-optimization-اهمیت-بدهیم"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>چرا باید به GRPO (Group Relative Policy Optimization) اهمیت بدهیم؟</span></h2><!--]--><!----> <p>تکنیک‌های گوناگونی برای RLHF وجود دارد، اما این دوره بر GRPO تمرکز دارد، زیرا این روش پیشرفت مهمی در یادگیری تقویتی برای مدل‌های زبانی به شمار می‌رود.</p> <p>بیایید به‌اختصار دو تکنیک محبوب دیگر برای RLHF را در نظر بگیریم:</p> <ul><li>Proximal Policy Optimization (PPO)</li> <li>Direct Preference Optimization (DPO)</li></ul> <p>Proximal Policy Optimization (PPO) یکی از نخستین تکنیک‌های بسیار مؤثر برای RLHF بود. این روش با استفاده از یک روش گرادیان سیاست، سیاست را بر اساس پاداشی که یک مدل پاداش جداگانه فراهم می‌کند به‌روزرسانی می‌کند.</p> <p>Direct Preference Optimization (DPO) بعداً به‌عنوان تکنیکی ساده‌تر توسعه یافت که با استفاده‌ی مستقیم از داده‌های ترجیحی، نیاز به مدل پاداش جداگانه را از بین می‌برد. در اصل، مسئله را به یک مسئله‌ی دسته‌بندی میان پاسخ انتخاب‌شده و پاسخ ردشده تبدیل می‌کند.</p> <blockquote class="tip"><p>DPO و PPO خود الگوریتم‌های پیچیده‌ی یادگیری تقویتی هستند و در این دوره آن‌ها را پوشش نمی‌دهیم. اگر می‌خواهید درباره‌ی آن‌ها بیشتر بدانید، منابع زیر را ببینید:</p> <ul><li><a href="https://huggingface.co/docs/trl/main/en/ppo_trainer" rel="nofollow">بهینه‌سازی سیاست نزدیک</a></li> <li><a href="https://huggingface.co/docs/trl/main/en/dpo_trainer" rel="nofollow">بهینه‌سازی مستقیم ترجیحات</a></li></ul></blockquote> <p>برخلاف DPO و PPO، GRPO نمونه‌های مشابه را کنار هم قرار می‌دهد و آن‌ها را به‌صورت گروهی مقایسه می‌کند. رویکرد گروه‌محور در مقایسه با روش‌های دیگر، گرادیان‌های باثبات‌تر و ویژگی‌های همگرایی بهتری فراهم می‌کند.</p> <p>GRPO مانند DPO از داده‌های ترجیح استفاده نمی‌کند، بلکه گروه‌هایی از نمونه‌های مشابه را با استفاده از سیگنال پاداش یک مدل یا تابع مقایسه می‌کند.</p> <p>GRPO در نحوه‌ی دریافت سیگنال‌های پاداش انعطاف‌پذیر است؛ می‌تواند با یک مدل پاداش (مانند PPO) کار کند، اما الزاماً به آن نیاز ندارد. دلیلش این است که GRPO می‌تواند سیگنال‌های پاداش را از هر تابع یا مدلی دریافت کند که قادر به ارزیابی کیفیت پاسخ‌ها باشد.</p> <p>برای نمونه، می‌توانیم از تابعی برای طول استفاده کنیم تا پاسخ‌های کوتاه‌تر را پاداش دهد، از حل‌گر ریاضی برای بررسی درست بودن راه‌حل استفاده کنیم، یا از تابع درستی واقعی برای پاداش دادن به پاسخ‌هایی استفاده کنیم که از نظر واقعی دقیق‌ترند. این انعطاف‌پذیری GRPO را برای انواع گوناگون وظایف هم‌راستاسازی بسیار توانمند می‌کند.</p> <hr/> <p>آفرین، ماژول ۱ را به پایان رساندید! اکنون مقدمه‌ای محکم بر یادگیری تقویتی و نقش مهم آن در شکل دادن به آینده‌ی مدل‌های زبانی بزرگ دارید. مفاهیم پایه‌ی RL، دلیل استفاده از آن برای LLMها و GRPO، یکی از الگوریتم‌های کلیدی این حوزه، را می‌شناسید.</p> <p>در ماژول بعدی دست‌به‌کار می‌شویم و مقاله‌ی DeepSeek R1 را بررسی می‌کنیم تا این مفاهیم را در عمل ببینیم!</p> <!--[1--><h2 class="relative group"><a id="آزمون" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#آزمون"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>آزمون</span></h2><!--]--><!----> <!--[2--><h3 class="relative group"><a id="۱-اجزای-اصلی-یادگیری-تقویتی-کداماند" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۱-اجزای-اصلی-یادگیری-تقویتی-کداماند"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۱. اجزای اصلی یادگیری تقویتی کدام‌اند؟</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->عامل، محیط، کنش، پاداش و سیاست<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->مدل، داده، تابع هزینه و بهینه‌ساز<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->ورودی، خروجی و لایه‌های پنهان<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----> <!--[2--><h3 class="relative group"><a id="۲-مزیت-اصلی-rlhf-برای-تعلیم-مدلهای-زبانی-چیست" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۲-مزیت-اصلی-rlhf-برای-تعلیم-مدلهای-زبانی-چیست"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۲. مزیت اصلی RLHF برای تعلیم مدل‌های زبانی چیست؟</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->کمک می‌کند مدل‌ها با ترجیحات و ارزش‌های انسانی هم‌راستا شوند<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->باعث می‌شود مدل‌ها متن را سریع‌تر تولید کنند<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->مصرف حافظه‌ی مدل را کاهش می‌دهد<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----> <!--[2--><h3 class="relative group"><a id="۳-در-زمینهی-rl-برای-llmها-چه-چیزی-یک-کنش-را-نشان-میدهد" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۳-در-زمینهی-rl-برای-llmها-چه-چیزی-یک-کنش-را-نشان-میدهد"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۳. در زمینه‌ی RL برای LLMها، چه چیزی یک «کنش» را نشان می‌دهد؟</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->تولید کلمات یا انتخاب پاسخ‌ها در یک گفت‌وگو<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->به‌روزرسانی وزن‌های مدل<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->پردازش توکِن‌های ورودی<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----> <!--[2--><h3 class="relative group"><a id="۴-نقش-پاداش-در-تعلیم-rl-مدلهای-زبانی-چیست" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۴-نقش-پاداش-در-تعلیم-rl-مدلهای-زبانی-چیست"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۴. نقش پاداش در تعلیم RL مدل‌های زبانی چیست؟</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->بازخوردی درباره‌ی میزان هم‌راستایی پاسخ‌های مدل با رفتار مطلوب فراهم می‌کند<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->اندازه‌ی واژگان مدل را اندازه‌گیری می‌کند<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->سرعت تعلیم مدل را تعیین می‌کند<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----> <!--[2--><h3 class="relative group"><a id="۵-پاداش-در-زمینهی-rl-برای-llmها-چیست" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۵-پاداش-در-زمینهی-rl-برای-llmها-چیست"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۵. پاداش در زمینه‌ی RL برای LLMها چیست؟</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->امتیازی عددی که کیفیت یک پاسخ را اندازه‌گیری می‌کند<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->تابعی که پاسخ تولید می‌کند<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->مدلی که کیفیت پاسخ‌ها را ارزیابی می‌کند<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----></div> <a class="!text-gray-400 !no-underline text-sm flex items-center not-prose mt-4" href="https://github.com/huggingface/course/blob/main/chapters/fa/chapter12/2.mdx" target="_blank"><svg class="mr-1" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M31,16l-7,7l-1.41-1.41L28.17,16l-5.58-5.59L24,9l7,7z"></path><path d="M1,16l7-7l1.41,1.41L3.83,16l5.58,5.59L8,23l-7-7z"></path><path d="M12.419,25.484L17.639,6.552l1.932,0.518L14.351,26.002z"></path></svg><!----> <span><span class="underline">Update</span> on GitHub</span></a><!----> <p></p><!--]--><!----><!--]--><!--]--><!--]--> <!--[-1--><!--]--><!--]-->
<script>
{
__sveltekit_pfm8ny = {
base: "/docs/course/pr_1364/fa",
assets: "/docs/course/pr_1364/fa"
};
const element = document.currentScript.parentElement;
Promise.all([
import("/docs/course/pr_1364/fa/_app/immutable/entry/start.CqZXmSrv.js"),
import("/docs/course/pr_1364/fa/_app/immutable/entry/app.B4UvgX5H.js")
]).then(([kit, app]) => {
kit.start(app, element, {
node_ids: [0, 29],
data: [null,null],
form: null,
error: null
});
});
}
</script>

Xet Storage Details

Size:
55.6 kB
·
Xet hash:
b119da8263689cc91c908b31eb95d44b7491fc1433852e7d44f06f69b8b67238

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.