Buckets:
| <meta charset="utf-8" /><meta name="hf:doc:metadata" content="{"title":"بررسی عمیق استنتاج تولید متن با LLMها","local":"inference-with-llms","sections":[{"title":"درک مبانی","local":"درک-مبانی","sections":[],"depth":2},{"title":"نقش توجه","local":"نقش-توجه","sections":[{"title":"طول زمینه و گسترهٔ توجه","local":"طول-زمینه-و-گستره-توجه","sections":[],"depth":3},{"title":"هنر درخواستنویسی","local":"هنر-درخواستنویسی","sections":[],"depth":3}],"depth":2},{"title":"فرایند دومرحلهای استنتاج","local":"فرایند-دومرحلهای-استنتاج","sections":[{"title":"مرحلهٔ پیشپرکردن","local":"مرحله-پیشپرکردن","sections":[],"depth":3},{"title":"مرحلهٔ رمزگشایی","local":"مرحله-رمزگشایی","sections":[],"depth":3}],"depth":2},{"title":"راهبردهای نمونهگیری","local":"راهبردهای-نمونهگیری","sections":[{"title":"درک انتخاب توکِن: از احتمالها تا انتخاب توکِن","local":"درک-انتخاب-توکن-از-احتمالها-تا-انتخاب-توکن","sections":[],"depth":3},{"title":"مدیریت تکرار: تازه نگهداشتن خروجی","local":"مدیریت-تکرار-تازه-نگهداشتن-خروجی","sections":[],"depth":3},{"title":"کنترل طول تولید: تعیین مرزها","local":"کنترل-طول-تولید-تعیین-مرزها","sections":[],"depth":3},{"title":"جستوجوی پرتو: نگاه به آینده برای انسجام بیشتر","local":"جستوجوی-پرتو-نگاه-به-آینده-برای-انسجام-بیشتر","sections":[],"depth":3}],"depth":2},{"title":"چالشهای عملی و بهینهسازی","local":"چالشهای-عملی-و-بهینهسازی","sections":[{"title":"معیارهای کلیدی عملکرد","local":"معیارهای-کلیدی-عملکرد","sections":[],"depth":3},{"title":"چالش طول زمینه","local":"چالش-طول-زمینه","sections":[],"depth":3},{"title":"بهینهسازی حافظهٔ نهان KV","local":"بهینهسازی-حافظه-نهان-kv","sections":[],"depth":3}],"depth":2},{"title":"جمعبندی","local":"جمعبندی","sections":[],"depth":2}],"depth":1}"/> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/entry/start.CqZXmSrv.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/oyrVqMhC.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/B3UUDp28.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/entry/app.B4UvgX5H.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/BioDZtGL.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/NIl2lQjl.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/DN6uzRQe.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/DsnmJJEf.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/nodes/0.DcFj1eGj.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/u5kFQ1Zb.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/nodes/12.afm757-l.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/BjCHz3cj.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/BPNwLiYb.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/B8VBSgkq.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/DFIrGYWg.js" rel="modulepreload"> | |
| <!--pfufg8--><meta name="hf:doc:metadata" content="{"title":"بررسی عمیق استنتاج تولید متن با LLMها","local":"inference-with-llms","sections":[{"title":"درک مبانی","local":"درک-مبانی","sections":[],"depth":2},{"title":"نقش توجه","local":"نقش-توجه","sections":[{"title":"طول زمینه و گسترهٔ توجه","local":"طول-زمینه-و-گستره-توجه","sections":[],"depth":3},{"title":"هنر درخواستنویسی","local":"هنر-درخواستنویسی","sections":[],"depth":3}],"depth":2},{"title":"فرایند دومرحلهای استنتاج","local":"فرایند-دومرحلهای-استنتاج","sections":[{"title":"مرحلهٔ پیشپرکردن","local":"مرحله-پیشپرکردن","sections":[],"depth":3},{"title":"مرحلهٔ رمزگشایی","local":"مرحله-رمزگشایی","sections":[],"depth":3}],"depth":2},{"title":"راهبردهای نمونهگیری","local":"راهبردهای-نمونهگیری","sections":[{"title":"درک انتخاب توکِن: از احتمالها تا انتخاب توکِن","local":"درک-انتخاب-توکن-از-احتمالها-تا-انتخاب-توکن","sections":[],"depth":3},{"title":"مدیریت تکرار: تازه نگهداشتن خروجی","local":"مدیریت-تکرار-تازه-نگهداشتن-خروجی","sections":[],"depth":3},{"title":"کنترل طول تولید: تعیین مرزها","local":"کنترل-طول-تولید-تعیین-مرزها","sections":[],"depth":3},{"title":"جستوجوی پرتو: نگاه به آینده برای انسجام بیشتر","local":"جستوجوی-پرتو-نگاه-به-آینده-برای-انسجام-بیشتر","sections":[],"depth":3}],"depth":2},{"title":"چالشهای عملی و بهینهسازی","local":"چالشهای-عملی-و-بهینهسازی","sections":[{"title":"معیارهای کلیدی عملکرد","local":"معیارهای-کلیدی-عملکرد","sections":[],"depth":3},{"title":"چالش طول زمینه","local":"چالش-طول-زمینه","sections":[],"depth":3},{"title":"بهینهسازی حافظهٔ نهان KV","local":"بهینهسازی-حافظه-نهان-kv","sections":[],"depth":3}],"depth":2},{"title":"جمعبندی","local":"جمعبندی","sections":[],"depth":2}],"depth":1}"/><!----> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/assets/0.tn0RQdqM.css" rel="modulepreload"> <!--[--><!--[0--><!--[--><!--[0--><!--[--><p></p> <div class="items-center shrink-0 min-w-[100px] max-sm:min-w-[50px] justify-end ml-auto flex" style="float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"><div class="inline-flex rounded-md max-sm:rounded-sm"><button class="inline-flex items-center gap-1 h-7 max-sm:h-7 px-2 max-sm:px-1.5 text-sm font-medium text-gray-800 border border-r-0 rounded-l-md max-sm:rounded-l-sm border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-live="polite"><span class="inline-flex items-center justify-center rounded-md p-0.5 max-sm:p-0 hover:text-gray-800 dark:hover:text-gray-200"><svg class="sm:size-3.5 size-3" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----></span> <span>Copy page</span></button> <button class="inline-flex items-center justify-center w-6 max-sm:w-5 h-7 max-sm:h-7 disabled:pointer-events-none text-sm text-gray-500 hover:text-gray-700 dark:hover:text-white rounded-r-md max-sm:rounded-r-sm border border-l transition border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-haspopup="menu" aria-expanded="false" aria-label="Open copy menu"><svg class="transition-transform text-gray-400 overflow-visible sm:size-3.5 size-3 rotate-0" width="1em" height="1em" viewBox="0 0 12 7" fill="none" xmlns="http://www.w3.org/2000/svg"><path d="M1 1L6 6L11 1" stroke="currentColor"></path></svg><!----></button></div> <!--[-1--><!--]--></div><!----> <!--[0--><h1 class="relative group"><a id="inference-with-llms" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#inference-with-llms"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>بررسی عمیق استنتاج تولید متن با LLMها</span></h1><!--]--><!----> <div class="flex space-x-1 absolute z-10 right-0 top-0"><a href="https://discuss.huggingface.co/t/chapter-1-questions" target="_blank"><img alt="Ask a Question" class="!m-0" src="https://img.shields.io/badge/Ask%20a%20question-ffcb4c.svg?logo=data:image/svg+xml;base64,PHN2ZyB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciIHZpZXdCb3g9IjAgLTEgMTA0IDEwNiI+PGRlZnM+PHN0eWxlPi5jbHMtMXtmaWxsOiMyMzFmMjA7fS5jbHMtMntmaWxsOiNmZmY5YWU7fS5jbHMtM3tmaWxsOiMwMGFlZWY7fS5jbHMtNHtmaWxsOiMwMGE5NGY7fS5jbHMtNXtmaWxsOiNmMTVkMjI7fS5jbHMtNntmaWxsOiNlMzFiMjM7fTwvc3R5bGU+PC9kZWZzPjx0aXRsZT5EaXNjb3Vyc2VfbG9nbzwvdGl0bGU+PGcgaWQ9IkxheWVyXzIiPjxnIGlkPSJMYXllcl8zIj48cGF0aCBjbGFzcz0iY2xzLTEiIGQ9Ik01MS44NywwQzIzLjcxLDAsMCwyMi44MywwLDUxYzAsLjkxLDAsNTIuODEsMCw1Mi44MWw1MS44Ni0uMDVjMjguMTYsMCw1MS0yMy43MSw1MS01MS44N1M4MCwwLDUxLjg3LDBaIi8+PHBhdGggY2xhc3M9ImNscy0yIiBkPSJNNTIuMzcsMTkuNzRBMzEuNjIsMzEuNjIsMCwwLDAsMjQuNTgsNjYuNDFsLTUuNzIsMTguNEwzOS40LDgwLjE3YTMxLjYxLDMxLjYxLDAsMSwwLDEzLTYwLjQzWiIvPjxwYXRoIGNsYXNzPSJjbHMtMyIgZD0iTTc3LjQ1LDMyLjEyYTMxLjYsMzEuNiwwLDAsMS0zOC4wNSw0OEwxOC44Niw4NC44MmwyMC45MS0yLjQ3QTMxLjYsMzEuNiwwLDAsMCw3Ny40NSwzMi4xMloiLz48cGF0aCBjbGFzcz0iY2xzLTQiIGQ9Ik03MS42MywyNi4yOUEzMS42LDMxLjYsMCwwLDEsMzguOCw3OEwxOC44Niw4NC44MiwzOS40LDgwLjE3QTMxLjYsMzEuNiwwLDAsMCw3MS42MywyNi4yOVoiLz48cGF0aCBjbGFzcz0iY2xzLTUiIGQ9Ik0yNi40Nyw2Ny4xMWEzMS42MSwzMS42MSwwLDAsMSw1MS0zNUEzMS42MSwzMS42MSwwLDAsMCwyNC41OCw2Ni40MWwtNS43MiwxOC40WiIvPjxwYXRoIGNsYXNzPSJjbHMtNiIgZD0iTTI0LjU4LDY2LjQxQTMxLjYxLDMxLjYxLDAsMCwxLDcxLjYzLDI2LjI5YTMxLjYxLDMxLjYxLDAsMCwwLTQ5LDM5LjYzbC0zLjc2LDE4LjlaIi8+PC9nPjwvZz48L3N2Zz4="/></a><!----> <!--[-1--><!--]--> <!--[-1--><!--]--></div><!----> <div dir="rtl"><iframe class="w-full xl:w-4/6 h-80" src="https://www.youtube-nocookie.com/embed/Xp2w1_LKZN4" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen=""></iframe><!----> <p>تا اینجا معماری ترنسفورمر را در ارتباط با مجموعهای از وظایف گسسته، مانند دستهبندی متن یا خلاصهسازی، بررسی کردهایم. بااینحال، مدلهای زبانی بزرگ بیشتر برای تولید متن استفاده میشوند و در این فصل همین موضوع را بررسی میکنیم.</p> <p>در این صفحه، مفاهیم اصلی استنتاج LLM را بررسی میکنیم تا درکی جامع از چگونگی تولید متن توسط این مدلها و مؤلفههای کلیدی فرایند استنتاج به دست آوریم.</p> <!--[1--><h2 class="relative group"><a id="درک-مبانی" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#درک-مبانی"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>درک مبانی</span></h2><!--]--><!----> <p>از مبانی شروع کنیم. استنتاج فرایند استفاده از یک LLM آموزشدیده برای تولید متنی شبیه متن انسانی از یک درخواست ورودی مشخص است. مدلهای زبانی از دانش حاصل از آموزش خود استفاده میکنند تا پاسخها را هر بار یک واژه شکل دهند. مدل از احتمالهای آموختهشده در میلیاردها پارامتر بهره میگیرد تا توکِن بعدی دنباله را پیشبینی و تولید کند. همین تولید دنبالهای است که به LLMها امکان میدهد متنی منسجم و مرتبط با زمینه تولید کنند.</p> <!--[1--><h2 class="relative group"><a id="نقش-توجه" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#نقش-توجه"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>نقش توجه</span></h2><!--]--><!----> <p>سازوکار توجه به LLMها توانایی درک زمینه و تولید پاسخهای منسجم را میدهد. هنگام پیشبینی واژهٔ بعدی، همهٔ واژههای جمله اهمیت یکسانی ندارند؛ برای مثال، در جملهٔ <em>«The capital of France is …»</em>، واژههای «France» و «capital» برای تشخیص اینکه «Paris» باید بعدی باشد حیاتیاند. این توانایی تمرکز بر اطلاعات مرتبط همان چیزی است که توجه مینامیم.</p> <img src="https://huggingface.co/datasets/agents-course/course-images/resolve/main/en/unit1/AttentionSceneFinal.gif" alt="تصویر متحرک سازوکار توجه" width="60%"/> <p>این فرایند شناسایی مرتبطترین واژهها برای پیشبینی توکِن بعدی بسیار مؤثر بوده است. اگرچه اصل پایهٔ آموزش LLMها ــ پیشبینی توکِن بعدی ــ از زمان BERT و GPT-2 عموماً ثابت مانده، در مقیاسدهی شبکههای عصبی و واداشتن سازوکار توجه به کار روی دنبالههای هرچه طولانیتر با هزینههای هرچه کمتر پیشرفتهای چشمگیری رخ داده است.</p> <blockquote class="tip"><p>خلاصه اینکه سازوکار توجه کلید توانایی LLMها برای تولید متنی منسجم و آگاه از زمینه است. این سازوکار LLMهای مدرن را از نسلهای پیشین مدلهای زبانی متمایز میکند.</p></blockquote> <!--[2--><h3 class="relative group"><a id="طول-زمینه-و-گستره-توجه" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#طول-زمینه-و-گستره-توجه"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>طول زمینه و گسترهٔ توجه</span></h3><!--]--><!----> <p>اکنون که توجه را میشناسیم، بررسی کنیم یک LLM واقعاً چه مقدار زمینه را میتواند مدیریت کند. این موضوع ما را به طول زمینه، یا «گسترهٔ توجه» مدل، میرساند.</p> <p>طول زمینه به بیشترین تعداد توکِن (واژه یا بخشی از واژه) اشاره دارد که LLM میتواند همزمان پردازش کند. میتوانید آن را اندازهٔ حافظهٔ کاری مدل در نظر بگیرید.</p> <p>این تواناییها به چند عامل عملی محدود میشوند:</p> <ul><li>معماری و اندازهٔ مدل</li> <li>منابع محاسباتی موجود</li> <li>پیچیدگی ورودی و خروجی موردنظر</li></ul> <p>در دنیای ایدئال میتوانستیم زمینهای نامحدود به مدل بدهیم، اما محدودیتهای سختافزاری و هزینههای محاسباتی این کار را غیرعملی میکنند. به همین دلیل مدلهای مختلف با طولهای زمینهٔ متفاوت طراحی میشوند تا میان توانایی و کارایی تعادل برقرار شود.</p> <blockquote class="tip"><p>طول زمینه بیشترین تعداد توکِنهایی است که مدل هنگام تولید پاسخ میتواند همزمان در نظر بگیرد.</p></blockquote> <!--[2--><h3 class="relative group"><a id="هنر-درخواستنویسی" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#هنر-درخواستنویسی"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>هنر درخواستنویسی</span></h3><!--]--><!----> <p>وقتی اطلاعاتی را به LLMها میدهیم، ورودی خود را طوری ساختاربندی میکنیم که تولید LLM را به سوی خروجی موردنظر هدایت کند. به این کار <em>درخواستنویسی</em> گفته میشود.</p> <p>درک شیوهٔ پردازش اطلاعات توسط LLMها به ما کمک میکند درخواستهای بهتری بنویسیم. چون وظیفهٔ اصلی مدل پیشبینی توکِن بعدی با تحلیل اهمیت هر توکِن ورودی است، نحوهٔ بیان دنبالهٔ ورودی شما اهمیت زیادی پیدا میکند.</p> <blockquote class="tip"><p>طراحی دقیق درخواست، <strong>هدایت تولید LLM به سوی خروجی موردنظر</strong> را آسانتر میکند.</p></blockquote> <!--[1--><h2 class="relative group"><a id="فرایند-دومرحلهای-استنتاج" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#فرایند-دومرحلهای-استنتاج"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>فرایند دومرحلهای استنتاج</span></h2><!--]--><!----> <p>اکنون که مؤلفههای پایه را میشناسیم، ببینیم LLMها در عمل چگونه متن تولید میکنند. این فرایند را میتوان به دو مرحلهٔ اصلی تقسیم کرد: پیشپرکردن و رمزگشایی. این دو مرحله مانند خط مونتاژ با هم کار میکنند و هرکدام نقشی اساسی در تولید متن منسجم دارند.</p> <!--[2--><h3 class="relative group"><a id="مرحله-پیشپرکردن" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#مرحله-پیشپرکردن"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>مرحلهٔ پیشپرکردن</span></h3><!--]--><!----> <p>مرحلهٔ پیشپرکردن مانند مرحلهٔ آمادهسازی در آشپزی است؛ جایی که همهٔ مواد اولیه پردازش و آماده میشوند. این مرحله سه گام کلیدی دارد:</p> <ol><li><strong>توکِنسازی</strong>: تبدیل متن ورودی به توکِنها (آنها را اجزای سازندهٔ پایهای در نظر بگیرید که مدل درک میکند)</li> <li><strong>تبدیل جاسازی</strong>: تبدیل این توکِنها به بازنماییهای عددی که معنای آنها را ثبت میکنند</li> <li><strong>پردازش اولیه</strong>: عبوردادن این جاسازیها از شبکههای عصبی مدل برای ایجاد درکی غنی از زمینه</li></ol> <p>این مرحله از نظر محاسباتی سنگین است، زیرا باید همهٔ توکِنهای ورودی را همزمان پردازش کند. آن را مانند خواندن و درک یک پاراگراف کامل پیش از شروع نوشتن پاسخ در نظر بگیرید.</p> <p>در محیط تعاملی زیر میتوانید توکِنایزرهای مختلف را آزمایش کنید:</p> <iframe src="https://agents-course-the-tokenizer-playground.static.hf.space" frameborder="0" width="850" height="450"></iframe> <!--[2--><h3 class="relative group"><a id="مرحله-رمزگشایی" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#مرحله-رمزگشایی"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>مرحلهٔ رمزگشایی</span></h3><!--]--><!----> <p>پس از اینکه مرحلهٔ پیشپرکردن ورودی را پردازش کرد، به مرحلهٔ رمزگشایی میرسیم؛ اینجا تولید واقعی متن انجام میشود. مدل در فرایندی که آن را خودبازگشتی مینامیم (هر توکِن جدید به همهٔ توکِنهای قبلی وابسته است)، هر بار یک توکِن تولید میکند.</p> <p>مرحلهٔ رمزگشایی برای هر توکِن جدید شامل چند گام کلیدی است:</p> <ol><li><strong>محاسبهٔ توجه</strong>: نگاهکردن به همهٔ توکِنهای قبلی برای درک زمینه</li> <li><strong>محاسبهٔ احتمال</strong>: تعیین احتمال هر توکِن بعدیِ ممکن</li> <li><strong>انتخاب توکِن</strong>: انتخاب توکِن بعدی بر اساس این احتمالها</li> <li><strong>بررسی ادامه</strong>: تصمیمگیری دربارهٔ ادامهدادن یا متوقفکردن تولید</li></ol> <p>این مرحله از نظر حافظه سنگین است، زیرا مدل باید همهٔ توکِنهای تولیدشدهٔ قبلی و ارتباطهای آنها را پیگیری کند.</p> <!--[1--><h2 class="relative group"><a id="راهبردهای-نمونهگیری" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#راهبردهای-نمونهگیری"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>راهبردهای نمونهگیری</span></h2><!--]--><!----> <p>اکنون که میدانیم مدل چگونه متن تولید میکند، روشهای گوناگون کنترل این فرایند را بررسی کنیم. همانطور که نویسنده ممکن است میان خلاقیت بیشتر و دقت بیشتر انتخاب کند، ما نیز میتوانیم شیوهٔ انتخاب توکِن توسط مدل را تنظیم کنیم.</p> <p>در این Space میتوانید خودتان با فرایند رمزگشایی پایهٔ SmolLM2 تعامل کنید (به یاد داشته باشید که مدل تا رسیدن به توکِن <strong>EOS</strong> رمزگشایی میکند؛ این توکِن برای این مدل <strong><|im_end|></strong> است):</p> <iframe src="https://agents-course-decoding-visualizer.hf.space" frameborder="0" width="850" height="450"></iframe> <!--[2--><h3 class="relative group"><a id="درک-انتخاب-توکن-از-احتمالها-تا-انتخاب-توکن" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#درک-انتخاب-توکن-از-احتمالها-تا-انتخاب-توکن"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>درک انتخاب توکِن: از احتمالها تا انتخاب توکِن</span></h3><!--]--><!----> <p>وقتی مدل باید توکِن بعدی را انتخاب کند، با احتمالهای خام (که logits نامیده میشوند) برای هر واژه در واژگان خود شروع میکند. اما چگونه این احتمالها را به انتخابهای واقعی تبدیل میکنیم؟ بیایید فرایند را مرحلهبهمرحله بررسی کنیم:</p> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/inference/1.png" alt="تصویر"/></p> <ol><li><strong>logitهای خام</strong>: آنها را احساس اولیهٔ مدل دربارهٔ هر واژهٔ بعدیِ ممکن در نظر بگیرید</li> <li><strong>کنترل دما</strong>: مانند پیچ تنظیم خلاقیت است؛ مقدارهای بیشتر از ۱٫۰ انتخابها را تصادفیتر و خلاقانهتر میکنند و مقدارهای کمتر از ۱٫۰ آنها را متمرکزتر و قطعیتر میسازند</li> <li><strong>نمونهگیری Top-p (هستهای)</strong>: بهجای درنظرگرفتن همهٔ واژههای ممکن، فقط محتملترین واژههایی را بررسی میکنیم که مجموع احتمالشان به آستانهٔ انتخابشدهٔ ما میرسد (برای مثال، ۹۰٪ برتر)</li> <li><strong>فیلترکردن Top-k</strong>: رویکردی جایگزین که در آن فقط k واژهٔ بعدیِ محتملتر را در نظر میگیریم</li></ol> <!--[2--><h3 class="relative group"><a id="مدیریت-تکرار-تازه-نگهداشتن-خروجی" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#مدیریت-تکرار-تازه-نگهداشتن-خروجی"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>مدیریت تکرار: تازه نگهداشتن خروجی</span></h3><!--]--><!----> <p>یکی از چالشهای رایج LLMها تمایل آنها به تکرار خودشان است؛ مانند سخنرانی که مدام به نکات یکسان برمیگردد. برای مقابله با این مشکل، از دو نوع جریمه استفاده میکنیم:</p> <ol><li><strong>جریمهٔ حضور</strong>: جریمهای ثابت که بدون توجه به تعداد تکرار، برای هر توکِنی که قبلاً ظاهر شده اعمال میشود. این کار به جلوگیری از استفادهٔ دوبارهٔ مدل از همان واژهها کمک میکند.</li> <li><strong>جریمهٔ بسامد</strong>: جریمهای مقیاسپذیر که بر اساس تعداد استفاده از یک توکِن افزایش مییابد. هرچه واژهای بیشتر ظاهر شود، احتمال انتخاب دوبارهٔ آن کمتر میشود.</li></ol> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/inference/2.png" alt="تصویر"/></p> <p>این جریمهها در ابتدای فرایند انتخاب توکِن اعمال میشوند و پیش از اعمال راهبردهای نمونهگیری دیگر، احتمالهای خام را تنظیم میکنند. آنها را تلنگرهای ملایمی در نظر بگیرید که مدل را به کاوش واژگان جدید تشویق میکنند.</p> <!--[2--><h3 class="relative group"><a id="کنترل-طول-تولید-تعیین-مرزها" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#کنترل-طول-تولید-تعیین-مرزها"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>کنترل طول تولید: تعیین مرزها</span></h3><!--]--><!----> <p>همانطور که داستان خوب به آهنگ و طول مناسب نیاز دارد، ما هم به راههایی برای کنترل مقدار متنی که LLM تولید میکند نیاز داریم. این موضوع برای کاربردهای عملی حیاتی است؛ چه پاسخی بهاندازهٔ یک توییت تولید کنیم و چه یک پست کامل وبلاگی.</p> <p>میتوانیم طول تولید را به چند روش کنترل کنیم:</p> <ol><li><strong>محدودیت توکِن</strong>: تعیین کمینه و بیشینهٔ تعداد توکِنها</li> <li><strong>دنبالههای توقف</strong>: تعریف الگوهای مشخصی که پایان تولید را اعلام میکنند</li> <li><strong>تشخیص پایان دنباله</strong>: اجازهدادن به مدل برای پایاندادن طبیعی به پاسخ خود</li></ol> <p>برای مثال، اگر بخواهیم یک پاراگراف تولید کنیم، میتوانیم بیشینه را ۱۰۰ توکِن تعیین کنیم و از “\n\n” بهعنوان دنبالهٔ توقف استفاده کنیم. این کار تضمین میکند خروجی ما متمرکز و متناسب با هدفش باقی بماند.</p> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/inference/3.png" alt="تصویر"/></p> <!--[2--><h3 class="relative group"><a id="جستوجوی-پرتو-نگاه-به-آینده-برای-انسجام-بیشتر" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#جستوجوی-پرتو-نگاه-به-آینده-برای-انسجام-بیشتر"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>جستوجوی پرتو: نگاه به آینده برای انسجام بیشتر</span></h3><!--]--><!----> <p>در حالی که راهبردهای بررسیشده تاکنون در هر گام دربارهٔ یک توکِن تصمیم میگیرند، جستوجوی پرتو رویکردی جامعتر دارد. این روش بهجای متعهدشدن به یک انتخاب در هر گام، چند مسیر ممکن را همزمان بررسی میکند؛ مانند شطرنجبازی که چند حرکت جلوتر را در ذهن میسنجد.</p> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/inference/4.png" alt="تصویر"/></p> <p>فرایند کار به این صورت است:</p> <ol><li>در هر گام چند دنبالهٔ نامزد را نگه دارید (معمولاً ۵ تا ۱۰ دنباله)</li> <li>برای هر نامزد، احتمالهای توکِن بعدی را محاسبه کنید</li> <li>فقط امیدوارکنندهترین ترکیبهای دنبالهها و توکِنهای بعدی را نگه دارید</li> <li>این فرایند را تا رسیدن به طول موردنظر یا شرط توقف ادامه دهید</li> <li>دنبالهای را انتخاب کنید که بیشترین احتمال کلی را دارد</li></ol> <p>در اینجا میتوانید جستوجوی پرتو را بهصورت بصری بررسی کنید:</p> <iframe src="https://agents-course-beam-search-visualizer.hf.space" frameborder="0" width="850" height="450"></iframe> <p>این رویکرد اغلب متنی منسجمتر و از نظر دستوری درستتر تولید میکند، هرچند نسبت به روشهای سادهتر به منابع محاسباتی بیشتری نیاز دارد.</p> <!--[1--><h2 class="relative group"><a id="چالشهای-عملی-و-بهینهسازی" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#چالشهای-عملی-و-بهینهسازی"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>چالشهای عملی و بهینهسازی</span></h2><!--]--><!----> <p>در پایان بررسی استنتاج LLM، چالشهای عملیای را که هنگام استقرار این مدلها با آنها روبهرو میشوید و روش اندازهگیری و بهینهسازی عملکردشان را بررسی کنیم.</p> <!--[2--><h3 class="relative group"><a id="معیارهای-کلیدی-عملکرد" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#معیارهای-کلیدی-عملکرد"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>معیارهای کلیدی عملکرد</span></h3><!--]--><!----> <p>هنگام کار با LLMها، چهار معیار حیاتی بر تصمیمهای پیادهسازی شما اثر میگذارند:</p> <ol><li><strong>زمان تا توکِن نخست (TTFT)</strong>: نخستین پاسخ را با چه سرعتی دریافت میکنید؟ این معیار برای تجربهٔ کاربر حیاتی است و عمدتاً از مرحلهٔ پیشپرکردن اثر میپذیرد.</li> <li><strong>زمان هر توکِن خروجی (TPOT)</strong>: توکِنهای بعدی را با چه سرعتی میتوانید تولید کنید؟ این معیار سرعت کلی تولید را تعیین میکند.</li> <li><strong>توان عملیاتی</strong>: همزمان چند درخواست را میتوانید مدیریت کنید؟ این معیار بر مقیاسپذیری و بهرهوری هزینه اثر میگذارد.</li> <li><strong>مصرف VRAM</strong>: چه مقدار حافظهٔ GPU نیاز دارید؟ این مورد اغلب در کاربردهای دنیای واقعی به محدودیت اصلی تبدیل میشود.</li></ol> <!--[2--><h3 class="relative group"><a id="چالش-طول-زمینه" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#چالش-طول-زمینه"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>چالش طول زمینه</span></h3><!--]--><!----> <p>یکی از مهمترین چالشها در استنتاج LLM، مدیریت مؤثر طول زمینه است. زمینههای طولانیتر اطلاعات بیشتری فراهم میکنند، اما هزینههای قابلتوجهی دارند:</p> <ul><li><strong>مصرف حافظه</strong>: با طول زمینه بهصورت درجهٔ دوم رشد میکند</li> <li><strong>سرعت پردازش</strong>: با طولانیترشدن زمینه بهصورت خطی کاهش مییابد</li> <li><strong>تخصیص منابع</strong>: به ایجاد تعادل دقیق در مصرف VRAM نیاز دارد</li></ul> <p>مدلهای جدیدی مانند <a href="https://huggingface.co/Qwen/Qwen2.5-14B-Instruct-1M" rel="nofollow">Qwen2.5-1M</a> پنجرهٔ زمینهٔ چشمگیر یکمیلیونتوکِنی ارائه میدهند، اما هزینهٔ آن زمان استنتاج بسیار کندتر است. نکتهٔ کلیدی یافتن تعادل مناسب برای موردکاربردی مشخص شماست.</p> <div style="max-width: 800px; margin: 20px auto; padding: 20px; font-family: system-ui;"><div style="border: 2px solid #ddd; border-radius: 8px; padding: 20px; margin-bottom: 20px;"><div style="display: flex; align-items: center; margin-bottom: 15px;"><div style="flex: 1; text-align: center; padding: 10px; background: #f0f0f0; border-radius: 4px;">متن ورودی (خام)</div> <div style="margin: 0 10px;">→</div> <div style="flex: 1; text-align: center; padding: 10px; background: #e1f5fe; border-radius: 4px;">ورودی توکِنسازیشده</div></div> <div style="display: flex; margin-bottom: 15px;"><div style="flex: 1; border: 1px solid #ccc; padding: 10px; margin: 5px; background: #e8f5e9; border-radius: 4px; text-align: center;">پنجرهٔ زمینه<br/>(برای مثال، ۴K توکِن) <div style="display: flex; margin-top: 10px;"><div style="flex: 1; background: #81c784; margin: 2px; height: 20px; border-radius: 2px;"></div> <div style="flex: 1; background: #81c784; margin: 2px; height: 20px; border-radius: 2px;"></div> <div style="flex: 1; background: #81c784; margin: 2px; height: 20px; border-radius: 2px;"></div> <div style="flex: 1; background: #81c784; margin: 2px; height: 20px; border-radius: 2px;"></div></div></div></div> <div style="display: flex; justify-content: space-between; text-align: center; font-size: 0.9em; color: #666;"><div style="flex: 1;"><div style="border: 1px solid #ffcc80; padding: 8px; margin: 5px; background: #fff3e0; border-radius: 4px;">مصرف حافظه<br/>∝ طول²</div></div> <div style="flex: 1;"><div style="border: 1px solid #90caf9; padding: 8px; margin: 5px; background: #e3f2fd; border-radius: 4px;">زمان پردازش<br/>∝ طول</div></div></div></div></div> <!--[2--><h3 class="relative group"><a id="بهینهسازی-حافظه-نهان-kv" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#بهینهسازی-حافظه-نهان-kv"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>بهینهسازی حافظهٔ نهان KV</span></h3><!--]--><!----> <p>برای رفع این چالشها، یکی از قدرتمندترین بهینهسازیها ذخیرهسازی حافظهٔ نهان KV (کلید-مقدار) است. این تکنیک با ذخیره و استفادهٔ دوباره از محاسبات میانی، سرعت استنتاج را بهطور چشمگیری افزایش میدهد. این بهینهسازی:</p> <ul><li>محاسبات تکراری را کاهش میدهد</li> <li>سرعت تولید را افزایش میدهد</li> <li>تولید با زمینهٔ طولانی را عملی میکند</li></ul> <p>هزینهٔ این کار مصرف حافظهٔ بیشتر است، اما مزایای عملکردی معمولاً بسیار بیشتر از این هزینهاند.</p> <!--[1--><h2 class="relative group"><a id="جمعبندی" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#جمعبندی"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>جمعبندی</span></h2><!--]--><!----> <p>درک استنتاج LLM برای استقرار و بهینهسازی مؤثر این مدلهای قدرتمند ضروری است. مؤلفههای کلیدی زیر را پوشش دادیم:</p> <ul><li>نقش بنیادی توجه و زمینه</li> <li>فرایند دومرحلهای استنتاج</li> <li>راهبردهای گوناگون نمونهگیری برای کنترل تولید</li> <li>چالشها و بهینهسازیهای عملی</li></ul> <p>با تسلط بر این مفاهیم، آمادگی بیشتری برای ساخت برنامههایی خواهید داشت که بهصورت مؤثر و کارآمد از LLMها استفاده میکنند.</p> <p>به یاد داشته باشید که حوزهٔ استنتاج LLM بهسرعت در حال تحول است و تکنیکها و بهینهسازیهای جدید مرتب پدیدار میشوند. کنجکاو بمانید و به آزمایش رویکردهای مختلف ادامه دهید تا بهترین روش را برای موردکاربردی مشخص خود پیدا کنید.</p></div> <a class="!text-gray-400 !no-underline text-sm flex items-center not-prose mt-4" href="https://github.com/huggingface/course/blob/main/chapters/fa/chapter1/8.mdx" target="_blank"><svg class="mr-1" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M31,16l-7,7l-1.41-1.41L28.17,16l-5.58-5.59L24,9l7,7z"></path><path d="M1,16l7-7l1.41,1.41L3.83,16l5.58,5.59L8,23l-7-7z"></path><path d="M12.419,25.484L17.639,6.552l1.932,0.518L14.351,26.002z"></path></svg><!----> <span><span class="underline">Update</span> on GitHub</span></a><!----> <p></p><!--]--><!----><!--]--><!--]--><!--]--> <!--[-1--><!--]--><!--]--> | |
| <script> | |
| { | |
| __sveltekit_pfm8ny = { | |
| base: "/docs/course/pr_1364/fa", | |
| assets: "/docs/course/pr_1364/fa" | |
| }; | |
| const element = document.currentScript.parentElement; | |
| Promise.all([ | |
| import("/docs/course/pr_1364/fa/_app/immutable/entry/start.CqZXmSrv.js"), | |
| import("/docs/course/pr_1364/fa/_app/immutable/entry/app.B4UvgX5H.js") | |
| ]).then(([kit, app]) => { | |
| kit.start(app, element, { | |
| node_ids: [0, 12], | |
| data: [null,null], | |
| form: null, | |
| error: null | |
| }); | |
| }); | |
| } | |
| </script> | |
Xet Storage Details
- Size:
- 56.6 kB
- Xet hash:
- bde39aa1fc4853ce2bcc43e2197be49a59fab0941f8ca8ba0587eae536a89fda
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.