Buckets:

download
raw
59.3 kB
<meta charset="utf-8" /><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;معماری‌های ترنسفورمر&quot;,&quot;local&quot;:&quot;transformer-architectures&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;مدل‌های رمزگذار&quot;,&quot;local&quot;:&quot;encoder-models&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;مدل‌های رمزگشا&quot;,&quot;local&quot;:&quot;decoder-models&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;مدل‌های زبانی بزرگ مدرن (LLM)&quot;,&quot;local&quot;:&quot;مدلهای-زبانی-بزرگ-مدرن-llm&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;توانایی‌های کلیدی LLMهای مدرن&quot;,&quot;local&quot;:&quot;تواناییهای-کلیدی-llmهای-مدرن&quot;,&quot;sections&quot;:[],&quot;depth&quot;:4}],&quot;depth&quot;:3}],&quot;depth&quot;:2},{&quot;title&quot;:&quot;مدل‌های دنباله‌به‌دنباله&quot;,&quot;local&quot;:&quot;sequence-to-sequence-models&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;کاربردهای عملی&quot;,&quot;local&quot;:&quot;کاربردهای-عملی&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3}],&quot;depth&quot;:2},{&quot;title&quot;:&quot;انتخاب معماری مناسب&quot;,&quot;local&quot;:&quot;choosing-the-right-architecture&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;تکامل LLMها&quot;,&quot;local&quot;:&quot;تکامل-llmها&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;سازوکارهای توجه&quot;,&quot;local&quot;:&quot;attention-mechanisms&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;توجه LSH&quot;,&quot;local&quot;:&quot;توجه-lsh&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;توجه محلی&quot;,&quot;local&quot;:&quot;توجه-محلی&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;کدگذاری‌های مکانی محوری&quot;,&quot;local&quot;:&quot;کدگذاریهای-مکانی-محوری&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3}],&quot;depth&quot;:2},{&quot;title&quot;:&quot;جمع‌بندی&quot;,&quot;local&quot;:&quot;conclusion&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2}],&quot;depth&quot;:1}"/>
<link href="/docs/course/pr_1364/fa/_app/immutable/entry/start.CqZXmSrv.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/oyrVqMhC.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/B3UUDp28.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/entry/app.B4UvgX5H.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/BioDZtGL.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/NIl2lQjl.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/DN6uzRQe.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/DsnmJJEf.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/nodes/0.DcFj1eGj.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/u5kFQ1Zb.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/nodes/10.tdmxzCFU.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/BjCHz3cj.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/BPNwLiYb.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/B8VBSgkq.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/DFIrGYWg.js" rel="modulepreload">
<!--1hmrh5a--><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;معماری‌های ترنسفورمر&quot;,&quot;local&quot;:&quot;transformer-architectures&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;مدل‌های رمزگذار&quot;,&quot;local&quot;:&quot;encoder-models&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;مدل‌های رمزگشا&quot;,&quot;local&quot;:&quot;decoder-models&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;مدل‌های زبانی بزرگ مدرن (LLM)&quot;,&quot;local&quot;:&quot;مدلهای-زبانی-بزرگ-مدرن-llm&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;توانایی‌های کلیدی LLMهای مدرن&quot;,&quot;local&quot;:&quot;تواناییهای-کلیدی-llmهای-مدرن&quot;,&quot;sections&quot;:[],&quot;depth&quot;:4}],&quot;depth&quot;:3}],&quot;depth&quot;:2},{&quot;title&quot;:&quot;مدل‌های دنباله‌به‌دنباله&quot;,&quot;local&quot;:&quot;sequence-to-sequence-models&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;کاربردهای عملی&quot;,&quot;local&quot;:&quot;کاربردهای-عملی&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3}],&quot;depth&quot;:2},{&quot;title&quot;:&quot;انتخاب معماری مناسب&quot;,&quot;local&quot;:&quot;choosing-the-right-architecture&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;تکامل LLMها&quot;,&quot;local&quot;:&quot;تکامل-llmها&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;سازوکارهای توجه&quot;,&quot;local&quot;:&quot;attention-mechanisms&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;توجه LSH&quot;,&quot;local&quot;:&quot;توجه-lsh&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;توجه محلی&quot;,&quot;local&quot;:&quot;توجه-محلی&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;کدگذاری‌های مکانی محوری&quot;,&quot;local&quot;:&quot;کدگذاریهای-مکانی-محوری&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3}],&quot;depth&quot;:2},{&quot;title&quot;:&quot;جمع‌بندی&quot;,&quot;local&quot;:&quot;conclusion&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2}],&quot;depth&quot;:1}"/><!---->
<link href="/docs/course/pr_1364/fa/_app/immutable/assets/0.tn0RQdqM.css" rel="modulepreload"> <!--[--><!--[0--><!--[--><!--[0--><!--[--><p></p> <div class="flex space-x-1 absolute z-10 right-0 top-0"><a href="https://discuss.huggingface.co/t/chapter-1-questions" target="_blank"><img alt="Ask a Question" class="!m-0" src="https://img.shields.io/badge/Ask%20a%20question-ffcb4c.svg?logo=data:image/svg+xml;base64,PHN2ZyB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciIHZpZXdCb3g9IjAgLTEgMTA0IDEwNiI+PGRlZnM+PHN0eWxlPi5jbHMtMXtmaWxsOiMyMzFmMjA7fS5jbHMtMntmaWxsOiNmZmY5YWU7fS5jbHMtM3tmaWxsOiMwMGFlZWY7fS5jbHMtNHtmaWxsOiMwMGE5NGY7fS5jbHMtNXtmaWxsOiNmMTVkMjI7fS5jbHMtNntmaWxsOiNlMzFiMjM7fTwvc3R5bGU+PC9kZWZzPjx0aXRsZT5EaXNjb3Vyc2VfbG9nbzwvdGl0bGU+PGcgaWQ9IkxheWVyXzIiPjxnIGlkPSJMYXllcl8zIj48cGF0aCBjbGFzcz0iY2xzLTEiIGQ9Ik01MS44NywwQzIzLjcxLDAsMCwyMi44MywwLDUxYzAsLjkxLDAsNTIuODEsMCw1Mi44MWw1MS44Ni0uMDVjMjguMTYsMCw1MS0yMy43MSw1MS01MS44N1M4MCwwLDUxLjg3LDBaIi8+PHBhdGggY2xhc3M9ImNscy0yIiBkPSJNNTIuMzcsMTkuNzRBMzEuNjIsMzEuNjIsMCwwLDAsMjQuNTgsNjYuNDFsLTUuNzIsMTguNEwzOS40LDgwLjE3YTMxLjYxLDMxLjYxLDAsMSwwLDEzLTYwLjQzWiIvPjxwYXRoIGNsYXNzPSJjbHMtMyIgZD0iTTc3LjQ1LDMyLjEyYTMxLjYsMzEuNiwwLDAsMS0zOC4wNSw0OEwxOC44Niw4NC44MmwyMC45MS0yLjQ3QTMxLjYsMzEuNiwwLDAsMCw3Ny40NSwzMi4xMloiLz48cGF0aCBjbGFzcz0iY2xzLTQiIGQ9Ik03MS42MywyNi4yOUEzMS42LDMxLjYsMCwwLDEsMzguOCw3OEwxOC44Niw4NC44MiwzOS40LDgwLjE3QTMxLjYsMzEuNiwwLDAsMCw3MS42MywyNi4yOVoiLz48cGF0aCBjbGFzcz0iY2xzLTUiIGQ9Ik0yNi40Nyw2Ny4xMWEzMS42MSwzMS42MSwwLDAsMSw1MS0zNUEzMS42MSwzMS42MSwwLDAsMCwyNC41OCw2Ni40MWwtNS43MiwxOC40WiIvPjxwYXRoIGNsYXNzPSJjbHMtNiIgZD0iTTI0LjU4LDY2LjQxQTMxLjYxLDMxLjYxLDAsMCwxLDcxLjYzLDI2LjI5YTMxLjYxLDMxLjYxLDAsMCwwLTQ5LDM5LjYzbC0zLjc2LDE4LjlaIi8+PC9nPjwvZz48L3N2Zz4="/></a><!----> <!--[-1--><!--]--> <!--[-1--><!--]--></div><!----> <div dir="rtl"><div class="items-center shrink-0 min-w-[100px] max-sm:min-w-[50px] justify-end ml-auto flex" style="float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"><div class="inline-flex rounded-md max-sm:rounded-sm"><button class="inline-flex items-center gap-1 h-7 max-sm:h-7 px-2 max-sm:px-1.5 text-sm font-medium text-gray-800 border border-r-0 rounded-l-md max-sm:rounded-l-sm border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-live="polite"><span class="inline-flex items-center justify-center rounded-md p-0.5 max-sm:p-0 hover:text-gray-800 dark:hover:text-gray-200"><svg class="sm:size-3.5 size-3" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----></span> <span>Copy page</span></button> <button class="inline-flex items-center justify-center w-6 max-sm:w-5 h-7 max-sm:h-7 disabled:pointer-events-none text-sm text-gray-500 hover:text-gray-700 dark:hover:text-white rounded-r-md max-sm:rounded-r-sm border border-l transition border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-haspopup="menu" aria-expanded="false" aria-label="Open copy menu"><svg class="transition-transform text-gray-400 overflow-visible sm:size-3.5 size-3 rotate-0" width="1em" height="1em" viewBox="0 0 12 7" fill="none" xmlns="http://www.w3.org/2000/svg"><path d="M1 1L6 6L11 1" stroke="currentColor"></path></svg><!----></button></div> <!--[-1--><!--]--></div><!----> <!--[0--><h1 class="relative group"><a id="transformer-architectures" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#transformer-architectures"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>معماری‌های ترنسفورمر</span></h1><!--]--><!----> <p>در بخش‌های پیشین، معماری کلی ترنسفورمر را معرفی کردیم و دیدیم این مدل‌ها چگونه می‌توانند وظایف گوناگون را حل کنند. اکنون سه گونهٔ اصلی معماری مدل‌های ترنسفورمر را دقیق‌تر بررسی می‌کنیم و می‌آموزیم هرکدام را چه زمانی به کار ببریم. سپس بررسی می‌کنیم این معماری‌ها چگونه برای وظایف مختلف زبانی به کار گرفته می‌شوند.</p> <p>در این بخش، عمیق‌تر وارد سه گونهٔ اصلی معماری ترنسفورمر می‌شویم و زمان مناسب استفاده از هرکدام را بررسی می‌کنیم.</p> <blockquote class="tip"><p>به یاد داشته باشید که بیشتر مدل‌های ترنسفورمر از یکی از سه معماری استفاده می‌کنند: فقط رمزگذار، فقط رمزگشا، یا رمزگذار-رمزگشا (دنباله‌به‌دنباله). درک این تفاوت‌ها به شما کمک می‌کند مدل مناسب وظیفهٔ خود را انتخاب کنید.</p></blockquote> <!--[1--><h2 class="relative group"><a id="encoder-models" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#encoder-models"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>مدل‌های رمزگذار</span></h2><!--]--><!----> <iframe class="w-full xl:w-4/6 h-80" src="https://www.youtube-nocookie.com/embed/MUqNwgPjJvQ" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen=""></iframe><!----> <p>مدل‌های رمزگذار فقط از بخش رمزگذار یک مدل ترنسفورمر استفاده می‌کنند. در هر مرحله، لایه‌های توجه می‌توانند به همهٔ واژه‌های جملهٔ اولیه دسترسی داشته باشند. این مدل‌ها معمولاً با توجه «دوطرفه» شناخته می‌شوند و اغلب به آن‌ها <em>مدل‌های خودرمزگذار</em> گفته می‌شود.</p> <p>پیش‌آموزش این مدل‌ها معمولاً بر خراب‌کردن جمله‌ای مشخص (برای نمونه، پوشاندن واژه‌های تصادفی آن) و واداشتن مدل به یافتن یا بازسازی جملهٔ اولیه استوار است.</p> <p>مدل‌های رمزگذار برای وظایفی مناسب‌ترند که به درک کل جمله نیاز دارند؛ مانند دسته‌بندی جمله، تشخیص موجودیت نام‌دار (و به‌طور کلی‌تر، دسته‌بندی واژه) و پاسخ‌گویی استخراجی به پرسش.</p> <blockquote class="tip"><p>همان‌طور که در <a href="https://huggingface.co/learn/llm-course/chapter1/5" rel="nofollow">ترنسفورمرها چگونه وظایف را حل می‌کنند</a> دیدیم، مدل‌های رمزگذاری مانند BERT در درک متن عالی هستند، زیرا می‌توانند کل زمینه را از هر دو جهت ببینند. بنابراین برای وظایفی که درک کامل ورودی اهمیت دارد، بسیار مناسب‌اند.</p></blockquote> <p>نمونه‌هایی از این خانوادهٔ مدل‌ها عبارت‌اند از:</p> <ul><li><a href="https://huggingface.co/docs/transformers/model_doc/bert" rel="nofollow">BERT</a></li> <li><a href="https://huggingface.co/docs/transformers/model_doc/distilbert" rel="nofollow">DistilBERT</a></li> <li><a href="https://huggingface.co/docs/transformers/en/model_doc/modernbert" rel="nofollow">ModernBERT</a></li></ul> <!--[1--><h2 class="relative group"><a id="decoder-models" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#decoder-models"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>مدل‌های رمزگشا</span></h2><!--]--><!----> <iframe class="w-full xl:w-4/6 h-80" src="https://www.youtube-nocookie.com/embed/d_ixlCubqQw" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen=""></iframe><!----> <p>مدل‌های رمزگشا فقط از بخش رمزگشای یک مدل ترنسفورمر استفاده می‌کنند. در هر مرحله، برای یک واژهٔ مشخص، لایه‌های توجه فقط می‌توانند به واژه‌هایی دسترسی داشته باشند که پیش از آن در جمله قرار گرفته‌اند. این مدل‌ها اغلب «مدل‌های خودبازگشتی» نامیده می‌شوند.</p> <p>پیش‌آموزش مدل‌های رمزگشا معمولاً بر پیش‌بینی واژهٔ بعدی جمله متمرکز است.</p> <p>این مدل‌ها برای وظایفی مناسب‌ترند که شامل تولید متن می‌شوند.</p> <blockquote class="tip"><p>مدل‌های رمزگشایی مانند GPT برای تولید متن با پیش‌بینی یک توکِن در هر گام طراحی شده‌اند. همان‌طور که در <a href="https://huggingface.co/learn/llm-course/chapter1/5" rel="nofollow">ترنسفورمرها چگونه وظایف را حل می‌کنند</a> بررسی کردیم، این مدل‌ها فقط توکِن‌های قبلی را می‌بینند؛ بنابراین برای تولید خلاقانهٔ متن عالی‌اند، اما برای وظایفی که به درک دوطرفه نیاز دارند مناسب‌تر نیستند.</p></blockquote> <p>نمونه‌هایی از این خانوادهٔ مدل‌ها عبارت‌اند از:</p> <ul><li><a href="https://huggingface.co/HuggingFaceTB/SmolLM2-1.7B-Instruct" rel="nofollow">مجموعهٔ SmolLM از Hugging Face</a></li> <li><a href="https://huggingface.co/docs/transformers/en/model_doc/llama4" rel="nofollow">مجموعهٔ Llama از Meta</a></li> <li><a href="https://huggingface.co/docs/transformers/main/en/model_doc/gemma3" rel="nofollow">مجموعهٔ Gemma از Google</a></li> <li><a href="https://huggingface.co/deepseek-ai/DeepSeek-V3" rel="nofollow">V3 از DeepSeek</a></li></ul> <!--[2--><h3 class="relative group"><a id="مدلهای-زبانی-بزرگ-مدرن-llm" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#مدلهای-زبانی-بزرگ-مدرن-llm"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>مدل‌های زبانی بزرگ مدرن (LLM)</span></h3><!--]--><!----> <p>بیشتر مدل‌های زبانی بزرگ (LLM) مدرن از معماری فقط رمزگشا استفاده می‌کنند. اندازه و توانایی‌های این مدل‌ها در چند سال گذشته به‌سرعت افزایش یافته و بعضی از بزرگ‌ترین مدل‌ها صدها میلیارد پارامتر دارند.</p> <p>مدل‌های زبانی بزرگ مدرن معمولاً در دو مرحله آموزش داده می‌شوند:</p> <ol><li><strong>پیش‌آموزش</strong>: مدل یاد می‌گیرد توکِن بعدی را بر اساس حجم بسیار زیادی از دادهٔ متنی پیش‌بینی کند.</li> <li><strong>تنظیم دستوری</strong>: مدل برای پیروی از دستورها و تولید پاسخ‌های مفید ریزتنظیم می‌شود.</li></ol> <p>این رویکرد به مدل‌هایی انجامیده است که می‌توانند متن شبیه متن انسانی را در موضوعات و وظایف گوناگون درک و تولید کنند.</p> <!--[3--><h4 class="relative group"><a id="تواناییهای-کلیدی-llmهای-مدرن" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#تواناییهای-کلیدی-llmهای-مدرن"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>توانایی‌های کلیدی LLMهای مدرن</span></h4><!--]--><!----> <p>LLMهای مبتنی بر رمزگشای مدرن توانایی‌های چشمگیری نشان داده‌اند:</p> <table><thead><tr><th>توانایی</th><th>توضیح</th><th>مثال</th></tr></thead><tbody><tr><td>تولید متن</td><td>ایجاد متنی منسجم و مرتبط با زمینه</td><td>نوشتن مقاله، داستان یا ایمیل</td></tr><tr><td>خلاصه‌سازی</td><td>فشرده‌کردن اسناد طولانی به نسخه‌های کوتاه‌تر</td><td>ساخت خلاصهٔ مدیریتی گزارش‌ها</td></tr><tr><td>ترجمه</td><td>تبدیل متن از زبانی به زبان دیگر</td><td>ترجمهٔ انگلیسی به اسپانیایی</td></tr><tr><td>پاسخ‌گویی به پرسش</td><td>ارائهٔ پاسخ به پرسش‌های واقعی</td><td>«پایتخت فرانسه چیست؟»</td></tr><tr><td>تولید کد</td><td>نوشتن یا کامل‌کردن قطعه‌های کد</td><td>ساخت تابع بر اساس یک توضیح</td></tr><tr><td>استدلال</td><td>حل مرحله‌به‌مرحلهٔ مسئله‌ها</td><td>حل مسئله‌های ریاضی یا معماهای منطقی</td></tr><tr><td>یادگیری چندنمونه‌ای</td><td>یادگیری از چند مثال موجود در درخواست</td><td>دسته‌بندی متن پس از دیدن فقط ۲ یا ۳ مثال</td></tr></tbody></table> <p>می‌توانید LLMهای مبتنی بر رمزگشا را مستقیماً در مرورگر و از طریق صفحهٔ مخزن مدل در هاب آزمایش کنید. در اینجا نمونه‌ای با <a href="https://huggingface.co/openai-community/gpt2" rel="nofollow">GPT-2</a> کلاسیک (بهترین مدل متن‌باز OpenAI!) آورده شده است:</p> <a href="https://huggingface.co/openai-community/gpt2" target="_blank">مشاهدهٔ مدل GPT-2 در Hugging Face</a> <!--[1--><h2 class="relative group"><a id="sequence-to-sequence-models" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#sequence-to-sequence-models"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>مدل‌های دنباله‌به‌دنباله</span></h2><!--]--><!----> <iframe class="w-full xl:w-4/6 h-80" src="https://www.youtube-nocookie.com/embed/0_4KEb08xrE" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen=""></iframe><!----> <p>مدل‌های رمزگذار-رمزگشا (که «مدل‌های دنباله‌به‌دنباله» نیز نامیده می‌شوند) از هر دو بخش معماری ترنسفورمر استفاده می‌کنند. در هر مرحله، لایه‌های توجه رمزگذار می‌توانند به همهٔ واژه‌های جملهٔ اولیه دسترسی داشته باشند، در حالی که لایه‌های توجه رمزگشا فقط به واژه‌هایی دسترسی دارند که پیش از یک واژهٔ مشخص در ورودی قرار گرفته‌اند.</p> <p>پیش‌آموزش این مدل‌ها می‌تواند شکل‌های متفاوتی داشته باشد، اما اغلب شامل بازسازی جمله‌ای است که ورودی آن به‌نحوی خراب شده (برای مثال، با پوشاندن واژه‌های تصادفی). در پیش‌آموزش مدل T5، بازه‌های تصادفی متن (که می‌توانند چند واژه داشته باشند) با یک توکِن ویژهٔ ماسک جایگزین می‌شوند و مدل باید متنی را پیش‌بینی کند که این توکِن ماسک جایگزین آن شده است.</p> <p>مدل‌های دنباله‌به‌دنباله برای وظایفی مناسب‌ترند که بر تولید جمله‌های جدید بر اساس یک ورودی مشخص تمرکز دارند؛ مانند خلاصه‌سازی، ترجمه یا پاسخ‌گویی مولد به پرسش.</p> <blockquote class="tip"><p>همان‌طور که در <a href="https://huggingface.co/learn/llm-course/chapter1/5" rel="nofollow">ترنسفورمرها چگونه وظایف را حل می‌کنند</a> دیدیم، مدل‌های رمزگذار-رمزگشا مانند BART و T5 نقاط قوت هر دو معماری را ترکیب می‌کنند. رمزگذار درک عمیق و دوطرفه‌ای از ورودی فراهم می‌کند و رمزگشا متن خروجی مناسب را تولید می‌کند. این مدل‌ها برای تبدیل یک دنباله به دنباله‌ای دیگر، مانند ترجمه یا خلاصه‌سازی، بسیار مناسب‌اند.</p></blockquote> <!--[2--><h3 class="relative group"><a id="کاربردهای-عملی" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#کاربردهای-عملی"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>کاربردهای عملی</span></h3><!--]--><!----> <p>مدل‌های دنباله‌به‌دنباله در وظایفی عالی‌اند که باید یک شکل متن را به شکل دیگری تبدیل کرد و معنا را حفظ کرد. برخی کاربردهای عملی عبارت‌اند از:</p> <table><thead><tr><th>کاربرد</th><th>توضیح</th><th>مدل نمونه</th></tr></thead><tbody><tr><td>ترجمهٔ ماشینی</td><td>تبدیل متن بین زبان‌ها</td><td>Marian، T5</td></tr><tr><td>خلاصه‌سازی متن</td><td>ساخت خلاصه‌های کوتاه از متن‌های طولانی‌تر</td><td>BART، T5</td></tr><tr><td>تولید متن از داده</td><td>تبدیل دادهٔ ساخت‌یافته به زبان طبیعی</td><td>T5</td></tr><tr><td>اصلاح دستور زبان</td><td>اصلاح خطاهای دستوری متن</td><td>T5</td></tr><tr><td>پاسخ‌گویی به پرسش</td><td>تولید پاسخ بر اساس زمینه</td><td>BART، T5</td></tr></tbody></table> <p>در ادامه، نمونه‌ای تعاملی از یک مدل دنباله‌به‌دنباله برای ترجمه می‌بینید:</p> <iframe src="https://course-demos-speech-to-speech-translation.hf.space" frameborder="0" width="850" height="450"></iframe> <p>نمونه‌هایی از این خانوادهٔ مدل‌ها عبارت‌اند از:</p> <ul><li><a href="https://huggingface.co/docs/transformers/model_doc/bart" rel="nofollow">BART</a></li> <li><a href="https://huggingface.co/docs/transformers/model_doc/mbart" rel="nofollow">mBART</a></li> <li><a href="https://huggingface.co/docs/transformers/model_doc/marian" rel="nofollow">Marian</a></li> <li><a href="https://huggingface.co/docs/transformers/model_doc/t5" rel="nofollow">T5</a></li></ul> <!--[1--><h2 class="relative group"><a id="choosing-the-right-architecture" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#choosing-the-right-architecture"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>انتخاب معماری مناسب</span></h2><!--]--><!----> <p>هنگام کار روی یک وظیفهٔ NLP مشخص، چگونه معماری مناسب را انتخاب می‌کنید؟ راهنمای کوتاه زیر کمک می‌کند:</p> <table><thead><tr><th>وظیفه</th><th>معماری پیشنهادی</th><th>نمونه‌ها</th></tr></thead><tbody><tr><td>دسته‌بندی متن (احساس، موضوع)</td><td>رمزگذار</td><td>BERT، RoBERTa</td></tr><tr><td>تولید متن (نوشتار خلاقانه)</td><td>رمزگشا</td><td>GPT، LLaMA</td></tr><tr><td>ترجمه</td><td>رمزگذار-رمزگشا</td><td>T5، BART</td></tr><tr><td>خلاصه‌سازی</td><td>رمزگذار-رمزگشا</td><td>BART، T5</td></tr><tr><td>تشخیص موجودیت نام‌دار</td><td>رمزگذار</td><td>BERT، RoBERTa</td></tr><tr><td>پاسخ‌گویی به پرسش (استخراجی)</td><td>رمزگذار</td><td>BERT، RoBERTa</td></tr><tr><td>پاسخ‌گویی به پرسش (مولد)</td><td>رمزگذار-رمزگشا یا رمزگشا</td><td>T5، GPT</td></tr><tr><td>هوش مصنوعی محاوره‌ای</td><td>رمزگشا</td><td>GPT، LLaMA</td></tr></tbody></table> <blockquote class="tip"><p>اگر در انتخاب مدل مناسب تردید دارید، این پرسش‌ها را در نظر بگیرید:</p> <ol><li>وظیفهٔ شما به چه نوع درکی نیاز دارد؟ (دوطرفه یا یک‌طرفه)</li> <li>آیا متن جدید تولید می‌کنید یا متن موجود را تحلیل می‌کنید؟</li> <li>آیا لازم است یک دنباله را به دنباله‌ای دیگر تبدیل کنید؟</li></ol> <p>پاسخ این پرسش‌ها شما را به سوی معماری مناسب هدایت می‌کند.</p></blockquote> <!--[1--><h2 class="relative group"><a id="تکامل-llmها" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#تکامل-llmها"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>تکامل LLMها</span></h2><!--]--><!----> <p>مدل‌های زبانی بزرگ در سال‌های اخیر به‌سرعت تکامل یافته‌اند و هر نسل بهبودهای چشمگیری در توانایی‌ها به همراه آورده است.</p> <!--[1--><h2 class="relative group"><a id="attention-mechanisms" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#attention-mechanisms"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>سازوکارهای توجه</span></h2><!--]--><!----> <p>بیشتر مدل‌های ترنسفورمر از توجه کامل استفاده می‌کنند؛ یعنی ماتریس توجه مربعی است. وقتی متن‌ها طولانی باشند، این موضوع می‌تواند به گلوگاه محاسباتی بزرگی تبدیل شود. مدل‌های Longformer و Reformer تلاش می‌کنند با استفاده از نسخه‌ای تنک از ماتریس توجه، کارایی را افزایش دهند و آموزش را سریع‌تر کنند.</p> <blockquote class="tip"><p>پیچیدگی محاسباتی سازوکارهای توجه استاندارد O(n²) است که در آن n طول دنباله است. این موضوع برای دنباله‌های بسیار طولانی مشکل‌ساز می‌شود. سازوکارهای توجه تخصصی زیر به رفع این محدودیت کمک می‌کنند.</p></blockquote> <!--[2--><h3 class="relative group"><a id="توجه-lsh" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#توجه-lsh"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>توجه LSH</span></h3><!--]--><!----> <p><a href="https://huggingface.co/docs/transformers/model_doc/reformer" rel="nofollow">Reformer</a> از توجه LSH استفاده می‌کند. در softmax(QK^t)، فقط بزرگ‌ترین عناصر (در بُعد softmax) ماتریس QK^t سهم مفیدی دارند. بنابراین برای هر پرس‌وجو q در Q، می‌توانیم فقط کلیدهای k در K را در نظر بگیریم که به q نزدیک‌اند. برای تعیین نزدیک‌بودن q و k از تابع هش استفاده می‌شود. ماسک توجه تغییر می‌کند تا توکِن فعلی را (به‌جز در جایگاه نخست) بپوشاند، چون این توکِن یک پرس‌وجو و یک کلید برابر با هم ایجاد می‌کند (و در نتیجه بسیار شبیه هم هستند). چون هش ممکن است کمی تصادفی باشد، در عمل از چند تابع هش استفاده می‌شود (که با پارامتر n_rounds تعیین می‌شوند) و سپس نتایج آن‌ها با هم میانگین‌گیری می‌شوند.</p> <!--[2--><h3 class="relative group"><a id="توجه-محلی" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#توجه-محلی"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>توجه محلی</span></h3><!--]--><!----> <p><a href="https://huggingface.co/docs/transformers/model_doc/longformer" rel="nofollow">Longformer</a> از توجه محلی استفاده می‌کند: اغلب زمینهٔ محلی (برای مثال، دو توکِن سمت چپ و راست) برای تصمیم‌گیری دربارهٔ یک توکِن کافی است. همچنین با روی‌هم‌گذاشتن لایه‌های توجهی که پنجرهٔ کوچکی دارند، لایهٔ آخر میدان دریافتی‌ای بزرگ‌تر از توکِن‌های داخل پنجره خواهد داشت و می‌تواند بازنمایی کل جمله را بسازد.</p> <p>به چند توکِن ورودیِ ازپیش‌انتخاب‌شده نیز توجه سراسری داده می‌شود: برای این توکِن‌های محدود، ماتریس توجه می‌تواند به همهٔ توکِن‌ها دسترسی داشته باشد و این فرایند متقارن است؛ یعنی همهٔ توکِن‌های دیگر (علاوه بر توکِن‌های پنجرهٔ محلی خود) به همان توکِن‌های خاص دسترسی دارند. این موضوع در شکل ۲d مقاله نشان داده شده است؛ در ادامه نمونه‌ای از ماسک توجه را می‌بینید:</p> <div class="flex justify-center"><img scale="50 %" align="center" src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/local_attention_mask.png"/></div> <p>استفاده از این ماتریس‌های توجه با پارامترهای کمتر، به مدل اجازه می‌دهد ورودی‌هایی با طول دنبالهٔ بیشتر داشته باشد.</p> <!--[2--><h3 class="relative group"><a id="کدگذاریهای-مکانی-محوری" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#کدگذاریهای-مکانی-محوری"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>کدگذاری‌های مکانی محوری</span></h3><!--]--><!----> <p><a href="https://huggingface.co/docs/transformers/model_doc/reformer" rel="nofollow">Reformer</a> از کدگذاری مکانی محوری استفاده می‌کند: در مدل‌های ترنسفورمر سنتی، کدگذاری مکانی E ماتریسی با اندازهٔ<!----><span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>l</mi></mrow><annotation encoding="application/x-tex">l</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal" style="margin-right:0.0197em;">l</span></span></span></span><!----> در<!----><span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>d</mi></mrow><annotation encoding="application/x-tex">d</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal">d</span></span></span></span><!----> است؛ در اینجا<!----><span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>l</mi></mrow><annotation encoding="application/x-tex">l</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal" style="margin-right:0.0197em;">l</span></span></span></span><!----> طول دنباله و<!----><span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>d</mi></mrow><annotation encoding="application/x-tex">d</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal">d</span></span></span></span><!----> بُعد حالت پنهان است. اگر متن‌ها بسیار طولانی باشند، این ماتریس می‌تواند عظیم شود و فضای زیادی روی GPU اشغال کند. برای کاهش این مشکل، کدگذاری‌های مکانی محوری ماتریس بزرگ E را به دو ماتریس کوچک‌تر E1 و E2 تجزیه می‌کنند؛ ابعاد این دو ماتریس به‌ترتیب<!----><span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>l</mi><mn>1</mn></msub><mo>×</mo><msub><mi>d</mi><mn>1</mn></msub></mrow><annotation encoding="application/x-tex">l_{1} \times d_{1}</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal" style="margin-right:0.0197em;">l</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:-0.0197em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">1</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">×</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal">d</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:0em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">1</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span></span></span></span><!----> و<!----><span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>l</mi><mn>2</mn></msub><mo>×</mo><msub><mi>d</mi><mn>2</mn></msub></mrow><annotation encoding="application/x-tex">l_{2} \times d_{2}</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal" style="margin-right:0.0197em;">l</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:-0.0197em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">2</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">×</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal">d</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:0em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">2</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span></span></span></span><!----> است، به‌طوری که<!----><span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>l</mi><mn>1</mn></msub><mo>×</mo><msub><mi>l</mi><mn>2</mn></msub><mo>=</mo><mi>l</mi></mrow><annotation encoding="application/x-tex">l_{1} \times l_{2} = l</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal" style="margin-right:0.0197em;">l</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:-0.0197em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">1</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">×</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal" style="margin-right:0.0197em;">l</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:-0.0197em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">2</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2778em;"></span><span class="mrel">=</span><span class="mspace" style="margin-right:0.2778em;"></span></span><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal" style="margin-right:0.0197em;">l</span></span></span></span><!----> و<!----><span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>d</mi><mn>1</mn></msub><mo>+</mo><msub><mi>d</mi><mn>2</mn></msub><mo>=</mo><mi>d</mi></mrow><annotation encoding="application/x-tex">d_{1} + d_{2} = d</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal">d</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:0em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">1</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">+</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal">d</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:0em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">2</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2778em;"></span><span class="mrel">=</span><span class="mspace" style="margin-right:0.2778em;"></span></span><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal">d</span></span></span></span><!----> (با ضرب طول‌ها، این ماتریس در نهایت بسیار کوچک‌تر می‌شود). جاسازی گام زمانی<!----><span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>j</mi></mrow><annotation encoding="application/x-tex">j</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.854em;vertical-align:-0.1944em;"></span><span class="mord mathnormal" style="margin-right:0.0572em;">j</span></span></span></span><!----> در E با الحاق جاسازی گام زمانی<!----><span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>j</mi><mi mathvariant="normal">%</mi><mi>l</mi><mn>1</mn></mrow><annotation encoding="application/x-tex">j \% l1</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.9444em;vertical-align:-0.1944em;"></span><span class="mord mathnormal" style="margin-right:0.0572em;">j</span><span class="mord">%</span><span class="mord mathnormal" style="margin-right:0.0197em;">l</span><span class="mord">1</span></span></span></span><!----> در E1 و<!----><span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>j</mi><mi mathvariant="normal">/</mi><mi mathvariant="normal">/</mi><mi>l</mi><mn>1</mn></mrow><annotation encoding="application/x-tex">j // l1</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:1em;vertical-align:-0.25em;"></span><span class="mord mathnormal" style="margin-right:0.0572em;">j</span><span class="mord">//</span><span class="mord mathnormal" style="margin-right:0.0197em;">l</span><span class="mord">1</span></span></span></span><!----> در E2 به دست می‌آید.</p> <!--[1--><h2 class="relative group"><a id="conclusion" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#conclusion"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>جمع‌بندی</span></h2><!--]--><!----> <p>در این بخش، سه معماری اصلی ترنسفورمر و چند سازوکار توجه تخصصی را بررسی کردیم. درک این تفاوت‌های معماری برای انتخاب مدل مناسب وظیفهٔ NLP شما ضروری است.</p> <p>در ادامهٔ دوره، با این معماری‌های مختلف به‌صورت عملی کار خواهید کرد و یاد می‌گیرید آن‌ها را برای نیازهای خاص خود ریزتنظیم کنید. در بخش بعدی، برخی محدودیت‌ها و سوگیری‌های موجود در این مدل‌ها را بررسی می‌کنیم که هنگام استقرار باید از آن‌ها آگاه باشید.</p></div> <a class="!text-gray-400 !no-underline text-sm flex items-center not-prose mt-4" href="https://github.com/huggingface/course/blob/main/chapters/fa/chapter1/6.mdx" target="_blank"><svg class="mr-1" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M31,16l-7,7l-1.41-1.41L28.17,16l-5.58-5.59L24,9l7,7z"></path><path d="M1,16l7-7l1.41,1.41L3.83,16l5.58,5.59L8,23l-7-7z"></path><path d="M12.419,25.484L17.639,6.552l1.932,0.518L14.351,26.002z"></path></svg><!----> <span><span class="underline">Update</span> on GitHub</span></a><!----> <p></p><!--]--><!----><!--]--><!--]--><!--]--> <!--[-1--><!--]--><!--]-->
<script>
{
__sveltekit_pfm8ny = {
base: "/docs/course/pr_1364/fa",
assets: "/docs/course/pr_1364/fa"
};
const element = document.currentScript.parentElement;
Promise.all([
import("/docs/course/pr_1364/fa/_app/immutable/entry/start.CqZXmSrv.js"),
import("/docs/course/pr_1364/fa/_app/immutable/entry/app.B4UvgX5H.js")
]).then(([kit, app]) => {
kit.start(app, element, {
node_ids: [0, 10],
data: [null,null],
form: null,
error: null
});
});
}
</script>

Xet Storage Details

Size:
59.3 kB
·
Xet hash:
ca44ebb84bb040b5339d094bb97d18d93e9d6ae5873d986de7a1c7f7cb815660

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.