Buckets:

download
raw
49.6 kB
<meta charset="utf-8" /><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;ترنسفورمرها چگونه کار می‌کنند؟&quot;,&quot;local&quot;:&quot;how-do-transformers-work&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;نگاهی به تاریخچه‌ی ترنسفورمرها&quot;,&quot;local&quot;:&quot;a-bit-of-transformer-history&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;ترنسفورمرها مدل‌های زبانی هستند&quot;,&quot;local&quot;:&quot;transformers-are-language-models&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;ترنسفورمرها مدل‌های بزرگی هستند&quot;,&quot;local&quot;:&quot;transformers-are-big-models&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;یادگیری انتقالی&quot;,&quot;local&quot;:&quot;transfer-learning&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;معماری کلی ترنسفورمر&quot;,&quot;local&quot;:&quot;general-transformer-architecture&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;لایه‌های توجه&quot;,&quot;local&quot;:&quot;attention-layers&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;معماری اصلی&quot;,&quot;local&quot;:&quot;the-original-architecture&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;معماری‌ها در برابر نقطه‌های تعلیم&quot;,&quot;local&quot;:&quot;architecture-vs-checkpoints&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2}],&quot;depth&quot;:1}"/>
<link href="/docs/course/pr_1364/fa/_app/immutable/entry/start.CqZXmSrv.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/oyrVqMhC.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/B3UUDp28.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/entry/app.B4UvgX5H.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/BioDZtGL.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/NIl2lQjl.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/DN6uzRQe.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/DsnmJJEf.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/nodes/0.DcFj1eGj.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/u5kFQ1Zb.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/nodes/8.wwwh-63y.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/BjCHz3cj.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/BPNwLiYb.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/B8VBSgkq.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/DFIrGYWg.js" rel="modulepreload">
<!--13h9kzw--><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;ترنسفورمرها چگونه کار می‌کنند؟&quot;,&quot;local&quot;:&quot;how-do-transformers-work&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;نگاهی به تاریخچه‌ی ترنسفورمرها&quot;,&quot;local&quot;:&quot;a-bit-of-transformer-history&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;ترنسفورمرها مدل‌های زبانی هستند&quot;,&quot;local&quot;:&quot;transformers-are-language-models&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;ترنسفورمرها مدل‌های بزرگی هستند&quot;,&quot;local&quot;:&quot;transformers-are-big-models&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;یادگیری انتقالی&quot;,&quot;local&quot;:&quot;transfer-learning&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;معماری کلی ترنسفورمر&quot;,&quot;local&quot;:&quot;general-transformer-architecture&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;لایه‌های توجه&quot;,&quot;local&quot;:&quot;attention-layers&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;معماری اصلی&quot;,&quot;local&quot;:&quot;the-original-architecture&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;معماری‌ها در برابر نقطه‌های تعلیم&quot;,&quot;local&quot;:&quot;architecture-vs-checkpoints&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2}],&quot;depth&quot;:1}"/><!---->
<link href="/docs/course/pr_1364/fa/_app/immutable/assets/0.tn0RQdqM.css" rel="modulepreload"> <!--[--><!--[0--><!--[--><!--[0--><!--[--><p></p> <div dir="rtl"><div class="items-center shrink-0 min-w-[100px] max-sm:min-w-[50px] justify-end ml-auto flex" style="float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"><div class="inline-flex rounded-md max-sm:rounded-sm"><button class="inline-flex items-center gap-1 h-7 max-sm:h-7 px-2 max-sm:px-1.5 text-sm font-medium text-gray-800 border border-r-0 rounded-l-md max-sm:rounded-l-sm border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-live="polite"><span class="inline-flex items-center justify-center rounded-md p-0.5 max-sm:p-0 hover:text-gray-800 dark:hover:text-gray-200"><svg class="sm:size-3.5 size-3" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----></span> <span>Copy page</span></button> <button class="inline-flex items-center justify-center w-6 max-sm:w-5 h-7 max-sm:h-7 disabled:pointer-events-none text-sm text-gray-500 hover:text-gray-700 dark:hover:text-white rounded-r-md max-sm:rounded-r-sm border border-l transition border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-haspopup="menu" aria-expanded="false" aria-label="Open copy menu"><svg class="transition-transform text-gray-400 overflow-visible sm:size-3.5 size-3 rotate-0" width="1em" height="1em" viewBox="0 0 12 7" fill="none" xmlns="http://www.w3.org/2000/svg"><path d="M1 1L6 6L11 1" stroke="currentColor"></path></svg><!----></button></div> <!--[-1--><!--]--></div><!----> <!--[0--><h1 class="relative group"><a id="how-do-transformers-work" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#how-do-transformers-work"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>ترنسفورمرها چگونه کار می‌کنند؟</span></h1><!--]--><!----> <div class="flex space-x-1 absolute z-10 right-0 top-0"><a href="https://discuss.huggingface.co/t/chapter-1-questions" target="_blank"><img alt="Ask a Question" class="!m-0" src="https://img.shields.io/badge/Ask%20a%20question-ffcb4c.svg?logo=data:image/svg+xml;base64,PHN2ZyB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciIHZpZXdCb3g9IjAgLTEgMTA0IDEwNiI+PGRlZnM+PHN0eWxlPi5jbHMtMXtmaWxsOiMyMzFmMjA7fS5jbHMtMntmaWxsOiNmZmY5YWU7fS5jbHMtM3tmaWxsOiMwMGFlZWY7fS5jbHMtNHtmaWxsOiMwMGE5NGY7fS5jbHMtNXtmaWxsOiNmMTVkMjI7fS5jbHMtNntmaWxsOiNlMzFiMjM7fTwvc3R5bGU+PC9kZWZzPjx0aXRsZT5EaXNjb3Vyc2VfbG9nbzwvdGl0bGU+PGcgaWQ9IkxheWVyXzIiPjxnIGlkPSJMYXllcl8zIj48cGF0aCBjbGFzcz0iY2xzLTEiIGQ9Ik01MS44NywwQzIzLjcxLDAsMCwyMi44MywwLDUxYzAsLjkxLDAsNTIuODEsMCw1Mi44MWw1MS44Ni0uMDVjMjguMTYsMCw1MS0yMy43MSw1MS01MS44N1M4MCwwLDUxLjg3LDBaIi8+PHBhdGggY2xhc3M9ImNscy0yIiBkPSJNNTIuMzcsMTkuNzRBMzEuNjIsMzEuNjIsMCwwLDAsMjQuNTgsNjYuNDFsLTUuNzIsMTguNEwzOS40LDgwLjE3YTMxLjYxLDMxLjYxLDAsMSwwLDEzLTYwLjQzWiIvPjxwYXRoIGNsYXNzPSJjbHMtMyIgZD0iTTc3LjQ1LDMyLjEyYTMxLjYsMzEuNiwwLDAsMS0zOC4wNSw0OEwxOC44Niw4NC44MmwyMC45MS0yLjQ3QTMxLjYsMzEuNiwwLDAsMCw3Ny40NSwzMi4xMloiLz48cGF0aCBjbGFzcz0iY2xzLTQiIGQ9Ik03MS42MywyNi4yOUEzMS42LDMxLjYsMCwwLDEsMzguOCw3OEwxOC44Niw4NC44MiwzOS40LDgwLjE3QTMxLjYsMzEuNiwwLDAsMCw3MS42MywyNi4yOVoiLz48cGF0aCBjbGFzcz0iY2xzLTUiIGQ9Ik0yNi40Nyw2Ny4xMWEzMS42MSwzMS42MSwwLDAsMSw1MS0zNUEzMS42MSwzMS42MSwwLDAsMCwyNC41OCw2Ni40MWwtNS43MiwxOC40WiIvPjxwYXRoIGNsYXNzPSJjbHMtNiIgZD0iTTI0LjU4LDY2LjQxQTMxLjYxLDMxLjYxLDAsMCwxLDcxLjYzLDI2LjI5YTMxLjYxLDMxLjYxLDAsMCwwLTQ5LDM5LjYzbC0zLjc2LDE4LjlaIi8+PC9nPjwvZz48L3N2Zz4="/></a><!----> <!--[-1--><!--]--> <!--[-1--><!--]--></div><!----> <p>در این بخش نگاهی به معماری مدل‌های ترنسفورمر می‌اندازیم و عمیق‌تر با مفاهیم توجه، معماری انکودر-دیکودر و موارد دیگر آشنا می‌شویم.</p> <blockquote class="warning"><p>🚀 در اینجا سطح بحث را بالاتر می‌بریم. این بخش جزئیات فنی زیادی دارد، پس اگر در ابتدا همه‌چیز را درک نکردید نگران نباشید. در ادامه‌ی دوره دوباره به این مفاهیم بازخواهیم گشت.</p></blockquote> <!--[1--><h2 class="relative group"><a id="a-bit-of-transformer-history" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#a-bit-of-transformer-history"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>نگاهی به تاریخچه‌ی ترنسفورمرها</span></h2><!--]--><!----> <p>در ادامه چند نقطه‌ی مهم از تاریخچه‌ی کوتاه مدل‌های ترنسفورمر را می‌بینید:</p> <div class="flex justify-center"><img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/transformers_chrono.svg" alt="گاه‌شمار کوتاهی از مدل‌های ترنسفورمر."/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/transformers_chrono-dark.svg" alt="گاه‌شمار کوتاهی از مدل‌های ترنسفورمر."/></div> <p>معماری <a href="https://arxiv.org/abs/1706.03762" rel="nofollow">ترنسفورمر</a> در ژوئن ۲۰۱۷ معرفی شد. تمرکز پژوهش اولیه بر وظایف ترجمه بود. پس از آن چندین مدل اثرگذار معرفی شدند، از جمله:</p> <div dir="rtl"><ul><li><p><strong>ژوئن ۲۰۱۸</strong>: <a href="https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf" rel="nofollow">GPT</a>، نخستین مدل ترنسفورمر از پیش تعلیم‌دیده که برای کوک کردن روی وظایف مختلف NLP استفاده شد و به نتایج پیشرفته‌ای دست یافت.</p></li> <li><p><strong>اکتبر ۲۰۱۸</strong>: <a href="https://arxiv.org/abs/1810.04805" rel="nofollow">BERT</a>، مدل بزرگ دیگری از پیش تعلیم‌دیده که برای تولید خلاصه‌های بهتر از جمله‌ها طراحی شده بود (در فصل بعد بیشتر درباره‌ی آن می‌خوانید!).</p></li> <li><p><strong>فوریه‌ی ۲۰۱۹</strong>: <a href="https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf" rel="nofollow">GPT-2</a>، نسخه‌ای بهبودیافته و بزرگ‌تر از GPT که به‌دلیل نگرانی‌های اخلاقی، بلافاصله به‌صورت عمومی منتشر نشد.</p></li> <li><p><strong>اکتبر ۲۰۱۹</strong>: <a href="https://huggingface.co/papers/1910.10683" rel="nofollow">T5</a>، پیاده‌سازی معماری ترنسفورمر دنباله‌به‌دنباله با تمرکز بر چندین وظیفه.</p></li> <li><p><strong>مه ۲۰۲۰</strong>: <a href="https://huggingface.co/papers/2005.14165" rel="nofollow">GPT-3</a>، نسخه‌ای حتی بزرگ‌تر از GPT-2 که می‌تواند در طیف متنوعی از وظایف، بدون نیاز به کوک شدن، عملکرد خوبی داشته باشد (که به آن <em>یادگیری zero-shot</em> گفته می‌شود).</p></li> <li><p><strong>ژانویه‌ی ۲۰۲۲</strong>: <a href="https://huggingface.co/papers/2203.02155" rel="nofollow">InstructGPT</a>، نسخه‌ای از GPT-3 که برای پیروی بهتر از دستورها تعلیم داده شده است.</p></li> <li><p><strong>ژانویه‌ی ۲۰۲۳</strong>: <a href="https://huggingface.co/papers/2302.13971" rel="nofollow">Llama</a>، یک مدل زبانی بزرگ که می‌تواند به زبان‌های مختلف متن تولید کند.</p></li> <li><p><strong>مارس ۲۰۲۳</strong>: <a href="https://huggingface.co/papers/2310.06825" rel="nofollow">Mistral</a>، یک مدل زبانی ۷ میلیارد پارامتری که در همه‌ی محک‌های ارزیابی‌شده از Llama 2 13B بهتر عمل می‌کند، برای استنتاج سریع‌تر از توجه گروهی به پرس‌وجو استفاده می‌کند و برای مدیریت توالی‌هایی با طول دلخواه از توجه پنجره‌ای لغزان بهره می‌برد.</p></li> <li><p><strong>مه ۲۰۲۴</strong>: <a href="https://huggingface.co/papers/2408.00118" rel="nofollow">Gemma 2</a>، خانواده‌ای از مدل‌های باز سبک‌وزن و پیشرفته با اندازه‌هایی از ۲ تا ۲۷ میلیارد پارامتر که توجه‌های محلی-سراسری درهم‌تنیده و توجه گروهی به پرس‌وجو را به کار می‌گیرند. مدل‌های کوچک‌تر این خانواده با استفاده از تقطیر دانش تعلیم داده شده‌اند تا عملکردی هم‌سطح مدل‌هایی دو تا سه برابر بزرگ‌تر ارائه دهند.</p></li> <li><p><strong>نوامبر ۲۰۲۴</strong>: <a href="https://huggingface.co/papers/2502.02737" rel="nofollow">SmolLM2</a>، یک مدل زبانی کوچک و پیشرفته (از ۱۳۵ میلیون تا ۱٫۷ میلیارد پارامتر) که با وجود اندازه‌ی فشرده‌اش عملکرد چشمگیری دارد و امکانات جدیدی برای دستگاه‌های همراه و لبه‌ای فراهم می‌کند.</p></li></ul></div> <p>این فهرست به‌هیچ‌وجه کامل نیست و فقط برای برجسته کردن چند نوع مختلف از مدل‌های ترنسفورمر ارائه شده است. به‌طور کلی، می‌توان آن‌ها را در سه دسته قرار داد:</p> <div dir="rtl"><ul><li>مدل‌های شبیه GPT (که مدل‌های ترنسفورمر <em>خودرگرسیو</em> نیز نامیده می‌شوند)</li> <li>مدل‌های شبیه BERT (که مدل‌های ترنسفورمر <em>خودرمزگذار</em> نیز نامیده می‌شوند)</li> <li>مدل‌های شبیه T5 (که مدل‌های ترنسفورمر <em>دنباله‌به‌دنباله</em> نیز نامیده می‌شوند)</li></ul></div> <p>در ادامه‌ی دوره با این خانواده‌ها عمیق‌تر آشنا خواهیم شد.</p> <!--[1--><h2 class="relative group"><a id="transformers-are-language-models" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#transformers-are-language-models"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>ترنسفورمرها مدل‌های زبانی هستند</span></h2><!--]--><!----> <p>همه‌ی مدل‌های ترنسفورمری که بالاتر به آن‌ها اشاره کردیم (GPT، BERT، T5 و غیره) به‌عنوان <em>مدل زبانی</em> تعلیم داده شده‌اند. این یعنی آن‌ها به‌صورت خودنظارتی و با استفاده از مقدار زیادی متن خام تعلیم داده شده‌اند.</p> <p>یادگیری خودنظارتی نوعی تعلیم است که در آن هدف به‌طور خودکار از ورودی‌های مدل محاسبه می‌شود. بنابراین برای برچسب‌گذاری داده‌ها به انسان نیاز نیست!</p> <p>این نوع مدل درکی آماری از زبانی که روی آن تعلیم دیده است ایجاد می‌کند، اما برای وظایف عملی مشخص کاربرد کمتری دارد. به همین دلیل، مدل عمومی از پیش تعلیم‌دیده سپس فرایندی به نام <em>یادگیری انتقالی</em> یا <em>کوک کردن</em> را طی می‌کند. در این فرایند، مدل برای یک وظیفه‌ی مشخص و به‌صورت نظارت‌شده، یعنی با استفاده از برچسب‌های حاشیه‌نویسی‌شده توسط انسان، کوک می‌شود.</p> <p>یک نمونه از وظایف، پیش‌بینی کلمه‌ی بعدی در جمله پس از خواندن <em>n</em> کلمه‌ی قبلی است. به این کار <em>مدل‌سازی زبانی علّی</em> گفته می‌شود، چون خروجی به ورودی‌های گذشته و حال وابسته است، اما به ورودی‌های آینده وابسته نیست.</p> <div class="flex justify-center"><img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/causal_modeling.svg" alt="نمونه‌ای از مدل‌سازی زبانی علّی که در آن کلمه‌ی بعدی جمله پیش‌بینی می‌شود."/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/causal_modeling-dark.svg" alt="نمونه‌ای از مدل‌سازی زبانی علّی که در آن کلمه‌ی بعدی جمله پیش‌بینی می‌شود."/></div> <p>نمونه‌ی دیگر <em>مدل‌سازی زبانی ماسک‌شده</em> است که در آن مدل یک کلمه‌ی ماسک‌شده را در جمله پیش‌بینی می‌کند.</p> <div class="flex justify-center"><img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/masked_modeling.svg" alt="نمونه‌ای از مدل‌سازی زبانی ماسک‌شده که در آن یک کلمه‌ی ماسک‌شده از جمله پیش‌بینی می‌شود."/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/masked_modeling-dark.svg" alt="نمونه‌ای از مدل‌سازی زبانی ماسک‌شده که در آن یک کلمه‌ی ماسک‌شده از جمله پیش‌بینی می‌شود."/></div> <!--[1--><h2 class="relative group"><a id="transformers-are-big-models" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#transformers-are-big-models"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>ترنسفورمرها مدل‌های بزرگی هستند</span></h2><!--]--><!----> <p>جدا از چند مورد استثنایی (مانند DistilBERT)، راهبرد کلی برای دستیابی به عملکرد بهتر، افزایش اندازه‌ی مدل‌ها و همچنین افزایش مقدار داده‌ای است که مدل‌ها روی آن از پیش تعلیم داده می‌شوند.</p> <div class="flex justify-center"><img src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/model_parameters.png" alt="تعداد پارامترهای مدل‌های جدید ترنسفورمر" width="90%"/></div> <p>متأسفانه تعلیم یک مدل، به‌ویژه مدلی بزرگ، به مقدار زیادی داده نیاز دارد. این کار از نظر زمان و منابع محاسباتی بسیار پرهزینه است. این هزینه حتی به اثرات زیست‌محیطی نیز منجر می‌شود؛ همان‌طور که در نمودار زیر می‌بینید.</p> <div class="flex justify-center"><img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/carbon_footprint.svg" alt="ردپای کربن یک مدل زبانی بزرگ."/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/carbon_footprint-dark.svg" alt="ردپای کربن یک مدل زبانی بزرگ."/></div> <iframe class="w-full xl:w-4/6 h-80" src="https://www.youtube-nocookie.com/embed/ftWlj4FBHTg" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen=""></iframe><!----> <p>این ویدئو پروژه‌ای برای یک مدل (بسیار بزرگ) را نشان می‌دهد که تیمی آن را هدایت کرده است که آگاهانه تلاش می‌کند اثرات زیست‌محیطی پیش‌تعلیم را کاهش دهد. ردپای ناشی از اجرای آزمایش‌های متعدد برای یافتن بهترین ابرپارامترها حتی بیشتر خواهد بود.</p> <p>تصور کنید هر بار که یک تیم پژوهشی، یک سازمان دانشجویی یا یک شرکت می‌خواست مدلی تعلیم دهد، آن را از ابتدا انجام می‌داد. این کار هزینه‌های جهانی بسیار بزرگ و غیرضروری ایجاد می‌کرد!</p> <p>به همین دلیل، اشتراک‌گذاری مدل‌های زبانی اهمیت زیادی دارد: اشتراک‌گذاری وزن‌های تعلیم‌دیده و ساختن بر پایه‌ی وزن‌هایی که قبلاً تعلیم دیده‌اند، هزینه‌ی کلی محاسبات و ردپای کربن جامعه را کاهش می‌دهد.</p> <p>راستی، می‌توانید ردپای کربن تعلیم مدل‌های خود را با چندین ابزار ارزیابی کنید. برای نمونه <a href="https://mlco2.github.io/impact/" rel="nofollow">ML CO2 Impact</a> یا <a href="https://codecarbon.io/" rel="nofollow">Code Carbon</a> که در 🤗 Transformers یکپارچه شده است. برای آشنایی بیشتر با این موضوع، می‌توانید این <a href="https://huggingface.co/blog/carbon-emissions-on-the-hub" rel="nofollow">پست وبلاگ</a> را بخوانید که روش تولید فایل <code>emissions.csv</code> شامل برآوردی از ردپای تعلیم شما را نشان می‌دهد و همچنین <a href="https://huggingface.co/docs/hub/model-cards-co2" rel="nofollow">مستندات</a> 🤗 Transformers را که به این موضوع می‌پردازند مطالعه کنید.</p> <!--[1--><h2 class="relative group"><a id="transfer-learning" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#transfer-learning"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>یادگیری انتقالی</span></h2><!--]--><!----> <iframe class="w-full xl:w-4/6 h-80" src="https://www.youtube-nocookie.com/embed/BqqfQnyjmgg" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen=""></iframe><!----> <p><em>پیش‌تعلیم</em> فرایند تعلیم یک مدل از ابتدا است: وزن‌ها به‌صورت تصادفی مقداردهی اولیه می‌شوند و تعلیم بدون هیچ دانش قبلی آغاز می‌شود.</p> <div class="flex justify-center"><img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/pretraining.svg" alt="پیش‌تعلیم یک مدل زبانی از نظر زمان و هزینه پرهزینه است."/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/pretraining-dark.svg" alt="پیش‌تعلیم یک مدل زبانی از نظر زمان و هزینه پرهزینه است."/></div> <p>این پیش‌تعلیم معمولاً با استفاده از مقدار بسیار زیادی داده انجام می‌شود. بنابراین به یک پیکره‌ی داده‌ی بسیار بزرگ نیاز دارد و فرایند تعلیم ممکن است چندین هفته طول بکشد.</p> <p>از سوی دیگر، <em>کوک کردن</em> به تعلیمی گفته می‌شود که <strong>پس از</strong> پیش‌تعلیم مدل انجام می‌شود. برای کوک کردن، ابتدا یک مدل زبانی از پیش تعلیم‌دیده تهیه می‌کنید و سپس با یک دیتاست مخصوص وظیفه‌ی خود، تعلیم بیشتری انجام می‌دهید. صبر کنید — چرا مدل را از صفر (<strong>scratch</strong>) برای کاربرد نهایی خود تعلیم ندهیم؟ چند دلیل وجود دارد:</p> <div dir="rtl"><ul><li>مدل از پیش تعلیم‌دیده پیش‌تر روی دیتاستی تعلیم دیده است که با دیتاست کوک کردن شباهت‌هایی دارد. بنابراین فرایند کوک کردن می‌تواند از دانشی که مدل اولیه در طول پیش‌تعلیم به دست آورده است استفاده کند (برای نمونه، در مسائل NLP، مدل از پیش تعلیم‌دیده نوعی درک آماری از زبانی که در وظیفه‌ی خود به کار می‌برید خواهد داشت).</li> <li>از آنجا که مدل از پیش تعلیم‌دیده پیش‌تر با داده‌های زیادی تعلیم دیده است، برای دستیابی به نتایج قابل‌قبول به داده‌ی بسیار کمتری برای کوک کردن نیاز دارد.</li> <li>به همین دلیل، زمان و منابع موردنیاز برای دستیابی به نتایج خوب بسیار کمتر است.</li></ul></div> <p>برای مثال، می‌توان از مدلی از پیش تعلیم‌دیده که روی زبان انگلیسی تعلیم دیده است استفاده کرد و سپس آن را روی پیکره‌ای از arXiv کوک کرد تا مدلی مبتنی بر علم و پژوهش به دست آید. کوک کردن فقط به مقدار محدودی داده نیاز دارد: دانشی که مدل از پیش تعلیم‌دیده به دست آورده است «منتقل» می‌شود و به همین دلیل به آن <em>یادگیری انتقالی</em> می‌گوییم.</p> <div class="flex justify-center"><img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/finetuning.svg" alt="کوک کردن یک مدل زبانی از نظر زمان و هزینه ارزان‌تر از پیش‌تعلیم است."/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/finetuning-dark.svg" alt="کوک کردن یک مدل زبانی از نظر زمان و هزینه ارزان‌تر از پیش‌تعلیم است."/></div> <p>بنابراین کوک کردن یک مدل هزینه‌های زمانی، داده‌ای، مالی و زیست‌محیطی کمتری دارد. همچنین آزمایش طرح‌های مختلف کوک کردن سریع‌تر و آسان‌تر است، زیرا تعلیم در مقایسه با پیش‌تعلیم کامل محدودیت‌های کمتری دارد.</p> <p>این فرایند همچنین نتایج بهتری نسبت به تعلیم از ابتدا به دست می‌دهد (مگر اینکه داده‌ی زیادی داشته باشید). به همین دلیل، همیشه باید تلاش کنید از یک مدل از پیش تعلیم‌دیده — مدلی که تا حد امکان به وظیفه‌ی پیش‌روی شما نزدیک باشد — استفاده کنید و آن را کوک کنید.</p> <!--[1--><h2 class="relative group"><a id="general-transformer-architecture" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#general-transformer-architecture"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>معماری کلی ترنسفورمر</span></h2><!--]--><!----> <p>در این بخش معماری کلی مدل ترنسفورمر را بررسی می‌کنیم. اگر برخی مفاهیم را درک نکردید نگران نباشید؛ بخش‌های مفصلی در ادامه وجود دارند که هر یک از مؤلفه‌ها را پوشش می‌دهند.</p> <iframe class="w-full xl:w-4/6 h-80" src="https://www.youtube-nocookie.com/embed/H39Z_720T5s" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen=""></iframe><!----> <p>مدل عمدتاً از دو بلوک تشکیل شده است:</p> <div dir="rtl"><ul><li><strong>انکودر (سمت چپ)</strong>: انکودر یک ورودی دریافت می‌کند و بازنمایی‌ای از آن (ویژگی‌هایش) می‌سازد. یعنی مدل برای به‌دست‌آوردن درک از ورودی بهینه می‌شود.</li> <li><strong>دیکودر (سمت راست)</strong>: دیکودر از بازنمایی انکودر (ویژگی‌ها) به همراه ورودی‌های دیگر برای تولید یک توالی هدف استفاده می‌کند. یعنی مدل برای تولید خروجی‌ها بهینه می‌شود.</li></ul></div> <div class="flex justify-center"><img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/transformers_blocks.svg" alt="معماری مدل‌های ترنسفورمر"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/transformers_blocks-dark.svg" alt="معماری مدل‌های ترنسفورمر"/></div> <p>هر یک از این بخش‌ها بسته به وظیفه می‌تواند به‌صورت مستقل استفاده شود:</p> <div dir="rtl"><ul><li><strong>مدل‌های فقط انکودر</strong>: برای وظایفی مناسب‌اند که به درک ورودی نیاز دارند، مانند دسته‌بندی جمله و تشخیص موجودیت نامدار.</li> <li><strong>مدل‌های فقط دیکودر</strong>: برای وظایف مولد مانند تولید متن مناسب‌اند.</li> <li><strong>مدل‌های انکودر-دیکودر</strong> یا <strong>مدل‌های دنباله‌به‌دنباله</strong>: برای وظایف مولدی مناسب‌اند که به ورودی نیاز دارند، مانند ترجمه یا خلاصه‌سازی.</li></ul></div> <p>در بخش‌های بعدی این معماری‌ها را به‌صورت مستقل بررسی خواهیم کرد.</p> <!--[1--><h2 class="relative group"><a id="attention-layers" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#attention-layers"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>لایه‌های توجه</span></h2><!--]--><!----> <p>یکی از ویژگی‌های کلیدی مدل‌های ترنسفورمر این است که با لایه‌های ویژه‌ای به نام <em>لایه‌های توجه</em> ساخته شده‌اند. در واقع، عنوان مقاله‌ای که معماری ترنسفورمر را معرفی کرد <a href="https://arxiv.org/abs/1706.03762" rel="nofollow">“Attention Is All You Need”</a> بود! در ادامه‌ی دوره جزئیات لایه‌های توجه را بررسی می‌کنیم؛ اما فعلاً کافی است بدانید این لایه به مدل می‌گوید هنگام ساخت بازنمایی هر کلمه، به کلمات مشخصی در جمله‌ای که به آن داده‌اید توجه ویژه کند (و کم‌وبیش بقیه را نادیده بگیرد).</p> <p>برای روشن شدن موضوع، وظیفه‌ی ترجمه‌ی متن از انگلیسی به فرانسوی را در نظر بگیرید. با داشتن ورودی «You like this course»، مدل ترجمه باید برای به‌دست‌آوردن ترجمه‌ی درست کلمه‌ی «like» به کلمه‌ی مجاور «You» نیز توجه کند، زیرا در زبان فرانسوی فعل «like» بسته به فاعل به شکل متفاوتی صرف می‌شود. با این حال، باقی جمله برای ترجمه‌ی این کلمه مفید نیست. به همین ترتیب، هنگام ترجمه‌ی «this»، مدل باید به کلمه‌ی «course» نیز توجه کند، زیرا ترجمه‌ی «this» به مذکر یا مؤنث بودن اسم مربوط بستگی دارد. باز هم کلمات دیگر جمله برای ترجمه‌ی «course» اهمیتی ندارند. در جمله‌های پیچیده‌تر (با قواعد دستوری پیچیده‌تر)، مدل باید به کلماتی که ممکن است فاصله‌ی بیشتری از کلمه‌ی موردنظر داشته باشند توجه ویژه کند تا بتواند هر کلمه را به‌درستی ترجمه کند.</p> <p>همین مفهوم برای هر وظیفه‌ای که با زبان طبیعی مرتبط باشد صدق می‌کند: یک کلمه به‌تنهایی معنا دارد، اما آن معنا عمیقاً تحت تأثیر زمینه قرار می‌گیرد؛ زمینه می‌تواند هر کلمه (یا کلماتی) باشد که پیش یا پس از کلمه‌ی موردبررسی آمده‌اند.</p> <p>حالا که ایده‌ای از مفهوم لایه‌های توجه دارید، بیایید معماری ترنسفورمر را با دقت بیشتری بررسی کنیم.</p> <!--[1--><h2 class="relative group"><a id="the-original-architecture" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#the-original-architecture"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>معماری اصلی</span></h2><!--]--><!----> <p>معماری ترنسفورمر در اصل برای ترجمه طراحی شده بود. در طول تعلیم، انکودر ورودی‌ها (جمله‌ها) را به یک زبان مشخص دریافت می‌کند و دیکودر همان جمله‌ها را به زبان هدف موردنظر دریافت می‌کند. در انکودر، لایه‌های توجه می‌توانند از همه‌ی کلمات جمله استفاده کنند (چون همان‌طور که دیدیم، ترجمه‌ی یک کلمه‌ی مشخص می‌تواند به کلمات قبل و بعد از آن در جمله وابسته باشد). اما دیکودر به‌صورت ترتیبی کار می‌کند و فقط می‌تواند به کلماتی در جمله توجه کند که تا آن لحظه ترجمه کرده است (یعنی فقط کلمات پیش از کلمه‌ای که اکنون در حال تولید است). برای مثال، وقتی سه کلمه‌ی اول ترجمه‌ی هدف را پیش‌بینی کرده‌ایم، آن‌ها را به دیکودر می‌دهیم و دیکودر از همه‌ی ورودی‌های انکودر استفاده می‌کند تا کلمه‌ی چهارم را پیش‌بینی کند.</p> <p>برای سرعت بخشیدن به کار در طول تعلیم (زمانی که مدل به جمله‌های هدف دسترسی دارد)، کل جمله‌ی هدف به دیکودر داده می‌شود؛ اما دیکودر اجازه ندارد از کلمات آینده استفاده کند (اگر هنگام تلاش برای پیش‌بینی کلمه‌ی جایگاه ۲ به خود کلمه‌ی جایگاه ۲ دسترسی داشت، مسئله چندان دشوار نبود!). برای نمونه، هنگام تلاش برای پیش‌بینی کلمه‌ی چهارم، لایه‌ی توجه فقط به کلمات جایگاه‌های ۱ تا ۳ دسترسی خواهد داشت.</p> <p>معماری اصلی ترنسفورمر به شکل زیر بود؛ انکودر در سمت چپ و دیکودر در سمت راست قرار داشت:</p> <div class="flex justify-center"><img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/transformers.svg" alt="معماری مدل‌های ترنسفورمر"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/transformers-dark.svg" alt="معماری مدل‌های ترنسفورمر"/></div> <p>توجه کنید که نخستین لایه‌ی توجه در یک بلوک دیکودر به همه‌ی ورودی‌های (گذشته‌ی) دیکودر توجه می‌کند، اما لایه‌ی توجه دوم از خروجی انکودر استفاده می‌کند. بنابراین می‌تواند به کل جمله‌ی ورودی دسترسی داشته باشد تا بهترین پیش‌بینی را برای کلمه‌ی فعلی انجام دهد. این قابلیت بسیار مفید است، زیرا زبان‌های مختلف ممکن است قواعد دستوری داشته باشند که کلمات را در ترتیب‌های متفاوتی قرار دهند، یا بخشی از زمینه که بعدتر در جمله آمده است برای تعیین بهترین ترجمه‌ی یک کلمه مفید باشد.</p> <p>از <em>ماسک توجه</em> می‌توان در انکودر/دیکودر نیز استفاده کرد تا مدل از توجه به برخی کلمات ویژه جلوگیری کند؛ برای نمونه، کلمه‌ی padding ویژه‌ای که هنگام دسته‌ای کردن جمله‌ها برای هم‌طول کردن همه‌ی ورودی‌ها استفاده می‌شود.</p> <!--[1--><h2 class="relative group"><a id="architecture-vs-checkpoints" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#architecture-vs-checkpoints"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>معماری‌ها در برابر نقطه‌های تعلیم</span></h2><!--]--><!----> <p>در ادامه‌ی این دوره و هنگام بررسی مدل‌های ترنسفورمر، با اشاره‌هایی به <em>معماری‌ها</em> و <em>نقطه‌های تعلیم</em> و همچنین <em>مدل‌ها</em> روبه‌رو خواهید شد. این اصطلاح‌ها معناهای اندکی متفاوت دارند:</p> <div dir="rtl"><ul><li><strong>معماری</strong>: اسکلت مدل است — تعریف هر لایه و هر عملیاتی که درون مدل رخ می‌دهد.</li> <li><strong>نقطه‌های تعلیم</strong>: وزن‌هایی هستند که در یک معماری مشخص بارگذاری خواهند شد.</li> <li><strong>مدل</strong>: اصطلاحی کلی است که به اندازه‌ی «معماری» یا «نقطه‌ی تعلیم» دقیق نیست و می‌تواند به هر دو اشاره کند. این دوره هر جا لازم باشد برای کاهش ابهام از «معماری» یا «نقطه‌ی تعلیم» استفاده می‌کند.</li></ul></div> <p>برای مثال، BERT یک معماری است، در حالی که <code>bert-base-cased</code> مجموعه‌ای از وزن‌هایی است که تیم Google برای نخستین انتشار BERT تعلیم داده است و یک نقطه‌ی تعلیم به‌شمار می‌رود. با این حال، می‌توان گفت «مدل BERT» و «مدل <code>bert-base-cased</code>».</p></div> <a class="!text-gray-400 !no-underline text-sm flex items-center not-prose mt-4" href="https://github.com/huggingface/course/blob/main/chapters/fa/chapter1/4.mdx" target="_blank"><svg class="mr-1" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M31,16l-7,7l-1.41-1.41L28.17,16l-5.58-5.59L24,9l7,7z"></path><path d="M1,16l7-7l1.41,1.41L3.83,16l5.58,5.59L8,23l-7-7z"></path><path d="M12.419,25.484L17.639,6.552l1.932,0.518L14.351,26.002z"></path></svg><!----> <span><span class="underline">Update</span> on GitHub</span></a><!----> <p></p><!--]--><!----><!--]--><!--]--><!--]--> <!--[-1--><!--]--><!--]-->
<script>
{
__sveltekit_pfm8ny = {
base: "/docs/course/pr_1364/fa",
assets: "/docs/course/pr_1364/fa"
};
const element = document.currentScript.parentElement;
Promise.all([
import("/docs/course/pr_1364/fa/_app/immutable/entry/start.CqZXmSrv.js"),
import("/docs/course/pr_1364/fa/_app/immutable/entry/app.B4UvgX5H.js")
]).then(([kit, app]) => {
kit.start(app, element, {
node_ids: [0, 8],
data: [null,null],
form: null,
error: null
});
});
}
</script>

Xet Storage Details

Size:
49.6 kB
·
Xet hash:
6e191a8ce3f3ff6d947fee4b19755ead254287880b8e9ccf5b2de12878becef1

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.