Buckets:

download
raw
66.8 kB
<meta charset="utf-8" /><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;ترنسفورمرهای 🤗 چگونه مسائل را حل می‌کنند&quot;,&quot;local&quot;:&quot;ترنسفورمرهای--چگونه-مسائل-را-حل-میکنند&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;مدل‌های ترنسفورمر برای زبان&quot;,&quot;local&quot;:&quot;مدلهای-ترنسفورمر-برای-زبان&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;مدل‌های زبانی چگونه کار می‌کنند&quot;,&quot;local&quot;:&quot;مدلهای-زبانی-چگونه-کار-میکنند&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;انواع مدل‌های زبانی&quot;,&quot;local&quot;:&quot;انواع-مدلهای-زبانی&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;تولید متن&quot;,&quot;local&quot;:&quot;تولید-متن&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;دسته‌بندی متن&quot;,&quot;local&quot;:&quot;دستهبندی-متن&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;دسته‌بندی توکِن&quot;,&quot;local&quot;:&quot;دستهبندی-توکن&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;پاسخ‌گویی به پرسش&quot;,&quot;local&quot;:&quot;پاسخگویی-به-پرسش&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;خلاصه‌سازی&quot;,&quot;local&quot;:&quot;خلاصهسازی&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;ترجمه&quot;,&quot;local&quot;:&quot;ترجمه&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3}],&quot;depth&quot;:2},{&quot;title&quot;:&quot;گونه‌های فراتر از متن&quot;,&quot;local&quot;:&quot;گونههای-فراتر-از-متن&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;گفتار و صدا&quot;,&quot;local&quot;:&quot;گفتار-و-صدا&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;تشخیص خودکار گفتار&quot;,&quot;local&quot;:&quot;تشخیص-خودکار-گفتار&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;بینایی ماشین&quot;,&quot;local&quot;:&quot;بینایی-ماشین&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;دسته‌بندی تصویر&quot;,&quot;local&quot;:&quot;دستهبندی-تصویر&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3}],&quot;depth&quot;:2}],&quot;depth&quot;:1}"/>
<link href="/docs/course/pr_1364/fa/_app/immutable/entry/start.CqZXmSrv.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/oyrVqMhC.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/B3UUDp28.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/entry/app.B4UvgX5H.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/BioDZtGL.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/NIl2lQjl.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/DN6uzRQe.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/DsnmJJEf.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/nodes/0.DcFj1eGj.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/u5kFQ1Zb.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/nodes/9.C1Nywpvb.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/BjCHz3cj.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/BPNwLiYb.js" rel="modulepreload">
<!--vwy1i1--><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;ترنسفورمرهای 🤗 چگونه مسائل را حل می‌کنند&quot;,&quot;local&quot;:&quot;ترنسفورمرهای--چگونه-مسائل-را-حل-میکنند&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;مدل‌های ترنسفورمر برای زبان&quot;,&quot;local&quot;:&quot;مدلهای-ترنسفورمر-برای-زبان&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;مدل‌های زبانی چگونه کار می‌کنند&quot;,&quot;local&quot;:&quot;مدلهای-زبانی-چگونه-کار-میکنند&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;انواع مدل‌های زبانی&quot;,&quot;local&quot;:&quot;انواع-مدلهای-زبانی&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;تولید متن&quot;,&quot;local&quot;:&quot;تولید-متن&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;دسته‌بندی متن&quot;,&quot;local&quot;:&quot;دستهبندی-متن&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;دسته‌بندی توکِن&quot;,&quot;local&quot;:&quot;دستهبندی-توکن&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;پاسخ‌گویی به پرسش&quot;,&quot;local&quot;:&quot;پاسخگویی-به-پرسش&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;خلاصه‌سازی&quot;,&quot;local&quot;:&quot;خلاصهسازی&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;ترجمه&quot;,&quot;local&quot;:&quot;ترجمه&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3}],&quot;depth&quot;:2},{&quot;title&quot;:&quot;گونه‌های فراتر از متن&quot;,&quot;local&quot;:&quot;گونههای-فراتر-از-متن&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;گفتار و صدا&quot;,&quot;local&quot;:&quot;گفتار-و-صدا&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;تشخیص خودکار گفتار&quot;,&quot;local&quot;:&quot;تشخیص-خودکار-گفتار&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;بینایی ماشین&quot;,&quot;local&quot;:&quot;بینایی-ماشین&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;دسته‌بندی تصویر&quot;,&quot;local&quot;:&quot;دستهبندی-تصویر&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3}],&quot;depth&quot;:2}],&quot;depth&quot;:1}"/><!---->
<link href="/docs/course/pr_1364/fa/_app/immutable/assets/0.tn0RQdqM.css" rel="modulepreload"> <!--[--><!--[0--><!--[--><!--[0--><!--[--><p></p> <div dir="rtl"><div class="items-center shrink-0 min-w-[100px] max-sm:min-w-[50px] justify-end ml-auto flex" style="float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"><div class="inline-flex rounded-md max-sm:rounded-sm"><button class="inline-flex items-center gap-1 h-7 max-sm:h-7 px-2 max-sm:px-1.5 text-sm font-medium text-gray-800 border border-r-0 rounded-l-md max-sm:rounded-l-sm border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-live="polite"><span class="inline-flex items-center justify-center rounded-md p-0.5 max-sm:p-0 hover:text-gray-800 dark:hover:text-gray-200"><svg class="sm:size-3.5 size-3" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----></span> <span>Copy page</span></button> <button class="inline-flex items-center justify-center w-6 max-sm:w-5 h-7 max-sm:h-7 disabled:pointer-events-none text-sm text-gray-500 hover:text-gray-700 dark:hover:text-white rounded-r-md max-sm:rounded-r-sm border border-l transition border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-haspopup="menu" aria-expanded="false" aria-label="Open copy menu"><svg class="transition-transform text-gray-400 overflow-visible sm:size-3.5 size-3 rotate-0" width="1em" height="1em" viewBox="0 0 12 7" fill="none" xmlns="http://www.w3.org/2000/svg"><path d="M1 1L6 6L11 1" stroke="currentColor"></path></svg><!----></button></div> <!--[-1--><!--]--></div><!----> <!--[0--><h1 class="relative group"><a id="ترنسفورمرهای--چگونه-مسائل-را-حل-میکنند" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#ترنسفورمرهای--چگونه-مسائل-را-حل-میکنند"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>ترنسفورمرهای 🤗 چگونه مسائل را حل می‌کنند</span></h1><!--]--><!----> <iframe class="w-full xl:w-4/6 h-80" src="https://www.youtube-nocookie.com/embed/zsfR7eY9Uho" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen=""></iframe><!----> <p>در <a href="/course/chapter1/3">ترنسفورمرها چه کارهایی می‌توانند انجام دهند؟</a> با پردازش زبان طبیعی (NLP)، گفتار و صدا، مسائل بینایی ماشین و برخی کاربردهای مهم آن‌ها آشنا شدید. در این بخش دقیق‌تر بررسی می‌کنیم مدل‌ها چگونه این مسائل را حل می‌کنند و در پشت صحنه چه می‌گذرد. برای حل یک مسئله‌ی مشخص راه‌های زیادی وجود دارد؛ بعضی مدل‌ها ممکن است تکنیک‌های خاصی را پیاده‌سازی کنند یا از زاویه‌ای تازه به مسئله نزدیک شوند، اما ایده‌ی کلی در مدل‌های ترنسفورمر یکسان است. به لطف معماری انعطاف‌پذیر، بیشتر مدل‌ها گونه‌ای از ساختار اِنکودر، دیکودر یا اِنکودر-دیکودر هستند.</p> <blockquote class="tip"><p>پیش از ورود به گونه‌های معماری خاص، دانستن این نکته مفید است که بیشتر مسائل الگوی مشابهی دارند: داده‌ی ورودی از یک مدل عبور می‌کند و خروجی برای مسئله‌ای مشخص تفسیر می‌شود. تفاوت‌ها در نحوه‌ی آماده‌سازی داده، گونه‌ی معماری مدل و شیوه‌ی پردازش خروجی است.</p></blockquote> <p>برای توضیح نحوه‌ی حل مسائل، آنچه را درون مدل رخ می‌دهد تا پیش‌بینی‌های مفید تولید شوند مرحله‌به‌مرحله بررسی می‌کنیم. مدل‌های زیر و مسائل متناظرشان را پوشش می‌دهیم:</p> <ul><li><a href="https://huggingface.co/docs/transformers/model_doc/wav2vec2" rel="nofollow">Wav2Vec2</a> برای دسته‌بندی صدا و تشخیص خودکار گفتار (ASR)</li> <li><a href="https://huggingface.co/docs/transformers/model_doc/vit" rel="nofollow">Vision Transformer (ViT)</a> و <a href="https://huggingface.co/docs/transformers/model_doc/convnext" rel="nofollow">ConvNeXT</a> برای دسته‌بندی تصویر</li> <li><a href="https://huggingface.co/docs/transformers/model_doc/detr" rel="nofollow">DETR</a> برای تشخیص اشیا</li> <li><a href="https://huggingface.co/docs/transformers/model_doc/mask2former" rel="nofollow">Mask2Former</a> برای قطعه‌بندی تصویر</li> <li><a href="https://huggingface.co/docs/transformers/model_doc/glpn" rel="nofollow">GLPN</a> برای برآورد عمق</li> <li><a href="https://huggingface.co/docs/transformers/model_doc/bert" rel="nofollow">BERT</a> برای مسائل NLP مانند دسته‌بندی متن، دسته‌بندی توکِن و پاسخ‌گویی به پرسش که از اِنکودر استفاده می‌کنند</li> <li><a href="https://huggingface.co/docs/transformers/model_doc/gpt2" rel="nofollow">GPT2</a> برای مسائل NLP مانند تولید متن که از دیکودر استفاده می‌کنند</li> <li><a href="https://huggingface.co/docs/transformers/model_doc/bart" rel="nofollow">BART</a> برای مسائل NLP مانند خلاصه‌سازی و ترجمه که از اِنکودر-دیکودر استفاده می‌کنند</li></ul> <blockquote class="tip"><p>پیش از ادامه، بهتر است با معماری اصلی ترنسفورمر آشنایی مقدماتی داشته باشید. دانستن نحوه‌ی کار اِنکودرها، دیکودرها و توجه به درک عملکرد مدل‌های مختلف ترنسفورمر کمک می‌کند. برای اطلاعات بیشتر <a href="https://huggingface.co/course/chapter1/4?fw=pt" rel="nofollow">بخش قبلی</a> را ببینید!</p></blockquote> <!--[1--><h2 class="relative group"><a id="مدلهای-ترنسفورمر-برای-زبان" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#مدلهای-ترنسفورمر-برای-زبان"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>مدل‌های ترنسفورمر برای زبان</span></h2><!--]--><!----> <p>مدل‌های زبانی در قلب NLP مدرن قرار دارند. آن‌ها برای درک و تولید زبان انسان طراحی شده‌اند و این کار را با یادگیری الگوهای آماری و روابط میان کلمات یا توکِن‌های متن انجام می‌دهند.</p> <p>ترنسفورمر ابتدا برای ترجمه‌ی ماشینی طراحی شد و از آن زمان به معماری پیش‌فرض حل همه‌ی مسائل هوش مصنوعی تبدیل شده است. برخی مسائل با ساختار اِنکودر ترنسفورمر سازگارترند، درحالی‌که برای مسائل دیگر دیکودر مناسب‌تر است. برخی مسائل دیگر نیز از ساختار اِنکودر-دیکودر ترنسفورمر استفاده می‌کنند.</p> <!--[2--><h3 class="relative group"><a id="مدلهای-زبانی-چگونه-کار-میکنند" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#مدلهای-زبانی-چگونه-کار-میکنند"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>مدل‌های زبانی چگونه کار می‌کنند</span></h3><!--]--><!----> <p>مدل‌های زبانی با آموزش برای پیش‌بینی احتمال یک کلمه بر اساس زمینه‌ی کلمات پیرامون آن کار می‌کنند. این کار درکی پایه‌ای از زبان به آن‌ها می‌دهد که می‌توانند به مسائل دیگر تعمیم دهند.</p> <p>دو رویکرد اصلی برای آموزش مدل ترنسفورمر وجود دارد:</p> <p>۱. <strong>مدل‌سازی زبان ماسک‌شده (MLM):</strong> این رویکرد که مدل‌هایی مانند BERT از آن استفاده می‌کنند، بعضی توکِن‌های ورودی را به‌صورت تصادفی ماسک می‌کند و مدل را آموزش می‌دهد تا بر اساس زمینه‌ی پیرامون، توکِن‌های اصلی را پیش‌بینی کند. با این کار مدل زمینه‌ی دوسویه را یاد می‌گیرد (یعنی هم کلمات پیش و هم کلمات پس از کلمه‌ی ماسک‌شده را می‌بیند).</p> <p>۲. <strong>مدل‌سازی زبان علّی (CLM):</strong> این رویکرد که مدل‌هایی مانند GPT از آن استفاده می‌کنند، توکِن بعدی را بر اساس همه‌ی توکِن‌های قبلی در رشته پیش‌بینی می‌کند. مدل برای پیش‌بینی توکِن بعدی فقط می‌تواند از زمینه‌ی سمت چپ (توکِن‌های قبلی) استفاده کند.</p> <!--[2--><h3 class="relative group"><a id="انواع-مدلهای-زبانی" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#انواع-مدلهای-زبانی"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>انواع مدل‌های زبانی</span></h3><!--]--><!----> <p>در کتابخانه‌ی Transformers، مدل‌های زبانی عموماً در سه دسته‌ی معماری قرار می‌گیرند:</p> <p>۱. <strong>مدل‌های فقط اِنکودر</strong> (مانند BERT): این مدل‌ها برای درک زمینه از هر دو جهت، از رویکرد دوسویه استفاده می‌کنند. آن‌ها برای مسائلی مناسب‌اند که به درک عمیق متن نیاز دارند؛ مانند دسته‌بندی، تشخیص موجودیت نام‌دار و پاسخ‌گویی به پرسش.</p> <p>۲. <strong>مدل‌های فقط دیکودر</strong> (مانند GPT و Llama): این مدل‌ها متن را از چپ به راست پردازش می‌کنند و به‌ویژه برای مسائل تولید متن مناسب‌اند. آن‌ها می‌توانند جمله‌ها را کامل کنند، مقاله بنویسند یا حتی بر اساس یک پرامپت کد تولید کنند.</p> <p>۳. <strong>مدل‌های اِنکودر-دیکودر</strong> (مانند T5 و BART): این مدل‌ها هر دو رویکرد را ترکیب می‌کنند؛ اِنکودر ورودی را درک می‌کند و دیکودر خروجی را تولید می‌کند. آن‌ها در مسائل دنباله‌به‌دنباله مانند ترجمه، خلاصه‌سازی و پاسخ‌گویی به پرسش عملکرد خوبی دارند.</p> <p><img src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/transformers_architecture.png" alt="transformer-models-for-language"/></p> <p>همان‌طور که در بخش قبلی گفتیم، مدل‌های زبانی معمولاً به‌صورت خودنظارتی (بدون حاشیه‌نویسی انسانی) روی حجم زیادی از داده‌های متنی پیش‌تعلیم می‌شوند و سپس برای مسائل مشخص ریزتنظیم می‌شوند. این رویکرد که یادگیری انتقالی نام دارد، به مدل‌ها اجازه می‌دهد با مقدار نسبتاً کمی داده‌ی مخصوص مسئله، خود را با مسائل گوناگون NLP سازگار کنند.</p> <p>در بخش‌های بعدی معماری‌های مشخص مدل‌ها و کاربرد آن‌ها را در مسائل حوزه‌های گفتار، بینایی و متن بررسی می‌کنیم.</p> <blockquote class="tip"><p>درک اینکه کدام بخش معماری ترنسفورمر (اِنکودر، دیکودر یا هر دو) برای یک مسئله‌ی NLP خاص مناسب‌تر است، برای انتخاب مدل درست کلیدی است. به‌طور کلی، مسائلی که به زمینه‌ی دوسویه نیاز دارند از اِنکودرها، مسائلی که متن تولید می‌کنند از دیکودرها و مسائلی که یک رشته را به رشته‌ای دیگر تبدیل می‌کنند از اِنکودر-دیکودرها استفاده می‌کنند.</p></blockquote> <!--[2--><h3 class="relative group"><a id="تولید-متن" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#تولید-متن"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>تولید متن</span></h3><!--]--><!----> <p>تولید متن یعنی ساختن متنی منسجم و مرتبط با زمینه بر اساس یک پرامپت یا ورودی.</p> <p><a href="https://huggingface.co/docs/transformers/model_doc/gpt2" rel="nofollow">GPT-2</a> مدلی فقط دیکودر است که روی حجم زیادی متن پیش‌تعلیم شده است. این مدل با دریافت یک پرامپت می‌تواند متنی قانع‌کننده (هرچند نه همیشه درست!) تولید کند و با وجود آنکه صراحتاً برایش آموزش ندیده، مسائل NLP دیگری مانند پاسخ‌گویی به پرسش را نیز انجام دهد.</p> <div class="flex justify-center"><img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/gpt2_architecture.png"/></div> <p>۱. GPT-2 برای توکِن‌سازی کلمات و تولید تعبیه‌ی توکِن از <a href="https://huggingface.co/docs/transformers/tokenizer_summary#bytepair-encoding-bpe" rel="nofollow">کدگذاری جفت‌بایتی (BPE)</a> استفاده می‌کند. کدگذاری‌های مکانی به تعبیه‌های توکِن اضافه می‌شوند تا جایگاه هر توکِن در رشته را مشخص کنند. تعبیه‌های ورودی از چندین بلوک دیکودر عبور می‌کنند و در نهایت یک وضعیت پنهان تولید می‌شود. در هر بلوک دیکودر، GPT-2 از لایه‌ی <em>توجه به خود ماسک‌شده</em> استفاده می‌کند؛ یعنی GPT-2 نمی‌تواند به توکِن‌های آینده توجه کند و فقط اجازه دارد به توکِن‌های سمت چپ توجه کند. این با توکِن [<code>mask</code>] در BERT متفاوت است، چون در توجه به خود ماسک‌شده از ماسک توجه استفاده می‌شود تا امتیاز توکِن‌های آینده روی <code>0</code> تنظیم شود.</p> <p>۲. خروجی دیکودر به سرِ مدل‌سازی زبان داده می‌شود؛ این سر با تبدیل خطی، وضعیت‌های پنهان را به لوجیت تبدیل می‌کند. برچسب، توکِن بعدی در رشته است که با جابه‌جاکردن لوجیت‌ها به سمت راست به اندازه‌ی یک خانه ساخته می‌شود. زیان آنتروپی متقابل بین لوجیت‌های جابه‌جاشده و برچسب‌ها محاسبه می‌شود تا محتمل‌ترین توکِن بعدی تولید شود.</p> <p>هدف پیش‌تعلیم GPT-2 کاملاً بر <a href="https://huggingface.co/docs/transformers/glossary#causal-language-modeling" rel="nofollow">مدل‌سازی زبان علّی</a> استوار است؛ یعنی پیش‌بینی کلمه‌ی بعدی در یک رشته. به همین دلیل GPT-2 برای مسائل تولید متن بسیار مناسب است.</p> <p>آماده‌اید تولید متن را امتحان کنید؟ راهنمای کامل <a href="https://huggingface.co/docs/transformers/tasks/language_modeling#causal-language-modeling" rel="nofollow">مدل‌سازی زبان علّی</a> ما را ببینید تا ریزتنظیم DistilGPT-2 و استفاده از آن برای استنتاج را یاد بگیرید!</p> <blockquote class="tip"><p>برای اطلاعات بیشتر درباره‌ی تولید متن، راهنمای <a href="https://huggingface.co/docs/transformers/generation_strategies#generation-strategies" rel="nofollow">راهبردهای تولید متن</a> را ببینید!</p></blockquote> <!--[2--><h3 class="relative group"><a id="دستهبندی-متن" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#دستهبندی-متن"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>دسته‌بندی متن</span></h3><!--]--><!----> <p>دسته‌بندی متن یعنی اختصاص‌دادن دسته‌های از پیش تعریف‌شده به اسناد متنی؛ مانند تحلیل احساسات، دسته‌بندی موضوعی یا تشخیص هرزنامه.</p> <p><a href="https://huggingface.co/docs/transformers/model_doc/bert" rel="nofollow">BERT</a> مدلی فقط اِنکودر است و نخستین مدلی بود که دوسویگی عمیق را به‌طور مؤثر پیاده‌سازی کرد تا با توجه به کلمات هر دو طرف، نمایش‌های غنی‌تری از متن یاد بگیرد.</p> <p>۱. BERT برای تولید تعبیه‌ی توکِن متن از توکِن‌سازی <a href="https://huggingface.co/docs/transformers/tokenizer_summary#wordpiece" rel="nofollow">WordPiece</a> استفاده می‌کند. برای تشخیص تفاوت میان یک جمله و جفتی از جمله‌ها، توکِن ویژه‌ی <code>[SEP]</code> اضافه می‌شود. توکِن ویژه‌ی <code>[CLS]</code> نیز به ابتدای هر رشته‌ی متنی اضافه می‌شود. خروجی نهایی همراه با توکِن <code>[CLS]</code> به‌عنوان ورودی سرِ دسته‌بندی در مسائل دسته‌بندی استفاده می‌شود. BERT همچنین یک تعبیه‌ی قطعه اضافه می‌کند تا مشخص شود هر توکِن به جمله‌ی اول یا دوم یک جفت جمله تعلق دارد.</p> <p>۲. BERT با دو هدف پیش‌تعلیم می‌شود: مدل‌سازی زبان ماسک‌شده و پیش‌بینی جمله‌ی بعدی. در مدل‌سازی زبان ماسک‌شده، درصدی از توکِن‌های ورودی به‌صورت تصادفی ماسک می‌شوند و مدل باید آن‌ها را پیش‌بینی کند. این کار مسئله‌ی دوسویگی را حل می‌کند؛ در غیر این صورت مدل می‌توانست همه‌ی کلمات را ببیند و کلمه‌ی بعدی را «پیش‌بینی» کند. وضعیت‌های پنهان نهایی توکِن‌های ماسک‌شده‌ی پیش‌بینی‌شده به شبکه‌ای پیش‌خور با سافت‌مکس روی واژگان داده می‌شوند تا کلمه‌ی ماسک‌شده پیش‌بینی شود.</p> <p>هدف دوم پیش‌تعلیم، پیش‌بینی جمله‌ی بعدی است. مدل باید پیش‌بینی کند آیا جمله‌ی B پس از جمله‌ی A می‌آید یا نه. نیمی از مواقع جمله‌ی B جمله‌ی بعدی است و در نیمه‌ی دیگر، جمله‌ی B جمله‌ای تصادفی است. پیش‌بینی، یعنی اینکه جمله‌ی بعدی هست یا نه، به شبکه‌ای پیش‌خور با سافت‌مکس روی دو دسته (<code>IsNext</code> و <code>NotNext</code>) داده می‌شود.</p> <p>۳. تعبیه‌های ورودی از چندین لایه‌ی اِنکودر عبور می‌کنند و در نهایت وضعیت‌های پنهان تولید می‌شوند.</p> <p>برای استفاده از مدل پیش‌تعلیم‌شده در دسته‌بندی متن، یک سرِ دسته‌بندی توالی روی مدل پایه‌ی BERT اضافه کنید. سرِ دسته‌بندی توالی لایه‌ای خطی است که وضعیت‌های پنهان نهایی را می‌گیرد و با تبدیل خطی آن‌ها را به لوجیت تبدیل می‌کند. زیان آنتروپی متقابل بین لوجیت‌ها و هدف محاسبه می‌شود تا محتمل‌ترین برچسب پیدا شود.</p> <p>آماده‌اید دسته‌بندی متن را امتحان کنید؟ راهنمای کامل <a href="https://huggingface.co/docs/transformers/tasks/sequence_classification" rel="nofollow">دسته‌بندی متن</a> ما را ببینید تا ریزتنظیم DistilBERT و استفاده از آن برای استنتاج را یاد بگیرید!</p> <!--[2--><h3 class="relative group"><a id="دستهبندی-توکن" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#دستهبندی-توکن"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>دسته‌بندی توکِن</span></h3><!--]--><!----> <p>دسته‌بندی توکِن یعنی اختصاص‌دادن یک برچسب به هر توکِن در یک رشته؛ مانند تشخیص موجودیت نام‌دار یا برچسب‌گذاری نقش دستوری.</p> <p>برای استفاده از BERT در مسائلی مانند تشخیص موجودیت نام‌دار (NER)، یک سرِ دسته‌بندی توکِن روی مدل پایه‌ی BERT اضافه کنید. این سرِ دسته‌بندی توکِن لایه‌ای خطی است که وضعیت‌های پنهان نهایی را می‌گیرد و با تبدیل خطی آن‌ها را به لوجیت تبدیل می‌کند. زیان آنتروپی متقابل بین لوجیت‌ها و هر توکِن محاسبه می‌شود تا محتمل‌ترین برچسب پیدا شود.</p> <p>آماده‌اید دسته‌بندی توکِن را امتحان کنید؟ راهنمای کامل <a href="https://huggingface.co/docs/transformers/tasks/token_classification" rel="nofollow">دسته‌بندی توکِن</a> ما را ببینید تا ریزتنظیم DistilBERT و استفاده از آن برای استنتاج را یاد بگیرید!</p> <!--[2--><h3 class="relative group"><a id="پاسخگویی-به-پرسش" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#پاسخگویی-به-پرسش"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>پاسخ‌گویی به پرسش</span></h3><!--]--><!----> <p>پاسخ‌گویی به پرسش یعنی پیدا کردن پاسخ یک پرسش درون زمینه یا متنی مشخص.</p> <p>برای استفاده از BERT در پاسخ‌گویی به پرسش، یک سرِ دسته‌بندی بازه روی مدل پایه‌ی BERT اضافه کنید. این لایه‌ی خطی وضعیت‌های پنهان نهایی را می‌گیرد و لوجیت‌های شروع و پایان <code>span</code> متناظر با پاسخ را محاسبه می‌کند. زیان آنتروپی متقابل بین لوجیت‌ها و جایگاه برچسب محاسبه می‌شود تا محتمل‌ترین بازه‌ی متن متناظر با پاسخ پیدا شود.</p> <p>آماده‌اید پاسخ‌گویی به پرسش را امتحان کنید؟ راهنمای کامل <a href="https://huggingface.co/docs/transformers/tasks/question_answering" rel="nofollow">پاسخ‌گویی به پرسش</a> ما را ببینید تا ریزتنظیم DistilBERT و استفاده از آن برای استنتاج را یاد بگیرید!</p> <blockquote class="tip"><p>💡 دقت کنید که پس از پیش‌تعلیم BERT، استفاده از آن برای مسائل مختلف چقدر آسان است. فقط کافی است سرِ مخصوصی به مدل پیش‌تعلیم‌شده اضافه کنید تا وضعیت‌های پنهان را به خروجی دلخواه خود تبدیل کنید!</p></blockquote> <!--[2--><h3 class="relative group"><a id="خلاصهسازی" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#خلاصهسازی"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>خلاصه‌سازی</span></h3><!--]--><!----> <p>خلاصه‌سازی یعنی فشرده‌کردن متنی طولانی به نسخه‌ای کوتاه‌تر، درحالی‌که اطلاعات و معنای اصلی آن حفظ شود.</p> <p>مدل‌های اِنکودر-دیکودر مانند <a href="https://huggingface.co/docs/transformers/model_doc/bart" rel="nofollow">BART</a> و <a href="https://huggingface.co/docs/transformers/model_doc/t5" rel="nofollow">T5</a> برای الگوی دنباله‌به‌دنباله‌ی مسئله‌ی خلاصه‌سازی طراحی شده‌اند. در این بخش توضیح می‌دهیم BART چگونه کار می‌کند و در پایان می‌توانید T5 را ریزتنظیم کنید.</p> <div class="flex justify-center"><img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/bart_architecture.png"/></div> <p>۱. معماری اِنکودر BART بسیار شبیه BERT است و تعبیه‌ی توکِن و تعبیه‌ی مکانی متن را دریافت می‌کند. BART با خراب‌کردن ورودی و سپس بازسازی آن با دیکودر پیش‌تعلیم می‌شود. برخلاف اِنکودرهای دیگر که راهبردهای خرابی مشخصی دارند، BART می‌تواند هر نوع خرابی را اعمال کند؛ بااین‌حال راهبرد <em>پرکردن متن</em> بهترین عملکرد را دارد. در پرکردن متن، چند بازه‌ی متنی با یک توکِن [<code>mask</code>] <strong>واحد</strong> جایگزین می‌شوند. این موضوع مهم است، چون مدل باید توکِن‌های ماسک‌شده را پیش‌بینی کند و تعداد توکِن‌های ازدست‌رفته را نیز یاد بگیرد. تعبیه‌های ورودی و بازه‌های ماسک‌شده از اِنکودر عبور می‌کنند و در نهایت وضعیت‌های پنهان را تولید می‌کنند، اما برخلاف BERT، BART در انتها شبکه‌ی پیش‌خوری برای پیش‌بینی یک کلمه اضافه نمی‌کند.</p> <p>۲. خروجی اِنکودر به دیکودر داده می‌شود؛ دیکودر باید توکِن‌های ماسک‌شده و هر توکِن خراب‌نشده را بر اساس خروجی اِنکودر پیش‌بینی کند. این کار زمینه‌ی بیشتری فراهم می‌کند تا دیکودر متن اصلی را بازسازی کند. خروجی دیکودر به سرِ مدل‌سازی زبان داده می‌شود؛ این سر با تبدیل خطی، وضعیت‌های پنهان را به لوجیت تبدیل می‌کند. زیان آنتروپی متقابل بین لوجیت‌ها و برچسب محاسبه می‌شود؛ برچسب همان توکِنی است که یک خانه به راست جابه‌جا شده است.</p> <p>آماده‌اید خلاصه‌سازی را امتحان کنید؟ راهنمای کامل <a href="https://huggingface.co/docs/transformers/tasks/summarization" rel="nofollow">خلاصه‌سازی</a> ما را ببینید تا T5 را ریزتنظیم و برای استنتاج استفاده کنید!</p> <blockquote class="tip"><p>برای اطلاعات بیشتر درباره‌ی تولید متن، راهنمای <a href="https://huggingface.co/docs/transformers/generation_strategies" rel="nofollow">راهبردهای تولید متن</a> را ببینید!</p></blockquote> <!--[2--><h3 class="relative group"><a id="ترجمه" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#ترجمه"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>ترجمه</span></h3><!--]--><!----> <p>ترجمه یعنی تبدیل متن از زبانی به زبان دیگر، درحالی‌که معنای آن حفظ شود. ترجمه نمونه‌ی دیگری از مسئله‌ی دنباله‌به‌دنباله است؛ یعنی می‌توانید برای انجام آن از مدل اِنکودر-دیکودری مانند <a href="https://huggingface.co/docs/transformers/model_doc/bart" rel="nofollow">BART</a> یا <a href="https://huggingface.co/docs/transformers/model_doc/t5" rel="nofollow">T5</a> استفاده کنید. در این بخش توضیح می‌دهیم BART چگونه کار می‌کند و در پایان می‌توانید T5 را ریزتنظیم کنید.</p> <p>BART با افزودن اِنکودر جداگانه‌ای که به‌صورت تصادفی مقداردهی اولیه شده است، خود را با ترجمه سازگار می‌کند؛ این اِنکودر زبان مبدأ را به ورودی‌ای تبدیل می‌کند که می‌توان آن را به زبان مقصد رمزگشایی کرد. تعبیه‌های اِنکودر جدید به‌جای تعبیه‌های واژه‌ی اصلی به اِنکودر پیش‌تعلیم‌شده داده می‌شوند. اِنکودر مبدأ با به‌روزرسانی اِنکودر مبدأ، تعبیه‌های مکانی و تعبیه‌های ورودی و با استفاده از زیان آنتروپی متقابل خروجی مدل آموزش داده می‌شود. در گام نخست پارامترهای مدل ثابت می‌مانند و در گام دوم همه‌ی پارامترهای مدل با هم آموزش داده می‌شوند.
BART پس از آن با نسخه‌ای چندزبانه به نام mBART ادامه پیدا کرد که برای ترجمه طراحی شده و روی زبان‌های بسیاری پیش‌تعلیم دیده است.</p> <p>آماده‌اید ترجمه را امتحان کنید؟ راهنمای کامل <a href="https://huggingface.co/docs/transformers/tasks/translation" rel="nofollow">ترجمه</a> ما را ببینید تا T5 را ریزتنظیم و برای استنتاج استفاده کنید!</p> <blockquote class="tip"><p>همان‌طور که در سراسر این راهنما دیدید، بسیاری از مدل‌ها با وجود پرداختن به مسائل متفاوت، الگوهای مشابهی دارند. درک این الگوهای مشترک کمک می‌کند سریع‌تر بفهمید مدل‌های جدید چگونه کار می‌کنند و چگونه مدل‌های موجود را با نیازهای خود سازگار کنید.</p></blockquote> <!--[1--><h2 class="relative group"><a id="گونههای-فراتر-از-متن" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#گونههای-فراتر-از-متن"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>گونه‌های فراتر از متن</span></h2><!--]--><!----> <p>ترنسفورمرها به متن محدود نیستند. می‌توان آن‌ها را برای گونه‌های دیگری مانند گفتار و صدا، تصویر و ویدئو نیز به کار برد. البته در این دوره تمرکز ما بر متن است، اما می‌توانیم گونه‌های دیگر را کوتاه معرفی کنیم.</p> <!--[2--><h3 class="relative group"><a id="گفتار-و-صدا" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#گفتار-و-صدا"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>گفتار و صدا</span></h3><!--]--><!----> <p>بیایید با بررسی نحوه‌ی کار مدل‌های ترنسفورمر با داده‌های گفتار و صدا شروع کنیم؛ داده‌هایی که در مقایسه با متن یا تصویر چالش‌های منحصربه‌فردی دارند.</p> <p><a href="https://huggingface.co/docs/transformers/main/en/model_doc/whisper" rel="nofollow">Whisper</a> یک ترنسفورمر اِنکودر-دیکودر (دنباله‌به‌دنباله) است که روی ۶۸۰٬۰۰۰ ساعت داده‌ی صوتی برچسب‌دار پیش‌تعلیم شده است. این حجم از داده‌ی پیش‌تعلیم، عملکرد صفرنمونه‌ای را در مسائل صوتی به زبان انگلیسی و بسیاری زبان‌های دیگر ممکن می‌کند. دیکودر به Whisper اجازه می‌دهد نمایش‌های گفتاریِ یادگرفته‌شده توسط اِنکودرها را بدون ریزتنظیم اضافی به خروجی‌های مفیدی مانند متن تبدیل کند. Whisper بدون کار اضافی آماده‌ی استفاده است.</p> <div class="flex justify-center"><img src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/whisper_architecture.png"/></div> <p>نمودار از <a href="https://huggingface.co/papers/2212.04356" rel="nofollow">مقاله‌ی Whisper</a> گرفته شده است.</p> <p>این مدل دو جزء اصلی دارد:</p> <p>۱. یک <strong>اِنکودر</strong> صدای ورودی را پردازش می‌کند. ابتدا صدای خام به طیف‌نگاشت log-Mel تبدیل می‌شود و سپس این طیف‌نگاشت از شبکه‌ی اِنکودر ترنسفورمر عبور می‌کند.</p> <p>۲. یک <strong>دیکودر</strong> نمایش کدگذاری‌شده‌ی صدا را می‌گیرد و به‌صورت خودبازگشتی توکِن‌های متناظر متن را پیش‌بینی می‌کند. این دیکودر ترنسفورمر استانداردی است که برای پیش‌بینی توکِن متنی بعدی بر اساس توکِن‌های قبلی و خروجی اِنکودر آموزش دیده است. توکِن‌های ویژه در ابتدای ورودی دیکودر قرار می‌گیرند تا مدل را به سمت مسائلی مانند رونویسی، ترجمه یا تشخیص زبان هدایت کنند.</p> <p>Whisper روی مجموعه‌داده‌ای عظیم و متنوع شامل ۶۸۰٬۰۰۰ ساعت داده‌ی صوتی برچسب‌دار که از وب گردآوری شده بود پیش‌تعلیم دید. این پیش‌تعلیم گسترده و ضعیف‌نظارتی کلید عملکرد صفرنمونه‌ای قوی آن در زبان‌ها و مسائل گوناگون است.</p> <p>حالا که Whisper پیش‌تعلیم شده است، می‌توانید مستقیماً برای استنتاج صفرنمونه‌ای از آن استفاده کنید یا برای عملکرد بهتر در مسائلی مانند تشخیص خودکار گفتار و ترجمه‌ی گفتار، آن را روی داده‌های خود ریزتنظیم کنید!</p> <blockquote class="tip"><p>نوآوری اصلی Whisper آموزش آن روی مقیاسی بی‌سابقه از داده‌های صوتی متنوع و ضعیف‌نظارتیِ اینترنت است. این کار به مدل اجازه می‌دهد بدون ریزتنظیم مخصوص مسئله، در زبان‌ها، لهجه‌ها و مسائل مختلف به‌طرز چشمگیری تعمیم پیدا کند.</p></blockquote> <!--[2--><h3 class="relative group"><a id="تشخیص-خودکار-گفتار" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#تشخیص-خودکار-گفتار"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>تشخیص خودکار گفتار</span></h3><!--]--><!----> <p>برای استفاده از مدل پیش‌تعلیم‌شده در تشخیص خودکار گفتار، از ساختار کامل اِنکودر-دیکودر آن بهره می‌برید. اِنکودر ورودی صوتی را پردازش می‌کند و دیکودر به‌صورت خودبازگشتی متن را توکِن‌به‌توکِن تولید می‌کند. هنگام ریزتنظیم، مدل معمولاً با زیان استاندارد دنباله‌به‌دنباله (مانند آنتروپی متقابل) آموزش داده می‌شود تا توکِن‌های درست متن را بر اساس ورودی صوتی پیش‌بینی کند.</p> <p>آسان‌ترین راه استفاده از مدل ریزتنظیم‌شده برای استنتاج، قرار دادن آن در یک <code>pipeline</code> است.</p> <div class="code-block relative "><div class="absolute top-2.5 right-4"><button class="inline-flex items-center relative text-sm focus:text-green-500 cursor-pointer focus:outline-none transition duration-200 ease-in-out opacity-0 mx-0.5 text-gray-600 " title="code excerpt" type="button"><svg xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----> <div class=" absolute pointer-events-none transition-opacity bg-black text-white py-1 px-2 leading-tight rounded font-normal shadow left-1/2 top-full transform -translate-x-1/2 translate-y-2 opacity-0 "><div class="absolute bottom-full left-1/2 transform -translate-x-1/2 w-0 h-0 border-black border-4 border-t-0" style="border-left-color: transparent; border-right-color: transparent;"></div> Copied</div><!----></button><!----></div> <pre class="language-python "><!----><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline
transcriber = pipeline(
task=<span class="hljs-string">&quot;automatic-speech-recognition&quot;</span>, model=<span class="hljs-string">&quot;openai/whisper-base.en&quot;</span>
)
transcriber(<span class="hljs-string">&quot;https://huggingface.co/datasets/Narsil/asr_dummy/resolve/main/mlk.flac&quot;</span>)
<span class="hljs-comment"># Output: {&#x27;text&#x27;: &#x27; I have a dream that one day this nation will rise up and live out the true meaning of its creed.&#x27;}</span><!----></pre></div><!----> <p>آماده‌اید تشخیص خودکار گفتار را امتحان کنید؟ راهنمای کامل <a href="https://huggingface.co/docs/transformers/tasks/asr" rel="nofollow">تشخیص خودکار گفتار</a> ما را ببینید تا Whisper را ریزتنظیم و برای استنتاج استفاده کنید!</p> <!--[2--><h3 class="relative group"><a id="بینایی-ماشین" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#بینایی-ماشین"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>بینایی ماشین</span></h3><!--]--><!----> <p>حالا به سراغ مسائل بینایی ماشین می‌رویم؛ مسائلی که به درک و تفسیر اطلاعات بصری تصاویر یا ویدئوها می‌پردازند.</p> <p>دو راه برای نزدیک‌شدن به مسائل بینایی ماشین وجود دارد:</p> <p>۱. تصویر را به رشته‌ای از قطعه‌ها تقسیم کنیم و آن‌ها را به‌صورت موازی با یک ترنسفورمر پردازش کنیم.
۲. از CNN مدرنی مانند <a href="https://huggingface.co/docs/transformers/model_doc/convnext" rel="nofollow">ConvNeXT</a> استفاده کنیم که به لایه‌های کانولوشنی تکیه دارد، اما طراحی‌های مدرن شبکه را به کار می‌گیرد.</p> <blockquote class="tip"><p>رویکرد سومی هم وجود دارد که ترنسفورمرها را با کانولوشن ترکیب می‌کند (برای نمونه <a href="https://huggingface.co/docs/transformers/model_doc/cvt" rel="nofollow">Convolutional Vision Transformer</a> یا <a href="https://huggingface.co/docs/transformers/model_doc/levit" rel="nofollow">LeViT</a>). چون این رویکرد فقط دو روش بررسی‌شده را ترکیب می‌کند، در اینجا درباره‌اش صحبت نمی‌کنیم.</p></blockquote> <p>ViT و ConvNeXT معمولاً برای دسته‌بندی تصویر استفاده می‌شوند، اما برای مسائل بینایی دیگری مانند تشخیص اشیا، قطعه‌بندی و برآورد عمق، به‌ترتیب سراغ DETR، Mask2Former و GLPN می‌رویم؛ این مدل‌ها برای آن مسائل مناسب‌ترند.</p> <!--[2--><h3 class="relative group"><a id="دستهبندی-تصویر" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#دستهبندی-تصویر"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>دسته‌بندی تصویر</span></h3><!--]--><!----> <p>دسته‌بندی تصویر یکی از مسائل بنیادی بینایی ماشین است. بیایید ببینیم معماری‌های مختلف مدل چگونه به این مسئله نزدیک می‌شوند.</p> <p>ViT و ConvNeXT هر دو برای دسته‌بندی تصویر به کار می‌روند؛ تفاوت اصلی این است که ViT از مکانیزم توجه و ConvNeXT از کانولوشن استفاده می‌کند.</p> <p><a href="https://huggingface.co/docs/transformers/model_doc/vit" rel="nofollow">ViT</a> کانولوشن‌ها را کاملاً کنار می‌گذارد و از معماری خالص ترنسفورمر استفاده می‌کند. اگر با ترنسفورمر اصلی آشنا باشید، بیشتر مسیر درک ViT را طی کرده‌اید.</p> <div class="flex justify-center"><img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/vit_architecture.jpg"/></div> <p>تغییر اصلی ViT در نحوه‌ی ورود تصاویر به ترنسفورمر است:</p> <p>۱. تصویر به قطعه‌های مربعیِ بدون هم‌پوشانی تقسیم می‌شود و هر قطعه به یک وِکتور یا <em>تعبیه‌ی قطعه</em> تبدیل می‌شود. تعبیه‌های قطعه از یک لایه‌ی کانولوشنی دوبعدی تولید می‌شوند که ابعاد ورودی مناسب را می‌سازد (برای یک ترنسفورمر پایه، هر تعبیه‌ی قطعه ۷۶۸ مقدار دارد). اگر تصویر ۲۲۴×۲۲۴ پیکسل باشد، می‌توان آن را به ۱۹۶ قطعه‌ی تصویری ۱۶×۱۶ تقسیم کرد. همان‌طور که متن به کلمه‌ها توکِن‌سازی می‌شود، تصویر نیز به رشته‌ای از قطعه‌ها «توکِن‌سازی» می‌شود.</p> <p>۲. یک <em>تعبیه‌ی قابل‌یادگیری</em> ــ توکِن ویژه‌ی <code>[CLS]</code> ــ مانند BERT به ابتدای تعبیه‌های قطعه اضافه می‌شود. وضعیت پنهان نهایی توکِن <code>[CLS]</code> به‌عنوان ورودی سرِ دسته‌بندی متصل استفاده می‌شود و خروجی‌های دیگر نادیده گرفته می‌شوند. این توکِن به مدل کمک می‌کند نمایش تصویر را یاد بگیرد.</p> <p>۳. آخرین چیزی که باید به تعبیه‌های قطعه و قابل‌یادگیری اضافه شود، <em>تعبیه‌های جایگاهی</em> است، چون مدل نمی‌داند قطعه‌های تصویر چگونه مرتب شده‌اند. تعبیه‌های جایگاهی نیز قابل‌یادگیری‌اند و اندازه‌ای برابر با تعبیه‌های قطعه دارند. در پایان همه‌ی تعبیه‌ها به اِنکودر ترنسفورمر داده می‌شوند.</p> <p>۴. خروجی، به‌طور مشخص فقط خروجی همراه با توکِن <code>[CLS]</code>، به سرِ پرسپترون چندلایه (MLP) داده می‌شود. هدف پیش‌تعلیم ViT صرفاً دسته‌بندی است. مانند دیگر سرهای دسته‌بندی، سرِ MLP خروجی را به لوجیت‌های روی برچسب‌های دسته تبدیل می‌کند و زیان آنتروپی متقابل را برای یافتن محتمل‌ترین دسته محاسبه می‌کند.</p> <p>آماده‌اید دسته‌بندی تصویر را امتحان کنید؟ راهنمای کامل <a href="https://huggingface.co/docs/transformers/tasks/image_classification" rel="nofollow">دسته‌بندی تصویر</a> ما را ببینید تا ViT را ریزتنظیم و برای استنتاج استفاده کنید!</p> <blockquote class="tip"><p>به شباهت ViT و BERT توجه کنید: هر دو از توکِن ویژه‌ی <code>[CLS]</code> برای ثبت نمایش کلی استفاده می‌کنند، هر دو اطلاعات جایگاهی را به تعبیه‌های خود اضافه می‌کنند و هر دو برای پردازش رشته‌ی توکِن‌ها/قطعه‌ها از اِنکودر ترنسفورمر استفاده می‌کنند.</p></blockquote></div> <a class="!text-gray-400 !no-underline text-sm flex items-center not-prose mt-4" href="https://github.com/huggingface/course/blob/main/chapters/fa/chapter1/5.mdx" target="_blank"><svg class="mr-1" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M31,16l-7,7l-1.41-1.41L28.17,16l-5.58-5.59L24,9l7,7z"></path><path d="M1,16l7-7l1.41,1.41L3.83,16l5.58,5.59L8,23l-7-7z"></path><path d="M12.419,25.484L17.639,6.552l1.932,0.518L14.351,26.002z"></path></svg><!----> <span><span class="underline">Update</span> on GitHub</span></a><!----> <p></p><!--]--><!----><!--]--><!--]--><!--]--> <!--[-1--><!--]--><!--]-->
<script>
{
__sveltekit_pfm8ny = {
base: "/docs/course/pr_1364/fa",
assets: "/docs/course/pr_1364/fa"
};
const element = document.currentScript.parentElement;
Promise.all([
import("/docs/course/pr_1364/fa/_app/immutable/entry/start.CqZXmSrv.js"),
import("/docs/course/pr_1364/fa/_app/immutable/entry/app.B4UvgX5H.js")
]).then(([kit, app]) => {
kit.start(app, element, {
node_ids: [0, 9],
data: [null,null],
form: null,
error: null
});
});
}
</script>

Xet Storage Details

Size:
66.8 kB
·
Xet hash:
f8f07f01baaa4e749ee9646001b17eac52da2b7afbf5338b2844c4a4fb76b6f9

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.