Buckets:
ترنسفورمرهای 🤗 چگونه مسائل را حل میکنند
در ترنسفورمرها چه کارهایی میتوانند انجام دهند؟ با پردازش زبان طبیعی (NLP)، گفتار و صدا، مسائل بینایی ماشین و برخی کاربردهای مهم آنها آشنا شدید. در این بخش دقیقتر بررسی میکنیم مدلها چگونه این مسائل را حل میکنند و در پشت صحنه چه میگذرد. برای حل یک مسئلهی مشخص راههای زیادی وجود دارد؛ بعضی مدلها ممکن است تکنیکهای خاصی را پیادهسازی کنند یا از زاویهای تازه به مسئله نزدیک شوند، اما ایدهی کلی در مدلهای ترنسفورمر یکسان است. به لطف معماری انعطافپذیر، بیشتر مدلها گونهای از ساختار اِنکودر، دیکودر یا اِنکودر-دیکودر هستند.
پیش از ورود به گونههای معماری خاص، دانستن این نکته مفید است که بیشتر مسائل الگوی مشابهی دارند: دادهی ورودی از یک مدل عبور میکند و خروجی برای مسئلهای مشخص تفسیر میشود. تفاوتها در نحوهی آمادهسازی داده، گونهی معماری مدل و شیوهی پردازش خروجی است.
برای توضیح نحوهی حل مسائل، آنچه را درون مدل رخ میدهد تا پیشبینیهای مفید تولید شوند مرحلهبهمرحله بررسی میکنیم. مدلهای زیر و مسائل متناظرشان را پوشش میدهیم:
- Wav2Vec2 برای دستهبندی صدا و تشخیص خودکار گفتار (ASR)
- Vision Transformer (ViT) و ConvNeXT برای دستهبندی تصویر
- DETR برای تشخیص اشیا
- Mask2Former برای قطعهبندی تصویر
- GLPN برای برآورد عمق
- BERT برای مسائل NLP مانند دستهبندی متن، دستهبندی توکِن و پاسخگویی به پرسش که از اِنکودر استفاده میکنند
- GPT2 برای مسائل NLP مانند تولید متن که از دیکودر استفاده میکنند
- BART برای مسائل NLP مانند خلاصهسازی و ترجمه که از اِنکودر-دیکودر استفاده میکنند
پیش از ادامه، بهتر است با معماری اصلی ترنسفورمر آشنایی مقدماتی داشته باشید. دانستن نحوهی کار اِنکودرها، دیکودرها و توجه به درک عملکرد مدلهای مختلف ترنسفورمر کمک میکند. برای اطلاعات بیشتر بخش قبلی را ببینید!
مدلهای ترنسفورمر برای زبان
مدلهای زبانی در قلب NLP مدرن قرار دارند. آنها برای درک و تولید زبان انسان طراحی شدهاند و این کار را با یادگیری الگوهای آماری و روابط میان کلمات یا توکِنهای متن انجام میدهند.
ترنسفورمر ابتدا برای ترجمهی ماشینی طراحی شد و از آن زمان به معماری پیشفرض حل همهی مسائل هوش مصنوعی تبدیل شده است. برخی مسائل با ساختار اِنکودر ترنسفورمر سازگارترند، درحالیکه برای مسائل دیگر دیکودر مناسبتر است. برخی مسائل دیگر نیز از ساختار اِنکودر-دیکودر ترنسفورمر استفاده میکنند.
مدلهای زبانی چگونه کار میکنند
مدلهای زبانی با آموزش برای پیشبینی احتمال یک کلمه بر اساس زمینهی کلمات پیرامون آن کار میکنند. این کار درکی پایهای از زبان به آنها میدهد که میتوانند به مسائل دیگر تعمیم دهند.
دو رویکرد اصلی برای آموزش مدل ترنسفورمر وجود دارد:
۱. مدلسازی زبان ماسکشده (MLM): این رویکرد که مدلهایی مانند BERT از آن استفاده میکنند، بعضی توکِنهای ورودی را بهصورت تصادفی ماسک میکند و مدل را آموزش میدهد تا بر اساس زمینهی پیرامون، توکِنهای اصلی را پیشبینی کند. با این کار مدل زمینهی دوسویه را یاد میگیرد (یعنی هم کلمات پیش و هم کلمات پس از کلمهی ماسکشده را میبیند).
۲. مدلسازی زبان علّی (CLM): این رویکرد که مدلهایی مانند GPT از آن استفاده میکنند، توکِن بعدی را بر اساس همهی توکِنهای قبلی در رشته پیشبینی میکند. مدل برای پیشبینی توکِن بعدی فقط میتواند از زمینهی سمت چپ (توکِنهای قبلی) استفاده کند.
انواع مدلهای زبانی
در کتابخانهی Transformers، مدلهای زبانی عموماً در سه دستهی معماری قرار میگیرند:
۱. مدلهای فقط اِنکودر (مانند BERT): این مدلها برای درک زمینه از هر دو جهت، از رویکرد دوسویه استفاده میکنند. آنها برای مسائلی مناسباند که به درک عمیق متن نیاز دارند؛ مانند دستهبندی، تشخیص موجودیت نامدار و پاسخگویی به پرسش.
۲. مدلهای فقط دیکودر (مانند GPT و Llama): این مدلها متن را از چپ به راست پردازش میکنند و بهویژه برای مسائل تولید متن مناسباند. آنها میتوانند جملهها را کامل کنند، مقاله بنویسند یا حتی بر اساس یک پرامپت کد تولید کنند.
۳. مدلهای اِنکودر-دیکودر (مانند T5 و BART): این مدلها هر دو رویکرد را ترکیب میکنند؛ اِنکودر ورودی را درک میکند و دیکودر خروجی را تولید میکند. آنها در مسائل دنبالهبهدنباله مانند ترجمه، خلاصهسازی و پاسخگویی به پرسش عملکرد خوبی دارند.
همانطور که در بخش قبلی گفتیم، مدلهای زبانی معمولاً بهصورت خودنظارتی (بدون حاشیهنویسی انسانی) روی حجم زیادی از دادههای متنی پیشتعلیم میشوند و سپس برای مسائل مشخص ریزتنظیم میشوند. این رویکرد که یادگیری انتقالی نام دارد، به مدلها اجازه میدهد با مقدار نسبتاً کمی دادهی مخصوص مسئله، خود را با مسائل گوناگون NLP سازگار کنند.
در بخشهای بعدی معماریهای مشخص مدلها و کاربرد آنها را در مسائل حوزههای گفتار، بینایی و متن بررسی میکنیم.
درک اینکه کدام بخش معماری ترنسفورمر (اِنکودر، دیکودر یا هر دو) برای یک مسئلهی NLP خاص مناسبتر است، برای انتخاب مدل درست کلیدی است. بهطور کلی، مسائلی که به زمینهی دوسویه نیاز دارند از اِنکودرها، مسائلی که متن تولید میکنند از دیکودرها و مسائلی که یک رشته را به رشتهای دیگر تبدیل میکنند از اِنکودر-دیکودرها استفاده میکنند.
تولید متن
تولید متن یعنی ساختن متنی منسجم و مرتبط با زمینه بر اساس یک پرامپت یا ورودی.
GPT-2 مدلی فقط دیکودر است که روی حجم زیادی متن پیشتعلیم شده است. این مدل با دریافت یک پرامپت میتواند متنی قانعکننده (هرچند نه همیشه درست!) تولید کند و با وجود آنکه صراحتاً برایش آموزش ندیده، مسائل NLP دیگری مانند پاسخگویی به پرسش را نیز انجام دهد.
۱. GPT-2 برای توکِنسازی کلمات و تولید تعبیهی توکِن از کدگذاری جفتبایتی (BPE) استفاده میکند. کدگذاریهای مکانی به تعبیههای توکِن اضافه میشوند تا جایگاه هر توکِن در رشته را مشخص کنند. تعبیههای ورودی از چندین بلوک دیکودر عبور میکنند و در نهایت یک وضعیت پنهان تولید میشود. در هر بلوک دیکودر، GPT-2 از لایهی توجه به خود ماسکشده استفاده میکند؛ یعنی GPT-2 نمیتواند به توکِنهای آینده توجه کند و فقط اجازه دارد به توکِنهای سمت چپ توجه کند. این با توکِن [mask] در BERT متفاوت است، چون در توجه به خود ماسکشده از ماسک توجه استفاده میشود تا امتیاز توکِنهای آینده روی 0 تنظیم شود.
۲. خروجی دیکودر به سرِ مدلسازی زبان داده میشود؛ این سر با تبدیل خطی، وضعیتهای پنهان را به لوجیت تبدیل میکند. برچسب، توکِن بعدی در رشته است که با جابهجاکردن لوجیتها به سمت راست به اندازهی یک خانه ساخته میشود. زیان آنتروپی متقابل بین لوجیتهای جابهجاشده و برچسبها محاسبه میشود تا محتملترین توکِن بعدی تولید شود.
هدف پیشتعلیم GPT-2 کاملاً بر مدلسازی زبان علّی استوار است؛ یعنی پیشبینی کلمهی بعدی در یک رشته. به همین دلیل GPT-2 برای مسائل تولید متن بسیار مناسب است.
آمادهاید تولید متن را امتحان کنید؟ راهنمای کامل مدلسازی زبان علّی ما را ببینید تا ریزتنظیم DistilGPT-2 و استفاده از آن برای استنتاج را یاد بگیرید!
برای اطلاعات بیشتر دربارهی تولید متن، راهنمای راهبردهای تولید متن را ببینید!
دستهبندی متن
دستهبندی متن یعنی اختصاصدادن دستههای از پیش تعریفشده به اسناد متنی؛ مانند تحلیل احساسات، دستهبندی موضوعی یا تشخیص هرزنامه.
BERT مدلی فقط اِنکودر است و نخستین مدلی بود که دوسویگی عمیق را بهطور مؤثر پیادهسازی کرد تا با توجه به کلمات هر دو طرف، نمایشهای غنیتری از متن یاد بگیرد.
۱. BERT برای تولید تعبیهی توکِن متن از توکِنسازی WordPiece استفاده میکند. برای تشخیص تفاوت میان یک جمله و جفتی از جملهها، توکِن ویژهی [SEP] اضافه میشود. توکِن ویژهی [CLS] نیز به ابتدای هر رشتهی متنی اضافه میشود. خروجی نهایی همراه با توکِن [CLS] بهعنوان ورودی سرِ دستهبندی در مسائل دستهبندی استفاده میشود. BERT همچنین یک تعبیهی قطعه اضافه میکند تا مشخص شود هر توکِن به جملهی اول یا دوم یک جفت جمله تعلق دارد.
۲. BERT با دو هدف پیشتعلیم میشود: مدلسازی زبان ماسکشده و پیشبینی جملهی بعدی. در مدلسازی زبان ماسکشده، درصدی از توکِنهای ورودی بهصورت تصادفی ماسک میشوند و مدل باید آنها را پیشبینی کند. این کار مسئلهی دوسویگی را حل میکند؛ در غیر این صورت مدل میتوانست همهی کلمات را ببیند و کلمهی بعدی را «پیشبینی» کند. وضعیتهای پنهان نهایی توکِنهای ماسکشدهی پیشبینیشده به شبکهای پیشخور با سافتمکس روی واژگان داده میشوند تا کلمهی ماسکشده پیشبینی شود.
هدف دوم پیشتعلیم، پیشبینی جملهی بعدی است. مدل باید پیشبینی کند آیا جملهی B پس از جملهی A میآید یا نه. نیمی از مواقع جملهی B جملهی بعدی است و در نیمهی دیگر، جملهی B جملهای تصادفی است. پیشبینی، یعنی اینکه جملهی بعدی هست یا نه، به شبکهای پیشخور با سافتمکس روی دو دسته (IsNext و NotNext) داده میشود.
۳. تعبیههای ورودی از چندین لایهی اِنکودر عبور میکنند و در نهایت وضعیتهای پنهان تولید میشوند.
برای استفاده از مدل پیشتعلیمشده در دستهبندی متن، یک سرِ دستهبندی توالی روی مدل پایهی BERT اضافه کنید. سرِ دستهبندی توالی لایهای خطی است که وضعیتهای پنهان نهایی را میگیرد و با تبدیل خطی آنها را به لوجیت تبدیل میکند. زیان آنتروپی متقابل بین لوجیتها و هدف محاسبه میشود تا محتملترین برچسب پیدا شود.
آمادهاید دستهبندی متن را امتحان کنید؟ راهنمای کامل دستهبندی متن ما را ببینید تا ریزتنظیم DistilBERT و استفاده از آن برای استنتاج را یاد بگیرید!
دستهبندی توکِن
دستهبندی توکِن یعنی اختصاصدادن یک برچسب به هر توکِن در یک رشته؛ مانند تشخیص موجودیت نامدار یا برچسبگذاری نقش دستوری.
برای استفاده از BERT در مسائلی مانند تشخیص موجودیت نامدار (NER)، یک سرِ دستهبندی توکِن روی مدل پایهی BERT اضافه کنید. این سرِ دستهبندی توکِن لایهای خطی است که وضعیتهای پنهان نهایی را میگیرد و با تبدیل خطی آنها را به لوجیت تبدیل میکند. زیان آنتروپی متقابل بین لوجیتها و هر توکِن محاسبه میشود تا محتملترین برچسب پیدا شود.
آمادهاید دستهبندی توکِن را امتحان کنید؟ راهنمای کامل دستهبندی توکِن ما را ببینید تا ریزتنظیم DistilBERT و استفاده از آن برای استنتاج را یاد بگیرید!
پاسخگویی به پرسش
پاسخگویی به پرسش یعنی پیدا کردن پاسخ یک پرسش درون زمینه یا متنی مشخص.
برای استفاده از BERT در پاسخگویی به پرسش، یک سرِ دستهبندی بازه روی مدل پایهی BERT اضافه کنید. این لایهی خطی وضعیتهای پنهان نهایی را میگیرد و لوجیتهای شروع و پایان span متناظر با پاسخ را محاسبه میکند. زیان آنتروپی متقابل بین لوجیتها و جایگاه برچسب محاسبه میشود تا محتملترین بازهی متن متناظر با پاسخ پیدا شود.
آمادهاید پاسخگویی به پرسش را امتحان کنید؟ راهنمای کامل پاسخگویی به پرسش ما را ببینید تا ریزتنظیم DistilBERT و استفاده از آن برای استنتاج را یاد بگیرید!
💡 دقت کنید که پس از پیشتعلیم BERT، استفاده از آن برای مسائل مختلف چقدر آسان است. فقط کافی است سرِ مخصوصی به مدل پیشتعلیمشده اضافه کنید تا وضعیتهای پنهان را به خروجی دلخواه خود تبدیل کنید!
خلاصهسازی
خلاصهسازی یعنی فشردهکردن متنی طولانی به نسخهای کوتاهتر، درحالیکه اطلاعات و معنای اصلی آن حفظ شود.
مدلهای اِنکودر-دیکودر مانند BART و T5 برای الگوی دنبالهبهدنبالهی مسئلهی خلاصهسازی طراحی شدهاند. در این بخش توضیح میدهیم BART چگونه کار میکند و در پایان میتوانید T5 را ریزتنظیم کنید.
۱. معماری اِنکودر BART بسیار شبیه BERT است و تعبیهی توکِن و تعبیهی مکانی متن را دریافت میکند. BART با خرابکردن ورودی و سپس بازسازی آن با دیکودر پیشتعلیم میشود. برخلاف اِنکودرهای دیگر که راهبردهای خرابی مشخصی دارند، BART میتواند هر نوع خرابی را اعمال کند؛ بااینحال راهبرد پرکردن متن بهترین عملکرد را دارد. در پرکردن متن، چند بازهی متنی با یک توکِن [mask] واحد جایگزین میشوند. این موضوع مهم است، چون مدل باید توکِنهای ماسکشده را پیشبینی کند و تعداد توکِنهای ازدسترفته را نیز یاد بگیرد. تعبیههای ورودی و بازههای ماسکشده از اِنکودر عبور میکنند و در نهایت وضعیتهای پنهان را تولید میکنند، اما برخلاف BERT، BART در انتها شبکهی پیشخوری برای پیشبینی یک کلمه اضافه نمیکند.
۲. خروجی اِنکودر به دیکودر داده میشود؛ دیکودر باید توکِنهای ماسکشده و هر توکِن خرابنشده را بر اساس خروجی اِنکودر پیشبینی کند. این کار زمینهی بیشتری فراهم میکند تا دیکودر متن اصلی را بازسازی کند. خروجی دیکودر به سرِ مدلسازی زبان داده میشود؛ این سر با تبدیل خطی، وضعیتهای پنهان را به لوجیت تبدیل میکند. زیان آنتروپی متقابل بین لوجیتها و برچسب محاسبه میشود؛ برچسب همان توکِنی است که یک خانه به راست جابهجا شده است.
آمادهاید خلاصهسازی را امتحان کنید؟ راهنمای کامل خلاصهسازی ما را ببینید تا T5 را ریزتنظیم و برای استنتاج استفاده کنید!
برای اطلاعات بیشتر دربارهی تولید متن، راهنمای راهبردهای تولید متن را ببینید!
ترجمه
ترجمه یعنی تبدیل متن از زبانی به زبان دیگر، درحالیکه معنای آن حفظ شود. ترجمه نمونهی دیگری از مسئلهی دنبالهبهدنباله است؛ یعنی میتوانید برای انجام آن از مدل اِنکودر-دیکودری مانند BART یا T5 استفاده کنید. در این بخش توضیح میدهیم BART چگونه کار میکند و در پایان میتوانید T5 را ریزتنظیم کنید.
BART با افزودن اِنکودر جداگانهای که بهصورت تصادفی مقداردهی اولیه شده است، خود را با ترجمه سازگار میکند؛ این اِنکودر زبان مبدأ را به ورودیای تبدیل میکند که میتوان آن را به زبان مقصد رمزگشایی کرد. تعبیههای اِنکودر جدید بهجای تعبیههای واژهی اصلی به اِنکودر پیشتعلیمشده داده میشوند. اِنکودر مبدأ با بهروزرسانی اِنکودر مبدأ، تعبیههای مکانی و تعبیههای ورودی و با استفاده از زیان آنتروپی متقابل خروجی مدل آموزش داده میشود. در گام نخست پارامترهای مدل ثابت میمانند و در گام دوم همهی پارامترهای مدل با هم آموزش داده میشوند. BART پس از آن با نسخهای چندزبانه به نام mBART ادامه پیدا کرد که برای ترجمه طراحی شده و روی زبانهای بسیاری پیشتعلیم دیده است.
آمادهاید ترجمه را امتحان کنید؟ راهنمای کامل ترجمه ما را ببینید تا T5 را ریزتنظیم و برای استنتاج استفاده کنید!
همانطور که در سراسر این راهنما دیدید، بسیاری از مدلها با وجود پرداختن به مسائل متفاوت، الگوهای مشابهی دارند. درک این الگوهای مشترک کمک میکند سریعتر بفهمید مدلهای جدید چگونه کار میکنند و چگونه مدلهای موجود را با نیازهای خود سازگار کنید.
گونههای فراتر از متن
ترنسفورمرها به متن محدود نیستند. میتوان آنها را برای گونههای دیگری مانند گفتار و صدا، تصویر و ویدئو نیز به کار برد. البته در این دوره تمرکز ما بر متن است، اما میتوانیم گونههای دیگر را کوتاه معرفی کنیم.
گفتار و صدا
بیایید با بررسی نحوهی کار مدلهای ترنسفورمر با دادههای گفتار و صدا شروع کنیم؛ دادههایی که در مقایسه با متن یا تصویر چالشهای منحصربهفردی دارند.
Whisper یک ترنسفورمر اِنکودر-دیکودر (دنبالهبهدنباله) است که روی ۶۸۰٬۰۰۰ ساعت دادهی صوتی برچسبدار پیشتعلیم شده است. این حجم از دادهی پیشتعلیم، عملکرد صفرنمونهای را در مسائل صوتی به زبان انگلیسی و بسیاری زبانهای دیگر ممکن میکند. دیکودر به Whisper اجازه میدهد نمایشهای گفتاریِ یادگرفتهشده توسط اِنکودرها را بدون ریزتنظیم اضافی به خروجیهای مفیدی مانند متن تبدیل کند. Whisper بدون کار اضافی آمادهی استفاده است.
نمودار از مقالهی Whisper گرفته شده است.
این مدل دو جزء اصلی دارد:
۱. یک اِنکودر صدای ورودی را پردازش میکند. ابتدا صدای خام به طیفنگاشت log-Mel تبدیل میشود و سپس این طیفنگاشت از شبکهی اِنکودر ترنسفورمر عبور میکند.
۲. یک دیکودر نمایش کدگذاریشدهی صدا را میگیرد و بهصورت خودبازگشتی توکِنهای متناظر متن را پیشبینی میکند. این دیکودر ترنسفورمر استانداردی است که برای پیشبینی توکِن متنی بعدی بر اساس توکِنهای قبلی و خروجی اِنکودر آموزش دیده است. توکِنهای ویژه در ابتدای ورودی دیکودر قرار میگیرند تا مدل را به سمت مسائلی مانند رونویسی، ترجمه یا تشخیص زبان هدایت کنند.
Whisper روی مجموعهدادهای عظیم و متنوع شامل ۶۸۰٬۰۰۰ ساعت دادهی صوتی برچسبدار که از وب گردآوری شده بود پیشتعلیم دید. این پیشتعلیم گسترده و ضعیفنظارتی کلید عملکرد صفرنمونهای قوی آن در زبانها و مسائل گوناگون است.
حالا که Whisper پیشتعلیم شده است، میتوانید مستقیماً برای استنتاج صفرنمونهای از آن استفاده کنید یا برای عملکرد بهتر در مسائلی مانند تشخیص خودکار گفتار و ترجمهی گفتار، آن را روی دادههای خود ریزتنظیم کنید!
نوآوری اصلی Whisper آموزش آن روی مقیاسی بیسابقه از دادههای صوتی متنوع و ضعیفنظارتیِ اینترنت است. این کار به مدل اجازه میدهد بدون ریزتنظیم مخصوص مسئله، در زبانها، لهجهها و مسائل مختلف بهطرز چشمگیری تعمیم پیدا کند.
تشخیص خودکار گفتار
برای استفاده از مدل پیشتعلیمشده در تشخیص خودکار گفتار، از ساختار کامل اِنکودر-دیکودر آن بهره میبرید. اِنکودر ورودی صوتی را پردازش میکند و دیکودر بهصورت خودبازگشتی متن را توکِنبهتوکِن تولید میکند. هنگام ریزتنظیم، مدل معمولاً با زیان استاندارد دنبالهبهدنباله (مانند آنتروپی متقابل) آموزش داده میشود تا توکِنهای درست متن را بر اساس ورودی صوتی پیشبینی کند.
آسانترین راه استفاده از مدل ریزتنظیمشده برای استنتاج، قرار دادن آن در یک pipeline است.
from transformers import pipeline
transcriber = pipeline(
task="automatic-speech-recognition", model="openai/whisper-base.en"
)
transcriber("https://huggingface.co/datasets/Narsil/asr_dummy/resolve/main/mlk.flac")
# Output: {'text': ' I have a dream that one day this nation will rise up and live out the true meaning of its creed.'}
آمادهاید تشخیص خودکار گفتار را امتحان کنید؟ راهنمای کامل تشخیص خودکار گفتار ما را ببینید تا Whisper را ریزتنظیم و برای استنتاج استفاده کنید!
بینایی ماشین
حالا به سراغ مسائل بینایی ماشین میرویم؛ مسائلی که به درک و تفسیر اطلاعات بصری تصاویر یا ویدئوها میپردازند.
دو راه برای نزدیکشدن به مسائل بینایی ماشین وجود دارد:
۱. تصویر را به رشتهای از قطعهها تقسیم کنیم و آنها را بهصورت موازی با یک ترنسفورمر پردازش کنیم. ۲. از CNN مدرنی مانند ConvNeXT استفاده کنیم که به لایههای کانولوشنی تکیه دارد، اما طراحیهای مدرن شبکه را به کار میگیرد.
رویکرد سومی هم وجود دارد که ترنسفورمرها را با کانولوشن ترکیب میکند (برای نمونه Convolutional Vision Transformer یا LeViT). چون این رویکرد فقط دو روش بررسیشده را ترکیب میکند، در اینجا دربارهاش صحبت نمیکنیم.
ViT و ConvNeXT معمولاً برای دستهبندی تصویر استفاده میشوند، اما برای مسائل بینایی دیگری مانند تشخیص اشیا، قطعهبندی و برآورد عمق، بهترتیب سراغ DETR، Mask2Former و GLPN میرویم؛ این مدلها برای آن مسائل مناسبترند.
دستهبندی تصویر
دستهبندی تصویر یکی از مسائل بنیادی بینایی ماشین است. بیایید ببینیم معماریهای مختلف مدل چگونه به این مسئله نزدیک میشوند.
ViT و ConvNeXT هر دو برای دستهبندی تصویر به کار میروند؛ تفاوت اصلی این است که ViT از مکانیزم توجه و ConvNeXT از کانولوشن استفاده میکند.
ViT کانولوشنها را کاملاً کنار میگذارد و از معماری خالص ترنسفورمر استفاده میکند. اگر با ترنسفورمر اصلی آشنا باشید، بیشتر مسیر درک ViT را طی کردهاید.
تغییر اصلی ViT در نحوهی ورود تصاویر به ترنسفورمر است:
۱. تصویر به قطعههای مربعیِ بدون همپوشانی تقسیم میشود و هر قطعه به یک وِکتور یا تعبیهی قطعه تبدیل میشود. تعبیههای قطعه از یک لایهی کانولوشنی دوبعدی تولید میشوند که ابعاد ورودی مناسب را میسازد (برای یک ترنسفورمر پایه، هر تعبیهی قطعه ۷۶۸ مقدار دارد). اگر تصویر ۲۲۴×۲۲۴ پیکسل باشد، میتوان آن را به ۱۹۶ قطعهی تصویری ۱۶×۱۶ تقسیم کرد. همانطور که متن به کلمهها توکِنسازی میشود، تصویر نیز به رشتهای از قطعهها «توکِنسازی» میشود.
۲. یک تعبیهی قابلیادگیری ــ توکِن ویژهی [CLS] ــ مانند BERT به ابتدای تعبیههای قطعه اضافه میشود. وضعیت پنهان نهایی توکِن [CLS] بهعنوان ورودی سرِ دستهبندی متصل استفاده میشود و خروجیهای دیگر نادیده گرفته میشوند. این توکِن به مدل کمک میکند نمایش تصویر را یاد بگیرد.
۳. آخرین چیزی که باید به تعبیههای قطعه و قابلیادگیری اضافه شود، تعبیههای جایگاهی است، چون مدل نمیداند قطعههای تصویر چگونه مرتب شدهاند. تعبیههای جایگاهی نیز قابلیادگیریاند و اندازهای برابر با تعبیههای قطعه دارند. در پایان همهی تعبیهها به اِنکودر ترنسفورمر داده میشوند.
۴. خروجی، بهطور مشخص فقط خروجی همراه با توکِن [CLS]، به سرِ پرسپترون چندلایه (MLP) داده میشود. هدف پیشتعلیم ViT صرفاً دستهبندی است. مانند دیگر سرهای دستهبندی، سرِ MLP خروجی را به لوجیتهای روی برچسبهای دسته تبدیل میکند و زیان آنتروپی متقابل را برای یافتن محتملترین دسته محاسبه میکند.
آمادهاید دستهبندی تصویر را امتحان کنید؟ راهنمای کامل دستهبندی تصویر ما را ببینید تا ViT را ریزتنظیم و برای استنتاج استفاده کنید!
به شباهت ViT و BERT توجه کنید: هر دو از توکِن ویژهی [CLS] برای ثبت نمایش کلی استفاده میکنند، هر دو اطلاعات جایگاهی را به تعبیههای خود اضافه میکنند و هر دو برای پردازش رشتهی توکِنها/قطعهها از اِنکودر ترنسفورمر استفاده میکنند.
Xet Storage Details
- Size:
- 36.1 kB
- Xet hash:
- 3e02c9e435d42a2f1b6e5de2d0e9587524268bddbde6fd9c3508308c48a00577
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.
