Buckets:

|
download
raw
23.4 kB
# ترنسفورمرها چگونه کار می‌کنند؟[[how-do-transformers-work]]
<CourseFloatingBanner
chapter={1}
classNames="absolute z-10 right-0 top-0"
/>
در این بخش نگاهی به معماری مدل‌های ترنسفورمر می‌اندازیم و عمیق‌تر با مفاهیم توجه، معماری انکودر-دیکودر و موارد دیگر آشنا می‌شویم.
> [!WARNING]
> 🚀 در اینجا سطح بحث را بالاتر می‌بریم. این بخش جزئیات فنی زیادی دارد، پس اگر در ابتدا همه‌چیز را درک نکردید نگران نباشید. در ادامه‌ی دوره دوباره به این مفاهیم بازخواهیم گشت.
## نگاهی به تاریخچه‌ی ترنسفورمرها[[a-bit-of-transformer-history]]
در ادامه چند نقطه‌ی مهم از تاریخچه‌ی کوتاه مدل‌های ترنسفورمر را می‌بینید:
معماری [ترنسفورمر](https://arxiv.org/abs/1706.03762) در ژوئن ۲۰۱۷ معرفی شد. تمرکز پژوهش اولیه بر وظایف ترجمه بود. پس از آن چندین مدل اثرگذار معرفی شدند، از جمله:
- **ژوئن ۲۰۱۸**: [GPT](https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf)، نخستین مدل ترنسفورمر از پیش تعلیم‌دیده که برای کوک کردن روی وظایف مختلف NLP استفاده شد و به نتایج پیشرفته‌ای دست یافت.
- **اکتبر ۲۰۱۸**: [BERT](https://arxiv.org/abs/1810.04805)، مدل بزرگ دیگری از پیش تعلیم‌دیده که برای تولید خلاصه‌های بهتر از جمله‌ها طراحی شده بود (در فصل بعد بیشتر درباره‌ی آن می‌خوانید!).
- **فوریه‌ی ۲۰۱۹**: [GPT-2](https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf)، نسخه‌ای بهبودیافته و بزرگ‌تر از GPT که به‌دلیل نگرانی‌های اخلاقی، بلافاصله به‌صورت عمومی منتشر نشد.
- **اکتبر ۲۰۱۹**: [T5](https://huggingface.co/papers/1910.10683)، پیاده‌سازی معماری ترنسفورمر دنباله‌به‌دنباله با تمرکز بر چندین وظیفه.
- **مه ۲۰۲۰**: [GPT-3](https://huggingface.co/papers/2005.14165)، نسخه‌ای حتی بزرگ‌تر از GPT-2 که می‌تواند در طیف متنوعی از وظایف، بدون نیاز به کوک شدن، عملکرد خوبی داشته باشد (که به آن *یادگیری zero-shot* گفته می‌شود).
- **ژانویه‌ی ۲۰۲۲**: [InstructGPT](https://huggingface.co/papers/2203.02155)، نسخه‌ای از GPT-3 که برای پیروی بهتر از دستورها تعلیم داده شده است.
- **ژانویه‌ی ۲۰۲۳**: [Llama](https://huggingface.co/papers/2302.13971)، یک مدل زبانی بزرگ که می‌تواند به زبان‌های مختلف متن تولید کند.
- **مارس ۲۰۲۳**: [Mistral](https://huggingface.co/papers/2310.06825)، یک مدل زبانی ۷ میلیارد پارامتری که در همه‌ی محک‌های ارزیابی‌شده از Llama 2 13B بهتر عمل می‌کند، برای استنتاج سریع‌تر از توجه گروهی به پرس‌وجو استفاده می‌کند و برای مدیریت توالی‌هایی با طول دلخواه از توجه پنجره‌ای لغزان بهره می‌برد.
- **مه ۲۰۲۴**: [Gemma 2](https://huggingface.co/papers/2408.00118)، خانواده‌ای از مدل‌های باز سبک‌وزن و پیشرفته با اندازه‌هایی از ۲ تا ۲۷ میلیارد پارامتر که توجه‌های محلی-سراسری درهم‌تنیده و توجه گروهی به پرس‌وجو را به کار می‌گیرند. مدل‌های کوچک‌تر این خانواده با استفاده از تقطیر دانش تعلیم داده شده‌اند تا عملکردی هم‌سطح مدل‌هایی دو تا سه برابر بزرگ‌تر ارائه دهند.
- **نوامبر ۲۰۲۴**: [SmolLM2](https://huggingface.co/papers/2502.02737)، یک مدل زبانی کوچک و پیشرفته (از ۱۳۵ میلیون تا ۱٫۷ میلیارد پارامتر) که با وجود اندازه‌ی فشرده‌اش عملکرد چشمگیری دارد و امکانات جدیدی برای دستگاه‌های همراه و لبه‌ای فراهم می‌کند.
این فهرست به‌هیچ‌وجه کامل نیست و فقط برای برجسته کردن چند نوع مختلف از مدل‌های ترنسفورمر ارائه شده است. به‌طور کلی، می‌توان آن‌ها را در سه دسته قرار داد:
- مدل‌های شبیه GPT (که مدل‌های ترنسفورمر *خودرگرسیو* نیز نامیده می‌شوند)
- مدل‌های شبیه BERT (که مدل‌های ترنسفورمر *خودرمزگذار* نیز نامیده می‌شوند)
- مدل‌های شبیه T5 (که مدل‌های ترنسفورمر *دنباله‌به‌دنباله* نیز نامیده می‌شوند)
در ادامه‌ی دوره با این خانواده‌ها عمیق‌تر آشنا خواهیم شد.
## ترنسفورمرها مدل‌های زبانی هستند[[transformers-are-language-models]]
همه‌ی مدل‌های ترنسفورمری که بالاتر به آن‌ها اشاره کردیم (GPT، BERT، T5 و غیره) به‌عنوان *مدل زبانی* تعلیم داده شده‌اند. این یعنی آن‌ها به‌صورت خودنظارتی و با استفاده از مقدار زیادی متن خام تعلیم داده شده‌اند.
یادگیری خودنظارتی نوعی تعلیم است که در آن هدف به‌طور خودکار از ورودی‌های مدل محاسبه می‌شود. بنابراین برای برچسب‌گذاری داده‌ها به انسان نیاز نیست!
این نوع مدل درکی آماری از زبانی که روی آن تعلیم دیده است ایجاد می‌کند، اما برای وظایف عملی مشخص کاربرد کمتری دارد. به همین دلیل، مدل عمومی از پیش تعلیم‌دیده سپس فرایندی به نام *یادگیری انتقالی* یا *کوک کردن* را طی می‌کند. در این فرایند، مدل برای یک وظیفه‌ی مشخص و به‌صورت نظارت‌شده، یعنی با استفاده از برچسب‌های حاشیه‌نویسی‌شده توسط انسان، کوک می‌شود.
یک نمونه از وظایف، پیش‌بینی کلمه‌ی بعدی در جمله پس از خواندن *n* کلمه‌ی قبلی است. به این کار *مدل‌سازی زبانی علّی* گفته می‌شود، چون خروجی به ورودی‌های گذشته و حال وابسته است، اما به ورودی‌های آینده وابسته نیست.
نمونه‌ی دیگر *مدل‌سازی زبانی ماسک‌شده* است که در آن مدل یک کلمه‌ی ماسک‌شده را در جمله پیش‌بینی می‌کند.
## ترنسفورمرها مدل‌های بزرگی هستند[[transformers-are-big-models]]
جدا از چند مورد استثنایی (مانند DistilBERT)، راهبرد کلی برای دستیابی به عملکرد بهتر، افزایش اندازه‌ی مدل‌ها و همچنین افزایش مقدار داده‌ای است که مدل‌ها روی آن از پیش تعلیم داده می‌شوند.
متأسفانه تعلیم یک مدل، به‌ویژه مدلی بزرگ، به مقدار زیادی داده نیاز دارد. این کار از نظر زمان و منابع محاسباتی بسیار پرهزینه است. این هزینه حتی به اثرات زیست‌محیطی نیز منجر می‌شود؛ همان‌طور که در نمودار زیر می‌بینید.
این ویدئو پروژه‌ای برای یک مدل (بسیار بزرگ) را نشان می‌دهد که تیمی آن را هدایت کرده است که آگاهانه تلاش می‌کند اثرات زیست‌محیطی پیش‌تعلیم را کاهش دهد. ردپای ناشی از اجرای آزمایش‌های متعدد برای یافتن بهترین ابرپارامترها حتی بیشتر خواهد بود.
تصور کنید هر بار که یک تیم پژوهشی، یک سازمان دانشجویی یا یک شرکت می‌خواست مدلی تعلیم دهد، آن را از ابتدا انجام می‌داد. این کار هزینه‌های جهانی بسیار بزرگ و غیرضروری ایجاد می‌کرد!
به همین دلیل، اشتراک‌گذاری مدل‌های زبانی اهمیت زیادی دارد: اشتراک‌گذاری وزن‌های تعلیم‌دیده و ساختن بر پایه‌ی وزن‌هایی که قبلاً تعلیم دیده‌اند، هزینه‌ی کلی محاسبات و ردپای کربن جامعه را کاهش می‌دهد.
راستی، می‌توانید ردپای کربن تعلیم مدل‌های خود را با چندین ابزار ارزیابی کنید. برای نمونه [ML CO2 Impact](https://mlco2.github.io/impact/) یا [Code Carbon]( https://codecarbon.io/) که در 🤗 Transformers یکپارچه شده است. برای آشنایی بیشتر با این موضوع، می‌توانید این [پست وبلاگ](https://huggingface.co/blog/carbon-emissions-on-the-hub) را بخوانید که روش تولید فایل `emissions.csv` شامل برآوردی از ردپای تعلیم شما را نشان می‌دهد و همچنین [مستندات](https://huggingface.co/docs/hub/model-cards-co2) 🤗 Transformers را که به این موضوع می‌پردازند مطالعه کنید.
## یادگیری انتقالی[[transfer-learning]]
*پیش‌تعلیم* فرایند تعلیم یک مدل از ابتدا است: وزن‌ها به‌صورت تصادفی مقداردهی اولیه می‌شوند و تعلیم بدون هیچ دانش قبلی آغاز می‌شود.
این پیش‌تعلیم معمولاً با استفاده از مقدار بسیار زیادی داده انجام می‌شود. بنابراین به یک پیکره‌ی داده‌ی بسیار بزرگ نیاز دارد و فرایند تعلیم ممکن است چندین هفته طول بکشد.
از سوی دیگر، *کوک کردن* به تعلیمی گفته می‌شود که **پس از** پیش‌تعلیم مدل انجام می‌شود. برای کوک کردن، ابتدا یک مدل زبانی از پیش تعلیم‌دیده تهیه می‌کنید و سپس با یک دیتاست مخصوص وظیفه‌ی خود، تعلیم بیشتری انجام می‌دهید. صبر کنید — چرا مدل را از صفر (**scratch**) برای کاربرد نهایی خود تعلیم ندهیم؟ چند دلیل وجود دارد:
* مدل از پیش تعلیم‌دیده پیش‌تر روی دیتاستی تعلیم دیده است که با دیتاست کوک کردن شباهت‌هایی دارد. بنابراین فرایند کوک کردن می‌تواند از دانشی که مدل اولیه در طول پیش‌تعلیم به دست آورده است استفاده کند (برای نمونه، در مسائل NLP، مدل از پیش تعلیم‌دیده نوعی درک آماری از زبانی که در وظیفه‌ی خود به کار می‌برید خواهد داشت).
* از آنجا که مدل از پیش تعلیم‌دیده پیش‌تر با داده‌های زیادی تعلیم دیده است، برای دستیابی به نتایج قابل‌قبول به داده‌ی بسیار کمتری برای کوک کردن نیاز دارد.
* به همین دلیل، زمان و منابع موردنیاز برای دستیابی به نتایج خوب بسیار کمتر است.
برای مثال، می‌توان از مدلی از پیش تعلیم‌دیده که روی زبان انگلیسی تعلیم دیده است استفاده کرد و سپس آن را روی پیکره‌ای از arXiv کوک کرد تا مدلی مبتنی بر علم و پژوهش به دست آید. کوک کردن فقط به مقدار محدودی داده نیاز دارد: دانشی که مدل از پیش تعلیم‌دیده به دست آورده است «منتقل» می‌شود و به همین دلیل به آن *یادگیری انتقالی* می‌گوییم.
بنابراین کوک کردن یک مدل هزینه‌های زمانی، داده‌ای، مالی و زیست‌محیطی کمتری دارد. همچنین آزمایش طرح‌های مختلف کوک کردن سریع‌تر و آسان‌تر است، زیرا تعلیم در مقایسه با پیش‌تعلیم کامل محدودیت‌های کمتری دارد.
این فرایند همچنین نتایج بهتری نسبت به تعلیم از ابتدا به دست می‌دهد (مگر اینکه داده‌ی زیادی داشته باشید). به همین دلیل، همیشه باید تلاش کنید از یک مدل از پیش تعلیم‌دیده — مدلی که تا حد امکان به وظیفه‌ی پیش‌روی شما نزدیک باشد — استفاده کنید و آن را کوک کنید.
## معماری کلی ترنسفورمر[[general-transformer-architecture]]
در این بخش معماری کلی مدل ترنسفورمر را بررسی می‌کنیم. اگر برخی مفاهیم را درک نکردید نگران نباشید؛ بخش‌های مفصلی در ادامه وجود دارند که هر یک از مؤلفه‌ها را پوشش می‌دهند.
مدل عمدتاً از دو بلوک تشکیل شده است:
* **انکودر (سمت چپ)**: انکودر یک ورودی دریافت می‌کند و بازنمایی‌ای از آن (ویژگی‌هایش) می‌سازد. یعنی مدل برای به‌دست‌آوردن درک از ورودی بهینه می‌شود.
* **دیکودر (سمت راست)**: دیکودر از بازنمایی انکودر (ویژگی‌ها) به همراه ورودی‌های دیگر برای تولید یک توالی هدف استفاده می‌کند. یعنی مدل برای تولید خروجی‌ها بهینه می‌شود.
هر یک از این بخش‌ها بسته به وظیفه می‌تواند به‌صورت مستقل استفاده شود:
* **مدل‌های فقط انکودر**: برای وظایفی مناسب‌اند که به درک ورودی نیاز دارند، مانند دسته‌بندی جمله و تشخیص موجودیت نامدار.
* **مدل‌های فقط دیکودر**: برای وظایف مولد مانند تولید متن مناسب‌اند.
* **مدل‌های انکودر-دیکودر** یا **مدل‌های دنباله‌به‌دنباله**: برای وظایف مولدی مناسب‌اند که به ورودی نیاز دارند، مانند ترجمه یا خلاصه‌سازی.
در بخش‌های بعدی این معماری‌ها را به‌صورت مستقل بررسی خواهیم کرد.
## لایه‌های توجه[[attention-layers]]
یکی از ویژگی‌های کلیدی مدل‌های ترنسفورمر این است که با لایه‌های ویژه‌ای به نام *لایه‌های توجه* ساخته شده‌اند. در واقع، عنوان مقاله‌ای که معماری ترنسفورمر را معرفی کرد ["Attention Is All You Need"](https://arxiv.org/abs/1706.03762) بود! در ادامه‌ی دوره جزئیات لایه‌های توجه را بررسی می‌کنیم؛ اما فعلاً کافی است بدانید این لایه به مدل می‌گوید هنگام ساخت بازنمایی هر کلمه، به کلمات مشخصی در جمله‌ای که به آن داده‌اید توجه ویژه کند (و کم‌وبیش بقیه را نادیده بگیرد).
برای روشن شدن موضوع، وظیفه‌ی ترجمه‌ی متن از انگلیسی به فرانسوی را در نظر بگیرید. با داشتن ورودی «You like this course»، مدل ترجمه باید برای به‌دست‌آوردن ترجمه‌ی درست کلمه‌ی «like» به کلمه‌ی مجاور «You» نیز توجه کند، زیرا در زبان فرانسوی فعل «like» بسته به فاعل به شکل متفاوتی صرف می‌شود. با این حال، باقی جمله برای ترجمه‌ی این کلمه مفید نیست. به همین ترتیب، هنگام ترجمه‌ی «this»، مدل باید به کلمه‌ی «course» نیز توجه کند، زیرا ترجمه‌ی «this» به مذکر یا مؤنث بودن اسم مربوط بستگی دارد. باز هم کلمات دیگر جمله برای ترجمه‌ی «course» اهمیتی ندارند. در جمله‌های پیچیده‌تر (با قواعد دستوری پیچیده‌تر)، مدل باید به کلماتی که ممکن است فاصله‌ی بیشتری از کلمه‌ی موردنظر داشته باشند توجه ویژه کند تا بتواند هر کلمه را به‌درستی ترجمه کند.
همین مفهوم برای هر وظیفه‌ای که با زبان طبیعی مرتبط باشد صدق می‌کند: یک کلمه به‌تنهایی معنا دارد، اما آن معنا عمیقاً تحت تأثیر زمینه قرار می‌گیرد؛ زمینه می‌تواند هر کلمه (یا کلماتی) باشد که پیش یا پس از کلمه‌ی موردبررسی آمده‌اند.
حالا که ایده‌ای از مفهوم لایه‌های توجه دارید، بیایید معماری ترنسفورمر را با دقت بیشتری بررسی کنیم.
## معماری اصلی[[the-original-architecture]]
معماری ترنسفورمر در اصل برای ترجمه طراحی شده بود. در طول تعلیم، انکودر ورودی‌ها (جمله‌ها) را به یک زبان مشخص دریافت می‌کند و دیکودر همان جمله‌ها را به زبان هدف موردنظر دریافت می‌کند. در انکودر، لایه‌های توجه می‌توانند از همه‌ی کلمات جمله استفاده کنند (چون همان‌طور که دیدیم، ترجمه‌ی یک کلمه‌ی مشخص می‌تواند به کلمات قبل و بعد از آن در جمله وابسته باشد). اما دیکودر به‌صورت ترتیبی کار می‌کند و فقط می‌تواند به کلماتی در جمله توجه کند که تا آن لحظه ترجمه کرده است (یعنی فقط کلمات پیش از کلمه‌ای که اکنون در حال تولید است). برای مثال، وقتی سه کلمه‌ی اول ترجمه‌ی هدف را پیش‌بینی کرده‌ایم، آن‌ها را به دیکودر می‌دهیم و دیکودر از همه‌ی ورودی‌های انکودر استفاده می‌کند تا کلمه‌ی چهارم را پیش‌بینی کند.
برای سرعت بخشیدن به کار در طول تعلیم (زمانی که مدل به جمله‌های هدف دسترسی دارد)، کل جمله‌ی هدف به دیکودر داده می‌شود؛ اما دیکودر اجازه ندارد از کلمات آینده استفاده کند (اگر هنگام تلاش برای پیش‌بینی کلمه‌ی جایگاه ۲ به خود کلمه‌ی جایگاه ۲ دسترسی داشت، مسئله چندان دشوار نبود!). برای نمونه، هنگام تلاش برای پیش‌بینی کلمه‌ی چهارم، لایه‌ی توجه فقط به کلمات جایگاه‌های ۱ تا ۳ دسترسی خواهد داشت.
معماری اصلی ترنسفورمر به شکل زیر بود؛ انکودر در سمت چپ و دیکودر در سمت راست قرار داشت:
توجه کنید که نخستین لایه‌ی توجه در یک بلوک دیکودر به همه‌ی ورودی‌های (گذشته‌ی) دیکودر توجه می‌کند، اما لایه‌ی توجه دوم از خروجی انکودر استفاده می‌کند. بنابراین می‌تواند به کل جمله‌ی ورودی دسترسی داشته باشد تا بهترین پیش‌بینی را برای کلمه‌ی فعلی انجام دهد. این قابلیت بسیار مفید است، زیرا زبان‌های مختلف ممکن است قواعد دستوری داشته باشند که کلمات را در ترتیب‌های متفاوتی قرار دهند، یا بخشی از زمینه که بعدتر در جمله آمده است برای تعیین بهترین ترجمه‌ی یک کلمه مفید باشد.
از *ماسک توجه* می‌توان در انکودر/دیکودر نیز استفاده کرد تا مدل از توجه به برخی کلمات ویژه جلوگیری کند؛ برای نمونه، کلمه‌ی padding ویژه‌ای که هنگام دسته‌ای کردن جمله‌ها برای هم‌طول کردن همه‌ی ورودی‌ها استفاده می‌شود.
## معماری‌ها در برابر نقطه‌های تعلیم[[architecture-vs-checkpoints]]
در ادامه‌ی این دوره و هنگام بررسی مدل‌های ترنسفورمر، با اشاره‌هایی به *معماری‌ها* و *نقطه‌های تعلیم* و همچنین *مدل‌ها* روبه‌رو خواهید شد. این اصطلاح‌ها معناهای اندکی متفاوت دارند:
* **معماری**: اسکلت مدل است — تعریف هر لایه و هر عملیاتی که درون مدل رخ می‌دهد.
* **نقطه‌های تعلیم**: وزن‌هایی هستند که در یک معماری مشخص بارگذاری خواهند شد.
* **مدل**: اصطلاحی کلی است که به اندازه‌ی «معماری» یا «نقطه‌ی تعلیم» دقیق نیست و می‌تواند به هر دو اشاره کند. این دوره هر جا لازم باشد برای کاهش ابهام از «معماری» یا «نقطه‌ی تعلیم» استفاده می‌کند.
برای مثال، BERT یک معماری است، در حالی که `bert-base-cased` مجموعه‌ای از وزن‌هایی است که تیم Google برای نخستین انتشار BERT تعلیم داده است و یک نقطه‌ی تعلیم به‌شمار می‌رود. با این حال، می‌توان گفت «مدل BERT» و «مدل `bert-base-cased`».

Xet Storage Details

Size:
23.4 kB
·
Xet hash:
d24c94d1f73c2c333e25542da19f5b3cfc7e3d606c7854ba1e96e6960a96aa1a

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.