Buckets:

|
download
raw
19.2 kB

معماری‌های ترنسفورمر[[transformer-architectures]]

در بخش‌های پیشین، معماری کلی ترنسفورمر را معرفی کردیم و دیدیم این مدل‌ها چگونه می‌توانند وظایف گوناگون را حل کنند. اکنون سه گونهٔ اصلی معماری مدل‌های ترنسفورمر را دقیق‌تر بررسی می‌کنیم و می‌آموزیم هرکدام را چه زمانی به کار ببریم. سپس بررسی می‌کنیم این معماری‌ها چگونه برای وظایف مختلف زبانی به کار گرفته می‌شوند.

در این بخش، عمیق‌تر وارد سه گونهٔ اصلی معماری ترنسفورمر می‌شویم و زمان مناسب استفاده از هرکدام را بررسی می‌کنیم.

به یاد داشته باشید که بیشتر مدل‌های ترنسفورمر از یکی از سه معماری استفاده می‌کنند: فقط رمزگذار، فقط رمزگشا، یا رمزگذار-رمزگشا (دنباله‌به‌دنباله). درک این تفاوت‌ها به شما کمک می‌کند مدل مناسب وظیفهٔ خود را انتخاب کنید.

مدل‌های رمزگذار[[encoder-models]]

مدل‌های رمزگذار فقط از بخش رمزگذار یک مدل ترنسفورمر استفاده می‌کنند. در هر مرحله، لایه‌های توجه می‌توانند به همهٔ واژه‌های جملهٔ اولیه دسترسی داشته باشند. این مدل‌ها معمولاً با توجه «دوطرفه» شناخته می‌شوند و اغلب به آن‌ها مدل‌های خودرمزگذار گفته می‌شود.

پیش‌آموزش این مدل‌ها معمولاً بر خراب‌کردن جمله‌ای مشخص (برای نمونه، پوشاندن واژه‌های تصادفی آن) و واداشتن مدل به یافتن یا بازسازی جملهٔ اولیه استوار است.

مدل‌های رمزگذار برای وظایفی مناسب‌ترند که به درک کل جمله نیاز دارند؛ مانند دسته‌بندی جمله، تشخیص موجودیت نام‌دار (و به‌طور کلی‌تر، دسته‌بندی واژه) و پاسخ‌گویی استخراجی به پرسش.

همان‌طور که در ترنسفورمرها چگونه وظایف را حل می‌کنند دیدیم، مدل‌های رمزگذاری مانند BERT در درک متن عالی هستند، زیرا می‌توانند کل زمینه را از هر دو جهت ببینند. بنابراین برای وظایفی که درک کامل ورودی اهمیت دارد، بسیار مناسب‌اند.

نمونه‌هایی از این خانوادهٔ مدل‌ها عبارت‌اند از:

مدل‌های رمزگشا[[decoder-models]]

مدل‌های رمزگشا فقط از بخش رمزگشای یک مدل ترنسفورمر استفاده می‌کنند. در هر مرحله، برای یک واژهٔ مشخص، لایه‌های توجه فقط می‌توانند به واژه‌هایی دسترسی داشته باشند که پیش از آن در جمله قرار گرفته‌اند. این مدل‌ها اغلب «مدل‌های خودبازگشتی» نامیده می‌شوند.

پیش‌آموزش مدل‌های رمزگشا معمولاً بر پیش‌بینی واژهٔ بعدی جمله متمرکز است.

این مدل‌ها برای وظایفی مناسب‌ترند که شامل تولید متن می‌شوند.

مدل‌های رمزگشایی مانند GPT برای تولید متن با پیش‌بینی یک توکِن در هر گام طراحی شده‌اند. همان‌طور که در ترنسفورمرها چگونه وظایف را حل می‌کنند بررسی کردیم، این مدل‌ها فقط توکِن‌های قبلی را می‌بینند؛ بنابراین برای تولید خلاقانهٔ متن عالی‌اند، اما برای وظایفی که به درک دوطرفه نیاز دارند مناسب‌تر نیستند.

نمونه‌هایی از این خانوادهٔ مدل‌ها عبارت‌اند از:

مدل‌های زبانی بزرگ مدرن (LLM)

بیشتر مدل‌های زبانی بزرگ (LLM) مدرن از معماری فقط رمزگشا استفاده می‌کنند. اندازه و توانایی‌های این مدل‌ها در چند سال گذشته به‌سرعت افزایش یافته و بعضی از بزرگ‌ترین مدل‌ها صدها میلیارد پارامتر دارند.

مدل‌های زبانی بزرگ مدرن معمولاً در دو مرحله آموزش داده می‌شوند:

  1. پیش‌آموزش: مدل یاد می‌گیرد توکِن بعدی را بر اساس حجم بسیار زیادی از دادهٔ متنی پیش‌بینی کند.
  2. تنظیم دستوری: مدل برای پیروی از دستورها و تولید پاسخ‌های مفید ریزتنظیم می‌شود.

این رویکرد به مدل‌هایی انجامیده است که می‌توانند متن شبیه متن انسانی را در موضوعات و وظایف گوناگون درک و تولید کنند.

توانایی‌های کلیدی LLMهای مدرن

LLMهای مبتنی بر رمزگشای مدرن توانایی‌های چشمگیری نشان داده‌اند:

توانایی توضیح مثال
تولید متن ایجاد متنی منسجم و مرتبط با زمینه نوشتن مقاله، داستان یا ایمیل
خلاصه‌سازی فشرده‌کردن اسناد طولانی به نسخه‌های کوتاه‌تر ساخت خلاصهٔ مدیریتی گزارش‌ها
ترجمه تبدیل متن از زبانی به زبان دیگر ترجمهٔ انگلیسی به اسپانیایی
پاسخ‌گویی به پرسش ارائهٔ پاسخ به پرسش‌های واقعی «پایتخت فرانسه چیست؟»
تولید کد نوشتن یا کامل‌کردن قطعه‌های کد ساخت تابع بر اساس یک توضیح
استدلال حل مرحله‌به‌مرحلهٔ مسئله‌ها حل مسئله‌های ریاضی یا معماهای منطقی
یادگیری چندنمونه‌ای یادگیری از چند مثال موجود در درخواست دسته‌بندی متن پس از دیدن فقط ۲ یا ۳ مثال

می‌توانید LLMهای مبتنی بر رمزگشا را مستقیماً در مرورگر و از طریق صفحهٔ مخزن مدل در هاب آزمایش کنید. در اینجا نمونه‌ای با GPT-2 کلاسیک (بهترین مدل متن‌باز OpenAI!) آورده شده است:

مشاهدهٔ مدل GPT-2 در Hugging Face

مدل‌های دنباله‌به‌دنباله[[sequence-to-sequence-models]]

مدل‌های رمزگذار-رمزگشا (که «مدل‌های دنباله‌به‌دنباله» نیز نامیده می‌شوند) از هر دو بخش معماری ترنسفورمر استفاده می‌کنند. در هر مرحله، لایه‌های توجه رمزگذار می‌توانند به همهٔ واژه‌های جملهٔ اولیه دسترسی داشته باشند، در حالی که لایه‌های توجه رمزگشا فقط به واژه‌هایی دسترسی دارند که پیش از یک واژهٔ مشخص در ورودی قرار گرفته‌اند.

پیش‌آموزش این مدل‌ها می‌تواند شکل‌های متفاوتی داشته باشد، اما اغلب شامل بازسازی جمله‌ای است که ورودی آن به‌نحوی خراب شده (برای مثال، با پوشاندن واژه‌های تصادفی). در پیش‌آموزش مدل T5، بازه‌های تصادفی متن (که می‌توانند چند واژه داشته باشند) با یک توکِن ویژهٔ ماسک جایگزین می‌شوند و مدل باید متنی را پیش‌بینی کند که این توکِن ماسک جایگزین آن شده است.

مدل‌های دنباله‌به‌دنباله برای وظایفی مناسب‌ترند که بر تولید جمله‌های جدید بر اساس یک ورودی مشخص تمرکز دارند؛ مانند خلاصه‌سازی، ترجمه یا پاسخ‌گویی مولد به پرسش.

همان‌طور که در ترنسفورمرها چگونه وظایف را حل می‌کنند دیدیم، مدل‌های رمزگذار-رمزگشا مانند BART و T5 نقاط قوت هر دو معماری را ترکیب می‌کنند. رمزگذار درک عمیق و دوطرفه‌ای از ورودی فراهم می‌کند و رمزگشا متن خروجی مناسب را تولید می‌کند. این مدل‌ها برای تبدیل یک دنباله به دنباله‌ای دیگر، مانند ترجمه یا خلاصه‌سازی، بسیار مناسب‌اند.

کاربردهای عملی

مدل‌های دنباله‌به‌دنباله در وظایفی عالی‌اند که باید یک شکل متن را به شکل دیگری تبدیل کرد و معنا را حفظ کرد. برخی کاربردهای عملی عبارت‌اند از:

کاربرد توضیح مدل نمونه
ترجمهٔ ماشینی تبدیل متن بین زبان‌ها Marian، T5
خلاصه‌سازی متن ساخت خلاصه‌های کوتاه از متن‌های طولانی‌تر BART، T5
تولید متن از داده تبدیل دادهٔ ساخت‌یافته به زبان طبیعی T5
اصلاح دستور زبان اصلاح خطاهای دستوری متن T5
پاسخ‌گویی به پرسش تولید پاسخ بر اساس زمینه BART، T5

در ادامه، نمونه‌ای تعاملی از یک مدل دنباله‌به‌دنباله برای ترجمه می‌بینید:

Xet Storage Details

Size:
19.2 kB
·
Xet hash:
141125f80753467e33a30983f5ce6b43c598ece9edb07eb1ea7d981a498ae32a

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.