Buckets:

|
download
raw
19.2 kB
# معماری‌های ترنسفورمر[[transformer-architectures]]
در بخش‌های پیشین، معماری کلی ترنسفورمر را معرفی کردیم و دیدیم این مدل‌ها چگونه می‌توانند وظایف گوناگون را حل کنند. اکنون سه گونهٔ اصلی معماری مدل‌های ترنسفورمر را دقیق‌تر بررسی می‌کنیم و می‌آموزیم هرکدام را چه زمانی به کار ببریم. سپس بررسی می‌کنیم این معماری‌ها چگونه برای وظایف مختلف زبانی به کار گرفته می‌شوند.
در این بخش، عمیق‌تر وارد سه گونهٔ اصلی معماری ترنسفورمر می‌شویم و زمان مناسب استفاده از هرکدام را بررسی می‌کنیم.
> [!TIP]
> به یاد داشته باشید که بیشتر مدل‌های ترنسفورمر از یکی از سه معماری استفاده می‌کنند: فقط رمزگذار، فقط رمزگشا، یا رمزگذار-رمزگشا (دنباله‌به‌دنباله). درک این تفاوت‌ها به شما کمک می‌کند مدل مناسب وظیفهٔ خود را انتخاب کنید.
## مدل‌های رمزگذار[[encoder-models]]
مدل‌های رمزگذار فقط از بخش رمزگذار یک مدل ترنسفورمر استفاده می‌کنند. در هر مرحله، لایه‌های توجه می‌توانند به همهٔ واژه‌های جملهٔ اولیه دسترسی داشته باشند. این مدل‌ها معمولاً با توجه «دوطرفه» شناخته می‌شوند و اغلب به آن‌ها *مدل‌های خودرمزگذار* گفته می‌شود.
پیش‌آموزش این مدل‌ها معمولاً بر خراب‌کردن جمله‌ای مشخص (برای نمونه، پوشاندن واژه‌های تصادفی آن) و واداشتن مدل به یافتن یا بازسازی جملهٔ اولیه استوار است.
مدل‌های رمزگذار برای وظایفی مناسب‌ترند که به درک کل جمله نیاز دارند؛ مانند دسته‌بندی جمله، تشخیص موجودیت نام‌دار (و به‌طور کلی‌تر، دسته‌بندی واژه) و پاسخ‌گویی استخراجی به پرسش.
> [!TIP]
> همان‌طور که در [ترنسفورمرها چگونه وظایف را حل می‌کنند](https://huggingface.co/learn/llm-course/chapter1/5) دیدیم، مدل‌های رمزگذاری مانند BERT در درک متن عالی هستند، زیرا می‌توانند کل زمینه را از هر دو جهت ببینند. بنابراین برای وظایفی که درک کامل ورودی اهمیت دارد، بسیار مناسب‌اند.
نمونه‌هایی از این خانوادهٔ مدل‌ها عبارت‌اند از:
- [BERT](https://huggingface.co/docs/transformers/model_doc/bert)
- [DistilBERT](https://huggingface.co/docs/transformers/model_doc/distilbert)
- [ModernBERT](https://huggingface.co/docs/transformers/en/model_doc/modernbert)
## مدل‌های رمزگشا[[decoder-models]]
مدل‌های رمزگشا فقط از بخش رمزگشای یک مدل ترنسفورمر استفاده می‌کنند. در هر مرحله، برای یک واژهٔ مشخص، لایه‌های توجه فقط می‌توانند به واژه‌هایی دسترسی داشته باشند که پیش از آن در جمله قرار گرفته‌اند. این مدل‌ها اغلب «مدل‌های خودبازگشتی» نامیده می‌شوند.
پیش‌آموزش مدل‌های رمزگشا معمولاً بر پیش‌بینی واژهٔ بعدی جمله متمرکز است.
این مدل‌ها برای وظایفی مناسب‌ترند که شامل تولید متن می‌شوند.
> [!TIP]
> مدل‌های رمزگشایی مانند GPT برای تولید متن با پیش‌بینی یک توکِن در هر گام طراحی شده‌اند. همان‌طور که در [ترنسفورمرها چگونه وظایف را حل می‌کنند](https://huggingface.co/learn/llm-course/chapter1/5) بررسی کردیم، این مدل‌ها فقط توکِن‌های قبلی را می‌بینند؛ بنابراین برای تولید خلاقانهٔ متن عالی‌اند، اما برای وظایفی که به درک دوطرفه نیاز دارند مناسب‌تر نیستند.
نمونه‌هایی از این خانوادهٔ مدل‌ها عبارت‌اند از:
- [مجموعهٔ SmolLM از Hugging Face](https://huggingface.co/HuggingFaceTB/SmolLM2-1.7B-Instruct)
- [مجموعهٔ Llama از Meta](https://huggingface.co/docs/transformers/en/model_doc/llama4)
- [مجموعهٔ Gemma از Google](https://huggingface.co/docs/transformers/main/en/model_doc/gemma3)
- [V3 از DeepSeek](https://huggingface.co/deepseek-ai/DeepSeek-V3)
### مدل‌های زبانی بزرگ مدرن (LLM)
بیشتر مدل‌های زبانی بزرگ (LLM) مدرن از معماری فقط رمزگشا استفاده می‌کنند. اندازه و توانایی‌های این مدل‌ها در چند سال گذشته به‌سرعت افزایش یافته و بعضی از بزرگ‌ترین مدل‌ها صدها میلیارد پارامتر دارند.
مدل‌های زبانی بزرگ مدرن معمولاً در دو مرحله آموزش داده می‌شوند:
1. **پیش‌آموزش**: مدل یاد می‌گیرد توکِن بعدی را بر اساس حجم بسیار زیادی از دادهٔ متنی پیش‌بینی کند.
2. **تنظیم دستوری**: مدل برای پیروی از دستورها و تولید پاسخ‌های مفید ریزتنظیم می‌شود.
این رویکرد به مدل‌هایی انجامیده است که می‌توانند متن شبیه متن انسانی را در موضوعات و وظایف گوناگون درک و تولید کنند.
#### توانایی‌های کلیدی LLMهای مدرن
LLMهای مبتنی بر رمزگشای مدرن توانایی‌های چشمگیری نشان داده‌اند:
| توانایی | توضیح | مثال |
|------------|-------------|---------|
| تولید متن | ایجاد متنی منسجم و مرتبط با زمینه | نوشتن مقاله، داستان یا ایمیل |
| خلاصه‌سازی | فشرده‌کردن اسناد طولانی به نسخه‌های کوتاه‌تر | ساخت خلاصهٔ مدیریتی گزارش‌ها |
| ترجمه | تبدیل متن از زبانی به زبان دیگر | ترجمهٔ انگلیسی به اسپانیایی |
| پاسخ‌گویی به پرسش | ارائهٔ پاسخ به پرسش‌های واقعی | «پایتخت فرانسه چیست؟» |
| تولید کد | نوشتن یا کامل‌کردن قطعه‌های کد | ساخت تابع بر اساس یک توضیح |
| استدلال | حل مرحله‌به‌مرحلهٔ مسئله‌ها | حل مسئله‌های ریاضی یا معماهای منطقی |
| یادگیری چندنمونه‌ای | یادگیری از چند مثال موجود در درخواست | دسته‌بندی متن پس از دیدن فقط ۲ یا ۳ مثال |
می‌توانید LLMهای مبتنی بر رمزگشا را مستقیماً در مرورگر و از طریق صفحهٔ مخزن مدل در هاب آزمایش کنید. در اینجا نمونه‌ای با [GPT-2](https://huggingface.co/openai-community/gpt2) کلاسیک (بهترین مدل متن‌باز OpenAI!) آورده شده است:
<a
href="https://huggingface.co/openai-community/gpt2" target="_blank">
مشاهدهٔ مدل GPT-2 در Hugging Face
## مدل‌های دنباله‌به‌دنباله[[sequence-to-sequence-models]]
مدل‌های رمزگذار-رمزگشا (که «مدل‌های دنباله‌به‌دنباله» نیز نامیده می‌شوند) از هر دو بخش معماری ترنسفورمر استفاده می‌کنند. در هر مرحله، لایه‌های توجه رمزگذار می‌توانند به همهٔ واژه‌های جملهٔ اولیه دسترسی داشته باشند، در حالی که لایه‌های توجه رمزگشا فقط به واژه‌هایی دسترسی دارند که پیش از یک واژهٔ مشخص در ورودی قرار گرفته‌اند.
پیش‌آموزش این مدل‌ها می‌تواند شکل‌های متفاوتی داشته باشد، اما اغلب شامل بازسازی جمله‌ای است که ورودی آن به‌نحوی خراب شده (برای مثال، با پوشاندن واژه‌های تصادفی). در پیش‌آموزش مدل T5، بازه‌های تصادفی متن (که می‌توانند چند واژه داشته باشند) با یک توکِن ویژهٔ ماسک جایگزین می‌شوند و مدل باید متنی را پیش‌بینی کند که این توکِن ماسک جایگزین آن شده است.
مدل‌های دنباله‌به‌دنباله برای وظایفی مناسب‌ترند که بر تولید جمله‌های جدید بر اساس یک ورودی مشخص تمرکز دارند؛ مانند خلاصه‌سازی، ترجمه یا پاسخ‌گویی مولد به پرسش.
> [!TIP]
> همان‌طور که در [ترنسفورمرها چگونه وظایف را حل می‌کنند](https://huggingface.co/learn/llm-course/chapter1/5) دیدیم، مدل‌های رمزگذار-رمزگشا مانند BART و T5 نقاط قوت هر دو معماری را ترکیب می‌کنند. رمزگذار درک عمیق و دوطرفه‌ای از ورودی فراهم می‌کند و رمزگشا متن خروجی مناسب را تولید می‌کند. این مدل‌ها برای تبدیل یک دنباله به دنباله‌ای دیگر، مانند ترجمه یا خلاصه‌سازی، بسیار مناسب‌اند.
### کاربردهای عملی
مدل‌های دنباله‌به‌دنباله در وظایفی عالی‌اند که باید یک شکل متن را به شکل دیگری تبدیل کرد و معنا را حفظ کرد. برخی کاربردهای عملی عبارت‌اند از:
| کاربرد | توضیح | مدل نمونه |
|-------------|-------------|---------------|
| ترجمهٔ ماشینی | تبدیل متن بین زبان‌ها | Marian، T5 |
| خلاصه‌سازی متن | ساخت خلاصه‌های کوتاه از متن‌های طولانی‌تر | BART، T5 |
| تولید متن از داده | تبدیل دادهٔ ساخت‌یافته به زبان طبیعی | T5 |
| اصلاح دستور زبان | اصلاح خطاهای دستوری متن | T5 |
| پاسخ‌گویی به پرسش | تولید پاسخ بر اساس زمینه | BART، T5 |
در ادامه، نمونه‌ای تعاملی از یک مدل دنباله‌به‌دنباله برای ترجمه می‌بینید:
<iframe
src="https://course-demos-speech-to-speech-translation.hf.space"
frameborder="0"
width="850"
height="450"
>
نمونه‌هایی از این خانوادهٔ مدل‌ها عبارت‌اند از:
- [BART](https://huggingface.co/docs/transformers/model_doc/bart)
- [mBART](https://huggingface.co/docs/transformers/model_doc/mbart)
- [Marian](https://huggingface.co/docs/transformers/model_doc/marian)
- [T5](https://huggingface.co/docs/transformers/model_doc/t5)
## انتخاب معماری مناسب[[choosing-the-right-architecture]]
هنگام کار روی یک وظیفهٔ NLP مشخص، چگونه معماری مناسب را انتخاب می‌کنید؟ راهنمای کوتاه زیر کمک می‌کند:
| وظیفه | معماری پیشنهادی | نمونه‌ها |
|------|------------------------|----------|
| دسته‌بندی متن (احساس، موضوع) | رمزگذار | BERT، RoBERTa |
| تولید متن (نوشتار خلاقانه) | رمزگشا | GPT، LLaMA |
| ترجمه | رمزگذار-رمزگشا | T5، BART |
| خلاصه‌سازی | رمزگذار-رمزگشا | BART، T5 |
| تشخیص موجودیت نام‌دار | رمزگذار | BERT، RoBERTa |
| پاسخ‌گویی به پرسش (استخراجی) | رمزگذار | BERT، RoBERTa |
| پاسخ‌گویی به پرسش (مولد) | رمزگذار-رمزگشا یا رمزگشا | T5، GPT |
| هوش مصنوعی محاوره‌ای | رمزگشا | GPT، LLaMA |
> [!TIP]
> اگر در انتخاب مدل مناسب تردید دارید، این پرسش‌ها را در نظر بگیرید:
>
> 1. وظیفهٔ شما به چه نوع درکی نیاز دارد؟ (دوطرفه یا یک‌طرفه)
> 2. آیا متن جدید تولید می‌کنید یا متن موجود را تحلیل می‌کنید؟
> 3. آیا لازم است یک دنباله را به دنباله‌ای دیگر تبدیل کنید؟
>
> پاسخ این پرسش‌ها شما را به سوی معماری مناسب هدایت می‌کند.
## تکامل LLMها
مدل‌های زبانی بزرگ در سال‌های اخیر به‌سرعت تکامل یافته‌اند و هر نسل بهبودهای چشمگیری در توانایی‌ها به همراه آورده است.
## سازوکارهای توجه[[attention-mechanisms]]
بیشتر مدل‌های ترنسفورمر از توجه کامل استفاده می‌کنند؛ یعنی ماتریس توجه مربعی است. وقتی متن‌ها طولانی باشند، این موضوع می‌تواند به گلوگاه محاسباتی بزرگی تبدیل شود. مدل‌های Longformer و Reformer تلاش می‌کنند با استفاده از نسخه‌ای تنک از ماتریس توجه، کارایی را افزایش دهند و آموزش را سریع‌تر کنند.
> [!TIP]
> پیچیدگی محاسباتی سازوکارهای توجه استاندارد O(n²) است که در آن n طول دنباله است. این موضوع برای دنباله‌های بسیار طولانی مشکل‌ساز می‌شود. سازوکارهای توجه تخصصی زیر به رفع این محدودیت کمک می‌کنند.
### توجه LSH
[Reformer](https://huggingface.co/docs/transformers/model_doc/reformer) از توجه LSH استفاده می‌کند. در softmax(QK^t)، فقط بزرگ‌ترین عناصر (در بُعد softmax) ماتریس QK^t سهم مفیدی دارند. بنابراین برای هر پرس‌وجو q در Q، می‌توانیم فقط کلیدهای k در K را در نظر بگیریم که به q نزدیک‌اند. برای تعیین نزدیک‌بودن q و k از تابع هش استفاده می‌شود. ماسک توجه تغییر می‌کند تا توکِن فعلی را (به‌جز در جایگاه نخست) بپوشاند، چون این توکِن یک پرس‌وجو و یک کلید برابر با هم ایجاد می‌کند (و در نتیجه بسیار شبیه هم هستند). چون هش ممکن است کمی تصادفی باشد، در عمل از چند تابع هش استفاده می‌شود (که با پارامتر n_rounds تعیین می‌شوند) و سپس نتایج آن‌ها با هم میانگین‌گیری می‌شوند.
### توجه محلی
[Longformer](https://huggingface.co/docs/transformers/model_doc/longformer) از توجه محلی استفاده می‌کند: اغلب زمینهٔ محلی (برای مثال، دو توکِن سمت چپ و راست) برای تصمیم‌گیری دربارهٔ یک توکِن کافی است. همچنین با روی‌هم‌گذاشتن لایه‌های توجهی که پنجرهٔ کوچکی دارند، لایهٔ آخر میدان دریافتی‌ای بزرگ‌تر از توکِن‌های داخل پنجره خواهد داشت و می‌تواند بازنمایی کل جمله را بسازد.
به چند توکِن ورودیِ ازپیش‌انتخاب‌شده نیز توجه سراسری داده می‌شود: برای این توکِن‌های محدود، ماتریس توجه می‌تواند به همهٔ توکِن‌ها دسترسی داشته باشد و این فرایند متقارن است؛ یعنی همهٔ توکِن‌های دیگر (علاوه بر توکِن‌های پنجرهٔ محلی خود) به همان توکِن‌های خاص دسترسی دارند. این موضوع در شکل ۲d مقاله نشان داده شده است؛ در ادامه نمونه‌ای از ماسک توجه را می‌بینید:
استفاده از این ماتریس‌های توجه با پارامترهای کمتر، به مدل اجازه می‌دهد ورودی‌هایی با طول دنبالهٔ بیشتر داشته باشد.
### کدگذاری‌های مکانی محوری
[Reformer](https://huggingface.co/docs/transformers/model_doc/reformer) از کدگذاری مکانی محوری استفاده می‌کند: در مدل‌های ترنسفورمر سنتی، کدگذاری مکانی E ماتریسی با اندازهٔ \\(l\\) در \\(d\\) است؛ در اینجا \\(l\\) طول دنباله و \\(d\\) بُعد حالت پنهان است. اگر متن‌ها بسیار طولانی باشند، این ماتریس می‌تواند عظیم شود و فضای زیادی روی GPU اشغال کند. برای کاهش این مشکل، کدگذاری‌های مکانی محوری ماتریس بزرگ E را به دو ماتریس کوچک‌تر E1 و E2 تجزیه می‌کنند؛ ابعاد این دو ماتریس به‌ترتیب \\(l_{1} \times d_{1}\\) و \\(l_{2} \times d_{2}\\) است، به‌طوری که \\(l_{1} \times l_{2} = l\\) و \\(d_{1} + d_{2} = d\\) (با ضرب طول‌ها، این ماتریس در نهایت بسیار کوچک‌تر می‌شود). جاسازی گام زمانی \\(j\\) در E با الحاق جاسازی گام زمانی \\(j \% l1\\) در E1 و \\(j // l1\\) در E2 به دست می‌آید.
## جمع‌بندی[[conclusion]]
در این بخش، سه معماری اصلی ترنسفورمر و چند سازوکار توجه تخصصی را بررسی کردیم. درک این تفاوت‌های معماری برای انتخاب مدل مناسب وظیفهٔ NLP شما ضروری است.
در ادامهٔ دوره، با این معماری‌های مختلف به‌صورت عملی کار خواهید کرد و یاد می‌گیرید آن‌ها را برای نیازهای خاص خود ریزتنظیم کنید. در بخش بعدی، برخی محدودیت‌ها و سوگیری‌های موجود در این مدل‌ها را بررسی می‌کنیم که هنگام استقرار باید از آن‌ها آگاه باشید.

Xet Storage Details

Size:
19.2 kB
·
Xet hash:
141125f80753467e33a30983f5ce6b43c598ece9edb07eb1ea7d981a498ae32a

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.