Buckets:
خلاصه[[summary]]
در این فصل با مبانی مدلهای ترنسفورمر، مدلهای زبانی بزرگ (LLMها) و نحوهی متحول کردن هوش مصنوعی و فراتر از آن توسط این مدلها آشنا شدید.
مفاهیم کلیدی پوششدادهشده
پردازش زبان طبیعی و LLMها
بررسی کردیم NLP چیست و مدلهای زبانی بزرگ چگونه این حوزه را متحول کردهاند. آموختید که:
- NLP طیف گستردهای از وظایف، از دستهبندی تا تولید، را در بر میگیرد.
- LLMها مدلهای قدرتمندی هستند که با مقدار بسیار زیادی دادهی متنی تعلیم داده شدهاند.
- این مدلها میتوانند چندین وظیفه را در یک معماری واحد انجام دهند.
- LLMها با وجود قابلیتهایشان محدودیتهایی، از جمله توهم و سوگیری، دارند.
قابلیتهای ترنسفورمر
دیدید که تابع pipeline() از 🤗 Transformers استفاده از مدلهای از پیش تعلیمدیده را برای وظایف مختلف آسان میکند:
- دستهبندی متن، دستهبندی توکِن و پاسخگویی به پرسش
- تولید متن و خلاصهسازی
- ترجمه و دیگر وظایف دنبالهبهدنباله
- تشخیص گفتار و دستهبندی تصویر
معماری ترنسفورمر
در سطحی کلی دربارهی نحوهی کار مدلهای ترنسفورمر صحبت کردیم، از جمله:
- اهمیت سازوکار توجه
- اینکه یادگیری انتقالی چگونه مدلها را قادر میکند خود را با وظایف مشخص سازگار کنند
- سه گونهی اصلی معماری: فقط انکودر، فقط دیکودر و انکودر-دیکودر
معماریهای مدل و کاربردهای آنها
یکی از جنبههای کلیدی این فصل، درک معماری مناسب برای وظایف مختلف بود:
| مدل | نمونهها | وظایف |
|---|---|---|
| فقط انکودر | BERT، DistilBERT، ModernBERT | دستهبندی جمله، تشخیص موجودیت نامدار، پاسخگویی استخراجی به پرسش |
| فقط دیکودر | GPT، LLaMA، Gemma، SmolLM | تولید متن، هوش مصنوعی محاورهای، نویسندگی خلاقانه |
| انکودر-دیکودر | BART، T5، Marian، mBART | خلاصهسازی، ترجمه، پاسخگویی مولد به پرسش |
پیشرفتهای جدید LLMها
همچنین با پیشرفتهای اخیر این حوزه آشنا شدید:
- اینکه LLMها با گذشت زمان از نظر اندازه و قابلیت رشد کردهاند.
- مفهوم قوانین مقیاسپذیری و اینکه این قوانین چگونه توسعهی مدل را هدایت میکنند.
- سازوکارهای توجه تخصصی که به مدلها کمک میکنند توالیهای طولانیتر را پردازش کنند.
- رویکرد دومرحلهای تعلیم، شامل پیشتعلیم و کوک کردن دستوری.
کاربردهای عملی
در سراسر فصل دیدید که چگونه میتوان این مدلها را برای مسائل دنیای واقعی به کار برد:
- استفاده از هاب هاگینگفِیس برای پیدا کردن و استفاده از مدلهای از پیش تعلیمدیده
- استفاده از Inference API برای آزمایش مستقیم مدلها در مرورگر
- درک اینکه کدام مدلها برای وظایف مشخص مناسبترند
نگاهی به آینده
حالا که درک خوبی از مدلهای ترنسفورمر و نحوهی کار آنها در سطحی کلی دارید، آمادهاید عمیقتر با روش استفادهی مؤثر از آنها آشنا شوید. در فصلهای بعدی یاد میگیرید که چگونه:
- از کتابخانهی Transformers برای بارگذاری و کوک کردن مدلها استفاده کنید.
- انواع مختلف داده را برای ورود به مدل پردازش کنید.
- مدلهای از پیش تعلیمدیده را با وظایف مشخص خود سازگار کنید.
- مدلها را برای کاربردهای عملی مستقر کنید.
پایهای که در این فصل ساختهاید، هنگام بررسی موضوعات و تکنیکهای پیشرفتهتر در بخشهای آینده به شما کمک خواهد کرد.
Xet Storage Details
- Size:
- 5.2 kB
- Xet hash:
- e13ea8b19f2ad22ebe55fc0043818e34106b47896d48c6b5b3720baa02e99ed4
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.