Buckets:

|
download
raw
5.2 kB

خلاصه[[summary]]

در این فصل با مبانی مدل‌های ترنسفورمر، مدل‌های زبانی بزرگ (LLMها) و نحوه‌ی متحول کردن هوش مصنوعی و فراتر از آن توسط این مدل‌ها آشنا شدید.

مفاهیم کلیدی پوشش‌داده‌شده

پردازش زبان طبیعی و LLMها

بررسی کردیم NLP چیست و مدل‌های زبانی بزرگ چگونه این حوزه را متحول کرده‌اند. آموختید که:

  • NLP طیف گسترده‌ای از وظایف، از دسته‌بندی تا تولید، را در بر می‌گیرد.
  • LLMها مدل‌های قدرتمندی هستند که با مقدار بسیار زیادی داده‌ی متنی تعلیم داده شده‌اند.
  • این مدل‌ها می‌توانند چندین وظیفه را در یک معماری واحد انجام دهند.
  • LLMها با وجود قابلیت‌هایشان محدودیت‌هایی، از جمله توهم و سوگیری، دارند.

قابلیت‌های ترنسفورمر

دیدید که تابع pipeline() از 🤗 Transformers استفاده از مدل‌های از پیش تعلیم‌دیده را برای وظایف مختلف آسان می‌کند:

  • دسته‌بندی متن، دسته‌بندی توکِن و پاسخ‌گویی به پرسش
  • تولید متن و خلاصه‌سازی
  • ترجمه و دیگر وظایف دنباله‌به‌دنباله
  • تشخیص گفتار و دسته‌بندی تصویر

معماری ترنسفورمر

در سطحی کلی درباره‌ی نحوه‌ی کار مدل‌های ترنسفورمر صحبت کردیم، از جمله:

  • اهمیت سازوکار توجه
  • اینکه یادگیری انتقالی چگونه مدل‌ها را قادر می‌کند خود را با وظایف مشخص سازگار کنند
  • سه گونه‌ی اصلی معماری: فقط انکودر، فقط دیکودر و انکودر-دیکودر

معماری‌های مدل و کاربردهای آن‌ها

یکی از جنبه‌های کلیدی این فصل، درک معماری مناسب برای وظایف مختلف بود:

مدل نمونه‌ها وظایف
فقط انکودر BERT، DistilBERT، ModernBERT دسته‌بندی جمله، تشخیص موجودیت نامدار، پاسخ‌گویی استخراجی به پرسش
فقط دیکودر GPT، LLaMA، Gemma، SmolLM تولید متن، هوش مصنوعی محاوره‌ای، نویسندگی خلاقانه
انکودر-دیکودر BART، T5، Marian، mBART خلاصه‌سازی، ترجمه، پاسخ‌گویی مولد به پرسش

پیشرفت‌های جدید LLMها

همچنین با پیشرفت‌های اخیر این حوزه آشنا شدید:

  • اینکه LLMها با گذشت زمان از نظر اندازه و قابلیت رشد کرده‌اند.
  • مفهوم قوانین مقیاس‌پذیری و اینکه این قوانین چگونه توسعه‌ی مدل را هدایت می‌کنند.
  • سازوکارهای توجه تخصصی که به مدل‌ها کمک می‌کنند توالی‌های طولانی‌تر را پردازش کنند.
  • رویکرد دومرحله‌ای تعلیم، شامل پیش‌تعلیم و کوک کردن دستوری.

کاربردهای عملی

در سراسر فصل دیدید که چگونه می‌توان این مدل‌ها را برای مسائل دنیای واقعی به کار برد:

  • استفاده از هاب هاگینگ‌فِیس برای پیدا کردن و استفاده از مدل‌های از پیش تعلیم‌دیده
  • استفاده از Inference API برای آزمایش مستقیم مدل‌ها در مرورگر
  • درک اینکه کدام مدل‌ها برای وظایف مشخص مناسب‌ترند

نگاهی به آینده

حالا که درک خوبی از مدل‌های ترنسفورمر و نحوه‌ی کار آن‌ها در سطحی کلی دارید، آماده‌اید عمیق‌تر با روش استفاده‌ی مؤثر از آن‌ها آشنا شوید. در فصل‌های بعدی یاد می‌گیرید که چگونه:

  • از کتابخانه‌ی Transformers برای بارگذاری و کوک کردن مدل‌ها استفاده کنید.
  • انواع مختلف داده را برای ورود به مدل پردازش کنید.
  • مدل‌های از پیش تعلیم‌دیده را با وظایف مشخص خود سازگار کنید.
  • مدل‌ها را برای کاربردهای عملی مستقر کنید.

پایه‌ای که در این فصل ساخته‌اید، هنگام بررسی موضوعات و تکنیک‌های پیشرفته‌تر در بخش‌های آینده به شما کمک خواهد کرد.

Xet Storage Details

Size:
5.2 kB
·
Xet hash:
e13ea8b19f2ad22ebe55fc0043818e34106b47896d48c6b5b3720baa02e99ed4

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.