Buckets:
بررسی عمیق استنتاج تولید متن با LLMها[[inference-with-llms]]
تا اینجا معماری ترنسفورمر را در ارتباط با مجموعهای از وظایف گسسته، مانند دستهبندی متن یا خلاصهسازی، بررسی کردهایم. بااینحال، مدلهای زبانی بزرگ بیشتر برای تولید متن استفاده میشوند و در این فصل همین موضوع را بررسی میکنیم.
در این صفحه، مفاهیم اصلی استنتاج LLM را بررسی میکنیم تا درکی جامع از چگونگی تولید متن توسط این مدلها و مؤلفههای کلیدی فرایند استنتاج به دست آوریم.
درک مبانی
از مبانی شروع کنیم. استنتاج فرایند استفاده از یک LLM آموزشدیده برای تولید متنی شبیه متن انسانی از یک درخواست ورودی مشخص است. مدلهای زبانی از دانش حاصل از آموزش خود استفاده میکنند تا پاسخها را هر بار یک واژه شکل دهند. مدل از احتمالهای آموختهشده در میلیاردها پارامتر بهره میگیرد تا توکِن بعدی دنباله را پیشبینی و تولید کند. همین تولید دنبالهای است که به LLMها امکان میدهد متنی منسجم و مرتبط با زمینه تولید کنند.
نقش توجه
سازوکار توجه به LLMها توانایی درک زمینه و تولید پاسخهای منسجم را میدهد. هنگام پیشبینی واژهٔ بعدی، همهٔ واژههای جمله اهمیت یکسانی ندارند؛ برای مثال، در جملهٔ «The capital of France is ...»، واژههای «France» و «capital» برای تشخیص اینکه «Paris» باید بعدی باشد حیاتیاند. این توانایی تمرکز بر اطلاعات مرتبط همان چیزی است که توجه مینامیم.
این فرایند شناسایی مرتبطترین واژهها برای پیشبینی توکِن بعدی بسیار مؤثر بوده است. اگرچه اصل پایهٔ آموزش LLMها ــ پیشبینی توکِن بعدی ــ از زمان BERT و GPT-2 عموماً ثابت مانده، در مقیاسدهی شبکههای عصبی و واداشتن سازوکار توجه به کار روی دنبالههای هرچه طولانیتر با هزینههای هرچه کمتر پیشرفتهای چشمگیری رخ داده است.
خلاصه اینکه سازوکار توجه کلید توانایی LLMها برای تولید متنی منسجم و آگاه از زمینه است. این سازوکار LLMهای مدرن را از نسلهای پیشین مدلهای زبانی متمایز میکند.
طول زمینه و گسترهٔ توجه
اکنون که توجه را میشناسیم، بررسی کنیم یک LLM واقعاً چه مقدار زمینه را میتواند مدیریت کند. این موضوع ما را به طول زمینه، یا «گسترهٔ توجه» مدل، میرساند.
طول زمینه به بیشترین تعداد توکِن (واژه یا بخشی از واژه) اشاره دارد که LLM میتواند همزمان پردازش کند. میتوانید آن را اندازهٔ حافظهٔ کاری مدل در نظر بگیرید.
این تواناییها به چند عامل عملی محدود میشوند:
- معماری و اندازهٔ مدل
- منابع محاسباتی موجود
- پیچیدگی ورودی و خروجی موردنظر
در دنیای ایدئال میتوانستیم زمینهای نامحدود به مدل بدهیم، اما محدودیتهای سختافزاری و هزینههای محاسباتی این کار را غیرعملی میکنند. به همین دلیل مدلهای مختلف با طولهای زمینهٔ متفاوت طراحی میشوند تا میان توانایی و کارایی تعادل برقرار شود.
طول زمینه بیشترین تعداد توکِنهایی است که مدل هنگام تولید پاسخ میتواند همزمان در نظر بگیرد.
هنر درخواستنویسی
وقتی اطلاعاتی را به LLMها میدهیم، ورودی خود را طوری ساختاربندی میکنیم که تولید LLM را به سوی خروجی موردنظر هدایت کند. به این کار درخواستنویسی گفته میشود.
درک شیوهٔ پردازش اطلاعات توسط LLMها به ما کمک میکند درخواستهای بهتری بنویسیم. چون وظیفهٔ اصلی مدل پیشبینی توکِن بعدی با تحلیل اهمیت هر توکِن ورودی است، نحوهٔ بیان دنبالهٔ ورودی شما اهمیت زیادی پیدا میکند.
طراحی دقیق درخواست، هدایت تولید LLM به سوی خروجی موردنظر را آسانتر میکند.
فرایند دومرحلهای استنتاج
اکنون که مؤلفههای پایه را میشناسیم، ببینیم LLMها در عمل چگونه متن تولید میکنند. این فرایند را میتوان به دو مرحلهٔ اصلی تقسیم کرد: پیشپرکردن و رمزگشایی. این دو مرحله مانند خط مونتاژ با هم کار میکنند و هرکدام نقشی اساسی در تولید متن منسجم دارند.
مرحلهٔ پیشپرکردن
مرحلهٔ پیشپرکردن مانند مرحلهٔ آمادهسازی در آشپزی است؛ جایی که همهٔ مواد اولیه پردازش و آماده میشوند. این مرحله سه گام کلیدی دارد:
- توکِنسازی: تبدیل متن ورودی به توکِنها (آنها را اجزای سازندهٔ پایهای در نظر بگیرید که مدل درک میکند)
- تبدیل جاسازی: تبدیل این توکِنها به بازنماییهای عددی که معنای آنها را ثبت میکنند
- پردازش اولیه: عبوردادن این جاسازیها از شبکههای عصبی مدل برای ایجاد درکی غنی از زمینه
این مرحله از نظر محاسباتی سنگین است، زیرا باید همهٔ توکِنهای ورودی را همزمان پردازش کند. آن را مانند خواندن و درک یک پاراگراف کامل پیش از شروع نوشتن پاسخ در نظر بگیرید.
در محیط تعاملی زیر میتوانید توکِنایزرهای مختلف را آزمایش کنید:
Xet Storage Details
- Size:
- 20.8 kB
- Xet hash:
- 1006c24c66b36a8abadeb8476002e67efdd1e3115a1cb76b6ca7352ccba6b308
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.