Buckets:

|
download
raw
20.8 kB
# بررسی عمیق استنتاج تولید متن با LLMها[[inference-with-llms]]
<CourseFloatingBanner
chapter={1}
classNames="absolute z-10 right-0 top-0"
/>
تا اینجا معماری ترنسفورمر را در ارتباط با مجموعه‌ای از وظایف گسسته، مانند دسته‌بندی متن یا خلاصه‌سازی، بررسی کرده‌ایم. بااین‌حال، مدل‌های زبانی بزرگ بیشتر برای تولید متن استفاده می‌شوند و در این فصل همین موضوع را بررسی می‌کنیم.
در این صفحه، مفاهیم اصلی استنتاج LLM را بررسی می‌کنیم تا درکی جامع از چگونگی تولید متن توسط این مدل‌ها و مؤلفه‌های کلیدی فرایند استنتاج به دست آوریم.
## درک مبانی
از مبانی شروع کنیم. استنتاج فرایند استفاده از یک LLM آموزش‌دیده برای تولید متنی شبیه متن انسانی از یک درخواست ورودی مشخص است. مدل‌های زبانی از دانش حاصل از آموزش خود استفاده می‌کنند تا پاسخ‌ها را هر بار یک واژه شکل دهند. مدل از احتمال‌های آموخته‌شده در میلیاردها پارامتر بهره می‌گیرد تا توکِن بعدی دنباله را پیش‌بینی و تولید کند. همین تولید دنباله‌ای است که به LLMها امکان می‌دهد متنی منسجم و مرتبط با زمینه تولید کنند.
## نقش توجه
سازوکار توجه به LLMها توانایی درک زمینه و تولید پاسخ‌های منسجم را می‌دهد. هنگام پیش‌بینی واژهٔ بعدی، همهٔ واژه‌های جمله اهمیت یکسانی ندارند؛ برای مثال، در جملهٔ *«The capital of France is ...»*، واژه‌های «France» و «capital» برای تشخیص اینکه «Paris» باید بعدی باشد حیاتی‌اند. این توانایی تمرکز بر اطلاعات مرتبط همان چیزی است که توجه می‌نامیم.
این فرایند شناسایی مرتبط‌ترین واژه‌ها برای پیش‌بینی توکِن بعدی بسیار مؤثر بوده است. اگرچه اصل پایهٔ آموزش LLMها ــ پیش‌بینی توکِن بعدی ــ از زمان BERT و GPT-2 عموماً ثابت مانده، در مقیاس‌دهی شبکه‌های عصبی و واداشتن سازوکار توجه به کار روی دنباله‌های هرچه طولانی‌تر با هزینه‌های هرچه کمتر پیشرفت‌های چشمگیری رخ داده است.
> [!TIP]
> خلاصه اینکه سازوکار توجه کلید توانایی LLMها برای تولید متنی منسجم و آگاه از زمینه است. این سازوکار LLMهای مدرن را از نسل‌های پیشین مدل‌های زبانی متمایز می‌کند.
### طول زمینه و گسترهٔ توجه
اکنون که توجه را می‌شناسیم، بررسی کنیم یک LLM واقعاً چه مقدار زمینه را می‌تواند مدیریت کند. این موضوع ما را به طول زمینه، یا «گسترهٔ توجه» مدل، می‌رساند.
طول زمینه به بیشترین تعداد توکِن (واژه یا بخشی از واژه) اشاره دارد که LLM می‌تواند هم‌زمان پردازش کند. می‌توانید آن را اندازهٔ حافظهٔ کاری مدل در نظر بگیرید.
این توانایی‌ها به چند عامل عملی محدود می‌شوند:
- معماری و اندازهٔ مدل
- منابع محاسباتی موجود
- پیچیدگی ورودی و خروجی موردنظر
در دنیای ایدئال می‌توانستیم زمینه‌ای نامحدود به مدل بدهیم، اما محدودیت‌های سخت‌افزاری و هزینه‌های محاسباتی این کار را غیرعملی می‌کنند. به همین دلیل مدل‌های مختلف با طول‌های زمینهٔ متفاوت طراحی می‌شوند تا میان توانایی و کارایی تعادل برقرار شود.
> [!TIP]
> طول زمینه بیشترین تعداد توکِن‌هایی است که مدل هنگام تولید پاسخ می‌تواند هم‌زمان در نظر بگیرد.
### هنر درخواست‌نویسی
وقتی اطلاعاتی را به LLMها می‌دهیم، ورودی خود را طوری ساختاربندی می‌کنیم که تولید LLM را به سوی خروجی موردنظر هدایت کند. به این کار _درخواست‌نویسی_ گفته می‌شود.
درک شیوهٔ پردازش اطلاعات توسط LLMها به ما کمک می‌کند درخواست‌های بهتری بنویسیم. چون وظیفهٔ اصلی مدل پیش‌بینی توکِن بعدی با تحلیل اهمیت هر توکِن ورودی است، نحوهٔ بیان دنبالهٔ ورودی شما اهمیت زیادی پیدا می‌کند.
> [!TIP]
> طراحی دقیق درخواست، **هدایت تولید LLM به سوی خروجی موردنظر** را آسان‌تر می‌کند.
## فرایند دومرحله‌ای استنتاج
اکنون که مؤلفه‌های پایه را می‌شناسیم، ببینیم LLMها در عمل چگونه متن تولید می‌کنند. این فرایند را می‌توان به دو مرحلهٔ اصلی تقسیم کرد: پیش‌پرکردن و رمزگشایی. این دو مرحله مانند خط مونتاژ با هم کار می‌کنند و هرکدام نقشی اساسی در تولید متن منسجم دارند.
### مرحلهٔ پیش‌پرکردن
مرحلهٔ پیش‌پرکردن مانند مرحلهٔ آماده‌سازی در آشپزی است؛ جایی که همهٔ مواد اولیه پردازش و آماده می‌شوند. این مرحله سه گام کلیدی دارد:
1. **توکِن‌سازی**: تبدیل متن ورودی به توکِن‌ها (آن‌ها را اجزای سازندهٔ پایه‌ای در نظر بگیرید که مدل درک می‌کند)
2. **تبدیل جاسازی**: تبدیل این توکِن‌ها به بازنمایی‌های عددی که معنای آن‌ها را ثبت می‌کنند
3. **پردازش اولیه**: عبوردادن این جاسازی‌ها از شبکه‌های عصبی مدل برای ایجاد درکی غنی از زمینه
این مرحله از نظر محاسباتی سنگین است، زیرا باید همهٔ توکِن‌های ورودی را هم‌زمان پردازش کند. آن را مانند خواندن و درک یک پاراگراف کامل پیش از شروع نوشتن پاسخ در نظر بگیرید.
در محیط تعاملی زیر می‌توانید توکِنایزرهای مختلف را آزمایش کنید:
<iframe
src="https://agents-course-the-tokenizer-playground.static.hf.space"
frameborder="0"
width="850"
height="450"
>
### مرحلهٔ رمزگشایی
پس از اینکه مرحلهٔ پیش‌پرکردن ورودی را پردازش کرد، به مرحلهٔ رمزگشایی می‌رسیم؛ اینجا تولید واقعی متن انجام می‌شود. مدل در فرایندی که آن را خودبازگشتی می‌نامیم (هر توکِن جدید به همهٔ توکِن‌های قبلی وابسته است)، هر بار یک توکِن تولید می‌کند.
مرحلهٔ رمزگشایی برای هر توکِن جدید شامل چند گام کلیدی است:
1. **محاسبهٔ توجه**: نگاه‌کردن به همهٔ توکِن‌های قبلی برای درک زمینه
2. **محاسبهٔ احتمال**: تعیین احتمال هر توکِن بعدیِ ممکن
3. **انتخاب توکِن**: انتخاب توکِن بعدی بر اساس این احتمال‌ها
4. **بررسی ادامه**: تصمیم‌گیری دربارهٔ ادامه‌دادن یا متوقف‌کردن تولید
این مرحله از نظر حافظه سنگین است، زیرا مدل باید همهٔ توکِن‌های تولیدشدهٔ قبلی و ارتباط‌های آن‌ها را پیگیری کند.
## راهبردهای نمونه‌گیری
اکنون که می‌دانیم مدل چگونه متن تولید می‌کند، روش‌های گوناگون کنترل این فرایند را بررسی کنیم. همان‌طور که نویسنده ممکن است میان خلاقیت بیشتر و دقت بیشتر انتخاب کند، ما نیز می‌توانیم شیوهٔ انتخاب توکِن توسط مدل را تنظیم کنیم.
در این Space می‌توانید خودتان با فرایند رمزگشایی پایهٔ SmolLM2 تعامل کنید (به یاد داشته باشید که مدل تا رسیدن به توکِن **EOS** رمزگشایی می‌کند؛ این توکِن برای این مدل **<|im_end|>** است):
<iframe
src="https://agents-course-decoding-visualizer.hf.space"
frameborder="0"
width="850"
height="450"
>
### درک انتخاب توکِن: از احتمال‌ها تا انتخاب توکِن
وقتی مدل باید توکِن بعدی را انتخاب کند، با احتمال‌های خام (که logits نامیده می‌شوند) برای هر واژه در واژگان خود شروع می‌کند. اما چگونه این احتمال‌ها را به انتخاب‌های واقعی تبدیل می‌کنیم؟ بیایید فرایند را مرحله‌به‌مرحله بررسی کنیم:
![تصویر](https://huggingface.co/reasoning-course/images/resolve/main/inference/1.png)
1. **logitهای خام**: آن‌ها را احساس اولیهٔ مدل دربارهٔ هر واژهٔ بعدیِ ممکن در نظر بگیرید
2. **کنترل دما**: مانند پیچ تنظیم خلاقیت است؛ مقدارهای بیشتر از ۱٫۰ انتخاب‌ها را تصادفی‌تر و خلاقانه‌تر می‌کنند و مقدارهای کمتر از ۱٫۰ آن‌ها را متمرکزتر و قطعی‌تر می‌سازند
3. **نمونه‌گیری Top-p (هسته‌ای)**: به‌جای درنظرگرفتن همهٔ واژه‌های ممکن، فقط محتمل‌ترین واژه‌هایی را بررسی می‌کنیم که مجموع احتمالشان به آستانهٔ انتخاب‌شدهٔ ما می‌رسد (برای مثال، ۹۰٪ برتر)
4. **فیلترکردن Top-k**: رویکردی جایگزین که در آن فقط k واژهٔ بعدیِ محتمل‌تر را در نظر می‌گیریم
### مدیریت تکرار: تازه نگه‌داشتن خروجی
یکی از چالش‌های رایج LLMها تمایل آن‌ها به تکرار خودشان است؛ مانند سخنرانی که مدام به نکات یکسان برمی‌گردد. برای مقابله با این مشکل، از دو نوع جریمه استفاده می‌کنیم:
1. **جریمهٔ حضور**: جریمه‌ای ثابت که بدون توجه به تعداد تکرار، برای هر توکِنی که قبلاً ظاهر شده اعمال می‌شود. این کار به جلوگیری از استفادهٔ دوبارهٔ مدل از همان واژه‌ها کمک می‌کند.
2. **جریمهٔ بسامد**: جریمه‌ای مقیاس‌پذیر که بر اساس تعداد استفاده از یک توکِن افزایش می‌یابد. هرچه واژه‌ای بیشتر ظاهر شود، احتمال انتخاب دوبارهٔ آن کمتر می‌شود.
![تصویر](https://huggingface.co/reasoning-course/images/resolve/main/inference/2.png)
این جریمه‌ها در ابتدای فرایند انتخاب توکِن اعمال می‌شوند و پیش از اعمال راهبردهای نمونه‌گیری دیگر، احتمال‌های خام را تنظیم می‌کنند. آن‌ها را تلنگرهای ملایمی در نظر بگیرید که مدل را به کاوش واژگان جدید تشویق می‌کنند.
### کنترل طول تولید: تعیین مرزها
همان‌طور که داستان خوب به آهنگ و طول مناسب نیاز دارد، ما هم به راه‌هایی برای کنترل مقدار متنی که LLM تولید می‌کند نیاز داریم. این موضوع برای کاربردهای عملی حیاتی است؛ چه پاسخی به‌اندازهٔ یک توییت تولید کنیم و چه یک پست کامل وبلاگی.
می‌توانیم طول تولید را به چند روش کنترل کنیم:
1. **محدودیت توکِن**: تعیین کمینه و بیشینهٔ تعداد توکِن‌ها
2. **دنباله‌های توقف**: تعریف الگوهای مشخصی که پایان تولید را اعلام می‌کنند
3. **تشخیص پایان دنباله**: اجازه‌دادن به مدل برای پایان‌دادن طبیعی به پاسخ خود
برای مثال، اگر بخواهیم یک پاراگراف تولید کنیم، می‌توانیم بیشینه را ۱۰۰ توکِن تعیین کنیم و از "\n\n" به‌عنوان دنبالهٔ توقف استفاده کنیم. این کار تضمین می‌کند خروجی ما متمرکز و متناسب با هدفش باقی بماند.
![تصویر](https://huggingface.co/reasoning-course/images/resolve/main/inference/3.png)
### جست‌وجوی پرتو: نگاه به آینده برای انسجام بیشتر
در حالی که راهبردهای بررسی‌شده تاکنون در هر گام دربارهٔ یک توکِن تصمیم می‌گیرند، جست‌وجوی پرتو رویکردی جامع‌تر دارد. این روش به‌جای متعهدشدن به یک انتخاب در هر گام، چند مسیر ممکن را هم‌زمان بررسی می‌کند؛ مانند شطرنج‌بازی که چند حرکت جلوتر را در ذهن می‌سنجد.
![تصویر](https://huggingface.co/reasoning-course/images/resolve/main/inference/4.png)
فرایند کار به این صورت است:
1. در هر گام چند دنبالهٔ نامزد را نگه دارید (معمولاً ۵ تا ۱۰ دنباله)
2. برای هر نامزد، احتمال‌های توکِن بعدی را محاسبه کنید
3. فقط امیدوارکننده‌ترین ترکیب‌های دنباله‌ها و توکِن‌های بعدی را نگه دارید
4. این فرایند را تا رسیدن به طول موردنظر یا شرط توقف ادامه دهید
5. دنباله‌ای را انتخاب کنید که بیشترین احتمال کلی را دارد
در اینجا می‌توانید جست‌وجوی پرتو را به‌صورت بصری بررسی کنید:
<iframe
src="https://agents-course-beam-search-visualizer.hf.space"
frameborder="0"
width="850"
height="450"
>
این رویکرد اغلب متنی منسجم‌تر و از نظر دستوری درست‌تر تولید می‌کند، هرچند نسبت به روش‌های ساده‌تر به منابع محاسباتی بیشتری نیاز دارد.
## چالش‌های عملی و بهینه‌سازی
در پایان بررسی استنتاج LLM، چالش‌های عملی‌ای را که هنگام استقرار این مدل‌ها با آن‌ها روبه‌رو می‌شوید و روش اندازه‌گیری و بهینه‌سازی عملکردشان را بررسی کنیم.
### معیارهای کلیدی عملکرد
هنگام کار با LLMها، چهار معیار حیاتی بر تصمیم‌های پیاده‌سازی شما اثر می‌گذارند:
1. **زمان تا توکِن نخست (TTFT)**: نخستین پاسخ را با چه سرعتی دریافت می‌کنید؟ این معیار برای تجربهٔ کاربر حیاتی است و عمدتاً از مرحلهٔ پیش‌پرکردن اثر می‌پذیرد.
2. **زمان هر توکِن خروجی (TPOT)**: توکِن‌های بعدی را با چه سرعتی می‌توانید تولید کنید؟ این معیار سرعت کلی تولید را تعیین می‌کند.
3. **توان عملیاتی**: هم‌زمان چند درخواست را می‌توانید مدیریت کنید؟ این معیار بر مقیاس‌پذیری و بهره‌وری هزینه اثر می‌گذارد.
4. **مصرف VRAM**: چه مقدار حافظهٔ GPU نیاز دارید؟ این مورد اغلب در کاربردهای دنیای واقعی به محدودیت اصلی تبدیل می‌شود.
### چالش طول زمینه
یکی از مهم‌ترین چالش‌ها در استنتاج LLM، مدیریت مؤثر طول زمینه است. زمینه‌های طولانی‌تر اطلاعات بیشتری فراهم می‌کنند، اما هزینه‌های قابل‌توجهی دارند:
- **مصرف حافظه**: با طول زمینه به‌صورت درجهٔ دوم رشد می‌کند
- **سرعت پردازش**: با طولانی‌ترشدن زمینه به‌صورت خطی کاهش می‌یابد
- **تخصیص منابع**: به ایجاد تعادل دقیق در مصرف VRAM نیاز دارد
مدل‌های جدیدی مانند [Qwen2.5-1M](https://huggingface.co/Qwen/Qwen2.5-14B-Instruct-1M) پنجرهٔ زمینهٔ چشمگیر یک‌میلیون‌توکِنی ارائه می‌دهند، اما هزینهٔ آن زمان استنتاج بسیار کندتر است. نکتهٔ کلیدی یافتن تعادل مناسب برای موردکاربردی مشخص شماست.
متن ورودی (خام)
→
ورودی توکِن‌سازی‌شده
پنجرهٔ زمینه(برای مثال، ۴K توکِن)
مصرف حافظه∝ طول²
زمان پردازش∝ طول
### بهینه‌سازی حافظهٔ نهان KV
برای رفع این چالش‌ها، یکی از قدرتمندترین بهینه‌سازی‌ها ذخیره‌سازی حافظهٔ نهان KV (کلید-مقدار) است. این تکنیک با ذخیره و استفادهٔ دوباره از محاسبات میانی، سرعت استنتاج را به‌طور چشمگیری افزایش می‌دهد. این بهینه‌سازی:
- محاسبات تکراری را کاهش می‌دهد
- سرعت تولید را افزایش می‌دهد
- تولید با زمینهٔ طولانی را عملی می‌کند
هزینهٔ این کار مصرف حافظهٔ بیشتر است، اما مزایای عملکردی معمولاً بسیار بیشتر از این هزینه‌اند.
## جمع‌بندی
درک استنتاج LLM برای استقرار و بهینه‌سازی مؤثر این مدل‌های قدرتمند ضروری است. مؤلفه‌های کلیدی زیر را پوشش دادیم:
- نقش بنیادی توجه و زمینه
- فرایند دومرحله‌ای استنتاج
- راهبردهای گوناگون نمونه‌گیری برای کنترل تولید
- چالش‌ها و بهینه‌سازی‌های عملی
با تسلط بر این مفاهیم، آمادگی بیشتری برای ساخت برنامه‌هایی خواهید داشت که به‌صورت مؤثر و کارآمد از LLMها استفاده می‌کنند.
به یاد داشته باشید که حوزهٔ استنتاج LLM به‌سرعت در حال تحول است و تکنیک‌ها و بهینه‌سازی‌های جدید مرتب پدیدار می‌شوند. کنجکاو بمانید و به آزمایش رویکردهای مختلف ادامه دهید تا بهترین روش را برای موردکاربردی مشخص خود پیدا کنید.

Xet Storage Details

Size:
20.8 kB
·
Xet hash:
1006c24c66b36a8abadeb8476002e67efdd1e3115a1cb76b6ca7352ccba6b308

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.