Buckets:

|
download
raw
28.9 kB

درک مقاله‌ی DeepSeek R1

این فصل یک دوره‌ی فشرده برای خواندن مقاله است. مقاله را با زبانی ساده مرور می‌کنیم و سپس مفاهیم و نکات اصلی آن را بررسی خواهیم کرد.

DeepSeek R1 پیشرفتی چشمگیر در تعلیم مدل‌های زبانی، به‌ویژه در ایجاد توانایی‌های استدلالی از طریق یادگیری تقویتی، به شمار می‌رود. این مقاله الگوریتم تازه‌ای برای یادگیری تقویتی به نام Group Relative Policy Optimization (GRPO) معرفی می‌کند.

نمای کلی DeepSeek R1

در فصل بعد بر این دانش تکیه می‌کنیم و GRPO را در عمل پیاده‌سازی خواهیم کرد.

هدف اولیه‌ی مقاله بررسی این بود که آیا یادگیری تقویتی خالص می‌تواند بدون کوک کردن نظارت‌شده توانایی استدلال ایجاد کند یا نه.

تا آن زمان، همه‌ی LLMهای محبوب به نوعی کوک کردن نظارت‌شده نیاز داشتند؛ موضوعی که در فصل ۱۱ بررسی کردیم.

لحظه‌ی پیشرفت «آها»

لحظه‌ی «آها»

یکی از شگفت‌انگیزترین کشف‌ها در تعلیم R1-Zero ظهور پدیده‌ای به نام «لحظه‌ی آها» بود. این پدیده تا حدی شبیه لحظه‌ای است که انسان هنگام حل مسئله ناگهان چیزی را درمی‌یابد. این فرایند چنین است:

  1. تلاش اولیه: مدل نخستین تلاش خود را برای حل مسئله انجام می‌دهد
  2. تشخیص: مدل خطاها یا ناسازگاری‌های احتمالی را تشخیص می‌دهد
  3. اصلاح خودکار: بر اساس این تشخیص رویکرد خود را تنظیم می‌کند
  4. توضیح: می‌تواند توضیح دهد چرا رویکرد جدید بهتر است

این پیشرفت برای یادگیرندگان جذاب است و حسی شبیه لحظه‌ی «یافتم!» ایجاد می‌کند. این پدیده یادگیری را، نه صرفاً حفظ کردن، نشان می‌دهد؛ پس لحظه‌ای تصور کنیم داشتن چنین «لحظه‌ی آها»یی چه حسی دارد.

برای نمونه، تصور کنید می‌خواهید معمایی را حل کنید:

  • تلاش اول: «این قطعه باید بر اساس رنگش اینجا قرار بگیرد»
  • تشخیص: «اما صبر کن، شکلش کاملاً جور درنمی‌آید»
  • اصلاح: «آهان، در واقع باید آن طرف قرار بگیرد»
  • توضیح: «چون هم الگوی رنگ و هم الگوی شکل در این موقعیت مطابقت دارند»

این توانایی به‌طور طبیعی از تعلیم RL پدیدار شد، بدون اینکه به‌طور صریح برنامه‌ریزی شده باشد؛ و یادگیری، نه صرفاً حفظ فرایندی از داده‌های تعلیم، را نشان می‌دهد.

ساده‌ترین راه برای درک لحظه‌ی «آها» دیدن آن در عمل است. بیایید مثالی را ببینیم. در گفت‌وگوی زیر، از مدل می‌خواهیم مسئله‌ای را حل کند و رابط کاربری فرایند فکر کردن مدل هنگام حل مسئله را نشان می‌دهد.

Xet Storage Details

Size:
28.9 kB
·
Xet hash:
543b7bbecab0d98ae87ec8192b035f57e3ff8160359b0ee27100a8e3303ec381

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.