Buckets:

|
download
raw
7.45 kB

Open R1 برای دانشجویان

به سفری هیجان‌انگیز به دنیای هوش مصنوعی متن‌باز با یادگیری تقویتی خوش آمدید! این فصل برای کمک به دانشجویان طراحی شده است تا یادگیری تقویتی و نقش آن را در مدل‌های زبانی بزرگ درک کنند.

همچنین Open R1 را بررسی می‌کنیم؛ پروژه‌ای پیشگامانه و جامعه‌محور که هوش مصنوعی پیشرفته را برای همه دسترس‌پذیر می‌کند. این دوره به‌طور مشخص به دانشجویان و یادگیرندگان کمک می‌کند از Open R1 استفاده کنند و در آن مشارکت داشته باشند.

آنچه یاد خواهید گرفت

در این فصل، مفاهیم پیچیده را به بخش‌هایی آسان‌فهم تقسیم می‌کنیم و نشان می‌دهیم چگونه می‌توانید بخشی از این پروژه‌ی هیجان‌انگیز باشید تا مدل‌های زبانی بزرگ را برای استدلال درباره‌ی مسائل پیچیده آماده کنید.

مدل‌های زبانی بزرگ در بسیاری از وظایف مولد عملکردی عالی نشان داده‌اند. بااین‌حال، تا همین اواخر در حل مسائل پیچیده‌ای که به استدلال نیاز دارند با مشکل روبه‌رو می‌شدند. برای نمونه، حل معماها یا مسائل ریاضی چندمرحله‌ای برای آن‌ها دشوار است.

Open R1 پروژه‌ای است که هدفش واداشتن مدل‌های زبانی بزرگ به استدلال درباره‌ی مسائل پیچیده است. این پروژه با استفاده از یادگیری تقویتی، مدل‌های زبانی بزرگ را به «فکر کردن» و استدلال تشویق می‌کند.

به زبان ساده، مدل طوری تعلیم می‌بیند که علاوه بر خروجی‌ها، فکرها را نیز تولید کند و این فکرها و خروجی‌ها را ساختاربندی کند تا کاربر بتواند آن‌ها را جداگانه پردازش کند.

بیایید مثالی را ببینیم. اگر حل مسئله‌ی زیر را به خودمان محول کنیم، ممکن است این‌طور فکر کنیم:

Problem: "I have 3 apples and 2 oranges. How many pieces of fruit do I have in total?"

Thought: "I need to add the number of apples and oranges to get the total number of pieces of fruit."

Answer: "5"

سپس می‌توانیم این فکر و پاسخ را ساختاربندی کنیم تا کاربر بتواند آن‌ها را جداگانه پردازش کند. در وظایف استدلالی، می‌توان مدل‌های زبانی بزرگ را طوری تعلیم داد که فکرها و پاسخ‌ها را در قالب زیر تولید کنند:

<think>I need to add the number of apples and oranges to get the total number of pieces of fruit.</think>
5

کاربر می‌تواند فکر و پاسخ را از خروجی مدل استخراج کند و برای حل مسئله به کار بگیرد.

چرا این موضوع برای دانشجویان مهم است

درک Open R1 و نقش یادگیری تقویتی برای دانشجویان ارزشمند است، زیرا:

  • نشان می‌دهد هوش مصنوعی پیشرفته چگونه توسعه داده می‌شود
  • فرصت‌های عملی برای یادگیری و مشارکت در اختیار شما می‌گذارد
  • کمک می‌کند بفهمید فناوری هوش مصنوعی به کدام سو می‌رود
  • راه را برای فرصت‌های شغلی آینده در حوزه‌ی هوش مصنوعی باز می‌کند

نمای کلی فصل

این فصل به چهار بخش تقسیم شده است که هرکدام بر جنبه‌ای متفاوت از Open R1 تمرکز دارند:

1️⃣ مقدمه‌ای بر یادگیری تقویتی و نقش آن در مدل‌های زبانی بزرگ

مبانی یادگیری تقویتی (RL) و نقش آن در تعلیم مدل‌های زبانی بزرگ را بررسی می‌کنیم.

  • RL چیست؟
  • RL چگونه در مدل‌های زبانی بزرگ استفاده می‌شود؟
  • DeepSeek R1 چیست؟
  • نوآوری‌های اصلی DeepSeek R1 کدام‌اند؟

2️⃣ درک مقاله‌ی DeepSeek R1

مقاله‌ی پژوهشی الهام‌بخش Open R1 را بررسی می‌کنیم:

  • نوآوری‌ها و پیشرفت‌های اصلی
  • فرایند تعلیم و معماری
  • نتایج و اهمیت آن‌ها

3️⃣ پیاده‌سازی GRPO در TRL

با مثال‌های کدنویسی وارد بخش عملی می‌شویم:

  • چگونه از کتابخانه‌ی Transformer Reinforcement Learning (TRL) استفاده کنیم
  • راه‌اندازی تعلیم GRPO

4️⃣ موردکاربرد عملی برای هم‌راستا کردن یک مدل

موردکاربردی عملی برای هم‌راستا کردن یک مدل با استفاده از Open R1 را بررسی می‌کنیم.

  • چگونه با GRPO در TRL یک مدل تعلیم دهیم
  • مدل خود را در هاب هاگینگ‌فِیس به اشتراک بگذاریم

پیش‌نیازها

برای استفاده‌ی کامل از این فصل، بهتر است موارد زیر را داشته باشید:

  • درک محکم از برنامه‌نویسی پایتون
  • آشنایی با مفاهیم یادگیری ماشین
  • علاقه به هوش مصنوعی و مدل‌های زبانی

اگر بعضی از این پیش‌نیازها را ندارید نگران نباشید؛ مفاهیم کلیدی را در طول مسیر توضیح می‌دهیم! 🚀

اگر همه‌ی پیش‌نیازها را ندارید، این دوره را از واحدهای ۱ تا ۱۱ ببینید.

چگونه از این فصل استفاده کنیم

  1. به‌ترتیب بخوانید: بخش‌ها بر پایه‌ی یکدیگر ساخته شده‌اند، بنابراین بهتر است آن‌ها را به‌ترتیب بخوانید.
  2. یادداشت‌ها را به اشتراک بگذارید: مفاهیم و پرسش‌های مهم را یادداشت کنید و در جامعه‌ی کاربران، در دیسکورد، درباره‌ی آن‌ها گفت‌وگو کنید.
  3. کد را امتحان کنید: وقتی به مثال‌های عملی رسیدیم، آن‌ها را خودتان اجرا کنید.
  4. به جامعه بپیوندید: از منابعی که ارائه می‌کنیم برای ارتباط با دیگر یادگیرندگان استفاده کنید.

بیایید بررسی Open R1 را آغاز کنیم و ببینیم چگونه می‌توانید در دسترس‌پذیرتر کردن هوش مصنوعی برای همه سهیم باشید! 🚀

Xet Storage Details

Size:
7.45 kB
·
Xet hash:
75ab77b24ae6ff59dc662cdb710f2129ce3391a2810b1457b1f7a2598a7063b3

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.