Buckets:

|
download
raw
23.7 kB
# نظارت بر کوک کردن
کوک کردن نظارت شده (SFT) فرآیندی است که عمدتاً برای انطباق مدل‌های زبان از پیش‌تعلیم‌دیده برای پیروی از دستورالعمل‌ها، مشارکت در گفتگو و استفاده از فرمت‌های خروجی خاص استفاده می‌شود. در حالی که مدل‌های از پیش‌تعلیم‌دیده دارای قابلیت‌های کلی چشمگیر هستند، SFT به تبدیل آن‌ها به مدل‌های دستیار کمک می‌کند که بهتر می‌توانند درخواست‌های کاربر را درک کنند و به آنها پاسخ دهند. این معمولاً با آموزش دیتاسِت‌های مکالمات و دستورالعمل‌های نوشته شده توسط انسان انجام می‌شود.
این صفحه یک راهنمای گام به گام برای کوک کردن مدل [`deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B`](https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B) با استفاده از [`SFTTrainer`](https://huggingface.co/docs/trl/en/sft_trainer) ارائه می دهد. با دنبال کردن این مراحل، می توانید مدل را برای انجام وظایف خاص به طور موثرتر تطبیق دهید.
## زمان استفاده از SFT
قبل از پرداختن به پیاده سازی، مهم است که بدانید چه زمانی SFT انتخاب مناسبی برای پروژه شما است. به عنوان اولین قدم، باید در نظر بگیرید که آیا استفاده از یک مدل تنظیم شده با دستورالعمل موجود با دستورات به خوبی ساخته شده برای مورد استفاده شما کافی است یا خیر. SFT شامل منابع محاسباتی و تلاش مهندسی قابل توجهی است، بنابراین تنها زمانی باید دنبال شود که مدل‌های موجود ناکافی باشند.
> [!TIP]
> SFT را فقط در صورتی در نظر بگیرید که:
> - نیاز به عملکرد اضافی فراتر از آنچه که تحریک می تواند به دست آورد
> - یک مورد استفاده خاص داشته باشید که در آن هزینه استفاده از یک مدل بزرگ همه منظوره بیشتر از هزینه کوک کردن یک مدل کوچکتر باشد.
> - نیاز به فرمت‌های خروجی تخصصی یا دانش خاص دامنه است که مدل‌های موجود با آن مشکل دارند
اگر تشخیص دهید که SFT ضروری است، تصمیم برای ادامه به دو عامل اصلی بستگی دارد:
### کنترل قالب
SFT امکان کنترل دقیق بر ساختار خروجی مدل را فراهم می کند. این به ویژه زمانی ارزشمند است که به مدل نیاز دارید:
1. پاسخ ها را در قالب قالب چت خاص ایجاد کنید
2. از طرحواره های خروجی دقیق پیروی کنید
3. استایل ثابت را در بین پاسخ ها حفظ کنید
### تطبیق دامنه
هنگام کار در حوزه های تخصصی، SFT به تراز کردن مدل با الزامات خاص دامنه کمک می کند:
1. آموزش اصطلاحات و مفاهیم حوزه
2. اجرای استانداردهای حرفه ای
3. رسیدگی مناسب به سوالات فنی
4. پیروی از دستورالعمل های خاص صنعت
> [!TIP]
> قبل از شروع SFT، ارزیابی کنید که آیا مورد استفاده شما نیاز دارد:
> - قالب بندی دقیق خروجی
> - دانش اختصاصی دامنه
> - الگوهای پاسخ منسجم
> - رعایت دستورالعمل های خاص
>
> این ارزیابی به تعیین اینکه آیا SFT رویکرد مناسبی برای نیازهای شما است کمک می کند.
## آماده سازی دیتاسِت
فرآیند کوک کردن نظارت شده به یک دیتاسِت خاص وظیفه ساختار یافته با جفت ورودی-خروجی نیاز دارد. هر جفت باید شامل موارد زیر باشد:
1. یک اعلان ورودی
2. پاسخ مدل مورد انتظار
3. هر زمینه یا ابرداده اضافی
کیفیت داده های آموزشی شما برای کوک کردن موفقیت آمیز بسیار مهم است. بیایید نحوه تهیه و اعتبارسنجی دیتاسِت خود را بررسی کنیم:
<iframe
src="https://huggingface.co/datasets/HuggingFaceTB/smoltalk/embed/viewer/all/train?row=0"
frameborder="0"
width="100%"
height="360px"
>
## پیکربندی آموزش
موفقیت کوک کردن شما به شدت به انتخاب پارامترهای آموزشی مناسب بستگی دارد. بیایید هر پارامتر مهم و نحوه پیکربندی موثر آنها را بررسی کنیم:
پیکربندی SFTTrainer نیازمند در نظر گرفتن چندین پارامتر است که فرآیند آموزش را کنترل می کند. بیایید هر پارامتر و هدف آنها را بررسی کنیم:
1. **پارامترهای مدت آموزش**:
- `num_train_epochs`: کل مدت زمان تمرین را کنترل می کند
- `max_steps`: جایگزین دوره ها، حداکثر تعداد مراحل آموزشی را تنظیم می کند
- دوره های بیشتر امکان یادگیری بهتر را فراهم می کند، اما خطر تطبیق بیش از حد را دارد
2. **پارامترهای اندازه دسته**:
- `per_device_train_batch_size`: میزان استفاده از حافظه و ثبات تمرین را تعیین می کند
- `gradient_accumulation_steps`: اندازه های دسته ای موثرتر را فعال می کند
- دسته های بزرگتر گرادیان های پایدارتری را ارائه می دهند اما به حافظه بیشتری نیاز دارند
3. **پارامترهای نرخ یادگیری**:
- `learning_rate`: اندازه به روز رسانی وزن را کنترل می کند
- `warmup_ratio`: بخشی از آموزش مورد استفاده برای گرم کردن میزان یادگیری
- بیش از حد بالا می تواند باعث بی ثباتی شود، نتایج بسیار کم منجر به یادگیری کند می شود
4. **پارامترهای مانیتورینگ**:
- `logging_steps`: فرکانس ثبت متریک
- `eval_steps`: هر چند وقت یکبار باید روی داده های اعتبارسنجی ارزیابی شود
- `save_steps`: فرکانس ذخیره های ایست بازرسی مدل
> [!TIP]
> با مقادیر محافظه کارانه شروع کنید و بر اساس نظارت تنظیم کنید:
> - با 1-3 دوره شروع کنید
> - در ابتدا از اندازه های کوچکتر استفاده کنید
> - معیارهای اعتبارسنجی را از نزدیک نظارت کنید
> - اگر آموزش ناپایدار است، نرخ یادگیری را تنظیم کنید
## پیاده سازی با TRL
اکنون که اجزای کلیدی را درک کردیم، بیایید آموزش را با اعتبارسنجی و نظارت مناسب پیاده سازی کنیم. ما از کلاس `SFTTrainer` از کتابخانه Transformers Reinforcement Learning (TRL) استفاده خواهیم کرد که در بالای کتابخانه `transformers` ساخته شده است. در اینجا یک مثال کامل با استفاده از کتابخانه TRL آورده شده است:
```python
from datasets import load_dataset
from trl import SFTConfig, SFTTrainer
import torch
# Set device
device = "cuda" if torch.cuda.is_available() else "cpu"
# Load dataset
dataset = load_dataset("HuggingFaceTB/smoltalk", "all")
# Configure model and tokenizer
model_name = "HuggingFaceTB/SmolLM2-135M"
model = AutoModelForCausalLM.from_pretrained(pretrained_model_name_or_path=model_name).to(
device
)
tokenizer = AutoTokenizer.from_pretrained(pretrained_model_name_or_path=model_name)
# Setup chat template
model, tokenizer = setup_chat_format(model=model, tokenizer=tokenizer)
# Configure trainer
training_args = SFTConfig(
output_dir="./sft_output",
max_steps=1000,
per_device_train_batch_size=4,
learning_rate=5e-5,
logging_steps=10,
save_steps=100,
eval_strategy="steps",
eval_steps=50,
)
# Initialize trainer
trainer = SFTTrainer(
model=model,
args=training_args,
train_dataset=dataset["train"],
eval_dataset=dataset["test"],
processing_class=tokenizer,
)
# Start training
trainer.train()
```
> [!TIP]
> هنگام استفاده از دیتاسِت با فیلد "پیام ها" (مانند مثال بالا)، SFTTrainer به طور خودکار الگوی چت مدل را اعمال می کند، که آن را از هاب بازیابی می کند. این بدان معناست که برای مدیریت مکالمات به سبک چت نیازی به پیکربندی اضافی ندارید - مربی پیام ها را مطابق با قالب مورد انتظار مدل قالب بندی می کند.
## بسته بندی دیتاسِت
SFTTrainer از بسته بندی نمونه برای بهینه سازی کارایی آموزش پشتیبانی می کند. این ویژگی به چندین مثال کوتاه اجازه می دهد تا در یک توالی ورودی یکسان بسته بندی شود و استفاده از GPU در طول آموزش به حداکثر برسد. برای فعال کردن بسته بندی، به سادگی `packing=True` را در سازنده SFTConfig تنظیم کنید. هنگام استفاده از دیتاسِت های بسته بندی شده با `max_steps`، توجه داشته باشید که بسته به پیکربندی بسته بندی خود ممکن است دوره های بیشتری از آنچه انتظار می رود تمرین کنید. می‌توانید نحوه ترکیب نمونه‌ها را با استفاده از یک تابع قالب‌بندی سفارشی کنید - مخصوصاً هنگام کار با دیتاسِت‌هایی که دارای فیلدهای متعدد مانند جفت‌های پرسش و پاسخ هستند. برای دیتاسِت های ارزیابی، می توانید بسته بندی را با تنظیم `eval_packing=False` در SFTConfig غیرفعال کنید. در اینجا یک مثال اساسی از سفارشی کردن پیکربندی بسته بندی آورده شده است:
```python
# Configure packing
training_args = SFTConfig(packing=True)
trainer = SFTTrainer(model=model, train_dataset=dataset, args=training_args)
trainer.train()
```
هنگام بسته بندی دیتاسِت با چندین فیلد، می توانید یک تابع قالب بندی سفارشی برای ترکیب فیلدها در یک توالی ورودی واحد تعریف کنید. این تابع باید لیستی از نمونه ها را تهیه کند و یک فرهنگ لغت را با دنباله ورودی بسته بندی شده برگرداند. در اینجا مثالی از یک تابع قالب بندی سفارشی آورده شده است:
```python
def formatting_func(example):
text = f"### Question: {example['question']}\n ### Answer: {example['answer']}"
return text
training_args = SFTConfig(packing=True)
trainer = SFTTrainer(
"facebook/opt-350m",
train_dataset=dataset,
args=training_args,
formatting_func=formatting_func,
)
```
## نظارت بر پیشرفت آموزش
نظارت موثر برای کوک کردن موفقیت آمیز بسیار مهم است. بیایید بررسی کنیم که در طول تمرین به چه چیزی توجه کنیم:
### درک الگوهای ضرر
از دست دادن تمرین معمولاً از سه مرحله متمایز پیروی می کند:
1. Initial Sharp Drop: سازگاری سریع با توزیع داده های جدید
2. تثبیت تدریجی: سرعت یادگیری با کوک کردن مدل کاهش می یابد
3. همگرایی: مقادیر ضرر تثبیت می شود که نشان دهنده اتمام آموزش است
### معیارهایی برای نظارت
نظارت مؤثر شامل ردیابی معیارهای کمی و ارزیابی معیارهای کیفی است. معیارهای موجود عبارتند از:
- از دست دادن آموزش
- از دست دادن اعتبارسنجی
- پیشرفت سرعت یادگیری
- هنجارهای گرادیان
> [!WARNING]
> در حین تمرین مراقب این علائم هشدار باشید:
> 1. از دست دادن اعتبار سنجی افزایش می یابد در حالی که از دست دادن تمرین کاهش می یابد (بیش از حد)
> 2. عدم بهبود قابل توجهی در مقادیر زیان (کمبود)
> 3. مقادیر بسیار کم از دست دادن (به خاطر سپردن بالقوه)
> 4. قالب بندی خروجی ناسازگار (مشکلات یادگیری الگو)
### مسیر همگرایی
با پیشرفت تمرین، منحنی ضرر باید به تدریج تثبیت شود. شاخص کلیدی تمرین سالم، شکاف کوچکی بین آموزش و از دست دادن اعتبار است که نشان می‌دهد
مدل به جای به خاطر سپردن مثال های خاص، الگوهای قابل تعمیم را یاد می گیرد. مقادیر تلفات مطلق بسته به وظیفه و دیتاسِت شما متفاوت خواهد بود.
### نظارت بر پیشرفت آموزش
نمودار بالا یک پیشرفت تمرینی معمولی را نشان می دهد. توجه کنید که چگونه از دست دادن آموزش و اعتبارسنجی در ابتدا به شدت کاهش می یابد، سپس به تدریج کاهش می یابد. این الگو نشان می‌دهد که مدل با حفظ توانایی تعمیم، به طور مؤثر یاد می‌گیرد.
### علائم هشدار دهنده که باید مراقب آنها باشید
چندین الگو در منحنی های زیان می تواند نشان دهنده مسائل بالقوه باشد. در زیر علائم هشدار دهنده رایج و راه حل هایی را که می توانیم در نظر بگیریم، نشان می دهیم.
اگر تلفات اعتبارسنجی با سرعت قابل توجهی کمتر از از دست دادن تمرین کاهش یابد، احتمالاً مدل شما بیش از حد با داده‌های آموزشی سازگار است. در نظر بگیرید:
- کاهش مراحل آموزش
- افزایش اندازه دیتاسِت
- اعتبارسنجی کیفیت و تنوع دیتاسِت ها
اگر ضرر بهبود قابل توجهی را نشان ندهد، مدل ممکن است به صورت زیر باشد:
- یادگیری خیلی آهسته (سعی کنید سرعت یادگیری را افزایش دهید)
- مبارزه با کار (بررسی کیفیت داده ها و پیچیدگی کار)
- رفع محدودیت های معماری (مدل متفاوتی را در نظر بگیرید)
مقادیر بسیار کم از دست دادن می تواند به جای یادگیری، حفظ کردن را نشان دهد. این به ویژه در مورد اگر:
- این مدل در نمونه های جدید و مشابه عملکرد ضعیفی دارد
- خروجی ها فاقد تنوع هستند
- پاسخ ها بسیار شبیه به نمونه های آموزشی هستند
> [!WARNING]
> هم مقادیر تلفات و هم خروجی های واقعی مدل را در طول آموزش کنترل کنید. گاهی اوقات از دست دادن می تواند خوب به نظر برسد در حالی که مدل رفتارهای ناخواسته ایجاد می کند. ارزیابی کیفی منظم پاسخ‌های مدل به بررسی مسائلی کمک می‌کند که معیارها به تنهایی ممکن است از دست بروند.
باید توجه داشته باشیم که تفسیر مقادیر تلفاتی که در اینجا بیان می‌کنیم، متداول‌ترین مورد را هدف قرار می‌دهد، و در واقع، مقادیر تلفات بسته به مدل، دیتاسِت‌ها، پارامترهای آموزشی و غیره می‌توانند به روش‌های مختلفی رفتار کنند. اگر علاقه‌مند به کاوش بیشتر در مورد الگوهای مشخص شده هستید، باید این پست وبلاگ توسط افراد [Fast AI](https://www.fast.ai/posts/2023-09-04-learning-jumps/) را بررسی کنید.
## ارزیابی بعد از SFT
در بخش [11.4](/en/chapter11/4) نحوه ارزیابی مدل با استفاده از دیتاسِت‌های معیار را یاد خواهیم گرفت. در حال حاضر، ما بر ارزیابی کیفی مدل تمرکز خواهیم کرد.
پس از تکمیل SFT، اقدامات بعدی را در نظر بگیرید:
1. مدل را به طور کامل بر اساس داده های آزمون نگه داشته شده ارزیابی کنید
2. پایبندی الگو را در ورودی های مختلف اعتبار سنجی کنید
3. آزمون حفظ دانش خاص دامنه
4. معیارهای عملکرد دنیای واقعی را رصد کنید
> [!TIP]
> فرآیند آموزش خود را مستند کنید، از جمله:
> - ویژگی های دیتاسِت
> - پارامترهای آموزشی
> - معیارهای عملکرد
> - محدودیت های شناخته شده
> این مستندات برای تکرار مدل های آینده ارزشمند خواهد بود.
## آزمون
### ۱. کدام پارامترها مدت تعلیم در SFT را کنترل می‌کنند؟
<Question
choices={[
{
text: "num_train_epochs و max_steps",
explain: "درست است! این پارامترها مدت تعلیم مدل را بر اساس تعداد دوره‌ها یا تعداد کل گام‌ها تعیین می‌کنند.",
correct: true
},
{
text: "batch_size و learning_rate",
explain: "این پارامترها بر تعلیم اثر می‌گذارند، اما مدت آن را مستقیماً کنترل نمی‌کنند."
},
{
text: "gradient_checkpointing و warmup_ratio",
explain: "این پارامترها بر کارایی و پایداری تعلیم اثر می‌گذارند، نه مدت آن."
}
]}
/>
### ۲. کدام الگو در منحنی‌های هزینه نشان‌دهنده‌ی بیش‌برازش احتمالی است؟
<Question
choices={[
{
text: "هزینه‌ی اعتبارسنجی افزایش یابد، در حالی که هزینه‌ی تعلیم همچنان کاهش پیدا کند",
explain: "درست است! این واگرایی میان هزینه‌ی تعلیم و اعتبارسنجی نشانه‌ای کلاسیک از بیش‌برازش است.",
correct: true
},
{
text: "هزینه‌ی تعلیم و اعتبارسنجی هر دو پیوسته کاهش پیدا کنند",
explain: "این الگو در واقع نشان‌دهنده‌ی تعلیم سالم است."
},
{
text: "هزینه‌ی تعلیم ثابت بماند، در حالی که هزینه‌ی اعتبارسنجی کاهش پیدا کند",
explain: "این الگویی غیرمعمول است و نشان‌دهنده‌ی بیش‌برازش نیست."
}
]}
/>
### ۳. gradient_accumulation_steps برای چه کاری استفاده می‌شود؟
<Question
choices={[
{
text: "افزایش اندازه‌ی مؤثر بتچ بدون استفاده از حافظه‌ی بیشتر",
explain: "درست است! این پارامتر گرادیان‌ها را در چند گذر رو به جلو جمع می‌کند و سپس وزن‌ها را به‌روز می‌کند.",
correct: true
},
{
text: "ذخیره‌ی نقاط تعلیم در طول تعلیم",
explain: "این کار با پارامترهای save_steps و save_strategy انجام می‌شود."
},
{
text: "کنترل زمان‌بندی نرخ یادگیری",
explain: "زمان‌بندی نرخ یادگیری با learning_rate و warmup_ratio کنترل می‌شود."
}
]}
/>
### ۴. هنگام تعلیم SFT چه چیزهایی را باید زیر نظر داشته باشید؟
<Question
choices={[
{
text: "هم معیارهای کمّی و هم خروجی‌های کیفی",
explain: "درست است! نظارت بر هر دو نوع معیار به شناسایی همه‌ی مشکلات احتمالی کمک می‌کند.",
correct: true
},
{
text: "فقط هزینه‌ی تعلیم",
explain: "هزینه‌ی تعلیم به‌تنهایی برای اطمینان از رفتار خوب مدل کافی نیست."
},
{
text: "فقط کیفیت خروجی مدل",
explain: "ارزیابی کیفی مهم است، اما به‌تنهایی پویایی‌های مهم تعلیم را نشان نمی‌دهد."
}
]}
/>
### ۵. چه چیزی نشان‌دهنده‌ی همگرایی سالم هنگام تعلیم است؟
<Question
choices={[
{
text: "فاصله‌ی کمی میان هزینه‌ی تعلیم و اعتبارسنجی",
explain: "درست است! این نشان می‌دهد مدل در حال یادگیری الگوهای قابل تعمیم است.",
correct: true
},
{
text: "رسیدن هزینه‌ی تعلیم به صفر",
explain: "مقادیر بسیار کم هزینه ممکن است به‌جای یادگیری، نشانه‌ی حفظ‌کردن باشند."
},
{
text: "کمتر بودن هزینه‌ی اعتبارسنجی از هزینه‌ی تعلیم",
explain: "این حالت غیرمعمول است و ممکن است نشان‌دهنده‌ی مشکل در دیتاسِت اعتبارسنجی باشد."
}
]}
/>
## 💐 کارتان عالی بود!
یاد گرفتید چگونه مدل‌ها را با SFT کوک کنید! برای ادامه‌ی یادگیری:
1. نوت‌بوک را با پارامترهای مختلف امتحان کنید.
2. با دیتاسِت‌های دیگر آزمایش کنید.
3. به بهبود مطالب دوره کمک کنید.
## منابع بیشتر
- [مستندات TRL](https://huggingface.co/docs/trl)
- [مخزن نمونه‌های SFT](https://github.com/huggingface/trl/blob/main/trl/scripts/sft.py)
- [بهترین روش‌های کوک‌کردن](https://huggingface.co/docs/transformers/training)

Xet Storage Details

Size:
23.7 kB
·
Xet hash:
bc8c2542fc320d45be386e30aa3d6054573472f3cf16a5b4624667cc2b965d0a

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.