Buckets:
ارزیابی
با یک مدل تنظیم شده از طریق SFT یا LoRA SFT، باید آن را در معیارهای استاندارد ارزیابی کنیم. به عنوان مهندسان یادگیری ماشین باید مجموعه ای از ارزیابی های مرتبط را برای دامنه مورد نظر خود حفظ کنید. در این صفحه، ما به برخی از رایج ترین معیارها و نحوه استفاده از آنها برای ارزیابی مدل خود نگاه خواهیم کرد. ما همچنین نحوه ایجاد معیارهای سفارشی برای موارد استفاده خاص خود را بررسی خواهیم کرد.
معیارهای خودکار
معیارهای خودکار به عنوان ابزار استاندارد شده برای ارزیابی مدل های زبان در وظایف و قابلیت های مختلف عمل می کنند. در حالی که آنها نقطه شروع مفیدی برای درک عملکرد مدل ارائه می دهند، مهم است که بدانیم آنها تنها یک بخش از یک استراتژی ارزیابی جامع را نشان می دهند.
درک معیارهای خودکار
معیارهای خودکار معمولاً از دیتاسِت های انتخاب شده با وظایف از پیش تعریف شده و معیارهای ارزیابی تشکیل شده است. هدف این معیارها ارزیابی جنبه های مختلف قابلیت مدل، از درک زبان پایه تا استدلال پیچیده است. مزیت کلیدی استفاده از معیارهای خودکار استانداردسازی آنها است - آنها امکان مقایسه مداوم در بین مدل های مختلف را فراهم می کنند و نتایج قابل تکرار را ارائه می دهند.
با این حال، درک این نکته ضروری است که عملکرد معیار همیشه مستقیماً به اثربخشی در دنیای واقعی ترجمه نمی شود. مدلی که در معیارهای آکادمیک برتر است، ممکن است همچنان با کاربردهای دامنه خاص یا موارد استفاده عملی دست و پنجه نرم کند.
معیارهای دانش عمومی
MMLU (درک زبان چندوظیفه ای عظیم) دانش را در 57 موضوع، از علوم تا علوم انسانی آزمایش می کند. اگرچه جامع است، اما ممکن است عمق تخصص مورد نیاز برای حوزه های خاص را منعکس نکند. TruthfulQA تمایل یک مدل به بازتولید تصورات غلط رایج را ارزیابی میکند، اگرچه نمیتواند همه اشکال اطلاعات نادرست را به تصویر بکشد.
معیارهای استدلال
BBH (Big Bench Hard) و GSM8K روی وظایف استدلالی پیچیده تمرکز میکنند. BBH تفکر منطقی و برنامه ریزی را آزمایش می کند، در حالی که GSM8K به طور خاص حل مسئله ریاضی را هدف قرار می دهد. این معیارها به ارزیابی قابلیتهای تحلیلی کمک میکنند، اما ممکن است استدلال ظریف مورد نیاز در سناریوهای دنیای واقعی را دریافت نکنند.
درک زبان
HELM یک چارچوب ارزیابی کل نگر ارائه می دهد. معیارهایی مانند HELM بینش هایی را در مورد قابلیت های پردازش زبان در جنبه هایی مانند عقل سلیم، دانش جهانی و استدلال ارائه می دهند. اما ممکن است پیچیدگی مکالمه طبیعی یا اصطلاحات خاص دامنه را به طور کامل نشان ندهد.
معیارهای خاص دامنه
بیایید به چند بنچمارک نگاه کنیم که بر حوزه های خاصی مانند ریاضی، کدنویسی و چت تمرکز دارند.
معیار MATH یکی دیگر از ابزارهای مهم ارزیابی برای استدلال ریاضی است. این شامل 12500 مسئله از مسابقات ریاضی، جبر، هندسه، نظریه اعداد، شمارش، احتمالات و موارد دیگر است. چیزی که ریاضیات را به ویژه چالش برانگیز می کند این است که به استدلال چند مرحله ای، درک نمادهای ریاضی رسمی و توانایی ایجاد راه حل های گام به گام نیاز دارد. برخلاف تکالیف سادهتر حسابی، مسائل ریاضی اغلب به استراتژیهای حل مسئله پیچیده و کاربردهای مفهومی ریاضی نیاز دارند.
HumanEval Benchmark یک دیتاسِت ارزیابی متمرکز بر کدگذاری است که از 164 مشکل برنامه نویسی تشکیل شده است. این معیار توانایی یک مدل را برای تولید کد پایتون از نظر عملکردی درست که وظایف برنامه نویسی داده شده را حل می کند، آزمایش می کند. چیزی که HumanEval را به ویژه ارزشمند میکند این است که هم قابلیتهای تولید کد و هم صحت عملکردی را از طریق اجرای آزمایشی واقعی ارزیابی میکند، نه فقط شباهت سطحی به راهحلهای مرجع. این مشکلات از دستکاری رشتهها تا الگوریتمهای پیچیدهتر و ساختار دادهها متغیر است.
Alpaca Eval یک چارچوب ارزیابی خودکار است که برای ارزیابی کیفیت مدلهای زبانی مطابق با دستورالعمل طراحی شده است. از GPT-4 به عنوان داور برای ارزیابی خروجی های مدل در ابعاد مختلف از جمله مفید بودن، صداقت و بی ضرری استفاده می کند. این چارچوب شامل دیتاسِت ای از 805 فرمان است که به دقت تنظیم شده است و می تواند پاسخ ها را در برابر چندین مدل مرجع مانند Claude، GPT-4 و دیگران ارزیابی کند. چیزی که Alpaca Eval را بهویژه مفید میکند، توانایی آن در ارائه ارزیابیهای منسجم و مقیاسپذیر بدون نیاز به حاشیهنویسهای انسانی است، در حالی که هنوز جنبههای ظریف عملکرد مدل را که ممکن است معیارهای سنتی از دست میدهند، به تصویر بکشد.
رویکردهای ارزیابی جایگزین
بسیاری از سازمانها روشهای ارزیابی جایگزین را برای رسیدگی به محدودیتهای معیارهای استاندارد توسعه دادهاند:
LLM به عنوان قاضی
استفاده از یک مدل زبان برای ارزیابی خروجی های دیگری به طور فزاینده ای محبوب شده است. این رویکرد میتواند بازخورد ظریفتری را نسبت به معیارهای سنتی ارائه دهد، اگرچه با تعصبات و محدودیتهای خاص خود همراه است.
عرصه های ارزیابی
عرصه های ارزیابی مانند Chatbot Arena یک رویکرد منحصر به فرد برای ارزیابی LLM از طریق بازخورد جمع سپاری ارائه می دهد. در این پلتفرمها، کاربران درگیر «نبردهای» ناشناس بین دو LLM میشوند، سؤال میپرسند و رای میدهند که کدام مدل پاسخهای بهتری ارائه میدهد. این رویکرد الگوها و اولویتهای استفاده در دنیای واقعی را از طریق پرسشهای متنوع و چالش برانگیز، با مطالعات نشان میدهد که توافق قوی بین آرای جمعآوریشده و ارزیابیهای کارشناسان را نشان میدهد. اگرچه این پلتفرمها قدرتمند هستند، اما محدودیتهایی از جمله تعصب بالقوه پایه کاربر، توزیعهای سریع منحرف، و تمرکز اولیه بر کمکرسانی به جای ملاحظات ایمنی دارند.
سوئیت های معیار سفارشی
سازمان ها اغلب مجموعه های معیار داخلی را متناسب با نیازها و موارد استفاده خاص خود توسعه می دهند. اینها ممکن است شامل تست های دانش خاص دامنه یا سناریوهای ارزیابی باشد که شرایط واقعی استقرار را منعکس می کند.
ارزیابی سفارشی
در حالی که معیارهای استاندارد یک پایه مفید ارائه می دهند، نباید تنها روش ارزیابی شما باشند. در اینجا نحوه ایجاد یک رویکرد جامع تر آمده است:
با معیارهای استاندارد مربوطه شروع کنید تا یک خط پایه ایجاد کنید و امکان مقایسه با سایر مدل ها را فراهم کنید.
الزامات و چالش های خاص مورد استفاده خود را شناسایی کنید. مدل شما واقعاً چه وظایفی را انجام خواهد داد؟ چه نوع خطاهایی بیشتر مشکل ساز خواهند بود؟
دیتاسِت های ارزیابی سفارشی را توسعه دهید که منعکس کننده مورد استفاده واقعی شما باشد. این ممکن است شامل موارد زیر باشد:
- درخواست های کاربر واقعی از دامنه شما
- موارد لبه رایجی که با آن مواجه شده اید
- نمونه هایی از سناریوهای چالش برانگیز
اجرای یک استراتژی ارزیابی چند لایه را در نظر بگیرید:
- معیارهای خودکار برای بازخورد سریع
- ارزیابی انسانی برای درک دقیق
- بررسی تخصصی دامنه برای برنامه های کاربردی تخصصی
- تست A/B در محیط های کنترل شده
پیاده سازی ارزیابی های سفارشی
در این بخش، ما ارزیابی را برای مدل دقیق خود اجرا خواهیم کرد. ما میتوانیم از lighteval برای ارزیابی مدل دقیق خود بر روی معیارهای استاندارد استفاده کنیم، که شامل طیف گستردهای از وظایف ساخته شده در کتابخانه است. ما فقط باید وظایفی را که می خواهیم ارزیابی کنیم و پارامترهای ارزیابی را تعریف کنیم.
وظایف LightEval با استفاده از یک فرمت خاص تعریف می شوند:
{suite}|{task}|{num_few_shot}|{auto_reduce}
| پارامتر | توضیحات |
|---|---|
suite |
مجموعه معیار (به عنوان مثال، 'mmlu'، 'truthfulqa') |
task |
کار خاص در مجموعه (به عنوان مثال، «جبر_انتزاعی») |
num_few_shot |
تعداد مثال هایی که باید در اعلان اضافه شوند (0 برای ضربه صفر) |
auto_reduce |
در صورت طولانی بودن درخواست (0 یا 1) به طور خودکار نمونه های چند عکس کاهش می یابد |
مثال: "mmlu|abstract_algebra|0|0" وظیفه جبر انتزاعی MMLU را با استنتاج صفر شات ارزیابی می کند.
نمونه خط لوله ارزیابی
بیایید یک خط لوله ارزیابی برای مدل دقیق خود تنظیم کنیم. ما مدل را بر روی مجموعه ای از وظایف فرعی که به حوزه پزشکی مربوط می شود، ارزیابی خواهیم کرد.
در اینجا یک مثال کامل از ارزیابی معیارهای خودکار مربوط به یک دامنه خاص با استفاده از Lighteval با باطن VLLM آورده شده است:
lighteval accelerate \
"pretrained=your-model-name" \
"mmlu|anatomy|0|0" \
"mmlu|high_school_biology|0|0" \
"mmlu|high_school_chemistry|0|0" \
"mmlu|professional_medicine|0|0" \
--max_samples 40 \
--batch_size 1 \
--output_path "./results" \
--save_generations true
نتایج به صورت جدولی نمایش داده می شوند که نشان می دهد:
| Task |Version|Metric|Value | |Stderr|
|----------------------------------------|------:|------|-----:|---|-----:|
|all | |acc |0.3333|± |0.1169|
|leaderboard:mmlu:_average:5 | |acc |0.3400|± |0.1121|
|leaderboard:mmlu:anatomy:5 | 0|acc |0.4500|± |0.1141|
|leaderboard:mmlu:high_school_biology:5 | 0|acc |0.1500|± |0.0819|
Lighteval همچنین شامل یک API پایتون برای وظایف ارزیابی دقیق تر است که برای دستکاری نتایج به روشی انعطاف پذیرتر مفید است. برای اطلاعات بیشتر، مستندات Lighteval را بررسی کنید.
✏️ آن را امتحان کنید! مدل کوکشدهی خود را در یک وظیفهی مشخص در Lighteval ارزیابی کنید.
آزمون پایان فصل[[end-of-chapter-quiz]]
۱. مزیتهای اصلی استفاده از معیارهای خودکار برای ارزیابی مدل چیست؟
<Question choices={[ { text: "معیارهای کاملی از عملکرد واقعی در دنیای واقعی ارائه میدهند", explain: "نادرست است! معیارهای خودکار مفیدند، اما همیشه مستقیماً به عملکرد در دنیای واقعی ترجمه نمیشوند." }, { text: "مقایسهی استاندارد میان مدلها را ممکن میکنند و نتایج تکرارپذیر ارائه میدهند", explain: "درست است! این یکی از مزیتهای اصلی معیارهای خودکار است.", correct: true }, { text: "نیاز به هر شکل دیگری از ارزیابی را از بین میبرند", explain: "نادرست است! معیارهای خودکار باید بخشی از راهبردی جامع برای ارزیابی باشند، نه تنها روش." } ]} />
۲. کدام معیار بهطور خاص دانش را در ۵۷ موضوع مختلف میسنجد؟
<Question choices={[ { text: "BBH (Big Bench Hard)", explain: "نادرست است! BBH روی وظایف استدلالی پیچیده تمرکز دارد، نه دانش گستردهی موضوعی." }, { text: "GSM8K", explain: "نادرست است! GSM8K بهطور خاص حل مسئلههای ریاضی را هدف میگیرد." }, { text: "MMLU", explain: "درست است! MMLU (درک زبانی چندوظیفهای گسترده) دانش را در ۵۷ موضوع، از علوم تا علوم انسانی، میسنجد.", correct: true } ]} />
۳. LLM-as-Judge چیست؟
<Question choices={[ { text: "استفاده از یک مدل زبانی برای ارزیابی خروجیهای مدل زبانی دیگر", explain: "درست است! این روشی جایگزین برای ارزیابی است که میتواند بازخورد دقیقتری ارائه دهد.", correct: true }, { text: "معیاری که استدلال قضایی را آزمایش میکند", explain: "نادرست است! LLM-as-Judge به استفاده از یک مدل برای ارزیابی مدل دیگر اشاره دارد، نه آزمایش استدلال قضایی." }, { text: "روشی برای تعلیم مدلها با دیتاسِتهای حقوقی", explain: "نادرست است! این مفهوم به تعلیم با دادههای حقوقی مربوط نیست، بلکه به استفاده از یک مدل برای ارزیابی خروجیهای مدل دیگر مربوط میشود." } ]} />
۴. چه چیزهایی باید در راهبردی جامع برای ارزیابی گنجانده شوند؟
<Question choices={[ { text: "فقط معیارهای استاندارد", explain: "نادرست است! راهبردی جامع باید چند روش ارزیابی را دربرگیرد." }, { text: "معیارهای استاندارد، دیتاسِتهای ارزیابی سفارشی و آزمونهای ویژهی دامنه", explain: "درست است! راهبردی جامع باید چند لایهی ارزیابی داشته باشد.", correct: true }, { text: "فقط دیتاسِتهای سفارشی ویژهی کاربرد شما", explain: "نادرست است! دیتاسِتهای سفارشی مهماند، اما نباید تنها روش ارزیابی باشند." } ]} />
۵. یکی از محدودیتهای معیارهای خودکار چیست؟
<Question choices={[ { text: "اجرای آنها بیش از حد گران است", explain: "نادرست است! هزینه معمولاً محدودیت اصلی معیارهای خودکار نیست." }, { text: "عملکرد مدل در معیار همیشه مستقیماً به اثربخشی در دنیای واقعی ترجمه نمیشود", explain: "درست است! هنگام استفاده از معیارهای خودکار باید این محدودیت اصلی را در نظر داشت.", correct: true }, { text: "آنها فقط میتوانند مدلهای کوچک را ارزیابی کنند", explain: "نادرست است! معیارهای خودکار برای ارزیابی مدلهایی با اندازههای مختلف به کار میروند." } ]} />
۶. هدف از ایجاد دیتاسِتهای ارزیابی سفارشی چیست؟
<Question choices={[ { text: "بازتابدادن کاربرد خاص شما و دربرگرفتن پرسشهای واقعی کاربران از دامنهی شما", explain: "درست است! دیتاسِتهای سفارشی کمک میکنند ارزیابی با نیازهای مشخص شما مرتبط باشد.", correct: true }, { text: "جایگزینکردن کامل معیارهای استاندارد", explain: "نادرست است! دیتاسِتهای سفارشی باید مکمل معیارهای استاندارد باشند، نه جایگزین آنها." }, { text: "آسانترکردن ارزیابی", explain: "نادرست است! ساخت دیتاسِتهای سفارشی به تلاش بیشتری نیاز دارد، اما ارزیابی مرتبطتری فراهم میکند." } ]} />
Xet Storage Details
- Size:
- 20.7 kB
- Xet hash:
- 1648125ada421df28b3ce87a6f3f35b8513dd65d1315f26db9ee1bd86a9e7914
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.