Buckets:

download
raw
61.6 kB
<meta charset="utf-8" /><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;ارزیابی&quot;,&quot;local&quot;:&quot;ارزیابی&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;معیارهای خودکار&quot;,&quot;local&quot;:&quot;معیارهای-خودکار&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;درک معیارهای خودکار&quot;,&quot;local&quot;:&quot;درک-معیارهای-خودکار&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;معیارهای دانش عمومی&quot;,&quot;local&quot;:&quot;معیارهای-دانش-عمومی&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;معیارهای استدلال&quot;,&quot;local&quot;:&quot;معیارهای-استدلال&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;درک زبان&quot;,&quot;local&quot;:&quot;درک-زبان&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;معیارهای خاص دامنه&quot;,&quot;local&quot;:&quot;معیارهای-خاص-دامنه&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;رویکردهای ارزیابی جایگزین&quot;,&quot;local&quot;:&quot;رویکردهای-ارزیابی-جایگزین&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;LLM به عنوان قاضی&quot;,&quot;local&quot;:&quot;llm-به-عنوان-قاضی&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;عرصه های ارزیابی&quot;,&quot;local&quot;:&quot;عرصه-های-ارزیابی&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;سوئیت های معیار سفارشی&quot;,&quot;local&quot;:&quot;سوئیت-های-معیار-سفارشی&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3}],&quot;depth&quot;:2},{&quot;title&quot;:&quot;ارزیابی سفارشی&quot;,&quot;local&quot;:&quot;ارزیابی-سفارشی&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;پیاده سازی ارزیابی های سفارشی&quot;,&quot;local&quot;:&quot;پیاده-سازی-ارزیابی-های-سفارشی&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;نمونه خط لوله ارزیابی&quot;,&quot;local&quot;:&quot;نمونه-خط-لوله-ارزیابی&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2}],&quot;depth&quot;:1}"/>
<link href="/docs/course/pr_1364/fa/_app/immutable/entry/start.CqZXmSrv.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/oyrVqMhC.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/B3UUDp28.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/entry/app.B4UvgX5H.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/BioDZtGL.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/NIl2lQjl.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/DN6uzRQe.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/DsnmJJEf.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/nodes/0.DcFj1eGj.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/u5kFQ1Zb.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/nodes/25.CfMDU2-L.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/BjCHz3cj.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/B8VBSgkq.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/DFIrGYWg.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/NA1Q7nSg.js" rel="modulepreload">
<!--1gpfqig--><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;ارزیابی&quot;,&quot;local&quot;:&quot;ارزیابی&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;معیارهای خودکار&quot;,&quot;local&quot;:&quot;معیارهای-خودکار&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;درک معیارهای خودکار&quot;,&quot;local&quot;:&quot;درک-معیارهای-خودکار&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;معیارهای دانش عمومی&quot;,&quot;local&quot;:&quot;معیارهای-دانش-عمومی&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;معیارهای استدلال&quot;,&quot;local&quot;:&quot;معیارهای-استدلال&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;درک زبان&quot;,&quot;local&quot;:&quot;درک-زبان&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;معیارهای خاص دامنه&quot;,&quot;local&quot;:&quot;معیارهای-خاص-دامنه&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;رویکردهای ارزیابی جایگزین&quot;,&quot;local&quot;:&quot;رویکردهای-ارزیابی-جایگزین&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;LLM به عنوان قاضی&quot;,&quot;local&quot;:&quot;llm-به-عنوان-قاضی&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;عرصه های ارزیابی&quot;,&quot;local&quot;:&quot;عرصه-های-ارزیابی&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;سوئیت های معیار سفارشی&quot;,&quot;local&quot;:&quot;سوئیت-های-معیار-سفارشی&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3}],&quot;depth&quot;:2},{&quot;title&quot;:&quot;ارزیابی سفارشی&quot;,&quot;local&quot;:&quot;ارزیابی-سفارشی&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;پیاده سازی ارزیابی های سفارشی&quot;,&quot;local&quot;:&quot;پیاده-سازی-ارزیابی-های-سفارشی&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;نمونه خط لوله ارزیابی&quot;,&quot;local&quot;:&quot;نمونه-خط-لوله-ارزیابی&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2}],&quot;depth&quot;:1}"/><!---->
<link href="/docs/course/pr_1364/fa/_app/immutable/assets/0.tn0RQdqM.css" rel="modulepreload"> <!--[--><!--[0--><!--[--><!--[0--><!--[--><p></p> <div dir="rtl"><div class="items-center shrink-0 min-w-[100px] max-sm:min-w-[50px] justify-end ml-auto flex" style="float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"><div class="inline-flex rounded-md max-sm:rounded-sm"><button class="inline-flex items-center gap-1 h-7 max-sm:h-7 px-2 max-sm:px-1.5 text-sm font-medium text-gray-800 border border-r-0 rounded-l-md max-sm:rounded-l-sm border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-live="polite"><span class="inline-flex items-center justify-center rounded-md p-0.5 max-sm:p-0 hover:text-gray-800 dark:hover:text-gray-200"><svg class="sm:size-3.5 size-3" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----></span> <span>Copy page</span></button> <button class="inline-flex items-center justify-center w-6 max-sm:w-5 h-7 max-sm:h-7 disabled:pointer-events-none text-sm text-gray-500 hover:text-gray-700 dark:hover:text-white rounded-r-md max-sm:rounded-r-sm border border-l transition border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-haspopup="menu" aria-expanded="false" aria-label="Open copy menu"><svg class="transition-transform text-gray-400 overflow-visible sm:size-3.5 size-3 rotate-0" width="1em" height="1em" viewBox="0 0 12 7" fill="none" xmlns="http://www.w3.org/2000/svg"><path d="M1 1L6 6L11 1" stroke="currentColor"></path></svg><!----></button></div> <!--[-1--><!--]--></div><!----> <!--[0--><h1 class="relative group"><a id="ارزیابی" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#ارزیابی"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>ارزیابی</span></h1><!--]--><!----> <p>با یک مدل تنظیم شده از طریق SFT یا LoRA SFT، باید آن را در معیارهای استاندارد ارزیابی کنیم. به عنوان مهندسان یادگیری ماشین باید مجموعه ای از ارزیابی های مرتبط را برای دامنه مورد نظر خود حفظ کنید. در این صفحه، ما به برخی از رایج ترین معیارها و نحوه استفاده از آنها برای ارزیابی مدل خود نگاه خواهیم کرد. ما همچنین نحوه ایجاد معیارهای سفارشی برای موارد استفاده خاص خود را بررسی خواهیم کرد.</p> <!--[1--><h2 class="relative group"><a id="معیارهای-خودکار" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#معیارهای-خودکار"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>معیارهای خودکار</span></h2><!--]--><!----> <p>معیارهای خودکار به عنوان ابزار استاندارد شده برای ارزیابی مدل های زبان در وظایف و قابلیت های مختلف عمل می کنند. در حالی که آنها نقطه شروع مفیدی برای درک عملکرد مدل ارائه می دهند، مهم است که بدانیم آنها تنها یک بخش از یک استراتژی ارزیابی جامع را نشان می دهند.</p> <!--[1--><h2 class="relative group"><a id="درک-معیارهای-خودکار" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#درک-معیارهای-خودکار"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>درک معیارهای خودکار</span></h2><!--]--><!----> <p>معیارهای خودکار معمولاً از دیتاسِت های انتخاب شده با وظایف از پیش تعریف شده و معیارهای ارزیابی تشکیل شده است. هدف این معیارها ارزیابی جنبه های مختلف قابلیت مدل، از درک زبان پایه تا استدلال پیچیده است. مزیت کلیدی استفاده از معیارهای خودکار استانداردسازی آنها است - آنها امکان مقایسه مداوم در بین مدل های مختلف را فراهم می کنند و نتایج قابل تکرار را ارائه می دهند.</p> <p>با این حال، درک این نکته ضروری است که عملکرد معیار همیشه مستقیماً به اثربخشی در دنیای واقعی ترجمه نمی شود. مدلی که در معیارهای آکادمیک برتر است، ممکن است همچنان با کاربردهای دامنه خاص یا موارد استفاده عملی دست و پنجه نرم کند.</p> <!--[1--><h2 class="relative group"><a id="معیارهای-دانش-عمومی" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#معیارهای-دانش-عمومی"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>معیارهای دانش عمومی</span></h2><!--]--><!----> <p><a href="https://huggingface.co/datasets/cais/mmlu" rel="nofollow">MMLU</a> (درک زبان چندوظیفه ای عظیم) دانش را در 57 موضوع، از علوم تا علوم انسانی آزمایش می کند. اگرچه جامع است، اما ممکن است عمق تخصص مورد نیاز برای حوزه های خاص را منعکس نکند. TruthfulQA تمایل یک مدل به بازتولید تصورات غلط رایج را ارزیابی می‌کند، اگرچه نمی‌تواند همه اشکال اطلاعات نادرست را به تصویر بکشد.</p> <!--[1--><h2 class="relative group"><a id="معیارهای-استدلال" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#معیارهای-استدلال"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>معیارهای استدلال</span></h2><!--]--><!----> <p><a href="https://huggingface.co/datasets/lukaemon/bbh" rel="nofollow">BBH</a> (Big Bench Hard) و <a href="https://huggingface.co/datasets/openai/gsm8k" rel="nofollow">GSM8K</a> روی وظایف استدلالی پیچیده تمرکز می‌کنند. BBH تفکر منطقی و برنامه ریزی را آزمایش می کند، در حالی که GSM8K به طور خاص حل مسئله ریاضی را هدف قرار می دهد. این معیارها به ارزیابی قابلیت‌های تحلیلی کمک می‌کنند، اما ممکن است استدلال ظریف مورد نیاز در سناریوهای دنیای واقعی را دریافت نکنند.</p> <!--[1--><h2 class="relative group"><a id="درک-زبان" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#درک-زبان"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>درک زبان</span></h2><!--]--><!----> <p><a href="https://github.com/stanford-crfm/helm" rel="nofollow">HELM</a> یک چارچوب ارزیابی کل نگر ارائه می دهد. معیارهایی مانند HELM بینش هایی را در مورد قابلیت های پردازش زبان در جنبه هایی مانند عقل سلیم، دانش جهانی و استدلال ارائه می دهند. اما ممکن است پیچیدگی مکالمه طبیعی یا اصطلاحات خاص دامنه را به طور کامل نشان ندهد.</p> <!--[1--><h2 class="relative group"><a id="معیارهای-خاص-دامنه" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#معیارهای-خاص-دامنه"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>معیارهای خاص دامنه</span></h2><!--]--><!----> <p>بیایید به چند بنچمارک نگاه کنیم که بر حوزه های خاصی مانند ریاضی، کدنویسی و چت تمرکز دارند.</p> <p><a href="https://huggingface.co/papers/2103.03874" rel="nofollow">معیار MATH</a> یکی دیگر از ابزارهای مهم ارزیابی برای استدلال ریاضی است. این شامل 12500 مسئله از مسابقات ریاضی، جبر، هندسه، نظریه اعداد، شمارش، احتمالات و موارد دیگر است. چیزی که ریاضیات را به ویژه چالش برانگیز می کند این است که به استدلال چند مرحله ای، درک نمادهای ریاضی رسمی و توانایی ایجاد راه حل های گام به گام نیاز دارد. برخلاف تکالیف ساده‌تر حسابی، مسائل ریاضی اغلب به استراتژی‌های حل مسئله پیچیده و کاربردهای مفهومی ریاضی نیاز دارند.</p> <p><a href="https://github.com/openai/human-eval" rel="nofollow">HumanEval Benchmark</a> یک دیتاسِت ارزیابی متمرکز بر کدگذاری است که از 164 مشکل برنامه نویسی تشکیل شده است. این معیار توانایی یک مدل را برای تولید کد پایتون از نظر عملکردی درست که وظایف برنامه نویسی داده شده را حل می کند، آزمایش می کند. چیزی که HumanEval را به ویژه ارزشمند می‌کند این است که هم قابلیت‌های تولید کد و هم صحت عملکردی را از طریق اجرای آزمایشی واقعی ارزیابی می‌کند، نه فقط شباهت سطحی به راه‌حل‌های مرجع. این مشکلات از دستکاری رشته‌ها تا الگوریتم‌های پیچیده‌تر و ساختار داده‌ها متغیر است.</p> <p><a href="https://tatsu-lab.github.io/alpaca_eval/" rel="nofollow">Alpaca Eval</a> یک چارچوب ارزیابی خودکار است که برای ارزیابی کیفیت مدل‌های زبانی مطابق با دستورالعمل طراحی شده است. از GPT-4 به عنوان داور برای ارزیابی خروجی های مدل در ابعاد مختلف از جمله مفید بودن، صداقت و بی ضرری استفاده می کند. این چارچوب شامل دیتاسِت ای از 805 فرمان است که به دقت تنظیم شده است و می تواند پاسخ ها را در برابر چندین مدل مرجع مانند Claude، GPT-4 و دیگران ارزیابی کند. چیزی که Alpaca Eval را به‌ویژه مفید می‌کند، توانایی آن در ارائه ارزیابی‌های منسجم و مقیاس‌پذیر بدون نیاز به حاشیه‌نویس‌های انسانی است، در حالی که هنوز جنبه‌های ظریف عملکرد مدل را که ممکن است معیارهای سنتی از دست می‌دهند، به تصویر بکشد.</p> <!--[1--><h2 class="relative group"><a id="رویکردهای-ارزیابی-جایگزین" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#رویکردهای-ارزیابی-جایگزین"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>رویکردهای ارزیابی جایگزین</span></h2><!--]--><!----> <p>بسیاری از سازمان‌ها روش‌های ارزیابی جایگزین را برای رسیدگی به محدودیت‌های معیارهای استاندارد توسعه داده‌اند:</p> <!--[2--><h3 class="relative group"><a id="llm-به-عنوان-قاضی" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#llm-به-عنوان-قاضی"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>LLM به عنوان قاضی</span></h3><!--]--><!----> <p>استفاده از یک مدل زبان برای ارزیابی خروجی های دیگری به طور فزاینده ای محبوب شده است. این رویکرد می‌تواند بازخورد ظریف‌تری را نسبت به معیارهای سنتی ارائه دهد، اگرچه با تعصبات و محدودیت‌های خاص خود همراه است.</p> <!--[2--><h3 class="relative group"><a id="عرصه-های-ارزیابی" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#عرصه-های-ارزیابی"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>عرصه های ارزیابی</span></h3><!--]--><!----> <p>عرصه های ارزیابی مانند <a href="https://lmarena.ai/" rel="nofollow">Chatbot Arena</a> یک رویکرد منحصر به فرد برای ارزیابی LLM از طریق بازخورد جمع سپاری ارائه می دهد. در این پلتفرم‌ها، کاربران درگیر «نبردهای» ناشناس بین دو LLM می‌شوند، سؤال می‌پرسند و رای می‌دهند که کدام مدل پاسخ‌های بهتری ارائه می‌دهد. این رویکرد الگوها و اولویت‌های استفاده در دنیای واقعی را از طریق پرسش‌های متنوع و چالش برانگیز، با مطالعات نشان می‌دهد که توافق قوی بین آرای جمع‌آوری‌شده و ارزیابی‌های کارشناسان را نشان می‌دهد. اگرچه این پلتفرم‌ها قدرتمند هستند، اما محدودیت‌هایی از جمله تعصب بالقوه پایه کاربر، توزیع‌های سریع منحرف، و تمرکز اولیه بر کمک‌رسانی به جای ملاحظات ایمنی دارند.</p> <!--[2--><h3 class="relative group"><a id="سوئیت-های-معیار-سفارشی" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#سوئیت-های-معیار-سفارشی"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>سوئیت های معیار سفارشی</span></h3><!--]--><!----> <p>سازمان ها اغلب مجموعه های معیار داخلی را متناسب با نیازها و موارد استفاده خاص خود توسعه می دهند. اینها ممکن است شامل تست های دانش خاص دامنه یا سناریوهای ارزیابی باشد که شرایط واقعی استقرار را منعکس می کند.</p> <!--[1--><h2 class="relative group"><a id="ارزیابی-سفارشی" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#ارزیابی-سفارشی"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>ارزیابی سفارشی</span></h2><!--]--><!----> <p>در حالی که معیارهای استاندارد یک پایه مفید ارائه می دهند، نباید تنها روش ارزیابی شما باشند. در اینجا نحوه ایجاد یک رویکرد جامع تر آمده است:</p> <ol><li><p>با معیارهای استاندارد مربوطه شروع کنید تا یک خط پایه ایجاد کنید و امکان مقایسه با سایر مدل ها را فراهم کنید.</p></li> <li><p>الزامات و چالش های خاص مورد استفاده خود را شناسایی کنید. مدل شما واقعاً چه وظایفی را انجام خواهد داد؟ چه نوع خطاهایی بیشتر مشکل ساز خواهند بود؟</p></li> <li><p>دیتاسِت های ارزیابی سفارشی را توسعه دهید که منعکس کننده مورد استفاده واقعی شما باشد. این ممکن است شامل موارد زیر باشد:</p> <ul><li>درخواست های کاربر واقعی از دامنه شما</li> <li>موارد لبه رایجی که با آن مواجه شده اید</li> <li>نمونه هایی از سناریوهای چالش برانگیز</li></ul></li> <li><p>اجرای یک استراتژی ارزیابی چند لایه را در نظر بگیرید:</p> <ul><li>معیارهای خودکار برای بازخورد سریع</li> <li>ارزیابی انسانی برای درک دقیق</li> <li>بررسی تخصصی دامنه برای برنامه های کاربردی تخصصی</li> <li>تست A/B در محیط های کنترل شده</li></ul></li></ol> <!--[1--><h2 class="relative group"><a id="پیاده-سازی-ارزیابی-های-سفارشی" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#پیاده-سازی-ارزیابی-های-سفارشی"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>پیاده سازی ارزیابی های سفارشی</span></h2><!--]--><!----> <p>در این بخش، ما ارزیابی را برای مدل دقیق خود اجرا خواهیم کرد. ما می‌توانیم از <a href="https://github.com/huggingface/lighteval" rel="nofollow"><code>lighteval</code></a> برای ارزیابی مدل دقیق خود بر روی معیارهای استاندارد استفاده کنیم، که شامل طیف گسترده‌ای از وظایف ساخته شده در کتابخانه است. ما فقط باید وظایفی را که می خواهیم ارزیابی کنیم و پارامترهای ارزیابی را تعریف کنیم.</p> <p>وظایف LightEval با استفاده از یک فرمت خاص تعریف می شوند:</p> <div class="code-block relative "><div class="absolute top-2.5 right-4"><button class="inline-flex items-center relative text-sm focus:text-green-500 cursor-pointer focus:outline-none transition duration-200 ease-in-out opacity-0 mx-0.5 text-gray-600 " title="code excerpt" type="button"><svg xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----> <div class=" absolute pointer-events-none transition-opacity bg-black text-white py-1 px-2 leading-tight rounded font-normal shadow left-1/2 top-full transform -translate-x-1/2 translate-y-2 opacity-0 "><div class="absolute bottom-full left-1/2 transform -translate-x-1/2 w-0 h-0 border-black border-4 border-t-0" style="border-left-color: transparent; border-right-color: transparent;"></div> Copied</div><!----></button><!----></div> <pre class=" "><!----><span class="hljs-template-variable">{suite}</span><span class="language-xml">|</span><span class="hljs-template-variable">{task}</span><span class="language-xml">|</span><span class="hljs-template-variable">{num_few_shot}</span><span class="language-xml">|</span><span class="hljs-template-variable">{auto_reduce}</span><!----></pre></div><!----> <table><thead><tr><th>پارامتر</th><th>توضیحات</th></tr></thead><tbody><tr><td><code>suite</code></td><td>مجموعه معیار (به عنوان مثال، ‘mmlu’، ‘truthfulqa’)</td></tr><tr><td><code>task</code></td><td>کار خاص در مجموعه (به عنوان مثال، «جبر_انتزاعی»)</td></tr><tr><td><code>num_few_shot</code></td><td>تعداد مثال هایی که باید در اعلان اضافه شوند (0 برای ضربه صفر)</td></tr><tr><td><code>auto_reduce</code></td><td>در صورت طولانی بودن درخواست (0 یا 1) به طور خودکار نمونه های چند عکس کاهش می یابد</td></tr></tbody></table> <p>مثال: <code>"mmlu|abstract_algebra|0|0"</code> وظیفه جبر انتزاعی MMLU را با استنتاج صفر شات ارزیابی می کند.</p> <!--[1--><h2 class="relative group"><a id="نمونه-خط-لوله-ارزیابی" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#نمونه-خط-لوله-ارزیابی"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>نمونه خط لوله ارزیابی</span></h2><!--]--><!----> <p>بیایید یک خط لوله ارزیابی برای مدل دقیق خود تنظیم کنیم. ما مدل را بر روی مجموعه ای از وظایف فرعی که به حوزه پزشکی مربوط می شود، ارزیابی خواهیم کرد.</p> <p>در اینجا یک مثال کامل از ارزیابی معیارهای خودکار مربوط به یک دامنه خاص با استفاده از Lighteval با باطن VLLM آورده شده است:</p> <div class="code-block relative "><div class="absolute top-2.5 right-4"><button class="inline-flex items-center relative text-sm focus:text-green-500 cursor-pointer focus:outline-none transition duration-200 ease-in-out opacity-0 mx-0.5 text-gray-600 " title="code excerpt" type="button"><svg xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----> <div class=" absolute pointer-events-none transition-opacity bg-black text-white py-1 px-2 leading-tight rounded font-normal shadow left-1/2 top-full transform -translate-x-1/2 translate-y-2 opacity-0 "><div class="absolute bottom-full left-1/2 transform -translate-x-1/2 w-0 h-0 border-black border-4 border-t-0" style="border-left-color: transparent; border-right-color: transparent;"></div> Copied</div><!----></button><!----></div> <pre class="language-bash "><!---->lighteval accelerate \
<span class="hljs-string">&quot;pretrained=your-model-name&quot;</span> \
<span class="hljs-string">&quot;mmlu|anatomy|0|0&quot;</span> \
<span class="hljs-string">&quot;mmlu|high_school_biology|0|0&quot;</span> \
<span class="hljs-string">&quot;mmlu|high_school_chemistry|0|0&quot;</span> \
<span class="hljs-string">&quot;mmlu|professional_medicine|0|0&quot;</span> \
--max_samples 40 \
--batch_size 1 \
--output_path <span class="hljs-string">&quot;./results&quot;</span> \
--save_generations <span class="hljs-literal">true</span><!----></pre></div><!----> <p>نتایج به صورت جدولی نمایش داده می شوند که نشان می دهد:</p> <div class="code-block relative "><div class="absolute top-2.5 right-4"><button class="inline-flex items-center relative text-sm focus:text-green-500 cursor-pointer focus:outline-none transition duration-200 ease-in-out opacity-0 mx-0.5 text-gray-600 " title="code excerpt" type="button"><svg xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----> <div class=" absolute pointer-events-none transition-opacity bg-black text-white py-1 px-2 leading-tight rounded font-normal shadow left-1/2 top-full transform -translate-x-1/2 translate-y-2 opacity-0 "><div class="absolute bottom-full left-1/2 transform -translate-x-1/2 w-0 h-0 border-black border-4 border-t-0" style="border-left-color: transparent; border-right-color: transparent;"></div> Copied</div><!----></button><!----></div> <pre class=" "><!---->|<span class="hljs-string"> Task </span>|<span class="hljs-string">Version</span>|<span class="hljs-string">Metric</span>|<span class="hljs-string">Value </span>|<span class="hljs-string"> </span>|<span class="hljs-string">Stderr</span>|
|<span class="hljs-string">----------------------------------------</span>|<span class="hljs-string">------:</span>|<span class="hljs-string">------</span>|<span class="hljs-string">-----:</span>|<span class="hljs-string">---</span>|<span class="hljs-string">-----:</span>|
|<span class="hljs-string">all </span>|<span class="hljs-string"> </span>|<span class="hljs-string">acc </span>|<span class="hljs-string">0.3333</span>|<span class="hljs-string">± </span>|<span class="hljs-string">0.1169</span>|
|<span class="hljs-string">leaderboard:mmlu:_average:5 </span>|<span class="hljs-string"> </span>|<span class="hljs-string">acc </span>|<span class="hljs-string">0.3400</span>|<span class="hljs-string">± </span>|<span class="hljs-string">0.1121</span>|
|<span class="hljs-string">leaderboard:mmlu:anatomy:5 </span>|<span class="hljs-string"> 0</span>|<span class="hljs-string">acc </span>|<span class="hljs-string">0.4500</span>|<span class="hljs-string">± </span>|<span class="hljs-string">0.1141</span>|
|<span class="hljs-string">leaderboard:mmlu:high_school_biology:5 </span>|<span class="hljs-string"> 0</span>|<span class="hljs-string">acc </span>|<span class="hljs-string">0.1500</span>|<span class="hljs-string">± </span>|<span class="hljs-string">0.0819</span>|<!----></pre></div><!----> <p>Lighteval همچنین شامل یک API پایتون برای وظایف ارزیابی دقیق تر است که برای دستکاری نتایج به روشی انعطاف پذیرتر مفید است. برای اطلاعات بیشتر، <a href="https://huggingface.co/docs/lighteval/using-the-python-api" rel="nofollow">مستندات Lighteval</a> را بررسی کنید.</p> <blockquote class="tip"><p>✏️ <strong>آن را امتحان کنید!</strong> مدل کوک‌شده‌ی خود را در یک وظیفه‌ی مشخص در Lighteval ارزیابی کنید.</p></blockquote> <!--[0--><h1 class="relative group"><a id="end-of-chapter-quiz" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#end-of-chapter-quiz"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>آزمون پایان فصل</span></h1><!--]--><!----> <div class="flex space-x-1 absolute z-10 right-0 top-0"><a href="https://discuss.huggingface.co/t/chapter-11-questions" target="_blank"><img alt="Ask a Question" class="!m-0" src="https://img.shields.io/badge/Ask%20a%20question-ffcb4c.svg?logo=data:image/svg+xml;base64,PHN2ZyB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciIHZpZXdCb3g9IjAgLTEgMTA0IDEwNiI+PGRlZnM+PHN0eWxlPi5jbHMtMXtmaWxsOiMyMzFmMjA7fS5jbHMtMntmaWxsOiNmZmY5YWU7fS5jbHMtM3tmaWxsOiMwMGFlZWY7fS5jbHMtNHtmaWxsOiMwMGE5NGY7fS5jbHMtNXtmaWxsOiNmMTVkMjI7fS5jbHMtNntmaWxsOiNlMzFiMjM7fTwvc3R5bGU+PC9kZWZzPjx0aXRsZT5EaXNjb3Vyc2VfbG9nbzwvdGl0bGU+PGcgaWQ9IkxheWVyXzIiPjxnIGlkPSJMYXllcl8zIj48cGF0aCBjbGFzcz0iY2xzLTEiIGQ9Ik01MS44NywwQzIzLjcxLDAsMCwyMi44MywwLDUxYzAsLjkxLDAsNTIuODEsMCw1Mi44MWw1MS44Ni0uMDVjMjguMTYsMCw1MS0yMy43MSw1MS01MS44N1M4MCwwLDUxLjg3LDBaIi8+PHBhdGggY2xhc3M9ImNscy0yIiBkPSJNNTIuMzcsMTkuNzRBMzEuNjIsMzEuNjIsMCwwLDAsMjQuNTgsNjYuNDFsLTUuNzIsMTguNEwzOS40LDgwLjE3YTMxLjYxLDMxLjYxLDAsMSwwLDEzLTYwLjQzWiIvPjxwYXRoIGNsYXNzPSJjbHMtMyIgZD0iTTc3LjQ1LDMyLjEyYTMxLjYsMzEuNiwwLDAsMS0zOC4wNSw0OEwxOC44Niw4NC44MmwyMC45MS0yLjQ3QTMxLjYsMzEuNiwwLDAsMCw3Ny40NSwzMi4xMloiLz48cGF0aCBjbGFzcz0iY2xzLTQiIGQ9Ik03MS42MywyNi4yOUEzMS42LDMxLjYsMCwwLDEsMzguOCw3OEwxOC44Niw4NC44MiwzOS40LDgwLjE3QTMxLjYsMzEuNiwwLDAsMCw3MS42MywyNi4yOVoiLz48cGF0aCBjbGFzcz0iY2xzLTUiIGQ9Ik0yNi40Nyw2Ny4xMWEzMS42MSwzMS42MSwwLDAsMSw1MS0zNUEzMS42MSwzMS42MSwwLDAsMCwyNC41OCw2Ni40MWwtNS43MiwxOC40WiIvPjxwYXRoIGNsYXNzPSJjbHMtNiIgZD0iTTI0LjU4LDY2LjQxQTMxLjYxLDMxLjYxLDAsMCwxLDcxLjYzLDI2LjI5YTMxLjYxLDMxLjYxLDAsMCwwLTQ5LDM5LjYzbC0zLjc2LDE4LjlaIi8+PC9nPjwvZz48L3N2Zz4="/></a><!----> <!--[-1--><!--]--> <!--[-1--><!--]--></div><!----> <!--[2--><h3 class="relative group"><a id="۱-مزیتهای-اصلی-استفاده-از-معیارهای-خودکار-برای-ارزیابی-مدل-چیست" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۱-مزیتهای-اصلی-استفاده-از-معیارهای-خودکار-برای-ارزیابی-مدل-چیست"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۱. مزیت‌های اصلی استفاده از معیارهای خودکار برای ارزیابی مدل چیست؟</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->معیارهای کاملی از عملکرد واقعی در دنیای واقعی ارائه می‌دهند<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->مقایسه‌ی استاندارد میان مدل‌ها را ممکن می‌کنند و نتایج تکرارپذیر ارائه می‌دهند<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->نیاز به هر شکل دیگری از ارزیابی را از بین می‌برند<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----> <!--[2--><h3 class="relative group"><a id="۲-کدام-معیار-بهطور-خاص-دانش-را-در-۵۷-موضوع-مختلف-میسنجد" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۲-کدام-معیار-بهطور-خاص-دانش-را-در-۵۷-موضوع-مختلف-میسنجد"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۲. کدام معیار به‌طور خاص دانش را در ۵۷ موضوع مختلف می‌سنجد؟</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->BBH (Big Bench Hard)<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->GSM8K<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->MMLU<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----> <!--[2--><h3 class="relative group"><a id="۳-llm-as-judge-چیست" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۳-llm-as-judge-چیست"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۳. LLM-as-Judge چیست؟</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->استفاده از یک مدل زبانی برای ارزیابی خروجی‌های مدل زبانی دیگر<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->معیاری که استدلال قضایی را آزمایش می‌کند<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->روشی برای تعلیم مدل‌ها با دیتاسِت‌های حقوقی<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----> <!--[2--><h3 class="relative group"><a id="۴-چه-چیزهایی-باید-در-راهبردی-جامع-برای-ارزیابی-گنجانده-شوند" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۴-چه-چیزهایی-باید-در-راهبردی-جامع-برای-ارزیابی-گنجانده-شوند"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۴. چه چیزهایی باید در راهبردی جامع برای ارزیابی گنجانده شوند؟</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->فقط معیارهای استاندارد<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->معیارهای استاندارد، دیتاسِت‌های ارزیابی سفارشی و آزمون‌های ویژه‌ی دامنه<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->فقط دیتاسِت‌های سفارشی ویژه‌ی کاربرد شما<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----> <!--[2--><h3 class="relative group"><a id="۵-یکی-از-محدودیتهای-معیارهای-خودکار-چیست" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۵-یکی-از-محدودیتهای-معیارهای-خودکار-چیست"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۵. یکی از محدودیت‌های معیارهای خودکار چیست؟</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->اجرای آن‌ها بیش از حد گران است<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->عملکرد مدل در معیار همیشه مستقیماً به اثربخشی در دنیای واقعی ترجمه نمی‌شود<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->آن‌ها فقط می‌توانند مدل‌های کوچک را ارزیابی کنند<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----> <!--[2--><h3 class="relative group"><a id="۶-هدف-از-ایجاد-دیتاستهای-ارزیابی-سفارشی-چیست" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۶-هدف-از-ایجاد-دیتاستهای-ارزیابی-سفارشی-چیست"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۶. هدف از ایجاد دیتاسِت‌های ارزیابی سفارشی چیست؟</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->بازتاب‌دادن کاربرد خاص شما و دربرگرفتن پرسش‌های واقعی کاربران از دامنه‌ی شما<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->جایگزین‌کردن کامل معیارهای استاندارد<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->آسان‌ترکردن ارزیابی<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----></div> <a class="!text-gray-400 !no-underline text-sm flex items-center not-prose mt-4" href="https://github.com/huggingface/course/blob/main/chapters/fa/chapter11/5.mdx" target="_blank"><svg class="mr-1" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M31,16l-7,7l-1.41-1.41L28.17,16l-5.58-5.59L24,9l7,7z"></path><path d="M1,16l7-7l1.41,1.41L3.83,16l5.58,5.59L8,23l-7-7z"></path><path d="M12.419,25.484L17.639,6.552l1.932,0.518L14.351,26.002z"></path></svg><!----> <span><span class="underline">Update</span> on GitHub</span></a><!----> <p></p><!--]--><!----><!--]--><!--]--><!--]--> <!--[-1--><!--]--><!--]-->
<script>
{
__sveltekit_pfm8ny = {
base: "/docs/course/pr_1364/fa",
assets: "/docs/course/pr_1364/fa"
};
const element = document.currentScript.parentElement;
Promise.all([
import("/docs/course/pr_1364/fa/_app/immutable/entry/start.CqZXmSrv.js"),
import("/docs/course/pr_1364/fa/_app/immutable/entry/app.B4UvgX5H.js")
]).then(([kit, app]) => {
kit.start(app, element, {
node_ids: [0, 25],
data: [null,null],
form: null,
error: null
});
});
}
</script>

Xet Storage Details

Size:
61.6 kB
·
Xet hash:
f8ba8c17154cec49ebf03a52201011ee6e0ccffb3821a9e5d5a26231817001f3

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.