Buckets:

download
raw
17.8 kB
<meta charset="utf-8" /><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;کوک‌کردن نظارت‌شده&quot;,&quot;local&quot;:&quot;کوککردن-نظارتشده&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;۱️⃣ قالب‌های گفت‌وگو&quot;,&quot;local&quot;:&quot;۱-قالبهای-گفتوگو&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;۲️⃣ کوک‌کردن نظارت‌شده&quot;,&quot;local&quot;:&quot;۲-کوککردن-نظارتشده&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;۳️⃣ انطباق رتبه‌کم (LoRA)&quot;,&quot;local&quot;:&quot;۳-انطباق-رتبهکم-lora&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;۴️⃣ ارزیابی&quot;,&quot;local&quot;:&quot;۴-ارزیابی&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;منابع&quot;,&quot;local&quot;:&quot;منابع&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2}],&quot;depth&quot;:1}"/>
<link href="/docs/course/pr_1364/fa/_app/immutable/entry/start.CqZXmSrv.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/oyrVqMhC.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/B3UUDp28.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/entry/app.B4UvgX5H.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/BioDZtGL.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/NIl2lQjl.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/DN6uzRQe.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/DsnmJJEf.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/nodes/0.DcFj1eGj.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/u5kFQ1Zb.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/nodes/21.DloqvlYe.js" rel="modulepreload">
<link href="/docs/course/pr_1364/fa/_app/immutable/chunks/BjCHz3cj.js" rel="modulepreload">
<!--1d6r4d0--><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;کوک‌کردن نظارت‌شده&quot;,&quot;local&quot;:&quot;کوککردن-نظارتشده&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;۱️⃣ قالب‌های گفت‌وگو&quot;,&quot;local&quot;:&quot;۱-قالبهای-گفتوگو&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;۲️⃣ کوک‌کردن نظارت‌شده&quot;,&quot;local&quot;:&quot;۲-کوککردن-نظارتشده&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;۳️⃣ انطباق رتبه‌کم (LoRA)&quot;,&quot;local&quot;:&quot;۳-انطباق-رتبهکم-lora&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;۴️⃣ ارزیابی&quot;,&quot;local&quot;:&quot;۴-ارزیابی&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;منابع&quot;,&quot;local&quot;:&quot;منابع&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2}],&quot;depth&quot;:1}"/><!---->
<link href="/docs/course/pr_1364/fa/_app/immutable/assets/0.tn0RQdqM.css" rel="modulepreload"> <!--[--><!--[0--><!--[--><!--[0--><!--[--><p></p> <div class="items-center shrink-0 min-w-[100px] max-sm:min-w-[50px] justify-end ml-auto flex" style="float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"><div class="inline-flex rounded-md max-sm:rounded-sm"><button class="inline-flex items-center gap-1 h-7 max-sm:h-7 px-2 max-sm:px-1.5 text-sm font-medium text-gray-800 border border-r-0 rounded-l-md max-sm:rounded-l-sm border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-live="polite"><span class="inline-flex items-center justify-center rounded-md p-0.5 max-sm:p-0 hover:text-gray-800 dark:hover:text-gray-200"><svg class="sm:size-3.5 size-3" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----></span> <span>Copy page</span></button> <button class="inline-flex items-center justify-center w-6 max-sm:w-5 h-7 max-sm:h-7 disabled:pointer-events-none text-sm text-gray-500 hover:text-gray-700 dark:hover:text-white rounded-r-md max-sm:rounded-r-sm border border-l transition border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-haspopup="menu" aria-expanded="false" aria-label="Open copy menu"><svg class="transition-transform text-gray-400 overflow-visible sm:size-3.5 size-3 rotate-0" width="1em" height="1em" viewBox="0 0 12 7" fill="none" xmlns="http://www.w3.org/2000/svg"><path d="M1 1L6 6L11 1" stroke="currentColor"></path></svg><!----></button></div> <!--[-1--><!--]--></div><!----> <!--[0--><h1 class="relative group"><a id="کوککردن-نظارتشده" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#کوککردن-نظارتشده"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>کوک‌کردن نظارت‌شده</span></h1><!--]--><!----> <div dir="rtl"><p>در <a href="/course/chapter2/2">بخش ۲ فصل ۲</a> دیدیم که می‌توان مدل‌های زبانی مولد را برای وظایف مشخصی مانند خلاصه‌سازی و پاسخ‌گویی به پرسش کوک کرد. با این حال، امروزه کوک‌کردن مدل‌های زبانی برای دامنه‌ی گسترده‌ای از وظایف به‌صورت هم‌زمان بسیار رایج‌تر است؛ روشی که به آن کوک‌کردن نظارت‌شده (SFT) می‌گویند. این فرایند به مدل‌ها کمک می‌کند همه‌کاره‌تر شوند و از عهده‌ی کاربردهای متنوع برآیند. بیشتر مدل‌های زبانی بزرگی که مردم در پلتفرم‌هایی مانند ChatGPT با آن‌ها تعامل دارند، برای مفیدترشدن و هم‌راستایی با ترجیح‌های انسانی، فرایند SFT را پشت سر گذاشته‌اند. این فصل را به چهار بخش تقسیم می‌کنیم:</p> <!--[1--><h2 class="relative group"><a id="۱-قالبهای-گفتوگو" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۱-قالبهای-گفتوگو"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۱️⃣ قالب‌های گفت‌وگو</span></h2><!--]--><!----> <p>قالب‌های گفت‌وگو تعامل میان کاربران و مدل‌های هوش مصنوعی را ساختار می‌دهند و پاسخ‌هایی سازگار و متناسب با زمینه تضمین می‌کنند. این قالب‌ها مؤلفه‌هایی مانند اعلان‌های سیستمی و پیام‌های مبتنی بر نقش را دربرمی‌گیرند.</p> <!--[1--><h2 class="relative group"><a id="۲-کوککردن-نظارتشده" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۲-کوککردن-نظارتشده"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۲️⃣ کوک‌کردن نظارت‌شده</span></h2><!--]--><!----> <p>کوک‌کردن نظارت‌شده (SFT) فرایندی مهم برای سازگارکردن مدل‌های زبانی از پیش تعلیم‌دیده با وظایف مشخص است. در این فرایند مدل را با دیتاسِتی ویژه‌ی وظیفه و نمونه‌های برچسب‌دار تعلیم می‌دهیم. برای راهنمایی دقیق درباره‌ی SFT، از جمله گام‌های اصلی و بهترین روش‌ها، <a href="https://huggingface.co/docs/trl/en/sft_trainer" rel="nofollow">بخش کوک‌کردن نظارت‌شده در مستندات TRL</a> را ببینید.</p> <!--[1--><h2 class="relative group"><a id="۳-انطباق-رتبهکم-lora" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۳-انطباق-رتبهکم-lora"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۳️⃣ انطباق رتبه‌کم (LoRA)</span></h2><!--]--><!----> <p>انطباق رتبه‌کم (LoRA) روشی برای کوک‌کردن مدل‌های زبانی با افزودن ماتریس‌های رتبه‌کم به لایه‌های مدل است. این روش کوک‌کردنی کارآمد را ممکن می‌کند و در عین حال دانش مدل از پیش تعلیم‌دیده را حفظ می‌کند. یکی از مزیت‌های اصلی LoRA صرفه‌جویی چشمگیر در حافظه است که کوک‌کردن مدل‌های بزرگ را روی سخت‌افزاری با منابع محدود ممکن می‌کند.</p> <!--[1--><h2 class="relative group"><a id="۴-ارزیابی" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۴-ارزیابی"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۴️⃣ ارزیابی</span></h2><!--]--><!----> <p>ارزیابی گامی مهم در فرایند کوک‌کردن است و به ما اجازه می‌دهد عملکرد مدل را روی دیتاسِتی ویژه‌ی وظیفه اندازه‌گیری کنیم.</p> <blockquote class="tip"><p>⚠️ برای استفاده از همه‌ی قابلیت‌های موجود در هاب مدل و 🤗 Transformers، پیشنهاد می‌کنیم <a href="https://huggingface.co/join">حساب کاربری بسازید</a>.</p></blockquote> <!--[1--><h2 class="relative group"><a id="منابع" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#منابع"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>منابع</span></h2><!--]--><!----> <ul><li><a href="https://huggingface.co/docs/transformers/main/en/chat_templating" rel="nofollow">مستندات Transformers درباره‌ی قالب‌های گفت‌وگو</a></li> <li><a href="https://github.com/huggingface/trl/blob/main/trl/scripts/sft.py" rel="nofollow">اسکریپت کوک‌کردن نظارت‌شده در TRL</a></li> <li><a href="https://huggingface.co/docs/trl/main/en/sft_trainer" rel="nofollow"><code>SFTTrainer</code> در TRL</a></li> <li><a href="https://arxiv.org/abs/2305.18290" rel="nofollow">مقاله‌ی بهینه‌سازی ترجیح مستقیم</a></li> <li><a href="https://huggingface.co/docs/trl/sft_trainer" rel="nofollow">کوک‌کردن نظارت‌شده با TRL</a></li> <li><a href="https://github.com/huggingface/alignment-handbook" rel="nofollow">چگونه Google Gemma را با ChatML و Hugging Face TRL کوک کنیم</a></li> <li><a href="https://huggingface.co/learn/cookbook/en/fine_tuning_llm_to_generate_persian_product_catalogs_in_json_format" rel="nofollow">کوک‌کردن LLM برای تولید کاتالوگ محصولات فارسی در قالب JSON</a></li></ul></div> <a class="!text-gray-400 !no-underline text-sm flex items-center not-prose mt-4" href="https://github.com/huggingface/course/blob/main/chapters/fa/chapter11/1.mdx" target="_blank"><svg class="mr-1" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M31,16l-7,7l-1.41-1.41L28.17,16l-5.58-5.59L24,9l7,7z"></path><path d="M1,16l7-7l1.41,1.41L3.83,16l5.58,5.59L8,23l-7-7z"></path><path d="M12.419,25.484L17.639,6.552l1.932,0.518L14.351,26.002z"></path></svg><!----> <span><span class="underline">Update</span> on GitHub</span></a><!----> <p></p><!--]--><!----><!--]--><!--]--><!--]--> <!--[-1--><!--]--><!--]-->
<script>
{
__sveltekit_pfm8ny = {
base: "/docs/course/pr_1364/fa",
assets: "/docs/course/pr_1364/fa"
};
const element = document.currentScript.parentElement;
Promise.all([
import("/docs/course/pr_1364/fa/_app/immutable/entry/start.CqZXmSrv.js"),
import("/docs/course/pr_1364/fa/_app/immutable/entry/app.B4UvgX5H.js")
]).then(([kit, app]) => {
kit.start(app, element, {
node_ids: [0, 21],
data: [null,null],
form: null,
error: null
});
});
}
</script>

Xet Storage Details

Size:
17.8 kB
·
Xet hash:
94bbeff766bfeff7b16c8280e60211c1fda46401f05d6a3453e8a4b233576bc8

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.