Buckets:
| <meta charset="utf-8" /><meta name="hf:doc:metadata" content="{"title":"LoRA (انطباق با رتبه پایین)","local":"lora-انطباق-با-رتبه-پایین","sections":[{"title":"درک LoRA","local":"درک-lora","sections":[],"depth":2},{"title":"مزایای کلیدی LoRA","local":"مزایای-کلیدی-lora","sections":[],"depth":2},{"title":"بارگیری آداپتورهای LoRA با PEFT","local":"بارگیری-آداپتورهای-lora-با-peft","sections":[],"depth":2},{"title":"کوک کردن LLM با استفاده از trl و SFTTrainer با LoRA","local":"کوک-کردن-llm-با-استفاده-از-trl-و-sfttrainer-با-lora","sections":[],"depth":2},{"title":"پیکربندی LoRA","local":"پیکربندی-lora","sections":[],"depth":2},{"title":"استفاده از TRL با PEFT","local":"استفاده-از-trl-با-peft","sections":[],"depth":2},{"title":"ادغام آداپتورهای LoRA","local":"ادغام-آداپتورهای-lora","sections":[],"depth":2},{"title":"پیاده سازی ادغام","local":"پیاده-سازی-ادغام","sections":[],"depth":2}],"depth":1}"/> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/entry/start.CqZXmSrv.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/oyrVqMhC.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/B3UUDp28.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/entry/app.B4UvgX5H.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/BioDZtGL.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/NIl2lQjl.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/DN6uzRQe.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/DsnmJJEf.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/nodes/0.DcFj1eGj.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/u5kFQ1Zb.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/nodes/24.CPBZyfxb.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/BjCHz3cj.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/B8VBSgkq.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/DFIrGYWg.js" rel="modulepreload"> | |
| <!--2e5g3n--><meta name="hf:doc:metadata" content="{"title":"LoRA (انطباق با رتبه پایین)","local":"lora-انطباق-با-رتبه-پایین","sections":[{"title":"درک LoRA","local":"درک-lora","sections":[],"depth":2},{"title":"مزایای کلیدی LoRA","local":"مزایای-کلیدی-lora","sections":[],"depth":2},{"title":"بارگیری آداپتورهای LoRA با PEFT","local":"بارگیری-آداپتورهای-lora-با-peft","sections":[],"depth":2},{"title":"کوک کردن LLM با استفاده از trl و SFTTrainer با LoRA","local":"کوک-کردن-llm-با-استفاده-از-trl-و-sfttrainer-با-lora","sections":[],"depth":2},{"title":"پیکربندی LoRA","local":"پیکربندی-lora","sections":[],"depth":2},{"title":"استفاده از TRL با PEFT","local":"استفاده-از-trl-با-peft","sections":[],"depth":2},{"title":"ادغام آداپتورهای LoRA","local":"ادغام-آداپتورهای-lora","sections":[],"depth":2},{"title":"پیاده سازی ادغام","local":"پیاده-سازی-ادغام","sections":[],"depth":2}],"depth":1}"/><!----> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/assets/0.tn0RQdqM.css" rel="modulepreload"> <!--[--><!--[0--><!--[--><!--[0--><!--[--><p></p> <div dir="rtl"><div class="flex space-x-1 absolute z-10 right-0 top-0"><a href="https://discuss.huggingface.co/t/chapter-2-questions" target="_blank"><img alt="Ask a Question" class="!m-0" src="https://img.shields.io/badge/Ask%20a%20question-ffcb4c.svg?logo=data:image/svg+xml;base64,PHN2ZyB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciIHZpZXdCb3g9IjAgLTEgMTA0IDEwNiI+PGRlZnM+PHN0eWxlPi5jbHMtMXtmaWxsOiMyMzFmMjA7fS5jbHMtMntmaWxsOiNmZmY5YWU7fS5jbHMtM3tmaWxsOiMwMGFlZWY7fS5jbHMtNHtmaWxsOiMwMGE5NGY7fS5jbHMtNXtmaWxsOiNmMTVkMjI7fS5jbHMtNntmaWxsOiNlMzFiMjM7fTwvc3R5bGU+PC9kZWZzPjx0aXRsZT5EaXNjb3Vyc2VfbG9nbzwvdGl0bGU+PGcgaWQ9IkxheWVyXzIiPjxnIGlkPSJMYXllcl8zIj48cGF0aCBjbGFzcz0iY2xzLTEiIGQ9Ik01MS44NywwQzIzLjcxLDAsMCwyMi44MywwLDUxYzAsLjkxLDAsNTIuODEsMCw1Mi44MWw1MS44Ni0uMDVjMjguMTYsMCw1MS0yMy43MSw1MS01MS44N1M4MCwwLDUxLjg3LDBaIi8+PHBhdGggY2xhc3M9ImNscy0yIiBkPSJNNTIuMzcsMTkuNzRBMzEuNjIsMzEuNjIsMCwwLDAsMjQuNTgsNjYuNDFsLTUuNzIsMTguNEwzOS40LDgwLjE3YTMxLjYxLDMxLjYxLDAsMSwwLDEzLTYwLjQzWiIvPjxwYXRoIGNsYXNzPSJjbHMtMyIgZD0iTTc3LjQ1LDMyLjEyYTMxLjYsMzEuNiwwLDAsMS0zOC4wNSw0OEwxOC44Niw4NC44MmwyMC45MS0yLjQ3QTMxLjYsMzEuNiwwLDAsMCw3Ny40NSwzMi4xMloiLz48cGF0aCBjbGFzcz0iY2xzLTQiIGQ9Ik03MS42MywyNi4yOUEzMS42LDMxLjYsMCwwLDEsMzguOCw3OEwxOC44Niw4NC44MiwzOS40LDgwLjE3QTMxLjYsMzEuNiwwLDAsMCw3MS42MywyNi4yOVoiLz48cGF0aCBjbGFzcz0iY2xzLTUiIGQ9Ik0yNi40Nyw2Ny4xMWEzMS42MSwzMS42MSwwLDAsMSw1MS0zNUEzMS42MSwzMS42MSwwLDAsMCwyNC41OCw2Ni40MWwtNS43MiwxOC40WiIvPjxwYXRoIGNsYXNzPSJjbHMtNiIgZD0iTTI0LjU4LDY2LjQxQTMxLjYxLDMxLjYxLDAsMCwxLDcxLjYzLDI2LjI5YTMxLjYxLDMxLjYxLDAsMCwwLTQ5LDM5LjYzbC0zLjc2LDE4LjlaIi8+PC9nPjwvZz48L3N2Zz4="/></a><!----> <!--[0--><a href="https://colab.research.google.com/github/huggingface/notebooks/blob/main/course/en/chapter11/section4.ipynb" target="_blank"><img alt="Open In Colab" class="!m-0" src="https://colab.research.google.com/assets/colab-badge.svg"/></a><!--]--> <!--[-1--><!--]--></div><!----> <div class="items-center shrink-0 min-w-[100px] max-sm:min-w-[50px] justify-end ml-auto flex" style="float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"><div class="inline-flex rounded-md max-sm:rounded-sm"><button class="inline-flex items-center gap-1 h-7 max-sm:h-7 px-2 max-sm:px-1.5 text-sm font-medium text-gray-800 border border-r-0 rounded-l-md max-sm:rounded-l-sm border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-live="polite"><span class="inline-flex items-center justify-center rounded-md p-0.5 max-sm:p-0 hover:text-gray-800 dark:hover:text-gray-200"><svg class="sm:size-3.5 size-3" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----></span> <span>Copy page</span></button> <button class="inline-flex items-center justify-center w-6 max-sm:w-5 h-7 max-sm:h-7 disabled:pointer-events-none text-sm text-gray-500 hover:text-gray-700 dark:hover:text-white rounded-r-md max-sm:rounded-r-sm border border-l transition border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-haspopup="menu" aria-expanded="false" aria-label="Open copy menu"><svg class="transition-transform text-gray-400 overflow-visible sm:size-3.5 size-3 rotate-0" width="1em" height="1em" viewBox="0 0 12 7" fill="none" xmlns="http://www.w3.org/2000/svg"><path d="M1 1L6 6L11 1" stroke="currentColor"></path></svg><!----></button></div> <!--[-1--><!--]--></div><!----> <!--[0--><h1 class="relative group"><a id="lora-انطباق-با-رتبه-پایین" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#lora-انطباق-با-رتبه-پایین"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>LoRA (انطباق با رتبه پایین)</span></h1><!--]--><!----> <p>کوک کردن مدلهای زبانی بزرگ یک فرآیند فشرده منابع است. LoRA تکنیکی است که به ما امکان می دهد مدل های زبان بزرگ را با تعداد کمی پارامتر تنظیم کنیم. با افزودن و بهینه سازی ماتریس های کوچکتر به وزن توجه کار می کند و معمولاً پارامترهای قابل آموزش را تا حدود 90 درصد کاهش می دهد.</p> <!--[1--><h2 class="relative group"><a id="درک-lora" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#درک-lora"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>درک LoRA</span></h2><!--]--><!----> <p>LoRA (تطبیق با رتبه پایین) یک تکنیک کوک کردن پارامتری کارآمد است که وزنهای مدل از قبل آموزش دیده را منجمد میکند و ماتریسهای تجزیه رتبه قابل آموزش را به لایههای مدل تزریق میکند. به جای آموزش تمام پارامترهای مدل در طول کوک کردن، LoRA به روز رسانی های وزن را از طریق تجزیه در رتبه پایین به ماتریس های کوچکتر تجزیه می کند، و به طور قابل توجهی تعداد پارامترهای قابل آموزش را کاهش می دهد و در عین حال عملکرد مدل را حفظ می کند. برای مثال، زمانی که LoRA روی GPT-3 175B اعمال شد، پارامترهای قابل آموزش را تا 10000 برابر و نیاز به حافظه GPU را تا 3 برابر در مقایسه با کوک کردن کامل کاهش داد. می توانید اطلاعات بیشتری درباره LoRA در <a href="https://arxiv.org/pdf/2106.09685" rel="nofollow">کاغذ LoRA</a> بخوانید.</p> <p>LoRA با افزودن جفتهای ماتریس تجزیه رتبه به لایههای ترنسفورمر کار میکند که معمولاً بر وزنهای توجه تمرکز میکنند. در طول استنتاج، این وزنهای آداپتور را میتوان با مدل پایه ادغام کرد و در نتیجه سربار تأخیر اضافی ایجاد نشد. LoRA به ویژه برای تطبیق مدلهای زبانی بزرگ با وظایف یا دامنههای خاص و در عین حال قابل مدیریت نگه داشتن نیازهای منابع مفید است.</p> <!--[1--><h2 class="relative group"><a id="مزایای-کلیدی-lora" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#مزایای-کلیدی-lora"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>مزایای کلیدی LoRA</span></h2><!--]--><!----> <ol><li><p><strong>کارایی حافظه</strong>:</p> <ul><li>فقط پارامترهای آداپتور در حافظه GPU ذخیره می شوند</li> <li>وزنههای مدل پایه منجمد میمانند و میتوانند با دقت کمتری بارگیری شوند</li> <li>کوک کردن مدل های بزرگ را در پردازنده های گرافیکی مصرف کننده فعال می کند</li></ul></li> <li><p><strong>ویژگی های آموزشی</strong>:</p> <ul><li>ادغام بومی PEFT/LoRA با حداقل تنظیمات</li> <li>پشتیبانی از QLoRA (Quantized LoRA) برای کارایی حافظه حتی بهتر</li></ul></li> <li><p><strong>مدیریت آداپتور</strong>:</p> <ul><li>کاهش وزن آداپتور در طول ایست های بازرسی</li> <li>ویژگی هایی برای ادغام آداپتورها به مدل پایه</li></ul></li></ol> <!--[1--><h2 class="relative group"><a id="بارگیری-آداپتورهای-lora-با-peft" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#بارگیری-آداپتورهای-lora-با-peft"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>بارگیری آداپتورهای LoRA با PEFT</span></h2><!--]--><!----> <p><a href="https://github.com/huggingface/peft" rel="nofollow">PEFT</a> کتابخانه ای است که یک رابط یکپارچه برای بارگیری و مدیریت روش های PEFT از جمله LoRA فراهم می کند. این به شما امکان می دهد تا به راحتی بین روش های مختلف PEFT بارگیری و جابجا شوید و آزمایش با تکنیک های مختلف کوک کردن را آسان تر می کند.</p> <p>آداپتورها را می توان روی یک مدل از پیشتعلیم دیده با <code>load_adapter()</code> بارگذاری کرد، که برای آزمایش آداپتورهای مختلف که وزن آنها ادغام نشده است مفید است. وزن آداپتور فعال را با عملکرد <code>set_adapter()</code> تنظیم کنید. برای برگرداندن مدل پایه، می توانید از unload() برای تخلیه همه ماژول های LoRA استفاده کنید. این باعث میشود تا جابجایی بین وزنهای مختلف کار آسان باشد.</p> <div class="code-block relative "><div class="absolute top-2.5 right-4"><button class="inline-flex items-center relative text-sm focus:text-green-500 cursor-pointer focus:outline-none transition duration-200 ease-in-out opacity-0 mx-0.5 text-gray-600 " title="code excerpt" type="button"><svg xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----> <div class=" absolute pointer-events-none transition-opacity bg-black text-white py-1 px-2 leading-tight rounded font-normal shadow left-1/2 top-full transform -translate-x-1/2 translate-y-2 opacity-0 "><div class="absolute bottom-full left-1/2 transform -translate-x-1/2 w-0 h-0 border-black border-4 border-t-0" style="border-left-color: transparent; border-right-color: transparent;"></div> Copied</div><!----></button><!----></div> <pre class="language-python "><!----><span class="hljs-keyword">from</span> peft <span class="hljs-keyword">import</span> PeftModel, PeftConfig | |
| config = PeftConfig.from_pretrained(<span class="hljs-string">"ybelkada/opt-350m-lora"</span>) | |
| model = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path) | |
| lora_model = PeftModel.from_pretrained(model, <span class="hljs-string">"ybelkada/opt-350m-lora"</span>)<!----></pre></div><!----> <p><img src="https://github.com/huggingface/smol-course/raw/main/v1/3_parameter_efficient_finetuning/images/lora_adapter.png" alt="lora_load_adapter"/></p> <!--[1--><h2 class="relative group"><a id="کوک-کردن-llm-با-استفاده-از-trl-و-sfttrainer-با-lora" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#کوک-کردن-llm-با-استفاده-از-trl-و-sfttrainer-با-lora"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>کوک کردن LLM با استفاده از trl و SFTTrainer با LoRA</span></h2><!--]--><!----> <p><a href="https://huggingface.co/docs/trl/sft_trainer" rel="nofollow">SFTTrainer</a> از <code>trl</code> یکپارچه سازی با آداپتورهای LoRA را از طریق کتابخانه <a href="https://huggingface.co/docs/peft/en/index" rel="nofollow">PEFT</a> فراهم می کند. این بدان معناست که ما میتوانیم یک مدل را به همان روشی که با SFT انجام دادیم تنظیم کنیم، اما از LoRA برای کاهش تعداد پارامترهای مورد نیاز برای آموزش استفاده کنیم.</p> <p>ما از کلاس <code>LoRAConfig</code> از PEFT در مثال خود استفاده خواهیم کرد. راه اندازی فقط به چند مرحله پیکربندی نیاز دارد:</p> <ol><li>پیکربندی LoRA را تعریف کنید (رتبه، آلفا، ترک تحصیل)</li> <li>SFTTrainer را با پیکربندی PEFT ایجاد کنید</li> <li>وزنه های آداپتور را آموزش دهید و ذخیره کنید</li></ol> <!--[1--><h2 class="relative group"><a id="پیکربندی-lora" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#پیکربندی-lora"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>پیکربندی LoRA</span></h2><!--]--><!----> <p>بیایید پیکربندی LoRA و پارامترهای کلیدی را مرور کنیم.</p> <table><thead><tr><th>پارامتر</th><th>توضیحات</th></tr></thead><tbody><tr><td><code>r</code> (رتبه)</td><td>ابعاد ماتریس های رتبه پایین مورد استفاده برای به روز رسانی وزن. به طور معمول بین 4-32. مقادیر پایین تر فشرده سازی بیشتر اما به طور بالقوه بیان کمتری را فراهم می کند.</td></tr><tr><td><code>lora_alpha</code></td><td>ضریب مقیاس برای لایه های LoRA، معمولاً روی 2 برابر مقدار رتبه تنظیم می شود. ارزش های بالاتر منجر به اثرات سازگاری قوی تر می شود.</td></tr><tr><td><code>lora_dropout</code></td><td>احتمال حذف برای لایه های LoRA، معمولاً 0.05-0.1 است. مقادیر بالاتر به جلوگیری از تناسب بیش از حد در طول تمرین کمک می کند.</td></tr><tr><td><code>bias</code></td><td>آموزش اصطلاحات سوگیری را کنترل می کند. گزینهها «هیچکدام»، «همه» یا «تنها_lora» هستند. “هیچ” برای کارایی حافظه بیشتر رایج است.</td></tr><tr><td><code>target_modules</code></td><td>مشخص میکند که ماژولهای LoRA روی کدام مدل اعمال شود. می تواند “تمام خطی” یا ماژول های خاصی مانند “q_proj,v_proj” باشد. ماژولهای بیشتر سازگاری بیشتری را امکانپذیر میکنند اما میزان استفاده از حافظه را افزایش میدهند.</td></tr></tbody></table> <blockquote class="tip"><p>هنگام اجرای روش های PEFT، با مقادیر کوچک رتبه (4-8) برای LoRA شروع کنید و از دست دادن تمرین را کنترل کنید. از مجموعههای اعتبارسنجی برای جلوگیری از برازش بیش از حد استفاده کنید و در صورت امکان نتایج را با خطوط پایه کوک کردن مقایسه کنید. اثربخشی روشهای مختلف میتواند بسته به کار متفاوت باشد، بنابراین آزمایش کلیدی است.</p></blockquote> <!--[1--><h2 class="relative group"><a id="استفاده-از-trl-با-peft" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#استفاده-از-trl-با-peft"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>استفاده از TRL با PEFT</span></h2><!--]--><!----> <p>روش های PEFT را می توان با TRL برای کوک کردن برای کاهش نیازهای حافظه ترکیب کرد. میتوانیم <code>LoraConfig</code> را هنگام بارگذاری به مدل منتقل کنیم.</p> <div class="code-block relative "><div class="absolute top-2.5 right-4"><button class="inline-flex items-center relative text-sm focus:text-green-500 cursor-pointer focus:outline-none transition duration-200 ease-in-out opacity-0 mx-0.5 text-gray-600 " title="code excerpt" type="button"><svg xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----> <div class=" absolute pointer-events-none transition-opacity bg-black text-white py-1 px-2 leading-tight rounded font-normal shadow left-1/2 top-full transform -translate-x-1/2 translate-y-2 opacity-0 "><div class="absolute bottom-full left-1/2 transform -translate-x-1/2 w-0 h-0 border-black border-4 border-t-0" style="border-left-color: transparent; border-right-color: transparent;"></div> Copied</div><!----></button><!----></div> <pre class="language-python "><!----><span class="hljs-keyword">from</span> peft <span class="hljs-keyword">import</span> LoraConfig | |
| <span class="hljs-comment"># r: rank dimension for LoRA update matrices (smaller = more compression)</span> | |
| rank_dimension = <span class="hljs-number">6</span> | |
| <span class="hljs-comment"># lora_alpha: scaling factor for LoRA layers (higher = stronger adaptation)</span> | |
| lora_alpha = <span class="hljs-number">8</span> | |
| <span class="hljs-comment"># lora_dropout: dropout probability for LoRA layers (helps prevent overfitting)</span> | |
| lora_dropout = <span class="hljs-number">0.05</span> | |
| peft_config = LoraConfig( | |
| r=rank_dimension, <span class="hljs-comment"># Rank dimension - typically between 4-32</span> | |
| lora_alpha=lora_alpha, <span class="hljs-comment"># LoRA scaling factor - typically 2x rank</span> | |
| lora_dropout=lora_dropout, <span class="hljs-comment"># Dropout probability for LoRA layers</span> | |
| bias=<span class="hljs-string">"none"</span>, <span class="hljs-comment"># Bias type for LoRA. the corresponding biases will be updated during training.</span> | |
| target_modules=<span class="hljs-string">"all-linear"</span>, <span class="hljs-comment"># Which modules to apply LoRA to</span> | |
| task_type=<span class="hljs-string">"CAUSAL_LM"</span>, <span class="hljs-comment"># Task type for model architecture</span> | |
| )<!----></pre></div><!----> <p>در بالا، ما از <code>device_map="auto"</code> برای اختصاص خودکار مدل به دستگاه صحیح استفاده کردیم. همچنین می توانید با استفاده از <code>device_map={"": device_index}</code> مدل را به صورت دستی به دستگاه خاصی اختصاص دهید.</p> <p>همچنین باید <code>SFTTrainer</code> را با پیکربندی LoRA تعریف کنیم.</p> <div class="code-block relative "><div class="absolute top-2.5 right-4"><button class="inline-flex items-center relative text-sm focus:text-green-500 cursor-pointer focus:outline-none transition duration-200 ease-in-out opacity-0 mx-0.5 text-gray-600 " title="code excerpt" type="button"><svg xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----> <div class=" absolute pointer-events-none transition-opacity bg-black text-white py-1 px-2 leading-tight rounded font-normal shadow left-1/2 top-full transform -translate-x-1/2 translate-y-2 opacity-0 "><div class="absolute bottom-full left-1/2 transform -translate-x-1/2 w-0 h-0 border-black border-4 border-t-0" style="border-left-color: transparent; border-right-color: transparent;"></div> Copied</div><!----></button><!----></div> <pre class="language-python "><!----><span class="hljs-comment"># Create SFTTrainer with LoRA configuration</span> | |
| trainer = SFTTrainer( | |
| model=model, | |
| args=args, | |
| train_dataset=dataset[<span class="hljs-string">"train"</span>], | |
| peft_config=peft_config, <span class="hljs-comment"># LoRA configuration</span> | |
| max_seq_length=max_seq_length, <span class="hljs-comment"># Maximum sequence length</span> | |
| processing_class=tokenizer, | |
| )<!----></pre></div><!----> <blockquote class="tip"><p>✏️ <strong>آن را امتحان کنید!</strong> از مدل تنظیم شده خود در بخش قبل استفاده کنید، اما آن را با LoRA تنظیم کنید. از دیتاسِت <code>HuggingFaceTB/smoltalk</code> برای کوک کردن مدل <code>deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B</code> با استفاده از پیکربندی LoRA که در بالا تعریف کردیم استفاده کنید.</p></blockquote> <!--[1--><h2 class="relative group"><a id="ادغام-آداپتورهای-lora" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#ادغام-آداپتورهای-lora"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>ادغام آداپتورهای LoRA</span></h2><!--]--><!----> <p>پس از آموزش با LoRA، ممکن است بخواهید وزنه های آداپتور را به مدل پایه برای استقرار آسان تر ادغام کنید. این یک مدل واحد با وزن های ترکیبی ایجاد می کند و نیاز به بارگیری آداپتورها به طور جداگانه در طول استنتاج را از بین می برد.</p> <p>فرآیند ادغام نیاز به توجه به مدیریت حافظه و دقت دارد. از آنجایی که باید وزن مدل پایه و آداپتور را به طور همزمان بارگیری کنید، اطمینان حاصل کنید که حافظه GPU/CPU کافی در دسترس است. با استفاده از <code>device_map="auto"</code> در <code>transformers</code> دستگاه مناسب برای مدل بر اساس سخت افزار شما پیدا می شود.</p> <p>دقت ثابت (به عنوان مثال، float16) را در طول فرآیند حفظ کنید، دقت مورد استفاده در طول آموزش را مطابقت دهید و مدل ادغام شده را در قالب یکسان برای استقرار ذخیره کنید.</p> <!--[1--><h2 class="relative group"><a id="پیاده-سازی-ادغام" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#پیاده-سازی-ادغام"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>پیاده سازی ادغام</span></h2><!--]--><!----> <p>پس از آموزش آداپتور LoRA، می توانید وزنه های آداپتور را دوباره در مدل پایه ادغام کنید. در اینجا نحوه انجام آن آمده است:</p> <div class="code-block relative "><div class="absolute top-2.5 right-4"><button class="inline-flex items-center relative text-sm focus:text-green-500 cursor-pointer focus:outline-none transition duration-200 ease-in-out opacity-0 mx-0.5 text-gray-600 " title="code excerpt" type="button"><svg xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----> <div class=" absolute pointer-events-none transition-opacity bg-black text-white py-1 px-2 leading-tight rounded font-normal shadow left-1/2 top-full transform -translate-x-1/2 translate-y-2 opacity-0 "><div class="absolute bottom-full left-1/2 transform -translate-x-1/2 w-0 h-0 border-black border-4 border-t-0" style="border-left-color: transparent; border-right-color: transparent;"></div> Copied</div><!----></button><!----></div> <pre class="language-python "><!----><span class="hljs-keyword">import</span> torch | |
| <span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoModelForCausalLM | |
| <span class="hljs-keyword">from</span> peft <span class="hljs-keyword">import</span> PeftModel | |
| <span class="hljs-comment"># 1. Load the base model</span> | |
| base_model = AutoModelForCausalLM.from_pretrained( | |
| <span class="hljs-string">"base_model_name"</span>, torch_dtype=torch.float16, device_map=<span class="hljs-string">"auto"</span> | |
| ) | |
| <span class="hljs-comment"># 2. Load the PEFT model with adapter</span> | |
| peft_model = PeftModel.from_pretrained( | |
| base_model, <span class="hljs-string">"path/to/adapter"</span>, torch_dtype=torch.float16 | |
| ) | |
| <span class="hljs-comment"># 3. Merge adapter weights with base model</span> | |
| merged_model = peft_model.merge_and_unload()<!----></pre></div><!----> <p>اگر در مدل ذخیره شده با اختلاف اندازه مواجه شدید، مطمئن شوید که توکِنایزر را نیز ذخیره می کنید:</p> <div class="code-block relative "><div class="absolute top-2.5 right-4"><button class="inline-flex items-center relative text-sm focus:text-green-500 cursor-pointer focus:outline-none transition duration-200 ease-in-out opacity-0 mx-0.5 text-gray-600 " title="code excerpt" type="button"><svg xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----> <div class=" absolute pointer-events-none transition-opacity bg-black text-white py-1 px-2 leading-tight rounded font-normal shadow left-1/2 top-full transform -translate-x-1/2 translate-y-2 opacity-0 "><div class="absolute bottom-full left-1/2 transform -translate-x-1/2 w-0 h-0 border-black border-4 border-t-0" style="border-left-color: transparent; border-right-color: transparent;"></div> Copied</div><!----></button><!----></div> <pre class="language-python "><!----><span class="hljs-comment"># Save both model and tokenizer</span> | |
| tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">"base_model_name"</span>) | |
| merged_model.save_pretrained(<span class="hljs-string">"path/to/save/merged_model"</span>) | |
| tokenizer.save_pretrained(<span class="hljs-string">"path/to/save/merged_model"</span>)<!----></pre></div><!----> <blockquote class="tip"><p>✏️ <strong>آن را امتحان کنید!</strong> وزنه های آداپتور را دوباره در مدل پایه ادغام کنید. از دیتاسِت <code>HuggingFaceTB/smoltalk</code> برای کوک کردن مدل <code>deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B</code> با استفاده از پیکربندی LoRA که در بالا تعریف کردیم استفاده کنید.</p></blockquote> <!--[0--><h1 class="relative group"><a id="منابع" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#منابع"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>منابع</span></h1><!--]--><!----> <ul><li><a href="https://arxiv.org/pdf/2106.09685" rel="nofollow">LoRA: سازگاری با رتبه پایین مدلهای زبانی بزرگ</a></li> <li><a href="https://huggingface.co/docs/peft" rel="nofollow">مستندات PEFT</a></li> <li><a href="https://huggingface.co/blog/peft" rel="nofollow">پست وبلاگ صورت در آغوش گرفتن در PEFT</a></li></ul></div> <a class="!text-gray-400 !no-underline text-sm flex items-center not-prose mt-4" href="https://github.com/huggingface/course/blob/main/chapters/fa/chapter11/4.mdx" target="_blank"><svg class="mr-1" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M31,16l-7,7l-1.41-1.41L28.17,16l-5.58-5.59L24,9l7,7z"></path><path d="M1,16l7-7l1.41,1.41L3.83,16l5.58,5.59L8,23l-7-7z"></path><path d="M12.419,25.484L17.639,6.552l1.932,0.518L14.351,26.002z"></path></svg><!----> <span><span class="underline">Update</span> on GitHub</span></a><!----> <p></p><!--]--><!----><!--]--><!--]--><!--]--> <!--[-1--><!--]--><!--]--> | |
| <script> | |
| { | |
| __sveltekit_pfm8ny = { | |
| base: "/docs/course/pr_1364/fa", | |
| assets: "/docs/course/pr_1364/fa" | |
| }; | |
| const element = document.currentScript.parentElement; | |
| Promise.all([ | |
| import("/docs/course/pr_1364/fa/_app/immutable/entry/start.CqZXmSrv.js"), | |
| import("/docs/course/pr_1364/fa/_app/immutable/entry/app.B4UvgX5H.js") | |
| ]).then(([kit, app]) => { | |
| kit.start(app, element, { | |
| node_ids: [0, 24], | |
| data: [null,null], | |
| form: null, | |
| error: null | |
| }); | |
| }); | |
| } | |
| </script> | |
Xet Storage Details
- Size:
- 42.6 kB
- Xet hash:
- e0ee1d797c4626a473835e6cf14101db57ddf3554720586b8b8dad9360f17b4e
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.