Buckets:
| <meta charset="utf-8" /><meta name="hf:doc:metadata" content="{"title":"Transformers хэрхэн ажилладаг вэ?","local":"how-do-transformers-work","sections":[{"title":"Transformer-ийн товч түүх","local":"a-bit-of-transformer-history","sections":[],"depth":2},{"title":"Transformers бол хэлний загварууд","local":"transformers-are-language-models","sections":[],"depth":2},{"title":"Transformers бол том загварууд","local":"transformers-are-big-models","sections":[],"depth":2},{"title":"Transfer Learning","local":"transfer-learning","sections":[],"depth":2},{"title":"Transformer-ийн ерөнхий архитектур","local":"general-transformer-architecture","sections":[],"depth":2},{"title":"Attention давхаргууд","local":"attention-layers","sections":[],"depth":2},{"title":"Анхны архитектур","local":"the-original-architecture","sections":[],"depth":2},{"title":"Архитектурууд болон checkpoints","local":"architecture-vs-checkpoints","sections":[],"depth":2}],"depth":1}"/> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/entry/start.BcQNL8Iq.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/U0EHjKy1.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/DKDXYq1_.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/entry/app.DtWVLBJm.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/D2f8-tK6.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/BPbkyPU9.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/CKY-anE-.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/DsnmJJEf.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/nodes/0.CgwB3QdE.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/CO2lc5xK.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/nodes/8.BA-SDNuP.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/CE_yRjBv.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/C8-_hnt5.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/DwwhCVvr.js" rel="modulepreload"> | |
| <!--13h9kzw--><meta name="hf:doc:metadata" content="{"title":"Transformers хэрхэн ажилладаг вэ?","local":"how-do-transformers-work","sections":[{"title":"Transformer-ийн товч түүх","local":"a-bit-of-transformer-history","sections":[],"depth":2},{"title":"Transformers бол хэлний загварууд","local":"transformers-are-language-models","sections":[],"depth":2},{"title":"Transformers бол том загварууд","local":"transformers-are-big-models","sections":[],"depth":2},{"title":"Transfer Learning","local":"transfer-learning","sections":[],"depth":2},{"title":"Transformer-ийн ерөнхий архитектур","local":"general-transformer-architecture","sections":[],"depth":2},{"title":"Attention давхаргууд","local":"attention-layers","sections":[],"depth":2},{"title":"Анхны архитектур","local":"the-original-architecture","sections":[],"depth":2},{"title":"Архитектурууд болон checkpoints","local":"architecture-vs-checkpoints","sections":[],"depth":2}],"depth":1}"/><!----> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/assets/0.tn0RQdqM.css" rel="modulepreload"> <!--[--><!--[0--><!--[--><!--[0--><!--[--><p></p> <div class="items-center shrink-0 min-w-[100px] max-sm:min-w-[50px] justify-end ml-auto flex" style="float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"><div class="inline-flex rounded-md max-sm:rounded-sm"><button class="inline-flex items-center gap-1 h-7 max-sm:h-7 px-2 max-sm:px-1.5 text-sm font-medium text-gray-800 border border-r-0 rounded-l-md max-sm:rounded-l-sm border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-live="polite"><span class="inline-flex items-center justify-center rounded-md p-0.5 max-sm:p-0 hover:text-gray-800 dark:hover:text-gray-200"><svg class="sm:size-3.5 size-3" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----></span> <span>Copy page</span></button> <button class="inline-flex items-center justify-center w-6 max-sm:w-5 h-7 max-sm:h-7 disabled:pointer-events-none text-sm text-gray-500 hover:text-gray-700 dark:hover:text-white rounded-r-md max-sm:rounded-r-sm border border-l transition border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-haspopup="menu" aria-expanded="false" aria-label="Open copy menu"><svg class="transition-transform text-gray-400 overflow-visible sm:size-3.5 size-3 rotate-0" width="1em" height="1em" viewBox="0 0 12 7" fill="none" xmlns="http://www.w3.org/2000/svg"><path d="M1 1L6 6L11 1" stroke="currentColor"></path></svg><!----></button></div> <!--[-1--><!--]--></div><!----> <!--[0--><h1 class="relative group"><a id="how-do-transformers-work" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#how-do-transformers-work"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Transformers хэрхэн ажилладаг вэ?</span></h1><!--]--><!----> <div class="flex space-x-1 absolute z-10 right-0 top-0"><a href="https://discuss.huggingface.co/t/chapter-1-questions" target="_blank"><img alt="Ask a Question" class="!m-0" src="https://img.shields.io/badge/Ask%20a%20question-ffcb4c.svg?logo=data:image/svg+xml;base64,PHN2ZyB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciIHZpZXdCb3g9IjAgLTEgMTA0IDEwNiI+PGRlZnM+PHN0eWxlPi5jbHMtMXtmaWxsOiMyMzFmMjA7fS5jbHMtMntmaWxsOiNmZmY5YWU7fS5jbHMtM3tmaWxsOiMwMGFlZWY7fS5jbHMtNHtmaWxsOiMwMGE5NGY7fS5jbHMtNXtmaWxsOiNmMTVkMjI7fS5jbHMtNntmaWxsOiNlMzFiMjM7fTwvc3R5bGU+PC9kZWZzPjx0aXRsZT5EaXNjb3Vyc2VfbG9nbzwvdGl0bGU+PGcgaWQ9IkxheWVyXzIiPjxnIGlkPSJMYXllcl8zIj48cGF0aCBjbGFzcz0iY2xzLTEiIGQ9Ik01MS44NywwQzIzLjcxLDAsMCwyMi44MywwLDUxYzAsLjkxLDAsNTIuODEsMCw1Mi44MWw1MS44Ni0uMDVjMjguMTYsMCw1MS0yMy43MSw1MS01MS44N1M4MCwwLDUxLjg3LDBaIi8+PHBhdGggY2xhc3M9ImNscy0yIiBkPSJNNTIuMzcsMTkuNzRBMzEuNjIsMzEuNjIsMCwwLDAsMjQuNTgsNjYuNDFsLTUuNzIsMTguNEwzOS40LDgwLjE3YTMxLjYxLDMxLjYxLDAsMSwwLDEzLTYwLjQzWiIvPjxwYXRoIGNsYXNzPSJjbHMtMyIgZD0iTTc3LjQ1LDMyLjEyYTMxLjYsMzEuNiwwLDAsMS0zOC4wNSw0OEwxOC44Niw4NC44MmwyMC45MS0yLjQ3QTMxLjYsMzEuNiwwLDAsMCw3Ny40NSwzMi4xMloiLz48cGF0aCBjbGFzcz0iY2xzLTQiIGQ9Ik03MS42MywyNi4yOUEzMS42LDMxLjYsMCwwLDEsMzguOCw3OEwxOC44Niw4NC44MiwzOS40LDgwLjE3QTMxLjYsMzEuNiwwLDAsMCw3MS42MywyNi4yOVoiLz48cGF0aCBjbGFzcz0iY2xzLTUiIGQ9Ik0yNi40Nyw2Ny4xMWEzMS42MSwzMS42MSwwLDAsMSw1MS0zNUEzMS42MSwzMS42MSwwLDAsMCwyNC41OCw2Ni40MWwtNS43MiwxOC40WiIvPjxwYXRoIGNsYXNzPSJjbHMtNiIgZD0iTTI0LjU4LDY2LjQxQTMxLjYxLDMxLjYxLDAsMCwxLDcxLjYzLDI2LjI5YTMxLjYxLDMxLjYxLDAsMCwwLTQ5LDM5LjYzbC0zLjc2LDE4LjlaIi8+PC9nPjwvZz48L3N2Zz4="/></a><!----> <!--[-1--><!--]--> <!--[-1--><!--]--></div><!----> <p>Энэ хэсэгт бид Transformer загваруудын архитектурыг харж, attention, encoder-decoder архитектур зэрэг ойлголтуудыг илүү гүнзгий судална.</p> <blockquote class="warning"><p>🚀 Энд бид түвшнээ нэг шат ахиулж байна. Энэ хэсэг нарийвчилсан, техникийн шинжтэй тул бүгдийг шууд ойлгохгүй байвал санаа зовох хэрэггүй. Эдгээр ойлголт руу курсийн дараагийн хэсгүүдэд дахин эргэн орох болно.</p></blockquote> <!--[1--><h2 class="relative group"><a id="a-bit-of-transformer-history" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#a-bit-of-transformer-history"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Transformer-ийн товч түүх</span></h2><!--]--><!----> <p>Transformer загваруудын (богино) түүхэн дэх зарим чухал үе шатууд:</p> <div class="flex justify-center"><img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/transformers_chrono.svg" alt="A brief chronology of Transformers models."/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/transformers_chrono-dark.svg" alt="A brief chronology of Transformers models."/></div> <p><a href="https://arxiv.org/abs/1706.03762" rel="nofollow">Transformer архитектур</a> 2017 оны 6-р сард танилцуулагдсан. Анхны судалгаа нь орчуулгын даалгаварт төвлөрч байсан. Үүний дараа хэд хэдэн нөлөө бүхий загвар гарсан, тухайлбал:</p> <ul><li><p><strong>2018 оны 6-р сар</strong>: <a href="https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf" rel="nofollow">GPT</a>, анхны урьдчилан сургагдсан Transformer загвар бөгөөд төрөл бүрийн NLP даалгаварт fine-tune хийхэд ашиглагдаж, тухайн үеийн хамгийн шилдэг (state-of-the-art) үр дүнд хүрсэн.</p></li> <li><p><strong>2018 оны 10-р сар</strong>: <a href="https://arxiv.org/abs/1810.04805" rel="nofollow">BERT</a>, өөр нэг том урьдчилан сургагдсан загвар бөгөөд өгүүлбэрийн илүү сайн хураангуй дүрслэл гаргахад зориулагдсан (энэ талаар дараагийн бүлэгт дэлгэрэнгүй!).</p></li> <li><p><strong>2019 оны 2-р сар</strong>: <a href="https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf" rel="nofollow">GPT-2</a>, GPT-ийн сайжруулсан (бөгөөд илүү том) хувилбар бөгөөд ёс зүйн асуудлаас болж шууд олон нийтэд нээлттэй гаргаагүй.</p></li> <li><p><strong>2019 оны 10-р сар</strong>: <a href="https://huggingface.co/papers/1910.10683" rel="nofollow">T5</a>, sequence-to-sequence Transformer архитектурын олон даалгаварт чиглэсэн хэрэгжүүлэлт.</p></li> <li><p><strong>2020 оны 5-р сар</strong>, <a href="https://huggingface.co/papers/2005.14165" rel="nofollow">GPT-3</a>, GPT-2-оос ч илүү том хувилбар бөгөөд fine-tune хийлгүйгээр олон төрлийн даалгаварт сайн гүйцэтгэл үзүүлж чаддаг (үүнийг <em>zero-shot learning</em> гэдэг).</p></li> <li><p><strong>2022 оны 1-р сар</strong>: <a href="https://huggingface.co/papers/2203.02155" rel="nofollow">InstructGPT</a>, зааварчилгааг илүү сайн дагахаар сургагдсан GPT-3-ийн хувилбар.</p></li> <li><p><strong>2023 оны 1-р сар</strong>: <a href="https://huggingface.co/papers/2302.13971" rel="nofollow">Llama</a>, олон төрлийн хэлээр текст үүсгэж чаддаг том хэлний загвар(LLM).</p></li> <li><p><strong>2023 оны 3-р сар</strong>: <a href="https://huggingface.co/papers/2310.06825" rel="nofollow">Mistral</a>, 7 тэрбум параметртэй хэлний загвар бөгөөд үнэлсэн бүх benchmark дээр Llama 2 13B-ээс давсан. Илүү хурдан inference хийхийн тулд grouped-query attention, дурын урттай дарааллыг боловсруулахын тулд sliding window attention ашигладаг.</p></li> <li><p><strong>2024 оны 5-р сар</strong>: <a href="https://huggingface.co/papers/2408.00118" rel="nofollow">Gemma 2</a>, 2B-ээс 27B параметртэй, хөнгөн, state-of-the-art нээлттэй загваруудын цуврал. Ээлжилсэн local-global attention болон group-query attention ашигладаг бөгөөд жижиг загваруудыг knowledge distillation аргаар сургаснаар 2-3 дахин том загваруудтай өрсөлдөхүйц гүйцэтгэл үзүүлдэг.</p></li> <li><p><strong>2024 оны 11-р сар</strong>: <a href="https://huggingface.co/papers/2502.02737" rel="nofollow">SmolLM2</a>, state-of-the-art жижиг хэлний загвар (135 саяас 1.7 тэрбум параметр). Авсаархан хэмжээтэй хэдий ч гайхалтай гүйцэтгэл үзүүлж, гар утас болон edge төхөөрөмжүүдэд шинэ боломжуудыг нээж өгсөн.</p></li></ul> <p>Энэ жагсаалт бүрэн биш бөгөөд зөвхөн Transformer загваруудын зарим өөр төрлийг онцлон харуулах зорилготой. Ерөнхийд нь тэдгээрийг гурван ангилалд хувааж болно:</p> <ul><li>GPT-тэй төстэй (<em>auto-regressive</em> Transformer загварууд гэж бас нэрлэдэг)</li> <li>BERT-тэй төстэй (<em>auto-encoding</em> Transformer загварууд гэж бас нэрлэдэг)</li> <li>T5-тай төстэй (<em>sequence-to-sequence</em> Transformer загварууд гэж бас нэрлэдэг)</li></ul> <p>Эдгээр бүлгийг бид дараа нь илүү гүнзгий судлах болно.</p> <!--[1--><h2 class="relative group"><a id="transformers-are-language-models" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#transformers-are-language-models"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Transformers бол хэлний загварууд</span></h2><!--]--><!----> <p>Дээр дурдсан бүх Transformer загвар (GPT, BERT, T5 гэх мэт) <em>хэлний загвар</em> болж сургагдсан. Энэ нь тэдгээрийг их хэмжээний түүхий текст дээр өөрөө хянах (self-supervised) аргаар сургасан гэсэн үг.</p> <p>Өөрөө хянах сургалт (self-supervised learning) гэдэг нь сургалтын зорилтыг загварын оролтоос автоматаар тооцоолдог сургалтын төрөл юм. Өөрөөр хэлбэл өгөгдлийг шошголоход хүн шаардлагагүй.</p> <p>Ийм төрлийн загвар нь сургагдсан хэлнийхээ статистик ойлголтыг бий болгодог боловч тодорхой практик даалгаварт төдийлөн ашигтай биш. Тиймээс ерөнхий урьдчилан сургагдсан загвар дараа нь <em>transfer learning</em> буюу <em>fine-tuning</em> гэх процессыг дамждаг. Энэ процессын явцад загварыг тухайн даалгавар дээр хяналттай (supervised) байдлаар — өөрөөр хэлбэл хүний тэмдэглэсэн шошго ашиглан — fine-tune хийдэг.</p> <p>Даалгаврын нэг жишээ бол өмнөх <em>n</em> үгийг уншсаны дараа өгүүлбэрийн дараагийн үгийг таамаглах явдал юм. Гаралт нь өнгөрсөн болон одоогийн оролтоос хамаардаг боловч ирээдүйн оролтоос хамаардаггүй тул үүнийг <em>causal language modeling</em> гэдэг.</p> <div class="flex justify-center"><img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/causal_modeling.svg" alt="Example of causal language modeling in which the next word from a sentence is predicted."/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/causal_modeling-dark.svg" alt="Example of causal language modeling in which the next word from a sentence is predicted."/></div> <p>Өөр нэг жишээ бол <em>masked language modeling</em> бөгөөд загвар өгүүлбэр дэх маскласан үгийг таамагладаг.</p> <div class="flex justify-center"><img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/masked_modeling.svg" alt="Example of masked language modeling in which a masked word from a sentence is predicted."/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/masked_modeling-dark.svg" alt="Example of masked language modeling in which a masked word from a sentence is predicted."/></div> <!--[1--><h2 class="relative group"><a id="transformers-are-big-models" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#transformers-are-big-models"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Transformers бол том загварууд</span></h2><!--]--><!----> <p>Цөөн хэдэн онцгой тохиолдлыг (DistilBERT гэх мэт) эс тооцвол илүү сайн гүйцэтгэлд хүрэх ерөнхий стратеги нь загварын хэмжээ болон урьдчилан сургах өгөгдлийн хэмжээг нэмэгдүүлэх явдал юм.</p> <div class="flex justify-center"><img src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/model_parameters.png" alt="Number of parameters of recent Transformers models" width="90%"/></div> <p>Харамсалтай нь, загвар нь ялангуяа том загвар сургахад их хэмжээний өгөгдөл шаардлагатай. Энэ нь цаг хугацаа болон тооцооллын нөөцийн хувьд маш өндөр зардалтай. Тэр ч байтугай дараах графикаас харж болохоор байгаль орчинд нөлөөлдөг.</p> <div class="flex justify-center"><img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/carbon_footprint.svg" alt="The carbon footprint of a large language model."/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/carbon_footprint-dark.svg" alt="The carbon footprint of a large language model."/></div> <iframe class="w-full xl:w-4/6 h-80" src="https://www.youtube-nocookie.com/embed/ftWlj4FBHTg" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen=""></iframe><!----> <p>Энэ нь урьдчилан сургалтын байгаль орчинд үзүүлэх нөлөөг ухамсартайгаар бууруулахыг хичээсэн багийн удирдсан (маш том) загварын төслийг харуулж байна. Хамгийн сайн hyperparameter-уудыг олохын тулд олон туршилт хийвэл ул мөр нь бүр ч өндөр байх болно.</p> <p>Судалгааны баг, оюутны байгууллага эсвэл компани загвар сургах болгондоо эхнээс нь сургадаг гэж төсөөлөөд үз. Энэ нь дэлхий нийтэд асар их, шаардлагагүй зардал гаргах байсан.</p> <p>Тиймээс хэлний загваруудыг хуваалцах нь нэн чухал: сургагдсан жингүүдийг хуваалцаж, аль хэдийн сургагдсан жингүүд дээр тулгуурлан хөгжүүлэх нь олон нийтийн нийт тооцооллын зардал болон нүүрстөрөгчийн ул мөрийг бууруулдаг.</p> <p>Дашрамд хэлэхэд, та загваруудынхаа сургалтын нүүрстөрөгчийн ул мөрийг хэд хэдэн хэрэгслээр үнэлж болно. Жишээлбэл <a href="https://mlco2.github.io/impact/" rel="nofollow">ML CO2 Impact</a> эсвэл 🤗 Transformers-д нэгтгэгдсэн <a href="https://codecarbon.io/" rel="nofollow">Code Carbon</a>. Энэ талаар илүү ихийг мэдэхийг хүсвэл сургалтынхаа ул мөрийн тооцоолол бүхий <code>emissions.csv</code> файлыг хэрхэн үүсгэхийг харуулсан энэхүү <a href="https://huggingface.co/blog/carbon-emissions-on-the-hub" rel="nofollow">блог нийтлэл</a>, мөн энэ сэдвийг хөндсөн 🤗 Transformers-ийн <a href="https://huggingface.co/docs/hub/model-cards-co2" rel="nofollow">баримт бичиг</a>-ийг уншаарай.</p> <!--[1--><h2 class="relative group"><a id="transfer-learning" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#transfer-learning"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Transfer Learning</span></h2><!--]--><!----> <iframe class="w-full xl:w-4/6 h-80" src="https://www.youtube-nocookie.com/embed/BqqfQnyjmgg" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen=""></iframe><!----> <p><em>Урьдчилан сургалт (pretraining)</em> гэдэг нь загварыг эхнээс нь сургах үйл явц юм: жингүүд санамсаргүйгээр эхлүүлэгдэж, сургалт ямар ч өмнөх мэдлэггүйгээр эхэлдэг.</p> <div class="flex justify-center"><img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/pretraining.svg" alt="Хэлний загварыг урьдчилан сургах нь цаг хугацаа болон мөнгөний хувьд өндөр зардалтай."/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/pretraining-dark.svg" alt="Хэлний загварыг урьдчилан сургах нь цаг хугацаа болон мөнгөний хувьд өндөр зардалтай."/></div> <p>Урьдчилан сургалтыг ихэвчлэн маш их хэмжээний өгөгдөл дээр хийдэг. Тиймээс маш том өгөгдлийн корпус шаардагддаг бөгөөд сургалт хэдэн долоо хоног хүртэл үргэлжилж болно.</p> <p>Харин <em>fine-tuning</em> гэдэг нь загварыг урьдчилан сургасны <strong>дараа</strong> хийх сургалт юм. Fine-tuning хийхийн тулд эхлээд урьдчилан сургагдсан хэлний загвар авч, дараа нь өөрийн даалгаварт зориулсан өгөгдлийн багцаар нэмэлт сургалт хийнэ. Хүлээгээрэй — яагаад загвараа эцсийн хэрэглээндээ зориулж эхнээс нь (<strong>scratch</strong>) шууд сургаж болохгүй гэж? Үүнд хэд хэдэн шалтгаан бий:</p> <ul><li>Урьдчилан сургагдсан загвар нь fine-tuning хийх өгөгдлийн багцтай тодорхой хэмжээгээр төстэй өгөгдөл дээр аль хэдийн сургагдсан байдаг. Тиймээс fine-tuning процесс нь анхны загварын урьдчилан сургалтын явцад олж авсан мэдлэгийг ашиглаж чаддаг (Жишээлбэл: NLP асуудлуудад урьдчилан сургагдсан загвар нь таны даалгаварт ашиглаж буй хэлний талаар тодорхой статистик ойлголттой байна).</li> <li>Урьдчилан сургагдсан загвар аль хэдийн маш их өгөгдөл дээр сургагдсан тул fine-tuning хийхэд зохих үр дүнд хүрэхийн тулд хамаагүй бага өгөгдөл шаардлагатай.</li> <li>Үүнтэй ижил шалтгаанаар сайн үр дүнд хүрэхэд шаардагдах цаг хугацаа, нөөц хамаагүй бага.</li></ul> <p>Жишээлбэл: Англи хэл дээр урьдчилан сургагдсан загварыг ашиглаад arXiv корпус дээр fine-tune хийснээр шинжлэх ухаан/судалгаанд суурилсан загвар гаргаж болно. Fine-tuning нь зөвхөн хязгаарлагдмал хэмжээний өгөгдөл шаардана: урьдчилан сургагдсан загварын олж авсан мэдлэг “transferred” тул <em>transfer learning</em> гэсэн нэр томьёо гарсан.</p> <div class="flex justify-center"><img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/finetuning.svg" alt="Хэлний загварыг fine-tune хийх нь урьдчилан сургахаас цаг хугацаа болон мөнгөний хувьд хямд."/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/finetuning-dark.svg" alt="Хэлний загварыг fine-tune хийх нь урьдчилан сургахаас цаг хугацаа болон мөнгөний хувьд хямд."/></div> <p>Тиймээс загварыг fine-tune хийх нь цаг хугацаа, өгөгдөл, санхүү, байгаль орчны зардал багатай. Мөн сургалт нь бүрэн урьдчилан сургалтаас бага хязгаарлалттай тул өөр өөр fine-tuning схемүүдийг туршиж давтах нь илүү хурдан бөгөөд хялбар.</p> <p>Энэ процесс нь эхнээс нь сургахаас (хэрэв танд маш их өгөгдөл байхгүй бол) илүү сайн үр дүнд хүрдэг. Тиймээс та үргэлж урьдчилан сургагдсан загварыг — өөрийн даалгаварт аль болох ойр загварыг — ашиглаж, fine-tune хийхийг хичээх хэрэгтэй.</p> <!--[1--><h2 class="relative group"><a id="general-transformer-architecture" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#general-transformer-architecture"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Transformer-ийн ерөнхий архитектур</span></h2><!--]--><!----> <p>Энэ хэсэгт Transformer загварын ерөнхий архитектурыг авч үзнэ. Зарим ойлголтыг ойлгохгүй байвал санаа зовох хэрэггүй; бүрэлдэхүүн хэсэг тус бүрийг дараа нь дэлгэрэнгүй хэсгүүдэд тайлбарлах болно.</p> <iframe class="w-full xl:w-4/6 h-80" src="https://www.youtube-nocookie.com/embed/H39Z_720T5s" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen=""></iframe><!----> <p>Загвар нь үндсэндээ хоёр блокоос бүрддэг:</p> <ul><li><strong>Encoder (зүүн)</strong>: Encoder нь оролтыг хүлээн авч, түүний дүрслэлийг (шинж чанаруудыг) бий болгодог. Энэ нь загвар оролтоос ойлголт олж авахад оновчлогдсон гэсэн үг.</li> <li><strong>Decoder (баруун)</strong>: Decoder нь encoder-ийн дүрслэлийг (шинж чанаруудыг) бусад оролтын хамт ашиглан зорилтот дарааллыг үүсгэдэг. Энэ нь загвар гаралт үүсгэхэд оновчлогдсон гэсэн үг.</li></ul> <div class="flex justify-center"><img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/transformers_blocks.svg" alt="Transformer загварын архитектур"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/transformers_blocks-dark.svg" alt="Transformer загварын архитектур"/></div> <p>Даалгавраас хамааран эдгээр хэсэг тус бүрийг бие даан ашиглаж болно:</p> <ul><li><strong>Encoder-only загварууд</strong>: Өгүүлбэр ангилах, нэрлэсэн объект таних зэрэг оролтыг ойлгох шаардлагатай даалгаварт тохиромжтой.</li> <li><strong>Decoder-only загварууд</strong>: Текст үүсгэх зэрэг үүсгэх (generative) даалгаварт тохиромжтой.</li> <li><strong>Encoder-decoder загварууд</strong> буюу <strong>sequence-to-sequence загварууд</strong>: Орчуулга, хураангуйлах зэрэг оролт шаарддаг үүсгэх даалгаварт тохиромжтой.</li></ul> <p>Эдгээр архитектурыг дараагийн хэсгүүдэд тус тусад нь гүнзгий судлах болно.</p> <!--[1--><h2 class="relative group"><a id="attention-layers" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#attention-layers"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Attention давхаргууд</span></h2><!--]--><!----> <p>Transformer загваруудын гол онцлог нь <em>attention давхарга</em> гэх тусгай давхаргуудаар бүтээгдсэн байдаг. Үнэндээ Transformer архитектурыг танилцуулсан өгүүллийн гарчиг нь <a href="https://arxiv.org/abs/1706.03762" rel="nofollow">“Attention Is All You Need”</a> байсан! Attention давхаргуудын нарийн ширийнийг курсийн дараагийн хэсгүүдэд судлах болно. Одоохондоо мэдэх хэрэгтэй зүйл гэвэл энэ давхарга нь үг бүрийн дүрслэлийг боловсруулахдаа таны дамжуулсан өгүүлбэр дэх тодорхой үгсэд онцгой анхаарал хандуулж, бусдыг нь их бага хэмжээгээр үл тоохыг загварт заадаг.</p> <p>Үүнийг жишээгээр тайлбарлахад англи хэлнээс франц хэл рүү текст орчуулах даалгаврыг авч үзье. “You like this course” гэсэн оролт өгөгдөхөд орчуулгын загвар “like” гэдэг үгийг зөв орчуулахын тулд хажуудах “You” гэдэг үгэнд мөн анхаарал хандуулах шаардлагатай, учир нь франц хэлэнд “like” үйл үг нь өгүүлэгдэхүүнээс хамаарч өөр өөрөөр хувирдаг. Харин өгүүлбэрийн бусад хэсэг тэр үгийг орчуулахад хэрэггүй. Үүнтэй адилаар “this”-ийг орчуулахдаа загвар “course” гэдэг үгэнд мөн анхаарах хэрэгтэй, учир нь холбогдох нэр үг эр эсвэл эм хүйстэй эсэхээс хамаарч “this” өөр өөрөөр орчуулагддаг. Мөн л өгүүлбэрийн бусад үгс “course”-ийг орчуулахад ач холбогдолгүй. Илүү нарийн төвөгтэй өгүүлбэрүүдэд (мөн илүү нарийн дүрмүүдэд) үг бүрийг зөв орчуулахын тулд загвар өгүүлбэрт илүү хол байрлах үгсэд онцгой анхаарал хандуулах шаардлагатай болно.</p> <p>Үүнтэй ижил ойлголт байгалийн хэлтэй холбоотой аливаа даалгаварт хамаарна: үг өөрөө утгатай боловч тэр утга нь контекстоос гүнзгий хамаардаг. Контекст нь судалж буй үгийн өмнө эсвэл дараа байгаа ямар ч өөр үг (эсвэл үгс) байж болно.</p> <p>Attention давхаргууд юуны тухай болохыг ойлгосон тул одоо Transformer архитектурыг илүү нарийвчлан харцгаая.</p> <!--[1--><h2 class="relative group"><a id="the-original-architecture" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#the-original-architecture"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Анхны архитектур</span></h2><!--]--><!----> <p>Transformer архитектур нь анх орчуулгад зориулагдан бүтээгдсэн. Сургалтын үед encoder нь тодорхой хэл дээрх оролтуудыг (өгүүлбэрүүдийг) хүлээн авдаг бол decoder нь ижил өгүүлбэрүүдийг хүссэн зорилтот хэл дээр хүлээн авдаг. Encoder дотор attention давхаргууд өгүүлбэрийн бүх үгийг ашиглаж чадна (учир нь саяхан харсанчлан тухайн үгийн орчуулга нь өгүүлбэрт түүний өмнө болон дараа байгаа зүйлээс хамаарч болно). Харин decoder дараалсан байдлаар ажилладаг бөгөөд өгүүлбэрт аль хэдийн орчуулсан үгсэд л анхаарал хандуулж чадна (өөрөөр хэлбэл зөвхөн одоо үүсгэж буй үгийн өмнөх үгс). Жишээлбэл: Орчуулсан зорилтын эхний гурван үгийг таамагласны дараа бид тэдгээрийг decoder-т өгөхөд decoder нь encoder-ийн бүх оролтыг ашиглан дөрөв дэх үгийг таамаглахыг оролддог.</p> <p>Сургалтын үед (загварт зорилтот өгүүлбэрүүд хүртээмжтэй үед) хурдасгахын тулд decoder-т бүх зорилтыг өгдөг боловч ирээдүйн үгсийг ашиглахыг хориглодог (хэрэв 2-р байрлалын үгийг таамаглах гэж байхдаа 2-р байрлалын үгийг харж чаддаг байсан бол асуудал тийм ч хэцүү биш байх байсан!). Жишээлбэл: Дөрөв дэх үгийг таамаглах гэж байхад attention давхарга зөвхөн 1-ээс 3-р байрлал дахь үгсэд хандах эрхтэй.</p> <p>Анхны Transformer архитектур дараах байдалтай байсан бөгөөд encoder нь зүүн талд, decoder нь баруун талд байна:</p> <div class="flex justify-center"><img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/transformers.svg" alt="Transformer загварын архитектур"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/transformers-dark.svg" alt="Transformer загварын архитектур"/></div> <p>Decoder блок дахь эхний attention давхарга нь decoder-ийн бүх (өнгөрсөн) оролтод анхаарал хандуулдаг бол хоёр дахь attention давхарга нь encoder-ийн гаралтыг ашигладаг гэдгийг анхаараарай. Ингэснээр одоогийн үгийг хамгийн сайн таамаглахын тулд оролтын өгүүлбэрийг бүхэлд нь ашиглаж чадна. Өөр өөр хэлүүд үгсийг өөр дарааллаар байрлуулдаг дүрэмтэй байж болох, эсвэл өгүүлбэрийн хойно өгөгдсөн контекст тухайн үгийн хамгийн сайн орчуулгыг тодорхойлоход тустай байж болох тул энэ нь маш хэрэгтэй.</p> <p><em>Attention mask</em>-ийг мөн encoder/decoder-т ашиглаж, загварыг зарим тусгай үгсэд анхаарал хандуулахаас сэргийлж болно — Жишээлбэл: Өгүүлбэрүүдийг багцалж (batch) оруулах үед бүх оролтын уртыг ижил болгоход ашигладаг тусгай нөхөөс үгсийг (padding үг) тооцохгүй байхад хэрэглэдэг.</p> <!--[1--><h2 class="relative group"><a id="architecture-vs-checkpoints" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#architecture-vs-checkpoints"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Архитектурууд болон checkpoints</span></h2><!--]--><!----> <p>Энэ курст Transformer загваруудыг судлахдаа <em>загвар</em>-аас гадна <em>архитектур</em> болон <em>checkpoint</em> гэсэн нэр томьёонуудтай тааралдах болно. Эдгээр нэр томьёо бүгд арай өөр утгатай:</p> <ul><li><strong>Архитектур(Architecture)</strong>: Энэ бол загварын араг яс — загвар доторх давхарга бүр болон үйлдэл бүрийн тодорхойлолт.</li> <li><strong>Checkpoints</strong>: Эдгээр нь тухайн архитектурт ачаалагдах жингүүд юм.</li> <li><strong>Загвар(Model)</strong>: Энэ бол “архитектур” эсвэл “checkpoint” шиг нарийн биш, ерөнхий нэр томьёо бөгөөд аль алиныг нь илэрхийлж болно. Энэ курст ойлгомжгүй байдлыг багасгахын тулд шаардлагатай үед <em>архитектур</em> эсвэл <em>checkpoint</em> гэж тодорхой заана.</li></ul> <p>Жишээлбэл: BERT бол архитектур, харин BERT-ийн анхны хувилбарт зориулж Google-ийн багийн сургасан жингүүдийн багц болох <code>bert-base-cased</code> нь checkpoint юм. Гэхдээ “BERT загвар”, ”<code>bert-base-cased</code> загвар” гэж хэлж болно.</p> <a class="!text-gray-400 !no-underline text-sm flex items-center not-prose mt-4" href="https://github.com/huggingface/course/blob/main/chapters/mn/chapter1/4.mdx" target="_blank"><svg class="mr-1" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M31,16l-7,7l-1.41-1.41L28.17,16l-5.58-5.59L24,9l7,7z"></path><path d="M1,16l7-7l1.41,1.41L3.83,16l5.58,5.59L8,23l-7-7z"></path><path d="M12.419,25.484L17.639,6.552l1.932,0.518L14.351,26.002z"></path></svg><!----> <span><span class="underline">Update</span> on GitHub</span></a><!----> <p></p><!--]--><!----><!--]--><!--]--><!--]--> <!--[-1--><!--]--><!--]--> | |
| <script> | |
| { | |
| __sveltekit_wf1ozj = { | |
| base: "/docs/course/pr_1373/mn", | |
| assets: "/docs/course/pr_1373/mn" | |
| }; | |
| const element = document.currentScript.parentElement; | |
| Promise.all([ | |
| import("/docs/course/pr_1373/mn/_app/immutable/entry/start.BcQNL8Iq.js"), | |
| import("/docs/course/pr_1373/mn/_app/immutable/entry/app.DtWVLBJm.js") | |
| ]).then(([kit, app]) => { | |
| kit.start(app, element, { | |
| node_ids: [0, 8], | |
| data: [null,null], | |
| form: null, | |
| error: null | |
| }); | |
| }); | |
| } | |
| </script> | |
Xet Storage Details
- Size:
- 50.1 kB
- Xet hash:
- 3122f15cf03114b02e24a07af97cd7a8c13aa8ef8b4fb82999c1c29d8534af32
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.