Buckets:

download
raw
62 kB
<meta charset="utf-8" /><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;Transformer архитектурууд&quot;,&quot;local&quot;:&quot;transformer-architectures&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;Encoder загварууд&quot;,&quot;local&quot;:&quot;encoder-models&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Decoder загварууд&quot;,&quot;local&quot;:&quot;decoder-models&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;Орчин үеийн том хэлний загварууд (LLMs)&quot;,&quot;local&quot;:&quot;орчин-үеийн-том-хэлний-загварууд-llms&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;Орчин үеийн LLM-үүдийн гол чадамжууд&quot;,&quot;local&quot;:&quot;орчин-үеийн-llm-үүдийн-гол-чадамжууд&quot;,&quot;sections&quot;:[],&quot;depth&quot;:4}],&quot;depth&quot;:3}],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Sequence-to-sequence загварууд&quot;,&quot;local&quot;:&quot;sequence-to-sequence-models&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;Практик хэрэглээ&quot;,&quot;local&quot;:&quot;практик-хэрэглээ&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3}],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Тохирох архитектурыг сонгох нь&quot;,&quot;local&quot;:&quot;choosing-the-right-architecture&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;LLM-үүдийн хувьсал хөгжил&quot;,&quot;local&quot;:&quot;llm-үүдийн-хувьсал-хөгжил&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Анхаарлын механизмууд&quot;,&quot;local&quot;:&quot;attention-mechanisms&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;LSH анхаарал&quot;,&quot;local&quot;:&quot;lsh-анхаарал&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;Local attention&quot;,&quot;local&quot;:&quot;local-attention&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;Тэнхлэгийн байрлалын кодчилол&quot;,&quot;local&quot;:&quot;тэнхлэгийн-байрлалын-кодчилол&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3}],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Дүгнэлт&quot;,&quot;local&quot;:&quot;conclusion&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2}],&quot;depth&quot;:1}"/>
<link href="/docs/course/pr_1373/mn/_app/immutable/entry/start.BcQNL8Iq.js" rel="modulepreload">
<link href="/docs/course/pr_1373/mn/_app/immutable/chunks/U0EHjKy1.js" rel="modulepreload">
<link href="/docs/course/pr_1373/mn/_app/immutable/chunks/DKDXYq1_.js" rel="modulepreload">
<link href="/docs/course/pr_1373/mn/_app/immutable/entry/app.DtWVLBJm.js" rel="modulepreload">
<link href="/docs/course/pr_1373/mn/_app/immutable/chunks/D2f8-tK6.js" rel="modulepreload">
<link href="/docs/course/pr_1373/mn/_app/immutable/chunks/BPbkyPU9.js" rel="modulepreload">
<link href="/docs/course/pr_1373/mn/_app/immutable/chunks/CKY-anE-.js" rel="modulepreload">
<link href="/docs/course/pr_1373/mn/_app/immutable/chunks/DsnmJJEf.js" rel="modulepreload">
<link href="/docs/course/pr_1373/mn/_app/immutable/nodes/0.CgwB3QdE.js" rel="modulepreload">
<link href="/docs/course/pr_1373/mn/_app/immutable/chunks/CO2lc5xK.js" rel="modulepreload">
<link href="/docs/course/pr_1373/mn/_app/immutable/nodes/10.CJgG07vz.js" rel="modulepreload">
<link href="/docs/course/pr_1373/mn/_app/immutable/chunks/CE_yRjBv.js" rel="modulepreload">
<link href="/docs/course/pr_1373/mn/_app/immutable/chunks/C8-_hnt5.js" rel="modulepreload">
<link href="/docs/course/pr_1373/mn/_app/immutable/chunks/DwwhCVvr.js" rel="modulepreload">
<!--1hmrh5a--><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;Transformer архитектурууд&quot;,&quot;local&quot;:&quot;transformer-architectures&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;Encoder загварууд&quot;,&quot;local&quot;:&quot;encoder-models&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Decoder загварууд&quot;,&quot;local&quot;:&quot;decoder-models&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;Орчин үеийн том хэлний загварууд (LLMs)&quot;,&quot;local&quot;:&quot;орчин-үеийн-том-хэлний-загварууд-llms&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;Орчин үеийн LLM-үүдийн гол чадамжууд&quot;,&quot;local&quot;:&quot;орчин-үеийн-llm-үүдийн-гол-чадамжууд&quot;,&quot;sections&quot;:[],&quot;depth&quot;:4}],&quot;depth&quot;:3}],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Sequence-to-sequence загварууд&quot;,&quot;local&quot;:&quot;sequence-to-sequence-models&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;Практик хэрэглээ&quot;,&quot;local&quot;:&quot;практик-хэрэглээ&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3}],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Тохирох архитектурыг сонгох нь&quot;,&quot;local&quot;:&quot;choosing-the-right-architecture&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;LLM-үүдийн хувьсал хөгжил&quot;,&quot;local&quot;:&quot;llm-үүдийн-хувьсал-хөгжил&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Анхаарлын механизмууд&quot;,&quot;local&quot;:&quot;attention-mechanisms&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;LSH анхаарал&quot;,&quot;local&quot;:&quot;lsh-анхаарал&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;Local attention&quot;,&quot;local&quot;:&quot;local-attention&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3},{&quot;title&quot;:&quot;Тэнхлэгийн байрлалын кодчилол&quot;,&quot;local&quot;:&quot;тэнхлэгийн-байрлалын-кодчилол&quot;,&quot;sections&quot;:[],&quot;depth&quot;:3}],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Дүгнэлт&quot;,&quot;local&quot;:&quot;conclusion&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2}],&quot;depth&quot;:1}"/><!---->
<link href="/docs/course/pr_1373/mn/_app/immutable/assets/0.tn0RQdqM.css" rel="modulepreload"> <!--[--><!--[0--><!--[--><!--[0--><!--[--><p></p> <div class="flex space-x-1 absolute z-10 right-0 top-0"><a href="https://discuss.huggingface.co/t/chapter-1-questions" target="_blank"><img alt="Ask a Question" class="!m-0" src="https://img.shields.io/badge/Ask%20a%20question-ffcb4c.svg?logo=data:image/svg+xml;base64,PHN2ZyB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciIHZpZXdCb3g9IjAgLTEgMTA0IDEwNiI+PGRlZnM+PHN0eWxlPi5jbHMtMXtmaWxsOiMyMzFmMjA7fS5jbHMtMntmaWxsOiNmZmY5YWU7fS5jbHMtM3tmaWxsOiMwMGFlZWY7fS5jbHMtNHtmaWxsOiMwMGE5NGY7fS5jbHMtNXtmaWxsOiNmMTVkMjI7fS5jbHMtNntmaWxsOiNlMzFiMjM7fTwvc3R5bGU+PC9kZWZzPjx0aXRsZT5EaXNjb3Vyc2VfbG9nbzwvdGl0bGU+PGcgaWQ9IkxheWVyXzIiPjxnIGlkPSJMYXllcl8zIj48cGF0aCBjbGFzcz0iY2xzLTEiIGQ9Ik01MS44NywwQzIzLjcxLDAsMCwyMi44MywwLDUxYzAsLjkxLDAsNTIuODEsMCw1Mi44MWw1MS44Ni0uMDVjMjguMTYsMCw1MS0yMy43MSw1MS01MS44N1M4MCwwLDUxLjg3LDBaIi8+PHBhdGggY2xhc3M9ImNscy0yIiBkPSJNNTIuMzcsMTkuNzRBMzEuNjIsMzEuNjIsMCwwLDAsMjQuNTgsNjYuNDFsLTUuNzIsMTguNEwzOS40LDgwLjE3YTMxLjYxLDMxLjYxLDAsMSwwLDEzLTYwLjQzWiIvPjxwYXRoIGNsYXNzPSJjbHMtMyIgZD0iTTc3LjQ1LDMyLjEyYTMxLjYsMzEuNiwwLDAsMS0zOC4wNSw0OEwxOC44Niw4NC44MmwyMC45MS0yLjQ3QTMxLjYsMzEuNiwwLDAsMCw3Ny40NSwzMi4xMloiLz48cGF0aCBjbGFzcz0iY2xzLTQiIGQ9Ik03MS42MywyNi4yOUEzMS42LDMxLjYsMCwwLDEsMzguOCw3OEwxOC44Niw4NC44MiwzOS40LDgwLjE3QTMxLjYsMzEuNiwwLDAsMCw3MS42MywyNi4yOVoiLz48cGF0aCBjbGFzcz0iY2xzLTUiIGQ9Ik0yNi40Nyw2Ny4xMWEzMS42MSwzMS42MSwwLDAsMSw1MS0zNUEzMS42MSwzMS42MSwwLDAsMCwyNC41OCw2Ni40MWwtNS43MiwxOC40WiIvPjxwYXRoIGNsYXNzPSJjbHMtNiIgZD0iTTI0LjU4LDY2LjQxQTMxLjYxLDMxLjYxLDAsMCwxLDcxLjYzLDI2LjI5YTMxLjYxLDMxLjYxLDAsMCwwLTQ5LDM5LjYzbC0zLjc2LDE4LjlaIi8+PC9nPjwvZz48L3N2Zz4="/></a><!----> <!--[-1--><!--]--> <!--[-1--><!--]--></div><!----> <div class="items-center shrink-0 min-w-[100px] max-sm:min-w-[50px] justify-end ml-auto flex" style="float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"><div class="inline-flex rounded-md max-sm:rounded-sm"><button class="inline-flex items-center gap-1 h-7 max-sm:h-7 px-2 max-sm:px-1.5 text-sm font-medium text-gray-800 border border-r-0 rounded-l-md max-sm:rounded-l-sm border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-live="polite"><span class="inline-flex items-center justify-center rounded-md p-0.5 max-sm:p-0 hover:text-gray-800 dark:hover:text-gray-200"><svg class="sm:size-3.5 size-3" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----></span> <span>Copy page</span></button> <button class="inline-flex items-center justify-center w-6 max-sm:w-5 h-7 max-sm:h-7 disabled:pointer-events-none text-sm text-gray-500 hover:text-gray-700 dark:hover:text-white rounded-r-md max-sm:rounded-r-sm border border-l transition border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-haspopup="menu" aria-expanded="false" aria-label="Open copy menu"><svg class="transition-transform text-gray-400 overflow-visible sm:size-3.5 size-3 rotate-0" width="1em" height="1em" viewBox="0 0 12 7" fill="none" xmlns="http://www.w3.org/2000/svg"><path d="M1 1L6 6L11 1" stroke="currentColor"></path></svg><!----></button></div> <!--[-1--><!--]--></div><!----> <!--[0--><h1 class="relative group"><a id="transformer-architectures" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#transformer-architectures"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Transformer архитектурууд</span></h1><!--]--><!----> <p>Өмнөх хэсгүүдэд бид Transformer-ийн ерөнхий архитектурыг танилцуулж, эдгээр загвар янз бүрийн даалгаврыг хэрхэн шийдэж болохыг судалсан. Одоо Transformer загваруудын архитектурын үндсэн гурван хувилбарыг илүү нарийвчлан авч үзэж, тус бүрийг хэзээ ашиглахыг ойлгоцгооё. Дараа нь эдгээр архитектурыг хэлтэй холбоотой өөр өөр даалгаварт хэрхэн ашигладгийг авч үзнэ.</p> <p>Энэ хэсэгт бид Transformer загваруудын архитектурын үндсэн гурван хувилбарыг гүнзгийрүүлэн судалж, тус бүрийг хэзээ ашиглахыг ойлгох болно.</p> <blockquote class="tip"><p>Ихэнх Transformer загвар encoder-only, decoder-only, эсвэл encoder-decoder (sequence-to-sequence) гэсэн гурван архитектурын аль нэгийг ашигладгийг санаарай. Эдгээрийн ялгааг ойлгосноор та өөрийн даалгаварт тохирох загварыг сонгож чадна.</p></blockquote> <!--[1--><h2 class="relative group"><a id="encoder-models" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#encoder-models"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Encoder загварууд</span></h2><!--]--><!----> <iframe class="w-full xl:w-4/6 h-80" src="https://www.youtube-nocookie.com/embed/MUqNwgPjJvQ" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen=""></iframe><!----> <p>Encoder загварууд Transformer загварын зөвхөн encoder хэсгийг ашигладаг. Үе шат бүрд attention давхаргууд анхны өгүүлбэрийн бүх үгэнд хандах боломжтой байдаг. Эдгээр загварыг ихэвчлэн “bi-directional”(хоёр чиглэлт) attention-тэй гэж тодорхойлдог бөгөөд <em>auto-encoding models</em> гэж нэрлэх нь түгээмэл.</p> <p>Эдгээр загварын урьдчилан сургалт нь ихэвчлэн өгөгдсөн өгүүлбэрийг ямар нэгэн байдлаар эвдэж өөрчлөн (жишээлбэл, доторх санамсаргүй үгсийг масклах), загварт анхны өгүүлбэрийг олох эсвэл сэргээн бүтээх даалгавар өгөхөд тулгуурладаг.</p> <p>Encoder загварууд нь өгүүлбэрийг бүхэлд нь ойлгох шаардлагатай даалгаварт хамгийн тохиромжтой. Үүнд өгүүлбэр ангилах, нэрлэсэн объект таних (ерөнхийд нь хэлбэл, үг ангилах), мөн эхээс хариулт ялган авах зэрэг даалгавар орно.</p> <blockquote><p>[!TIP][Transformers даалгавруудыг хэрхэн шийддэг вэ? 🤗](<a href="https://huggingface.co/learn/llm-course/chapter1/5" rel="nofollow">https://huggingface.co/learn/llm-course/chapter1/5</a>) хэсэгт үзсэнчлэн, BERT зэрэг encoder загварууд хам сэдвийг бүхэлд нь хоёр чиглэлд харж чаддаг учраас текст ойлгохдоо сайн байдаг. Иймээс оролтыг бүхэлд нь ойлгох нь чухал даалгаварт нэн тохиромжтой.</p></blockquote> <p>Энэ бүлгийн загваруудын төлөөлөлд дараах загварууд орно:</p> <ul><li><a href="https://huggingface.co/docs/transformers/model_doc/bert" rel="nofollow">BERT</a></li> <li><a href="https://huggingface.co/docs/transformers/model_doc/distilbert" rel="nofollow">DistilBERT</a></li> <li><a href="https://huggingface.co/docs/transformers/en/model_doc/modernbert" rel="nofollow">ModernBERT</a></li></ul> <!--[1--><h2 class="relative group"><a id="decoder-models" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#decoder-models"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Decoder загварууд</span></h2><!--]--><!----> <iframe class="w-full xl:w-4/6 h-80" src="https://www.youtube-nocookie.com/embed/d_ixlCubqQw" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen=""></iframe><!----> <p>Decoder загварууд Transformer загварын зөвхөн decoder хэсгийг ашигладаг. Үе шат бүрд тухайн үгийн хувьд attention давхаргууд өгүүлбэр дотор түүний өмнө байрлах үгсэд л хандах боломжтой байдаг. Эдгээрийг ихэвчлэн <em>auto-regressive загварууд</em> гэж нэрлэдэг.</p> <p>Decoder загваруудын урьдчилан сургалт нь ихэвчлэн өгүүлбэрийн дараагийн үгийг таамаглахад тулгуурладаг.</p> <p>Эдгээр загвар нь текст үүсгэхтэй холбоотой даалгаварт хамгийн тохиромжтой.</p> <blockquote class="tip"><p>GPT шиг decoder загварууд нэг удаад нэг token таамаглах замаар текст үүсгэхээр бүтээгдсэн. <a href="https://huggingface.co/learn/llm-course/chapter1/5" rel="nofollow">🤗 Transformers даалгавруудыг хэрхэн шийддэг вэ?</a> хэсэгт судалсанчлан, тэд зөвхөн өмнөх token-уудыг харж чаддаг. Энэ нь тэднийг бүтээлч текст үүсгэхэд маш сайн болгодог ч хоёр чиглэлт ойлголт шаарддаг даалгаварт төдийлөн тохиромжтой биш болгодог.</p></blockquote> <p>Энэ бүлгийн загваруудын төлөөлөлд дараах загварууд орно:</p> <ul><li><a href="https://huggingface.co/HuggingFaceTB/SmolLM2-1.7B-Instruct" rel="nofollow">Hugging Face SmolLM Series</a></li> <li><a href="https://huggingface.co/docs/transformers/en/model_doc/llama4" rel="nofollow">Meta’s Llama Series</a></li> <li><a href="https://huggingface.co/docs/transformers/main/en/model_doc/gemma3" rel="nofollow">Google’s Gemma Series</a></li> <li><a href="https://huggingface.co/deepseek-ai/DeepSeek-V3" rel="nofollow">DeepSeek’s V3</a></li></ul> <!--[2--><h3 class="relative group"><a id="орчин-үеийн-том-хэлний-загварууд-llms" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#орчин-үеийн-том-хэлний-загварууд-llms"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Орчин үеийн том хэлний загварууд (LLMs)</span></h3><!--]--><!----> <p>Орчин үеийн ихэнх том хэлний загвар (LLMs) зөвхөн decoder бүхий архитектурыг ашигладаг. Сүүлийн хэдэн жилд эдгээр загварын хэмжээ, чадамж асар их өссөн бөгөөд хамгийн том загваруудын зарим нь хэдэн зуун тэрбум параметртэй болсон.</p> <p>Орчин үеийн LLM-үүдийг ихэвчлэн хоёр үе шаттайгаар сургадаг:</p> <ol><li><strong>Урьдчилан сургалт</strong>: Загвар асар их хэмжээний текст өгөгдөл дээр дараагийн token-ыг таамаглаж сурна</li> <li><strong>Заавар дагахад тохируулан сургах</strong>: Загварыг заавар дагаж, хэрэгтэй хариулт үүсгэдэг болгохын тулд нарийвчлан тохируулж сургана</li></ol> <p>Энэ арга нь олон төрлийн сэдэв, даалгаврын хүрээнд хүний бичсэнтэй төстэй текстийг ойлгож, үүсгэж чаддаг загварууд бий болоход хүргэсэн.</p> <!--[3--><h4 class="relative group"><a id="орчин-үеийн-llm-үүдийн-гол-чадамжууд" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#орчин-үеийн-llm-үүдийн-гол-чадамжууд"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Орчин үеийн LLM-үүдийн гол чадамжууд</span></h4><!--]--><!----> <p>Decoder-т суурилсан орчин үеийн LLM-үүд дараах гайхалтай чадамжуудыг харуулсан:</p> <table><thead><tr><th>Чадамж</th><th>Тайлбар</th><th>Жишээ</th></tr></thead><tbody><tr><td>Текст үүсгэх</td><td>Утгын уялдаатай, хам сэдэвт нийцсэн текст бүтээх</td><td>Эсээ, өгүүллэг, цахим захидал бичих</td></tr><tr><td>Хураангуйлах</td><td>Урт баримт бичгийг богино хувилбар болгон хураангуйлах</td><td>Тайлангийн удирдлагад зориулсан товч хураангуй гаргах</td></tr><tr><td>Орчуулах</td><td>Текстийг нэг хэлээс нөгөө хэл рүү хөрвүүлэх</td><td>Англи хэлээс испани хэл рүү орчуулах</td></tr><tr><td>Асуултад хариулах</td><td>Баримтад тулгуурласан асуултад хариулах</td><td>“Францын нийслэл юу вэ?”</td></tr><tr><td>Код үүсгэх</td><td>Кодын хэсэг бичих эсвэл гүйцээх</td><td>Тайлбарт үндэслэн функц бүтээх</td></tr><tr><td>Эргэцүүлэн бодох</td><td>Асуудлыг алхам алхмаар шийдэх</td><td>Математикийн бодлого эсвэл логикийн таавар бодох</td></tr><tr><td>Цөөн жишээнээс суралцах(few shot)</td><td>Промптод өгсөн цөөн жишээнээс суралцах</td><td>Ердөө 2–3 жишээ харсны дараа текст ангилах</td></tr></tbody></table> <p>Та Hub дээрх загварын репозиторийн хуудсаар дамжуулан decoder-т суурилсан LLM-үүдийг шууд хөтөч дотроо туршиж болно. Сонгодог <a href="https://huggingface.co/openai-community/gpt2" rel="nofollow">GPT-2</a> загварын жишээг энд үзүүлэв (OpenAI-ийн хамгийн шилдэг нээлттэй эхийн загвар!):</p> <a href="https://huggingface.co/openai-community/gpt2" target="_blank">View GPT-2 model on Hugging Face</a> <!--[1--><h2 class="relative group"><a id="sequence-to-sequence-models" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#sequence-to-sequence-models"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Sequence-to-sequence загварууд</span></h2><!--]--><!----> <iframe class="w-full xl:w-4/6 h-80" src="https://www.youtube-nocookie.com/embed/0_4KEb08xrE" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen=""></iframe><!----> <p>Encoder-decoder загварууд (<em>sequence-to-sequence models</em> гэж мөн нэрлэдэг) Transformer архитектурын хоёр хэсгийг хоёуланг нь ашигладаг. Үе шат бүрд encoder-ийн attention давхаргууд анхны өгүүлбэрийн бүх үгэнд хандаж чаддаг бол decoder-ийн attention давхаргууд оролт дахь тухайн үгийн өмнө байрлах үгсэд л хандах боломжтой.</p> <p>Эдгээр загварын урьдчилан сургалт янз бүрийн хэлбэртэй байж болох ч ихэвчлэн ямар нэгэн байдлаар эвдэж өөрчилсөн оролтоос өгүүлбэрийг сэргээн бүтээхэд тулгуурладаг (жишээлбэл, санамсаргүй үгсийг масклах). T5 загварын урьдчилан сургалтад текстийн санамсаргүй хэсгүүдийг (хэд хэдэн үг агуулж болно) нэг тусгай маск token-оор орлуулдаг. Дараа нь уг маск token-ны оронд байсан текстийг таамаглах даалгавар өгдөг.</p> <p>Дарааллаас дараалалд хувиргах загварууд нь өгөгдсөн оролтод үндэслэн шинэ өгүүлбэр үүсгэх даалгаварт хамгийн тохиромжтой. Үүнд хураангуйлах, орчуулах, эсвэл хариулт үүсгэх хэлбэрээр асуултад хариулах зэрэг орно.</p> <blockquote><p>[!TIP][🤗 Transformers даалгавруудыг хэрхэн шийддэг вэ?](<a href="https://huggingface.co/learn/llm-course/chapter1/5" rel="nofollow">https://huggingface.co/learn/llm-course/chapter1/5</a>) хэсэгт үзсэнчлэн, BART болон T5 зэрэг encoder-decoder загварууд хоёр архитектурын давуу талыг нэгтгэдэг. Encoder нь оролтыг хоёр чиглэлд гүнзгий ойлгодог бол decoder нь тохирох гаралтын текстийг үүсгэдэг. Энэ нь тэднийг орчуулга, хураангуйлах зэрэг нэг дарааллыг нөгөө дараалалд хувиргадаг даалгаварт нэн тохиромжтой болгодог.</p></blockquote> <!--[2--><h3 class="relative group"><a id="практик-хэрэглээ" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#практик-хэрэглээ"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Практик хэрэглээ</span></h3><!--]--><!----> <p>Дарааллаас дараалалд хувиргах загварууд нь утгыг хадгалангаа текстийг нэг хэлбэрээс нөгөө хэлбэрт хувиргах шаардлагатай даалгаварт сайн ажилладаг. Практик хэрэглээний зарим жишээ:</p> <table><thead><tr><th>Аппликейшн</th><th>Тайлбар</th><th>Загварын жишээ</th></tr></thead><tbody><tr><td>Машин орчуулга</td><td>Текстийг нэг хэлээс нөгөө хэл рүү хөрвүүлэх</td><td>Marian, T5</td></tr><tr><td>Текст хураангуйлах</td><td>Урт текстийн товч хураангуй үүсгэх</td><td>BART, T5</td></tr><tr><td>Өгөгдлөөс текст үүсгэх</td><td>Бүтэцтэй өгөгдлийг байгалийн хэл рүү хөрвүүлэх</td><td>T5</td></tr><tr><td>Хэлзүйн алдаа засах</td><td>Текст дэх хэлзүйн алдааг засах</td><td>T5</td></tr><tr><td>Асуултад хариулах</td><td>Хам сэдэвт үндэслэн хариулт үүсгэх</td><td>BART, T5</td></tr></tbody></table> <p>Орчуулгад зориулсан, sequence-to-sequence загварын интерактив туршилтыг энд үзүүлэв:</p> <iframe src="https://course-demos-speech-to-speech-translation.hf.space" frameborder="0" width="850" height="450"></iframe> <p>Энэ бүлгийн загваруудын төлөөлөлд дараах загварууд орно:</p> <ul><li><a href="https://huggingface.co/docs/transformers/model_doc/bart" rel="nofollow">BART</a></li> <li><a href="https://huggingface.co/docs/transformers/model_doc/mbart" rel="nofollow">mBART</a></li> <li><a href="https://huggingface.co/docs/transformers/model_doc/marian" rel="nofollow">Marian</a></li> <li><a href="https://huggingface.co/docs/transformers/model_doc/t5" rel="nofollow">T5</a></li></ul> <!--[1--><h2 class="relative group"><a id="choosing-the-right-architecture" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#choosing-the-right-architecture"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Тохирох архитектурыг сонгох нь</span></h2><!--]--><!----> <p>Байгалийн хэл боловсруулалтын (NLP) тодорхой даалгавар дээр ажиллахдаа аль архитектурыг ашиглахаа хэрхэн шийдэх вэ? Товч удирдамжийг энд үзүүлэв:</p> <table><thead><tr><th>Даалгавар</th><th>Санал болгох архитектур</th><th>Жишээнүүд</th></tr></thead><tbody><tr><td>Текст ангилах (сэтгэл хөдлөлийн өнгө аяс, сэдэв)</td><td>Encoder</td><td>BERT, RoBERTa</td></tr><tr><td>Текст үүсгэх (бүтээлч бичвэр)</td><td>Decoder</td><td>GPT, LLaMA</td></tr><tr><td>Орчуулах</td><td>Encoder-Decoder</td><td>T5, BART</td></tr><tr><td>Хураангуйлах</td><td>Encoder-Decoder</td><td>BART, T5</td></tr><tr><td>Нэрлэсэн нэгж таних</td><td>Encoder</td><td>BERT, RoBERTa</td></tr><tr><td>Асуултад хариулах (эхээс хариулт ялган авах)</td><td>Encoder</td><td>BERT, RoBERTa</td></tr><tr><td>Асуултад хариулах (хариулт үүсгэх)</td><td>Encoder-Decoder or Decoder</td><td>T5, GPT</td></tr><tr><td>Харилцан ярианы хиймэл оюун</td><td>Decoder</td><td>GPT, LLaMA</td></tr></tbody></table> <blockquote class="tip"><p>Аль загварыг ашиглахаа эргэлзэж байвал дараах зүйлсийг бодож үзээрэй:</p> <ol><li>Таны даалгаварт ямар төрлийн ойлголт хэрэгтэй вэ? (Хоёр чиглэлт үү, нэг чиглэлт үү?)</li> <li>Та шинэ текст үүсгэх үү, эсвэл байгаа текстэд дүн шинжилгээ хийх үү?</li> <li>Нэг дарааллыг нөгөө дараалалд хувиргах шаардлагатай юу?</li></ol> <p>Эдгээр асуултын хариулт тохирох архитектурыг сонгоход тань чиглүүлнэ.</p></blockquote> <!--[1--><h2 class="relative group"><a id="llm-үүдийн-хувьсал-хөгжил" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#llm-үүдийн-хувьсал-хөгжил"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>LLM-үүдийн хувьсал хөгжил</span></h2><!--]--><!----> <p>Сүүлийн жилүүдэд том хэлний загварууд хурдацтай хөгжиж, үе бүрд чадамж нь мэдэгдэхүйц сайжирсаар байна.</p> <!--[1--><h2 class="relative group"><a id="attention-mechanisms" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#attention-mechanisms"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Анхаарлын механизмууд</span></h2><!--]--><!----> <p>Ихэнх Transformer загварын attention матриц нь квадрат байдаг бөгөөд энэ утгаараа бүрэн attention-ийг ашигладаг. Урт тексттэй ажиллах үед энэ нь
тооцооллын томоохон саад болж болно. Longformer болон Reformer нь илүү үр ашигтай ажиллахыг зорьсон загварууд бөгөөд
сургалтыг хурдасгахын тулд attention матрицын сийрэг хувилбарыг ашигладаг.</p> <blockquote class="tip"><p>Стандарт attention механизмын тооцооллын нарийн төвөгтэй байдал (computational complexity) нь O(n²) байдаг бөгөөд энд n нь дарааллын урт юм. Энэ нь маш урт дараалалтай ажиллахад асуудал үүсгэдэг. Доорх тусгай attention механизмууд энэ хязгаарлалтыг шийдвэрлэхэд тусалдаг.</p></blockquote> <!--[2--><h3 class="relative group"><a id="lsh-анхаарал" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#lsh-анхаарал"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>LSH анхаарал</span></h3><!--]--><!----> <p><a href="https://huggingface.co/docs/transformers/model_doc/reformer" rel="nofollow">Reformer</a> нь LSH attention ашигладаг. Softmax(QK^t)-д QK^t матрицын зөвхөн хамгийн том элементүүд (softmax хэмжээсийн дагуу) л ашигтай хувь нэмэр оруулна. Тиймээс Q доторх query q бүрийн хувьд
K доторх q-тэй ойр байгаа key k-уудыг л авч үзэж болно. q болон k ойр эсэхийг тодорхойлохын тулд hash функц ашигладаг. Attention mask-ийг
одоогийн token-ыг (эхний байрлалаас бусад тохиолдолд) масклахаар өөрчилдөг, учир нь тэр нь хоорондоо тэнцүү query болон key-г (тиймээс
бие биетэйгээ маш төстэй) үүсгэнэ. Hash нь бага зэрэг санамсаргүй байж болох тул практикт хэд хэдэн hash функц ашигладаг
(n_rounds параметрээр тодорхойлогдоно), дараа нь тэдгээрийн дундажийг авдаг.</p> <!--[2--><h3 class="relative group"><a id="local-attention" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#local-attention"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Local attention</span></h3><!--]--><!----> <p><a href="https://huggingface.co/docs/transformers/model_doc/longformer" rel="nofollow">Longformer</a> нь local attention ашигладаг: ихэнхдээ тухайн token-ны хувьд шийдвэр гаргахад ойрын контекст (жишээ нь, зүүн болон баруун талын хоёр token юу вэ?) хангалттай байдаг. Мөн жижиг
цонхтой attention давхаргуудыг давхарлан байрлуулснаар сүүлийн давхаргын рецептив талбар (receptive field) нь зөвхөн цонх доторх token-уудаас илүү өргөн болж, бүтэн өгүүлбэрийн
дүрслэлийг (representation) бий болгох боломжийг олгодог.</p> <p>Урьдчилан сонгосон зарим оролтын token-уудад мөн global attention өгдөг: эдгээр цөөн token-уудын хувьд attention матриц нь
бүх token-д хандах боломжтой бөгөөд энэ үйл явц тэгш хэмтэй: бусад бүх token-ууд ч эдгээр тусгай token-уудад хандах боломжтой (өөрийн local цонх доторх token-уудаас
гадна). Үүнийг өгүүллийн Figure 2d-д харуулсан бөгөөд доор attention mask-ийн жишээг үзнэ үү:</p> <div class="flex justify-center"><img scale="50 %" align="center" src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/local_attention_mask.png"/></div> <p>Ингэж цөөн параметртэй attention матриц ашигласнаар загвар илүү урт дараалалтай оролт
хүлээн авах боломжтой болдог.</p> <!--[2--><h3 class="relative group"><a id="тэнхлэгийн-байрлалын-кодчилол" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#тэнхлэгийн-байрлалын-кодчилол"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Тэнхлэгийн байрлалын кодчилол</span></h3><!--]--><!----> <p><a href="https://huggingface.co/docs/transformers/model_doc/reformer" rel="nofollow">Reformer</a> нь тэнхлэгийн байрлалын кодчиллыг ашигладаг: уламжлалт Transformer загваруудад байрлалын кодчилол
E нь<!----><span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>l</mi></mrow><annotation encoding="application/x-tex">l</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal" style="margin-right:0.0197em;">l</span></span></span></span><!----> мөр,<!----><span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>d</mi></mrow><annotation encoding="application/x-tex">d</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal">d</span></span></span></span><!----> баганатай матриц байдаг. Энд<!----><span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>l</mi></mrow><annotation encoding="application/x-tex">l</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal" style="margin-right:0.0197em;">l</span></span></span></span><!----> нь дарааллын урт,<!----><span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>d</mi></mrow><annotation encoding="application/x-tex">d</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal">d</span></span></span></span><!----> нь
hidden state-ийн хэмжээс юм. Маш урт тексттэй үед энэ матриц асар том болж, GPU дээр хэт их зай эзэлж болно. Үүнийг багасгахын тулд
тэнхлэгийн байрлалын кодчилол нь том E матрицыг хоёр жижиг E1, E2 матриц болгон задалдаг. Эдгээр нь<!----><span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>l</mi><mn>1</mn></msub><mo>×</mo><msub><mi>d</mi><mn>1</mn></msub></mrow><annotation encoding="application/x-tex">l_{1} \times d_{1}</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal" style="margin-right:0.0197em;">l</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:-0.0197em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">1</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">×</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal">d</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:0em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">1</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span></span></span></span><!----> болон<!----><span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>l</mi><mn>2</mn></msub><mo>×</mo><msub><mi>d</mi><mn>2</mn></msub></mrow><annotation encoding="application/x-tex">l_{2} \times d_{2}</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal" style="margin-right:0.0197em;">l</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:-0.0197em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">2</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">×</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal">d</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:0em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">2</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span></span></span></span><!----> хэмжээтэй бөгөөд<!----><span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>l</mi><mn>1</mn></msub><mo>×</mo><msub><mi>l</mi><mn>2</mn></msub><mo>=</mo><mi>l</mi></mrow><annotation encoding="application/x-tex">l_{1} \times l_{2} = l</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal" style="margin-right:0.0197em;">l</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:-0.0197em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">1</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">×</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal" style="margin-right:0.0197em;">l</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:-0.0197em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">2</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2778em;"></span><span class="mrel">=</span><span class="mspace" style="margin-right:0.2778em;"></span></span><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal" style="margin-right:0.0197em;">l</span></span></span></span><!---->,<!----><span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>d</mi><mn>1</mn></msub><mo>+</mo><msub><mi>d</mi><mn>2</mn></msub><mo>=</mo><mi>d</mi></mrow><annotation encoding="application/x-tex">d_{1} + d_{2} = d</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal">d</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:0em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">1</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">+</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal">d</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:0em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">2</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2778em;"></span><span class="mrel">=</span><span class="mspace" style="margin-right:0.2778em;"></span></span><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal">d</span></span></span></span><!----> байна (уртуудыг үржүүлж тооцдог тул нийт хэмжээ нь хавьгүй бага болдог). E матриц дахь<!----><span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>j</mi></mrow><annotation encoding="application/x-tex">j</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.854em;vertical-align:-0.1944em;"></span><span class="mord mathnormal" style="margin-right:0.0572em;">j</span></span></span></span><!----> хугацааны алхмын эмбеддингийг E1 дэх<!----><span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>j</mi><mi mathvariant="normal">%</mi><mi>l</mi><mn>1</mn></mrow><annotation encoding="application/x-tex">j \% l1</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.9444em;vertical-align:-0.1944em;"></span><span class="mord mathnormal" style="margin-right:0.0572em;">j</span><span class="mord">%</span><span class="mord mathnormal" style="margin-right:0.0197em;">l</span><span class="mord">1</span></span></span></span><!----> хугацааны алхмын эмбеддинг болон E2 дахь<!----><span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>j</mi><mi mathvariant="normal">/</mi><mi mathvariant="normal">/</mi><mi>l</mi><mn>1</mn></mrow><annotation encoding="application/x-tex">j // l1</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:1em;vertical-align:-0.25em;"></span><span class="mord mathnormal" style="margin-right:0.0572em;">j</span><span class="mord">//</span><span class="mord mathnormal" style="margin-right:0.0197em;">l</span><span class="mord">1</span></span></span></span><!----> хугацааны алхмын эмбеддингийг залгаж нэгтгэх замаар гарган авдаг.</p> <!--[1--><h2 class="relative group"><a id="conclusion" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#conclusion"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Дүгнэлт</span></h2><!--]--><!----> <p>Энэ хэсэгт бид Transformer-ийн гурван үндсэн архитектур болон зарим тусгай attention механизмуудыг судаллаа. Эдгээр архитектурын ялгааг ойлгох нь өөрийн тодорхой NLP даалгаварт тохирох загварыг сонгоход маш чухал.</p> <p>Курсийн цаашдын хэсгүүдэд та эдгээр өөр өөр архитектуруудтай бодитоор ажиллаж, тэдгээрийг өөрийн хэрэгцээнд тохируулан fine-tune хийж сурах болно. Дараагийн хэсэгт бид эдгээр загваруудыг ашиглахдаа анхаарах ёстой хязгаарлалт болон хэвшмэл хандлагыг (bias) авч үзнэ.</p> <a class="!text-gray-400 !no-underline text-sm flex items-center not-prose mt-4" href="https://github.com/huggingface/course/blob/main/chapters/mn/chapter1/6.mdx" target="_blank"><svg class="mr-1" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M31,16l-7,7l-1.41-1.41L28.17,16l-5.58-5.59L24,9l7,7z"></path><path d="M1,16l7-7l1.41,1.41L3.83,16l5.58,5.59L8,23l-7-7z"></path><path d="M12.419,25.484L17.639,6.552l1.932,0.518L14.351,26.002z"></path></svg><!----> <span><span class="underline">Update</span> on GitHub</span></a><!----> <p></p><!--]--><!----><!--]--><!--]--><!--]--> <!--[-1--><!--]--><!--]-->
<script>
{
__sveltekit_wf1ozj = {
base: "/docs/course/pr_1373/mn",
assets: "/docs/course/pr_1373/mn"
};
const element = document.currentScript.parentElement;
Promise.all([
import("/docs/course/pr_1373/mn/_app/immutable/entry/start.BcQNL8Iq.js"),
import("/docs/course/pr_1373/mn/_app/immutable/entry/app.DtWVLBJm.js")
]).then(([kit, app]) => {
kit.start(app, element, {
node_ids: [0, 10],
data: [null,null],
form: null,
error: null
});
});
}
</script>

Xet Storage Details

Size:
62 kB
·
Xet hash:
96ba1cd47b47ee1cef1a297962c251f8473b9cb2b07241977b19a0ae55e54b8b

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.