Buckets:
| <meta charset="utf-8" /><meta name="hf:doc:metadata" content="{"title":"LLM-ээр текст үүсгэх inference-ийн (Text Generation Inference) гүнзгий судалгаа","local":"inference-with-llms","sections":[{"title":"Үндсийг ойлгох","local":"үндсийг-ойлгох","sections":[],"depth":2},{"title":"Attention-ийн үүрэг","local":"attention-ийн-үүрэг","sections":[{"title":"Контекстийн урт ба анхаарлын хүрээ","local":"контекстийн-урт-ба-анхаарлын-хүрээ","sections":[],"depth":3},{"title":"Prompt бичих урлаг","local":"prompt-бичих-урлаг","sections":[],"depth":3}],"depth":2},{"title":"Хоёр үе шаттай inference-ийн процесс","local":"хоёр-үе-шаттай-inference-ийн-процесс","sections":[{"title":"Prefill үе шат","local":"prefill-үе-шат","sections":[],"depth":3},{"title":"Decode үе шат","local":"decode-үе-шат","sections":[],"depth":3}],"depth":2},{"title":"Sampling стратегиуд","local":"sampling-стратегиуд","sections":[{"title":"Token сонголтыг ойлгох: Магадлалаас token сонголт хүртэл","local":"token-сонголтыг-ойлгох-магадлалаас-token-сонголт-хүртэл","sections":[],"depth":3},{"title":"Давталтыг удирдах: Гаралтыг шинэлэг байлгах","local":"давталтыг-удирдах-гаралтыг-шинэлэг-байлгах","sections":[],"depth":3},{"title":"Үүсгэлтийн уртыг удирдах: Хязгаар тогтоох","local":"үүсгэлтийн-уртыг-удирдах-хязгаар-тогтоох","sections":[],"depth":3},{"title":"Beam Search: Илүү уялдаатай байхын тулд урагш харах","local":"beam-search-илүү-уялдаатай-байхын-тулд-урагш-харах","sections":[],"depth":3}],"depth":2},{"title":"Практик бэрхшээлүүд ба оновчлол","local":"практик-бэрхшээлүүд-ба-оновчлол","sections":[{"title":"Гүйцэтгэлийн гол үзүүлэлтүүд","local":"гүйцэтгэлийн-гол-үзүүлэлтүүд","sections":[],"depth":3},{"title":"Контекстийн уртын бэрхшээл","local":"контекстийн-уртын-бэрхшээл","sections":[],"depth":3},{"title":"KV Cache оновчлол","local":"kv-cache-оновчлол","sections":[],"depth":3}],"depth":2},{"title":"Дүгнэлт","local":"дүгнэлт","sections":[],"depth":2}],"depth":1}"/> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/entry/start.BcQNL8Iq.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/U0EHjKy1.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/DKDXYq1_.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/entry/app.DtWVLBJm.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/D2f8-tK6.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/BPbkyPU9.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/CKY-anE-.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/DsnmJJEf.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/nodes/0.CgwB3QdE.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/CO2lc5xK.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/nodes/12.CeTTZf-6.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/CE_yRjBv.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/C8-_hnt5.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/DwwhCVvr.js" rel="modulepreload"> | |
| <!--pfufg8--><meta name="hf:doc:metadata" content="{"title":"LLM-ээр текст үүсгэх inference-ийн (Text Generation Inference) гүнзгий судалгаа","local":"inference-with-llms","sections":[{"title":"Үндсийг ойлгох","local":"үндсийг-ойлгох","sections":[],"depth":2},{"title":"Attention-ийн үүрэг","local":"attention-ийн-үүрэг","sections":[{"title":"Контекстийн урт ба анхаарлын хүрээ","local":"контекстийн-урт-ба-анхаарлын-хүрээ","sections":[],"depth":3},{"title":"Prompt бичих урлаг","local":"prompt-бичих-урлаг","sections":[],"depth":3}],"depth":2},{"title":"Хоёр үе шаттай inference-ийн процесс","local":"хоёр-үе-шаттай-inference-ийн-процесс","sections":[{"title":"Prefill үе шат","local":"prefill-үе-шат","sections":[],"depth":3},{"title":"Decode үе шат","local":"decode-үе-шат","sections":[],"depth":3}],"depth":2},{"title":"Sampling стратегиуд","local":"sampling-стратегиуд","sections":[{"title":"Token сонголтыг ойлгох: Магадлалаас token сонголт хүртэл","local":"token-сонголтыг-ойлгох-магадлалаас-token-сонголт-хүртэл","sections":[],"depth":3},{"title":"Давталтыг удирдах: Гаралтыг шинэлэг байлгах","local":"давталтыг-удирдах-гаралтыг-шинэлэг-байлгах","sections":[],"depth":3},{"title":"Үүсгэлтийн уртыг удирдах: Хязгаар тогтоох","local":"үүсгэлтийн-уртыг-удирдах-хязгаар-тогтоох","sections":[],"depth":3},{"title":"Beam Search: Илүү уялдаатай байхын тулд урагш харах","local":"beam-search-илүү-уялдаатай-байхын-тулд-урагш-харах","sections":[],"depth":3}],"depth":2},{"title":"Практик бэрхшээлүүд ба оновчлол","local":"практик-бэрхшээлүүд-ба-оновчлол","sections":[{"title":"Гүйцэтгэлийн гол үзүүлэлтүүд","local":"гүйцэтгэлийн-гол-үзүүлэлтүүд","sections":[],"depth":3},{"title":"Контекстийн уртын бэрхшээл","local":"контекстийн-уртын-бэрхшээл","sections":[],"depth":3},{"title":"KV Cache оновчлол","local":"kv-cache-оновчлол","sections":[],"depth":3}],"depth":2},{"title":"Дүгнэлт","local":"дүгнэлт","sections":[],"depth":2}],"depth":1}"/><!----> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/assets/0.tn0RQdqM.css" rel="modulepreload"> <!--[--><!--[0--><!--[--><!--[0--><!--[--><p></p> <div class="items-center shrink-0 min-w-[100px] max-sm:min-w-[50px] justify-end ml-auto flex" style="float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"><div class="inline-flex rounded-md max-sm:rounded-sm"><button class="inline-flex items-center gap-1 h-7 max-sm:h-7 px-2 max-sm:px-1.5 text-sm font-medium text-gray-800 border border-r-0 rounded-l-md max-sm:rounded-l-sm border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-live="polite"><span class="inline-flex items-center justify-center rounded-md p-0.5 max-sm:p-0 hover:text-gray-800 dark:hover:text-gray-200"><svg class="sm:size-3.5 size-3" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----></span> <span>Copy page</span></button> <button class="inline-flex items-center justify-center w-6 max-sm:w-5 h-7 max-sm:h-7 disabled:pointer-events-none text-sm text-gray-500 hover:text-gray-700 dark:hover:text-white rounded-r-md max-sm:rounded-r-sm border border-l transition border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-haspopup="menu" aria-expanded="false" aria-label="Open copy menu"><svg class="transition-transform text-gray-400 overflow-visible sm:size-3.5 size-3 rotate-0" width="1em" height="1em" viewBox="0 0 12 7" fill="none" xmlns="http://www.w3.org/2000/svg"><path d="M1 1L6 6L11 1" stroke="currentColor"></path></svg><!----></button></div> <!--[-1--><!--]--></div><!----> <!--[0--><h1 class="relative group"><a id="inference-with-llms" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#inference-with-llms"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>LLM-ээр текст үүсгэх inference-ийн (Text Generation Inference) гүнзгий судалгаа</span></h1><!--]--><!----> <div class="flex space-x-1 absolute z-10 right-0 top-0"><a href="https://discuss.huggingface.co/t/chapter-1-questions" target="_blank"><img alt="Ask a Question" class="!m-0" src="https://img.shields.io/badge/Ask%20a%20question-ffcb4c.svg?logo=data:image/svg+xml;base64,PHN2ZyB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciIHZpZXdCb3g9IjAgLTEgMTA0IDEwNiI+PGRlZnM+PHN0eWxlPi5jbHMtMXtmaWxsOiMyMzFmMjA7fS5jbHMtMntmaWxsOiNmZmY5YWU7fS5jbHMtM3tmaWxsOiMwMGFlZWY7fS5jbHMtNHtmaWxsOiMwMGE5NGY7fS5jbHMtNXtmaWxsOiNmMTVkMjI7fS5jbHMtNntmaWxsOiNlMzFiMjM7fTwvc3R5bGU+PC9kZWZzPjx0aXRsZT5EaXNjb3Vyc2VfbG9nbzwvdGl0bGU+PGcgaWQ9IkxheWVyXzIiPjxnIGlkPSJMYXllcl8zIj48cGF0aCBjbGFzcz0iY2xzLTEiIGQ9Ik01MS44NywwQzIzLjcxLDAsMCwyMi44MywwLDUxYzAsLjkxLDAsNTIuODEsMCw1Mi44MWw1MS44Ni0uMDVjMjguMTYsMCw1MS0yMy43MSw1MS01MS44N1M4MCwwLDUxLjg3LDBaIi8+PHBhdGggY2xhc3M9ImNscy0yIiBkPSJNNTIuMzcsMTkuNzRBMzEuNjIsMzEuNjIsMCwwLDAsMjQuNTgsNjYuNDFsLTUuNzIsMTguNEwzOS40LDgwLjE3YTMxLjYxLDMxLjYxLDAsMSwwLDEzLTYwLjQzWiIvPjxwYXRoIGNsYXNzPSJjbHMtMyIgZD0iTTc3LjQ1LDMyLjEyYTMxLjYsMzEuNiwwLDAsMS0zOC4wNSw0OEwxOC44Niw4NC44MmwyMC45MS0yLjQ3QTMxLjYsMzEuNiwwLDAsMCw3Ny40NSwzMi4xMloiLz48cGF0aCBjbGFzcz0iY2xzLTQiIGQ9Ik03MS42MywyNi4yOUEzMS42LDMxLjYsMCwwLDEsMzguOCw3OEwxOC44Niw4NC44MiwzOS40LDgwLjE3QTMxLjYsMzEuNiwwLDAsMCw3MS42MywyNi4yOVoiLz48cGF0aCBjbGFzcz0iY2xzLTUiIGQ9Ik0yNi40Nyw2Ny4xMWEzMS42MSwzMS42MSwwLDAsMSw1MS0zNUEzMS42MSwzMS42MSwwLDAsMCwyNC41OCw2Ni40MWwtNS43MiwxOC40WiIvPjxwYXRoIGNsYXNzPSJjbHMtNiIgZD0iTTI0LjU4LDY2LjQxQTMxLjYxLDMxLjYxLDAsMCwxLDcxLjYzLDI2LjI5YTMxLjYxLDMxLjYxLDAsMCwwLTQ5LDM5LjYzbC0zLjc2LDE4LjlaIi8+PC9nPjwvZz48L3N2Zz4="/></a><!----> <!--[-1--><!--]--> <!--[-1--><!--]--></div><!----> <iframe class="w-full xl:w-4/6 h-80" src="https://www.youtube-nocookie.com/embed/Xp2w1_LKZN4" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen=""></iframe><!----> <p>Одоог хүртэл бид transformer архитектурыг текст ангилах эсвэл хураангуйлах гэх мэт тодорхой даалгавруудтай холбон судаллаа. Гэвч Том хэлний загварууд (Large Language Models) ихэвчлэн текст үүсгэхэд ашиглагддаг бөгөөд энэ бүлэгт бид яг үүнийг судлах болно.</p> <p>Энэ хуудсанд бид LLM-ийн inference-ийн үндсэн ойлголтуудыг судалж, эдгээр загварууд хэрхэн текст үүсгэдэг болон inference-ийн процесст оролцдог гол бүрэлдэхүүн хэсгүүдийн талаар иж бүрэн ойлголт өгөх болно.</p> <!--[1--><h2 class="relative group"><a id="үндсийг-ойлгох" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#үндсийг-ойлгох"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Үндсийг ойлгох</span></h2><!--]--><!----> <p>Үндсээс нь эхэлцгээе. Inference (загвараар таамаглал гаргах) гэдэг нь сургагдсан LLM-ийг ашиглан өгөгдсөн оролтын prompt-оос хүний бичсэнтэй адил текст үүсгэх процесс юм. Хэлний загварууд сургалтаас олж авсан мэдлэгээ ашиглан хариултаа нэг үгээр дараалан бүрдүүлдэг. Загвар нь тэрбум тэрбумаар тоологдох параметрээс суралцсан магадлалуудыг ашиглан дараалал дахь дараагийн token-ыг таамаглаж, үүсгэдэг. Ийм дараалсан үүсгэлт нь LLM-д уялдаа холбоотой, контекстэд тохирсон текст гаргах боломжийг олгодог.</p> <!--[1--><h2 class="relative group"><a id="attention-ийн-үүрэг" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#attention-ийн-үүрэг"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Attention-ийн үүрэг</span></h2><!--]--><!----> <p>Attention механизм нь LLM-д контекстийг ойлгож, уялдаа холбоотой хариулт үүсгэх чадварыг өгдөг. Дараагийн үгийг таамаглахад өгүүлбэр дэх бүх үг ижил ач холбогдолтой байдаггүй - жишээлбэл, <em>“Францын нийслэл бол …”</em> гэсэн өгүүлбэрт “Франц” болон “нийслэл” гэсэн үгс дараа нь “Парис” ирэх ёстойг тодорхойлоход маш чухал. Холбогдох мэдээлэлд анхаарлаа төвлөрүүлэх энэ чадварыг бид attention гэж нэрлэдэг.</p> <img src="https://huggingface.co/datasets/agents-course/course-images/resolve/main/en/unit1/AttentionSceneFinal.gif" alt="Visual Gif of Attention" width="60%"/> <p>Дараагийн token-ыг таамаглахын тулд хамгийн чухал үгсийг тодорхойлох энэ процесс туйлын үр дүнтэй болох нь батлагдсан. LLM-ийг сургах үндсэн зарчим буюу дараагийн token-ыг таамаглах нь BERT болон GPT-2-оос хойш ерөнхийдөө өөрчлөгдөөгүй ч мэдрэлийн сүлжээг томруулах, attention механизмыг улам урт дарааллууд дээр улам бага зардлаар ажиллуулах тал дээр томоохон ахиц дэвшил гарсан.</p> <blockquote class="tip"><p>Товчхондоо, attention механизм нь LLM-ийг уялдаа холбоотой бөгөөд контекстийг харгалзсан текст үүсгэх боломжтой болгодог гол түлхүүр юм. Энэ нь орчин үеийн LLM-ийг өмнөх үеийн хэлний загваруудаас ялгаруулдаг.</p></blockquote> <!--[2--><h3 class="relative group"><a id="контекстийн-урт-ба-анхаарлын-хүрээ" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#контекстийн-урт-ба-анхаарлын-хүрээ"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Контекстийн урт ба анхаарлын хүрээ</span></h3><!--]--><!----> <p>Attention-ийг ойлгосон тул одоо LLM хэр их контекстийг боловсруулж чадахыг судалцгаая. Энэ нь биднийг контекстийн урт буюу загварын ‘анхаарлын хүрээ’ (attention span) рүү хөтөлнө.</p> <p>Контекстийн урт (context length) гэдэг нь LLM нэг дор боловсруулж чадах token-ны (үг эсвэл үгийн хэсэг) хамгийн их тоо юм. Үүнийг загварын ажлын санах ойн хэмжээ гэж төсөөлж болно.</p> <p>Эдгээр чадвар нь хэд хэдэн практик хүчин зүйлээр хязгаарлагддаг:</p> <ul><li>Загварын архитектур ба хэмжээ</li> <li>Боломжит тооцооллын нөөц</li> <li>Оролт болон хүссэн гаралтын нарийн төвөгтэй байдал</li></ul> <p>Хамгийн тохиромжтой нөхцөлд бид загварт хязгааргүй контекст өгч болох байсан ч техник хангамжийн хязгаарлалт болон тооцооллын зардал үүнийг бодит бус болгодог. Ийм учраас чадвар болон үр ашгийг тэнцвэржүүлэхийн тулд өөр өөр загварууд өөр өөр контекстийн урттай зохиогддог.</p> <blockquote class="tip"><p>Контекстийн урт гэдэг нь хариулт үүсгэхдээ загварын нэг дор харгалзан үзэж чадах token-ны хамгийн их тоо юм.</p></blockquote> <!--[2--><h3 class="relative group"><a id="prompt-бичих-урлаг" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#prompt-бичих-урлаг"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Prompt бичих урлаг</span></h3><!--]--><!----> <p>Бид LLM-д мэдээлэл дамжуулахдаа оролтоо LLM-ийн үүсгэлтийг хүссэн гаралт руу чиглүүлэхүйц байдлаар бүтэцжүүлдэг. Үүнийг <em>prompting</em> гэж нэрлэдэг.</p> <p>LLM мэдээллийг хэрхэн боловсруулдгийг ойлгох нь илүү сайн prompt бичихэд тусалдаг. Загварын үндсэн үүрэг бол оролтын token бүрийн ач холбогдлыг шинжлэн дараагийн token-ыг таамаглах явдал тул таны оролтын дарааллын үг хэллэг маш чухал болдог.</p> <blockquote class="tip"><p>Prompt-ыг анхааралтай зохиох нь <strong>LLM-ийн үүсгэлтийг хүссэн гаралт руу чиглүүлэхийг</strong> хялбар болгодог.</p></blockquote> <!--[1--><h2 class="relative group"><a id="хоёр-үе-шаттай-inference-ийн-процесс" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#хоёр-үе-шаттай-inference-ийн-процесс"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Хоёр үе шаттай inference-ийн процесс</span></h2><!--]--><!----> <p>Үндсэн бүрэлдэхүүн хэсгүүдийг ойлгосон тул одоо LLM хэрхэн бодитоор текст үүсгэдгийг гүнзгий судалцгаая. Энэ процессыг prefill болон decode гэсэн хоёр үндсэн үе шатад хувааж болно. Эдгээр үе шатууд угсралтын шугам шиг хамтран ажилладаг бөгөөд тус бүр нь уялдаа холбоотой текст үүсгэхэд чухал үүрэг гүйцэтгэдэг.</p> <!--[2--><h3 class="relative group"><a id="prefill-үе-шат" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#prefill-үе-шат"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Prefill үе шат</span></h3><!--]--><!----> <p>Prefill үе шат нь хоол хийхийн бэлтгэл шаттай адил - бүх анхны орц найрлагыг боловсруулж, бэлэн болгодог шат юм. Энэ үе шат гурван гол алхамтай:</p> <ol><li><strong>Tokenization</strong>: Оролтын текстийг token болгон хувиргах (эдгээрийг загварын ойлгодог үндсэн барилгын блокууд гэж төсөөлөөрэй)</li> <li><strong>Embedding хувиргалт</strong>: Эдгээр token-ыг утгыг нь илэрхийлэх тоон дүрслэл болгон хувиргах</li> <li><strong>Анхан шатны боловсруулалт</strong>: Эдгээр embedding-ийг загварын мэдрэлийн сүлжээгээр дамжуулж, контекстийн талаар баялаг ойлголт бий болгох</li></ol> <p>Энэ үе шат нь бүх оролтын token-ыг нэг дор боловсруулах шаардлагатай тул тооцооллын хувьд их ачаалалтай. Үүнийг хариулт бичиж эхлэхээсээ өмнө бүтэн догол мөрийг уншиж, ойлгохтой адил гэж төсөөлж болно.</p> <p>Доорх интерактив playground дээр өөр өөр tokenizer-уудыг туршиж үзэж болно:</p> <iframe src="https://agents-course-the-tokenizer-playground.static.hf.space" frameborder="0" width="850" height="450"></iframe> <!--[2--><h3 class="relative group"><a id="decode-үе-шат" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#decode-үе-шат"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Decode үе шат</span></h3><!--]--><!----> <p>Prefill үе шат оролтыг боловсруулсны дараа бид decode үе шат руу шилждэг - бодит текст үүсгэлт энд явагддаг. Загвар нь autoregressive процесс (шинэ token бүр өмнөх бүх token-оос хамаардаг) гэж нэрлэгддэг аргаар нэг удаад нэг token үүсгэдэг.</p> <p>Decode үе шат нь шинэ token бүрийн хувьд явагддаг хэд хэдэн гол алхамтай:</p> <ol><li><strong>Attention тооцоолол</strong>: Контекстийг ойлгохын тулд өмнөх бүх token-ыг эргэн харах</li> <li><strong>Магадлалын тооцоолол</strong>: Боломжит дараагийн token бүрийн магадлалыг тодорхойлох</li> <li><strong>Token сонголт</strong>: Эдгээр магадлал дээр үндэслэн дараагийн token-ыг сонгох</li> <li><strong>Үргэлжлүүлэх эсэхийг шалгах</strong>: Үүсгэлтийг үргэлжлүүлэх эсвэл зогсоохыг шийдэх</li></ol> <p>Загвар нь өмнө нь үүсгэсэн бүх token болон тэдгээрийн хоорондын хамаарлыг хадгалж байх шаардлагатай тул энэ үе шат санах ойн хувьд их ачаалалтай.</p> <!--[1--><h2 class="relative group"><a id="sampling-стратегиуд" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#sampling-стратегиуд"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Sampling стратегиуд</span></h2><!--]--><!----> <p>Загвар хэрхэн текст үүсгэдгийг ойлгосон тул одоо энэ үүсгэлтийн процессыг удирдах янз бүрийн аргуудыг судалцгаая. Зохиолч илүү бүтээлч эсвэл илүү нарийвчлалтай байхыг сонгож болдогтой адил бид загвар token-оо хэрхэн сонгохыг тохируулж болно.</p> <p>Та SmolLM2 ашиглан үндсэн decoding процесстой энэ Space дээр өөрөө харилцаж үзэж болно (энэ загвар <strong>EOS</strong> token буюу <strong><|im_end|></strong>-д хүртэл decode хийдгийг санаарай):</p> <iframe src="https://agents-course-decoding-visualizer.hf.space" frameborder="0" width="850" height="450"></iframe> <!--[2--><h3 class="relative group"><a id="token-сонголтыг-ойлгох-магадлалаас-token-сонголт-хүртэл" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#token-сонголтыг-ойлгох-магадлалаас-token-сонголт-хүртэл"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Token сонголтыг ойлгох: Магадлалаас token сонголт хүртэл</span></h3><!--]--><!----> <p>Загвар дараагийн token-ыг сонгох шаардлагатай үед толь бичгийнхээ үг бүрийн хувьд түүхий магадлалуудаас (logits гэж нэрлэдэг) эхэлдэг. Гэхдээ бид эдгээр магадлалыг хэрхэн бодит сонголт болгох вэ? Процессыг задлан үзье:</p> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/inference/1.png" alt="image"/></p> <ol><li><strong>Түүхий Logits</strong>: Эдгээрийг боломжит дараагийн үг бүрийн талаарх загварын анхны зөн совин гэж төсөөлөөрэй</li> <li><strong>Temperature удирдлага</strong>: Бүтээлч байдлын бариул шиг - өндөр утга (>1.0) сонголтыг илүү санамсаргүй, бүтээлч болгож, бага утга (<1.0) илүү төвлөрсөн, детерминист болгодог</li> <li><strong>Top-p (Nucleus) Sampling</strong>: Бүх боломжит үгийг авч үзэхийн оронд бид зөвхөн нийлбэр нь сонгосон магадлалын босгод (жишээ нь дээд 90%) хүрэх хамгийн магадлалтай үгсийг л харна</li> <li><strong>Top-k шүүлт</strong>: Зөвхөн хамгийн магадлалтай k дараагийн үгийг авч үздэг өөр арга</li></ol> <!--[2--><h3 class="relative group"><a id="давталтыг-удирдах-гаралтыг-шинэлэг-байлгах" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#давталтыг-удирдах-гаралтыг-шинэлэг-байлгах"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Давталтыг удирдах: Гаралтыг шинэлэг байлгах</span></h3><!--]--><!----> <p>LLM-ийн нийтлэг бэрхшээлүүдийн нэг бол өөрийгөө давтах хандлага юм - яг л нэг санаа руугаа дахин дахин эргэж ирдэг илтгэгч шиг. Үүнийг шийдэхийн тулд бид хоёр төрлийн торгууль (penalty) ашигладаг:</p> <ol><li><strong>Presence Penalty</strong>: Өмнө нь гарч ирсэн аливаа token-д хэдэн удаа гарснаас үл хамааран тогтмол торгууль ногдуулна. Энэ нь загварыг ижил үгсийг дахин ашиглахаас сэргийлэхэд тусалдаг.</li> <li><strong>Frequency Penalty</strong>: Token хэр олон удаа ашиглагдсанаас хамааран нэмэгддэг торгууль. Үг хэдий чинээ олон гарна, дахин сонгогдох магадлал нь төдий чинээ буурна.</li></ol> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/inference/2.png" alt="image"/></p> <p>Эдгээр торгуулийг token сонголтын процессын эхэнд, бусад sampling стратеги хэрэглэгдэхээс өмнө түүхий магадлалуудыг тохируулах замаар хэрэглэдэг. Эдгээрийг загварыг шинэ үгсийг туршихад зөөлөн түлхэц өгөх зүйл гэж төсөөлж болно.</p> <!--[2--><h3 class="relative group"><a id="үүсгэлтийн-уртыг-удирдах-хязгаар-тогтоох" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#үүсгэлтийн-уртыг-удирдах-хязгаар-тогтоох"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Үүсгэлтийн уртыг удирдах: Хязгаар тогтоох</span></h3><!--]--><!----> <p>Сайн түүх зөв хэмнэл, урттай байх шаардлагатай байдгийн адил бид LLM-ийн хэр их текст үүсгэхийг удирдах арга хэрэгтэй. Энэ нь практик хэрэглээнд маш чухал - бид твит хэмжээний хариулт үүсгэж байна уу эсвэл бүтэн блог пост уу гэдгээс үл хамааран.</p> <p>Бид үүсгэлтийн уртыг хэд хэдэн аргаар удирдаж болно:</p> <ol><li><strong>Token хязгаар</strong>: Token-ны хамгийн бага болон хамгийн их тоог тогтоох</li> <li><strong>Stop Sequences</strong>: Үүсгэлтийн төгсгөлийг илтгэх тодорхой хэв маягийг тодорхойлох</li> <li><strong>End-of-Sequence илрүүлэлт</strong>: Загварт хариултаа өөрөө байгалийн жамаар дуусгахыг зөвшөөрөх</li></ol> <p>Жишээлбэл: Хэрэв бид нэг догол мөр үүсгэхийг хүсвэл хамгийн ихдээ 100 token тогтоож, “\n\n”-ийг stop sequence болгон ашиглаж болно. Энэ нь бидний гаралтыг зорилгодоо төвлөрсөн, тохирох хэмжээтэй байлгана.</p> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/inference/3.png" alt="image"/></p> <!--[2--><h3 class="relative group"><a id="beam-search-илүү-уялдаатай-байхын-тулд-урагш-харах" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#beam-search-илүү-уялдаатай-байхын-тулд-урагш-харах"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Beam Search: Илүү уялдаатай байхын тулд урагш харах</span></h3><!--]--><!----> <p>Бидний одоог хүртэл авч үзсэн стратегиуд нэг удаад нэг token-ны шийдвэр гаргадаг бол beam search илүү цогц хандлага баримталдаг. Алхам бүрт нэг сонголтод баригдахын оронд олон боломжит замыг зэрэг судалдаг - яг л хэд хэдэн нүүдлийн өмнөхийг бодож буй шатарчин шиг.</p> <p><img src="https://huggingface.co/reasoning-course/images/resolve/main/inference/4.png" alt="image"/></p> <p>Энэ нь ингэж ажилладаг:</p> <ol><li>Алхам бүрт олон нэр дэвшигч дарааллыг (ихэвчлэн 5-10) хадгална</li> <li>Нэр дэвшигч бүрийн хувьд дараагийн token-ны магадлалыг тооцоолно</li> <li>Дараалал болон дараагийн token-ны хамгийн ирээдүйтэй хослолуудыг л үлдээнэ</li> <li>Хүссэн уртад хүрэх эсвэл зогсох нөхцөл биелэх хүртэл энэ процессыг үргэлжлүүлнэ</li> <li>Нийт магадлал нь хамгийн өндөр дарааллыг сонгоно</li></ol> <p>Та beam search-ийг энд дүрслэлээр судалж болно:</p> <iframe src="https://agents-course-beam-search-visualizer.hf.space" frameborder="0" width="850" height="450"></iframe> <p>Энэ арга нь ихэвчлэн илүү уялдаатай, дүрмийн хувьд зөв текст гаргадаг ч энгийн аргуудаас илүү их тооцооллын нөөц шаарддаг.</p> <!--[1--><h2 class="relative group"><a id="практик-бэрхшээлүүд-ба-оновчлол" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#практик-бэрхшээлүүд-ба-оновчлол"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Практик бэрхшээлүүд ба оновчлол</span></h2><!--]--><!----> <p>LLM inference-ийн судалгаагаа дуусгахын өмнө эдгээр загварыг ашиглалтад гаргахад тулгардаг практик бэрхшээлүүд болон тэдгээрийн гүйцэтгэлийг хэрхэн хэмжиж, оновчлох талаар авч үзье.</p> <!--[2--><h3 class="relative group"><a id="гүйцэтгэлийн-гол-үзүүлэлтүүд" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#гүйцэтгэлийн-гол-үзүүлэлтүүд"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Гүйцэтгэлийн гол үзүүлэлтүүд</span></h3><!--]--><!----> <p>LLM-тэй ажиллахад дараах дөрвөн чухал үзүүлэлт таны хэрэгжүүлэлтийн шийдвэрийг тодорхойлно:</p> <ol><li><strong>Time to First Token (TTFT)</strong>: Эхний хариултыг хэр хурдан авч чадах вэ? Энэ нь хэрэглэгчийн туршлагад маш чухал бөгөөд гол төлөв prefill үе шатаас хамаардаг.</li> <li><strong>Time Per Output Token (TPOT)</strong>: Дараагийн token-уудыг хэр хурдан үүсгэж чадах вэ? Энэ нь үүсгэлтийн нийт хурдыг тодорхойлдог.</li> <li><strong>Throughput</strong>: Хэдэн хүсэлтийг нэгэн зэрэг боловсруулж чадах вэ? Энэ нь өргөтгөх чадвар болон зардлын үр ашигт нөлөөлдөг.</li> <li><strong>VRAM хэрэглээ</strong>: Танд хэр их GPU санах ой хэрэгтэй вэ? Энэ нь бодит хэрэглээнд ихэвчлэн гол хязгаарлалт болдог.</li></ol> <!--[2--><h3 class="relative group"><a id="контекстийн-уртын-бэрхшээл" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#контекстийн-уртын-бэрхшээл"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Контекстийн уртын бэрхшээл</span></h3><!--]--><!----> <p>LLM inference-ийн хамгийн чухал бэрхшээлүүдийн нэг бол контекстийн уртыг үр дүнтэй удирдах явдал юм. Урт контекст илүү их мэдээлэл өгдөг ч ихээхэн зардалтай:</p> <ul><li><strong>Санах ойн хэрэглээ</strong>: Контекстийн урттай квадрат хамааралтайгаар өсдөг</li> <li><strong>Боловсруулах хурд</strong>: Контекст уртсах тусам шугаман байдлаар буурдаг</li> <li><strong>Нөөцийн хуваарилалт</strong>: VRAM хэрэглээг анхааралтай тэнцвэржүүлэх шаардлагатай</li></ul> <p><a href="https://huggingface.co/Qwen/Qwen2.5-14B-Instruct-1M" rel="nofollow">Qwen2.5-1M</a> зэрэг сүүлийн үеийн загварууд 1M token-ны гайхалтай контекст цонх санал болгодог ч энэ нь inference-ийн хурд мэдэгдэхүйц удаашрах үнээр ирдэг. Гол нь өөрийн хэрэглээнд тохирсон тэнцвэрийг олох явдал юм.</p> <div style="max-width: 800px; margin: 20px auto; padding: 20px; font-family: system-ui;"><div style="border: 2px solid #ddd; border-radius: 8px; padding: 20px; margin-bottom: 20px;"><div style="display: flex; align-items: center; margin-bottom: 15px;"><div style="flex: 1; text-align: center; padding: 10px; background: #f0f0f0; border-radius: 4px;">Оролтын текст (Түүхий)</div> <div style="margin: 0 10px;">→</div> <div style="flex: 1; text-align: center; padding: 10px; background: #e1f5fe; border-radius: 4px;">Token болгосон оролт</div></div> <div style="display: flex; margin-bottom: 15px;"><div style="flex: 1; border: 1px solid #ccc; padding: 10px; margin: 5px; background: #e8f5e9; border-radius: 4px; text-align: center;">Контекст цонх<br/>(жишээ нь, 4K token) <div style="display: flex; margin-top: 10px;"><div style="flex: 1; background: #81c784; margin: 2px; height: 20px; border-radius: 2px;"></div> <div style="flex: 1; background: #81c784; margin: 2px; height: 20px; border-radius: 2px;"></div> <div style="flex: 1; background: #81c784; margin: 2px; height: 20px; border-radius: 2px;"></div> <div style="flex: 1; background: #81c784; margin: 2px; height: 20px; border-radius: 2px;"></div></div></div></div> <div style="display: flex; justify-content: space-between; text-align: center; font-size: 0.9em; color: #666;"><div style="flex: 1;"><div style="border: 1px solid #ffcc80; padding: 8px; margin: 5px; background: #fff3e0; border-radius: 4px;">Санах ойн хэрэглээ<br/>∝ Урт²</div></div> <div style="flex: 1;"><div style="border: 1px solid #90caf9; padding: 8px; margin: 5px; background: #e3f2fd; border-radius: 4px;">Боловсруулах хугацаа<br/>∝ Урт</div></div></div></div></div> <!--[2--><h3 class="relative group"><a id="kv-cache-оновчлол" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#kv-cache-оновчлол"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>KV Cache оновчлол</span></h3><!--]--><!----> <p>Эдгээр бэрхшээлийг шийдэх хамгийн хүчирхэг оновчлолуудын нэг бол KV (Key-Value) caching юм. Энэ техник нь завсрын тооцооллыг хадгалж, дахин ашиглах замаар inference-ийн хурдыг мэдэгдэхүйц сайжруулдаг. Энэ оновчлол нь:</p> <ul><li>Давтагдах тооцооллыг багасгадаг</li> <li>Үүсгэлтийн хурдыг сайжруулдаг</li> <li>Урт контексттэй үүсгэлтийг практикт хэрэгжих боломжтой болгодог</li></ul> <p>Үүний сөрөг тал нь нэмэлт санах ойн хэрэглээ боловч гүйцэтгэлийн давуу тал нь ихэвчлэн энэ зардлаас хамаагүй илүү байдаг.</p> <!--[1--><h2 class="relative group"><a id="дүгнэлт" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#дүгнэлт"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Дүгнэлт</span></h2><!--]--><!----> <p>LLM-ийн inference-ийг ойлгох нь эдгээр хүчирхэг загварыг үр дүнтэй ашиглалтад гаргаж, оновчлоход маш чухал. Бид дараах гол бүрэлдэхүүн хэсгүүдийг авч үзлээ:</p> <ul><li>Attention болон контекстийн үндсэн үүрэг</li> <li>Хоёр үе шаттай inference-ийн процесс</li> <li>Үүсгэлтийг удирдах янз бүрийн sampling стратегиуд</li> <li>Практик бэрхшээлүүд ба оновчлолууд</li></ul> <p>Эдгээр ойлголтыг эзэмшсэнээр та LLM-ийг үр дүнтэй, үр ашигтай ашигладаг хэрэглээ бүтээхэд илүү бэлтгэлтэй болно.</p> <p>LLM inference-ийн салбар хурдацтай хөгжиж, шинэ техник, оновчлолууд байнга гарч байгааг санаарай. Сониуч зангаа хадгалж, өөрийн хэрэглээнд хамгийн сайн тохирохыг олохын тулд өөр өөр хандлагуудыг туршсаар байгаарай.</p> <a class="!text-gray-400 !no-underline text-sm flex items-center not-prose mt-4" href="https://github.com/huggingface/course/blob/main/chapters/mn/chapter1/8.mdx" target="_blank"><svg class="mr-1" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M31,16l-7,7l-1.41-1.41L28.17,16l-5.58-5.59L24,9l7,7z"></path><path d="M1,16l7-7l1.41,1.41L3.83,16l5.58,5.59L8,23l-7-7z"></path><path d="M12.419,25.484L17.639,6.552l1.932,0.518L14.351,26.002z"></path></svg><!----> <span><span class="underline">Update</span> on GitHub</span></a><!----> <p></p><!--]--><!----><!--]--><!--]--><!--]--> <!--[-1--><!--]--><!--]--> | |
| <script> | |
| { | |
| __sveltekit_wf1ozj = { | |
| base: "/docs/course/pr_1373/mn", | |
| assets: "/docs/course/pr_1373/mn" | |
| }; | |
| const element = document.currentScript.parentElement; | |
| Promise.all([ | |
| import("/docs/course/pr_1373/mn/_app/immutable/entry/start.BcQNL8Iq.js"), | |
| import("/docs/course/pr_1373/mn/_app/immutable/entry/app.DtWVLBJm.js") | |
| ]).then(([kit, app]) => { | |
| kit.start(app, element, { | |
| node_ids: [0, 12], | |
| data: [null,null], | |
| form: null, | |
| error: null | |
| }); | |
| }); | |
| } | |
| </script> | |
Xet Storage Details
- Size:
- 58.9 kB
- Xet hash:
- eea8a95c437c23c4e4fb52d30f88064663c2c7fa422d842b2920300d62ce01ed
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.