Buckets:
| <meta charset="utf-8" /><meta name="hf:doc:metadata" content="{"title":"🤗 Transformers даалгавруудыг хэрхэн шийддэг вэ?","local":"-transformers-даалгавруудыг-хэрхэн-шийддэг-вэ","sections":[{"title":"Хэлний Transformer загварууд","local":"хэлний-transformer-загварууд","sections":[{"title":"Хэлний загварууд хэрхэн ажилладаг вэ?","local":"хэлний-загварууд-хэрхэн-ажилладаг-вэ","sections":[],"depth":3},{"title":"Хэлний загваруудын төрлүүд","local":"хэлний-загваруудын-төрлүүд","sections":[],"depth":3},{"title":"Текст үүсгэх","local":"текст-үүсгэх","sections":[],"depth":3},{"title":"Текст ангилах","local":"текст-ангилах","sections":[],"depth":3},{"title":"Token ангилах","local":"token-ангилах","sections":[],"depth":3},{"title":"Асуултад хариулах","local":"асуултад-хариулах","sections":[],"depth":3},{"title":"Хураангуйлах","local":"хураангуйлах","sections":[],"depth":3},{"title":"Орчуулга","local":"орчуулга","sections":[],"depth":3}],"depth":2},{"title":"Текстээс бусад модаль","local":"текстээс-бусад-модаль","sections":[{"title":"Яриа ба аудио","local":"яриа-ба-аудио","sections":[],"depth":3},{"title":"Яриа автоматаар таних","local":"яриа-автоматаар-таних","sections":[],"depth":3},{"title":"Компьютерийн хараа","local":"компьютерийн-хараа","sections":[],"depth":3},{"title":"Зураг ангилах","local":"зураг-ангилах","sections":[],"depth":3}],"depth":2}],"depth":1}"/> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/entry/start.BcQNL8Iq.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/U0EHjKy1.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/DKDXYq1_.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/entry/app.DtWVLBJm.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/D2f8-tK6.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/BPbkyPU9.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/CKY-anE-.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/DsnmJJEf.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/nodes/0.CgwB3QdE.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/CO2lc5xK.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/nodes/9.D2EbEXIk.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/CE_yRjBv.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/chunks/C8-_hnt5.js" rel="modulepreload"> | |
| <!--vwy1i1--><meta name="hf:doc:metadata" content="{"title":"🤗 Transformers даалгавруудыг хэрхэн шийддэг вэ?","local":"-transformers-даалгавруудыг-хэрхэн-шийддэг-вэ","sections":[{"title":"Хэлний Transformer загварууд","local":"хэлний-transformer-загварууд","sections":[{"title":"Хэлний загварууд хэрхэн ажилладаг вэ?","local":"хэлний-загварууд-хэрхэн-ажилладаг-вэ","sections":[],"depth":3},{"title":"Хэлний загваруудын төрлүүд","local":"хэлний-загваруудын-төрлүүд","sections":[],"depth":3},{"title":"Текст үүсгэх","local":"текст-үүсгэх","sections":[],"depth":3},{"title":"Текст ангилах","local":"текст-ангилах","sections":[],"depth":3},{"title":"Token ангилах","local":"token-ангилах","sections":[],"depth":3},{"title":"Асуултад хариулах","local":"асуултад-хариулах","sections":[],"depth":3},{"title":"Хураангуйлах","local":"хураангуйлах","sections":[],"depth":3},{"title":"Орчуулга","local":"орчуулга","sections":[],"depth":3}],"depth":2},{"title":"Текстээс бусад модаль","local":"текстээс-бусад-модаль","sections":[{"title":"Яриа ба аудио","local":"яриа-ба-аудио","sections":[],"depth":3},{"title":"Яриа автоматаар таних","local":"яриа-автоматаар-таних","sections":[],"depth":3},{"title":"Компьютерийн хараа","local":"компьютерийн-хараа","sections":[],"depth":3},{"title":"Зураг ангилах","local":"зураг-ангилах","sections":[],"depth":3}],"depth":2}],"depth":1}"/><!----> | |
| <link href="/docs/course/pr_1373/mn/_app/immutable/assets/0.tn0RQdqM.css" rel="modulepreload"> <!--[--><!--[0--><!--[--><!--[0--><!--[--><p></p> <div class="items-center shrink-0 min-w-[100px] max-sm:min-w-[50px] justify-end ml-auto flex" style="float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"><div class="inline-flex rounded-md max-sm:rounded-sm"><button class="inline-flex items-center gap-1 h-7 max-sm:h-7 px-2 max-sm:px-1.5 text-sm font-medium text-gray-800 border border-r-0 rounded-l-md max-sm:rounded-l-sm border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-live="polite"><span class="inline-flex items-center justify-center rounded-md p-0.5 max-sm:p-0 hover:text-gray-800 dark:hover:text-gray-200"><svg class="sm:size-3.5 size-3" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----></span> <span>Copy page</span></button> <button class="inline-flex items-center justify-center w-6 max-sm:w-5 h-7 max-sm:h-7 disabled:pointer-events-none text-sm text-gray-500 hover:text-gray-700 dark:hover:text-white rounded-r-md max-sm:rounded-r-sm border border-l transition border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-haspopup="menu" aria-expanded="false" aria-label="Open copy menu"><svg class="transition-transform text-gray-400 overflow-visible sm:size-3.5 size-3 rotate-0" width="1em" height="1em" viewBox="0 0 12 7" fill="none" xmlns="http://www.w3.org/2000/svg"><path d="M1 1L6 6L11 1" stroke="currentColor"></path></svg><!----></button></div> <!--[-1--><!--]--></div><!----> <!--[0--><h1 class="relative group"><a id="-transformers-даалгавруудыг-хэрхэн-шийддэг-вэ" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#-transformers-даалгавруудыг-хэрхэн-шийддэг-вэ"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>🤗 Transformers даалгавруудыг хэрхэн шийддэг вэ?</span></h1><!--]--><!----> <iframe class="w-full xl:w-4/6 h-80" src="https://www.youtube-nocookie.com/embed/zsfR7eY9Uho" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen=""></iframe><!----> <p><a href="/course/chapter1/3">Transformers юу хийж чадах вэ?</a>, хэсэгт та байгалийн хэлний боловсруулалт (NLP), яриа ба аудио, компьютерийн харааны даалгаврууд болон тэдгээрийн зарим чухал хэрэглээний талаар судалсан. Энэ хуудсанд загварууд эдгээр даалгаврыг хэрхэн шийддэгийг нарийвчлан харж, дотор нь юу болж байгааг тайлбарлана. Тухайн даалгаврыг шийдэх олон арга бий. Зарим загвар тодорхой техник хэрэгжүүлэх эсвэл даалгаврыг шинэ өнцгөөс шийдэх ч байж болно. Гэхдээ Transformer загваруудын хувьд ерөнхий санаа нь ижил. Уян хатан архитектурынх нь ачаар ихэнх загвар нь encoder, decoder эсвэл encoder-decoder бүтцийн хувилбар байдаг.</p> <blockquote class="tip"><p>Архитектурын тодорхой хувилбаруудыг судлахаас өмнө ихэнх даалгавар ижил загвараар явагддагийг ойлгох нь хэрэгтэй: оролтын өгөгдлийг загвараар боловсруулж, гаралтыг тухайн даалгаварт тохируулан тайлбарладаг. Ялгаа нь өгөгдлийг хэрхэн бэлтгэх, архитектурын ямар хувилбар ашиглах, гаралтыг хэрхэн боловсруулахад оршино.</p></blockquote> <p>Даалгаврууд хэрхэн шийдэгддэгийг тайлбарлахын тулд хэрэгтэй таамаглал гаргахад загварын дотор юу болдгийг алхам алхмаар үзнэ. Дараах загварууд болон тэдгээрийн харгалзах даалгаврыг авч үзнэ:</p> <ul><li><a href="https://huggingface.co/docs/transformers/model_doc/wav2vec2" rel="nofollow">Wav2Vec2</a> аудио ангилах болон яриа автоматаар таних (ASR)</li> <li><a href="https://huggingface.co/docs/transformers/model_doc/vit" rel="nofollow">Vision Transformer (ViT)</a> болон <a href="https://huggingface.co/docs/transformers/model_doc/convnext" rel="nofollow">ConvNeXT</a> зураг ангилах</li> <li><a href="https://huggingface.co/docs/transformers/model_doc/detr" rel="nofollow">DETR</a> объект илрүүлэх</li> <li><a href="https://huggingface.co/docs/transformers/model_doc/mask2former" rel="nofollow">Mask2Former</a> зураг сегментчлэх</li> <li><a href="https://huggingface.co/docs/transformers/model_doc/glpn" rel="nofollow">GLPN</a> гүн тооцоолох</li> <li><a href="https://huggingface.co/docs/transformers/model_doc/bert" rel="nofollow">BERT</a> encoder ашигладаг текст ангилах, token ангилах, асуултад хариулах зэрэг NLP даалгаврууд</li> <li><a href="https://huggingface.co/docs/transformers/model_doc/gpt2" rel="nofollow">GPT2</a> decoder ашигладаг текст үүсгэх зэрэг NLP даалгаврууд</li> <li><a href="https://huggingface.co/docs/transformers/model_doc/bart" rel="nofollow">BART</a> encoder-decoder ашигладаг хураангуйлах, орчуулах зэрэг NLP даалгаврууд</li></ul> <blockquote class="tip"><p>Цааш үргэлжлүүлэхээс өмнө анхны Transformer архитектурын талаар суурь мэдлэгтэй байх нь зүйтэй. Encoder, decoder болон attention хэрхэн ажилладгийг мэдэх нь өөр өөр Transformer загварууд хэрхэн ажилладгийг ойлгоход тусална. Дэлгэрэнгүй мэдээллийг <a href="https://huggingface.co/course/chapter1/4?fw=pt" rel="nofollow">өмнөх хэсэг</a>-ээс үзээрэй!</p></blockquote> <!--[1--><h2 class="relative group"><a id="хэлний-transformer-загварууд" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#хэлний-transformer-загварууд"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Хэлний Transformer загварууд</span></h2><!--]--><!----> <p>Хэлний загварууд нь орчин үеийн NLP-ийн цөм юм. Тэдгээр нь текст дэх үг эсвэл token-уудын хоорондын статистик хэв маяг, хамаарлыг сурч, хүний хэлийг ойлгох, үүсгэх зорилготой.</p> <p>Transformer нь анх машин орчуулгад зориулагдсан бөгөөд түүнээс хойш бүх AI даалгаврыг шийдэх үндсэн архитектур болсон. Зарим даалгаварт Transformer-ийн encoder бүтэц, заримд нь decoder илүү тохиромжтой. Харин бусад даалгаврууд Transformer-ийн encoder-decoder бүтцийг хоёуланг нь ашигладаг.</p> <!--[2--><h3 class="relative group"><a id="хэлний-загварууд-хэрхэн-ажилладаг-вэ" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#хэлний-загварууд-хэрхэн-ажилладаг-вэ"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Хэлний загварууд хэрхэн ажилладаг вэ?</span></h3><!--]--><!----> <p>Хэлний загварууд нь хүрээлэн буй үгсийн контекстийг харгалзан тухайн үгийн магадлалыг таамаглахаар сургагддаг. Энэ нь тэдэнд бусад даалгаварт ерөнхийлөн хэрэглэж болох хэлний суурь ойлголтыг өгдөг.</p> <p>Transformer загварыг сургах хоёр үндсэн арга бий:</p> <ol><li><p><strong>Masked language modeling (MLM)</strong>: BERT зэрэг encoder загваруудын ашигладаг энэ арга нь оролтын зарим token-ыг санамсаргүйгээр маскалж, хүрээлэн буй контекстэд үндэслэн анхны token-уудыг таамаглахаар загварыг сургадаг. Ингэснээр загвар хоёр чиглэлийн контекстийг (маскласан үгийн өмнөх болон дараах үгсийг хоёуланг нь харах) сурч чаддаг.</p></li> <li><p><strong>Causal language modeling (CLM)</strong>: GPT зэрэг decoder загваруудын ашигладаг энэ арга нь дараалал дахь өмнөх бүх token-д үндэслэн дараагийн token-ыг таамагладаг. Загвар дараагийн token-ыг таамаглахдаа зөвхөн зүүн талын (өмнөх token-уудын) контекстийг ашиглаж чадна.</p></li></ol> <!--[2--><h3 class="relative group"><a id="хэлний-загваруудын-төрлүүд" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#хэлний-загваруудын-төрлүүд"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Хэлний загваруудын төрлүүд</span></h3><!--]--><!----> <p>Transformers санд хэлний загварууд ерөнхийдөө архитектурын гурван ангилалд хуваагддаг:</p> <ol><li><p><strong>Encoder-only загварууд</strong> (BERT гэх мэт): Эдгээр загвар нь хоёр чиглэлийн аргаар контекстийг хоёр талаас нь ойлгодог. Ангилал, нэрлэсэн объект таних, асуултад хариулах зэрэг текстийг гүнзгий ойлгох шаардлагатай даалгаварт хамгийн тохиромжтой.</p></li> <li><p><strong>Decoder-only загварууд</strong> (GPT, Llama гэх мэт): Эдгээр загвар нь текстийг зүүнээс баруун тийш боловсруулдаг бөгөөд текст үүсгэх даалгаварт онцгой сайн. Тэд prompt-д үндэслэн өгүүлбэр гүйцээх, эссэ бичих, тэр байтугай код үүсгэж чадна.</p></li> <li><p><strong>Encoder-decoder загварууд</strong> (T5, BART гэх мэт): Эдгээр загвар нь хоёр аргыг хослуулж, оролтыг ойлгохдоо encoder, гаралт үүсгэхдээ decoder ашигладаг. Орчуулга, хураангуйлах, асуултад хариулах зэрэг sequence-to-sequence даалгаварт онцгой сайн.</p></li></ol> <p><img src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/transformers_architecture.png" alt="transformer-models-for-language"/></p> <p>Өмнөх хэсэгт үзсэнчлэн хэлний загваруудыг ихэвчлэн их хэмжээний текст өгөгдөл дээр өөрөө хянах аргаар (хүний тэмдэглэгээгүйгээр) урьдчилан сургаж, дараа нь тодорхой даалгавар дээр fine-tune хийдэг. Transfer learning гэгддэг энэ арга нь тухайн даалгаварт зориулсан харьцангуй бага өгөгдлөөр олон төрлийн NLP даалгаварт загваруудыг тохируулах боломжийг олгодог.</p> <p>Дараагийн хэсгүүдэд бид тодорхой загварын архитектурууд болон тэдгээрийг яриа, хараа, текстийн салбарын төрөл бүрийн даалгаварт хэрхэн ашигладгийг судална.</p> <blockquote class="tip"><p>Тухайн NLP даалгаварт Transformer архитектурын аль хэсэг (encoder, decoder эсвэл хоёулаа) хамгийн тохиромжтойг ойлгох нь зөв загвар сонгох гол түлхүүр юм. Ерөнхийдөө хоёр чиглэлийн контекст шаарддаг даалгаварт encoder, текст үүсгэх даалгаварт decoder, нэг дарааллыг нөгөө рүү хөрвүүлэх даалгаварт encoder-decoder ашигладаг.</p></blockquote> <!--[2--><h3 class="relative group"><a id="текст-үүсгэх" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#текст-үүсгэх"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Текст үүсгэх</span></h3><!--]--><!----> <p>Текст үүсгэх гэдэг нь prompt эсвэл оролтод үндэслэн уялдаатай, контекстэд нийцсэн текст бий болгох явдал юм.</p> <p><a href="https://huggingface.co/docs/transformers/model_doc/gpt2" rel="nofollow">GPT-2</a> нь их хэмжээний текст дээр урьдчилан сургагдсан, decoder-only загвар юм. Prompt өгөхөд итгэл үнэмшилтэй (гэхдээ үргэлж үнэн биш!) текст үүсгэж чаддаг бөгөөд тусгайлан сургаагүй ч асуултад хариулах зэрэг бусад NLP даалгаврыг гүйцэтгэж чадна.</p> <div class="flex justify-center"><img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/gpt2_architecture.png"/></div> <ol><li><p>GPT-2 нь үгсийг token болгон хувааж, token embedding үүсгэхдээ <a href="https://huggingface.co/docs/transformers/tokenizer_summary#bytepair-encoding-bpe" rel="nofollow">byte pair encoding (BPE)</a> ашигладаг. Token бүрийн дараалал дахь байрлалыг заахын тулд token embedding-д positional encoding нэмдэг. Оролтын embedding-ууд олон decoder блокоор дамжиж, эцсийн hidden state гаргадаг. Decoder блок бүрийн дотор GPT-2 нь <em>masked self-attention</em> давхарга ашигладаг бөгөөд энэ нь GPT-2 ирээдүйн token-уудад анхаарал хандуулж чадахгүй гэсэн үг. Зөвхөн зүүн талын token-уудад анхаарал хандуулахыг зөвшөөрдөг. Энэ нь BERT-ийн [<code>mask</code>] token-оос ялгаатай, учир нь masked self-attention-д ирээдүйн token-уудын оноог <code>0</code> болгохын тулд attention mask ашигладаг.</p></li> <li><p>Decoder-ийн гаралт нь language modeling head руу дамждаг бөгөөд энэ нь шугаман хувиргалт хийж hidden state-уудыг logits болгон хөрвүүлдэг. Шошго нь дараалал дахь дараагийн token бөгөөд logits-ыг баруун тийш нэгээр шилжүүлж үүсгэдэг. Дараагийн хамгийн магадлалтай token-ыг гаргахын тулд шилжүүлсэн logits болон шошгуудын хооронд cross-entropy loss тооцоолдог.</p></li></ol> <p>GPT-2-ийн урьдчилан сургалтын зорилт нь бүхэлдээ <a href="https://huggingface.co/docs/transformers/glossary#causal-language-modeling" rel="nofollow">causal language modeling</a> буюу дараалал дахь дараагийн үгийг таамаглахад суурилдаг. Энэ нь GPT-2-ийг текст үүсгэх даалгаварт онцгой сайн болгодог.</p> <p>Текст үүсгэхийг өөрөө туршиж үзэхэд бэлэн үү? DistilGPT-2-ийг хэрхэн fine-tune хийж, inference-д ашиглахыг сурахын тулд бидний бүрэн <a href="https://huggingface.co/docs/transformers/tasks/language_modeling#causal-language-modeling" rel="nofollow">causal language modeling гарын авлага</a>-ыг үзээрэй!</p> <blockquote class="tip"><p>Текст үүсгэх талаар дэлгэрэнгүй мэдээллийг <a href="https://huggingface.co/docs/transformers/generation_strategies#generation-strategies" rel="nofollow">текст үүсгэх стратегиуд</a> гарын авлагаас үзээрэй!</p></blockquote> <!--[2--><h3 class="relative group"><a id="текст-ангилах" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#текст-ангилах"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Текст ангилах</span></h3><!--]--><!----> <p>Текст ангилах гэдэг нь сэтгэгдлийн хандлагын шинжилгээ, сэдвийн ангилал, спам илрүүлэх гэх мэт текст баримтуудад урьдчилан тодорхойлсон ангиллыг оноох явдал юм.</p> <p><a href="https://huggingface.co/docs/transformers/model_doc/bert" rel="nofollow">BERT</a> нь encoder-only загвар бөгөөд хоёр талын үгсэд анхаарал хандуулж текстийн илүү баялаг дүрслэлийг сурахын тулд гүн хоёр чиглэлт байдлыг үр дүнтэй хэрэгжүүлсэн анхны загвар юм.</p> <ol><li><p>BERT нь текстийн token embedding үүсгэхдээ <a href="https://huggingface.co/docs/transformers/tokenizer_summary#wordpiece" rel="nofollow">WordPiece</a> tokenization ашигладаг. Ганц өгүүлбэр болон хос өгүүлбэрийг ялгахын тулд тусгай <code>[SEP]</code> token нэмдэг. Текстийн дараалал бүрийн эхэнд тусгай <code>[CLS]</code> token нэмдэг. <code>[CLS]</code> token-той эцсийн гаралтыг ангиллын даалгаварт classification head-ийн оролт болгон ашигладаг. Мөн BERT нь хос өгүүлбэрийн аль нэгд (эхний эсвэл хоёр дахь) token хамаарч байгааг заахын тулд segment embedding нэмдэг.</p></li> <li><p>BERT нь masked language modeling болон next-sentence prediction гэсэн хоёр зорилтоор урьдчилан сургагддаг. Masked language modeling-д оролтын token-уудын тодорхой хувийг санамсаргүйгээр маскалж, загвар тэдгээрийг таамаглах ёстой. Энэ нь загвар бүх үгийг харж дараагийн үгийг “таамаглах” буюу хуурах боломжтой байдаг хоёр чиглэлт байдлын асуудлыг шийддэг. Таамагласан маск token-уудын эцсийн hidden state-уудыг толь бичгийн хэмжээний softmax бүхий feedforward network руу дамжуулж маскласан үгийг таамагладаг.</p> <p>Урьдчилан сургалтын хоёр дахь зорилт нь next-sentence prediction. Загвар B өгүүлбэр A өгүүлбэрийн дараа орох эсэхийг таамаглах ёстой. Тохиолдлын тал хувьд B өгүүлбэр нь дараагийн өгүүлбэр байдаг бол нөгөө тал хувьд B нь санамсаргүй өгүүлбэр байдаг. Дараагийн өгүүлбэр мөн эсэх таамаглалыг хоёр ангиллын (<code>IsNext</code> болон <code>NotNext</code>) softmax бүхий feedforward network руу дамжуулдаг.</p></li> <li><p>Оролтын embedding-ууд олон encoder давхаргаар дамжиж, эцсийн hidden state-уудыг гаргадаг.</p></li></ol> <p>Урьдчилан сургагдсан загварыг текст ангилахад ашиглахын тулд суурь BERT загварын дээр sequence classification head нэмнэ. Sequence classification head нь эцсийн hidden state-уудыг хүлээн авч, шугаман хувиргалт хийн logits болгон хөрвүүлдэг шугаман давхарга юм. Хамгийн магадлалтай шошгыг олохын тулд logits болон зорилтын хооронд cross-entropy loss тооцоолдог.</p> <p>Текст ангилахыг өөрөө туршиж үзэхэд бэлэн үү? DistilBERT-ийг хэрхэн fine-tune хийж, inference-д ашиглахыг сурахын тулд бидний бүрэн <a href="https://huggingface.co/docs/transformers/tasks/sequence_classification" rel="nofollow">текст ангилах гарын авлага</a>-ыг үзээрэй!</p> <!--[2--><h3 class="relative group"><a id="token-ангилах" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#token-ангилах"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Token ангилах</span></h3><!--]--><!----> <p>Token ангилах гэдэг нь нэрлэсэн объект таних эсвэл үгийн аймгийг тэмдэглэх гэх мэт дараалал дахь token бүрт шошго оноох явдал юм.</p> <p>BERT-ийг нэрлэсэн объект таних (NER) зэрэг token ангилах даалгаварт ашиглахын тулд суурь BERT загварын дээр token classification head нэмнэ. Token classification head нь эцсийн hidden state-уудыг хүлээн авч, шугаман хувиргалт хийн logits болгон хөрвүүлдэг шугаман давхарга юм. Хамгийн магадлалтай шошгыг олохын тулд logits болон token бүрийн хооронд cross-entropy loss тооцоолдог.</p> <p>Token ангилахыг өөрөө туршиж үзэхэд бэлэн үү? DistilBERT-ийг хэрхэн fine-tune хийж, inference-д ашиглахыг сурахын тулд бидний бүрэн <a href="https://huggingface.co/docs/transformers/tasks/token_classification" rel="nofollow">token ангилах гарын авлага</a>-ыг үзээрэй!</p> <!--[2--><h3 class="relative group"><a id="асуултад-хариулах" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#асуултад-хариулах"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Асуултад хариулах</span></h3><!--]--><!----> <p>Асуултад хариулах гэдэг нь өгөгдсөн контекст эсвэл хэсэг текст дотроос асуултын хариултыг олох явдал юм.</p> <p>BERT-ийг асуултад хариулахад ашиглахын тулд суурь BERT загварын дээр span classification head нэмнэ. Энэ шугаман давхарга нь эцсийн hidden state-уудыг хүлээн авч, шугаман хувиргалт хийн хариултад харгалзах <code>span</code>-ийн эхлэл ба төгсгөлийн logits-ыг тооцоолдог. Хариултад харгалзах хамгийн магадлалтай текстийн span-ийг олохын тулд logits болон шошгоны байрлалын хооронд cross-entropy loss тооцоолдог.</p> <p>Асуултад хариулахыг өөрөө туршиж үзэхэд бэлэн үү? DistilBERT-ийг хэрхэн fine-tune хийж, inference-д ашиглахыг сурахын тулд бидний бүрэн <a href="https://huggingface.co/docs/transformers/tasks/question_answering" rel="nofollow">асуултад хариулах гарын авлага</a>-ыг үзээрэй!</p> <blockquote class="tip"><p>💡 BERT-ийг урьдчилан сургасны дараа өөр өөр даалгаварт ашиглах нь хичнээн хялбар болохыг анзаараарай. Hidden state-уудыг хүссэн гаралт руугаа хувиргахын тулд урьдчилан сургагдсан загварт тодорхой head нэмэхэд л хангалттай!</p></blockquote> <!--[2--><h3 class="relative group"><a id="хураангуйлах" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#хураангуйлах"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Хураангуйлах</span></h3><!--]--><!----> <p>Хураангуйлах гэдэг нь урт текстийг гол мэдээлэл, утгыг нь хадгалан богино хувилбар болгон товчлох явдал юм.</p> <p><a href="https://huggingface.co/docs/transformers/model_doc/bart" rel="nofollow">BART</a>, <a href="model_doc/t5">T5</a> зэрэг encoder-decoder загварууд нь хураангуйлах даалгаврын sequence-to-sequence хэв маягт зориулагдсан. Энэ хэсэгт BART хэрхэн ажилладгийг тайлбарлах бөгөөд төгсгөлд нь та T5-ийг fine-tune хийж үзэж болно.</p> <div class="flex justify-center"><img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/bart_architecture.png"/></div> <ol><li><p>BART-ийн encoder архитектур нь BERT-тэй маш төстэй бөгөөд текстийн token болон positional embedding-ийг хүлээн авдаг. BART нь оролтыг гэмтээж, дараа нь decoder-оор сэргээх замаар урьдчилан сургагддаг. Тодорхой гэмтээх стратегитай бусад encoder-оос ялгаатай нь BART ямар ч төрлийн гэмтэл хэрэглэж чадна. Гэхдээ <em>text infilling</em> гэмтээх стратеги хамгийн сайн ажилладаг. Text infilling-д хэд хэдэн текстийн span-ийг <strong>ганц</strong> [<code>mask</code>] token-оор солидог. Загвар маскласан token-уудыг таамаглах ёстой бөгөөд энэ нь дутуу token-уудын тоог таамаглахыг загварт заадаг тул чухал юм. Оролтын embedding-ууд болон маскласан span-ууд encoder-оор дамжиж эцсийн hidden state-уудыг гаргадаг. Гэхдээ BERT-ээс ялгаатай нь BART төгсгөлд үг таамаглах эцсийн feedforward network нэмдэггүй.</p></li> <li><p>Encoder-ийн гаралт нь decoder руу дамждаг бөгөөд decoder нь encoder-ийн гаралтаас маскласан token-ууд болон гэмтээгүй бүх token-ыг таамаглах ёстой. Энэ нь анхны текстийг сэргээхэд decoder-т туслах нэмэлт контекст өгдөг. Decoder-ийн гаралт нь language modeling head руу дамждаг бөгөөд энэ нь шугаман хувиргалт хийж hidden state-уудыг logits болгон хөрвүүлдэг. Logits болон шошгоны хооронд cross-entropy loss тооцоолдог бөгөөд шошго нь зүгээр л баруун тийш шилжүүлсэн token юм.</p></li></ol> <p>Хураангуйлахыг өөрөө туршиж үзэхэд бэлэн үү? T5-ийг хэрхэн fine-tune хийж, inference-д ашиглахыг сурахын тулд бидний бүрэн <a href="https://huggingface.co/docs/transformers/tasks/summarization" rel="nofollow">хураангуйлах гарын авлага</a>-ыг үзээрэй!</p> <blockquote class="tip"><p>Текст үүсгэх талаар дэлгэрэнгүй мэдээллийг <a href="https://huggingface.co/docs/transformers/generation_strategies" rel="nofollow">текст үүсгэх стратегиуд</a> гарын авлагаас үзээрэй!</p></blockquote> <!--[2--><h3 class="relative group"><a id="орчуулга" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#орчуулга"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Орчуулга</span></h3><!--]--><!----> <p>Орчуулга гэдэг нь текстийг утгыг нь хадгалан нэг хэлнээс нөгөө хэл рүү хөрвүүлэх явдал юм. Орчуулга нь sequence-to-sequence даалгаврын бас нэг жишээ тул үүнийг <a href="https://huggingface.co/docs/transformers/model_doc/bart" rel="nofollow">BART</a> эсвэл <a href="model_doc/t5">T5</a> зэрэг encoder-decoder загвараар хийж болно. Энэ хэсэгт BART хэрхэн ажилладгийг тайлбарлах бөгөөд төгсгөлд нь та T5-ийг fine-tune хийж үзэж болно.</p> <p>BART нь орчуулгад тохируулахдаа эх хэлийг зорилтот хэл рүү decode хийж болох оролт руу хөрвүүлэх, санамсаргүйгээр эхлүүлсэн тусдаа encoder нэмдэг. Энэ шинэ encoder-ийн embedding-ууд анхны үгийн embedding-ийн оронд урьдчилан сургагдсан encoder руу дамждаг. Эх encoder-ийг загварын гаралтаас тооцсон cross-entropy loss-оор эх encoder, positional embedding болон оролтын embedding-уудыг шинэчлэх замаар сургадаг. Энэ эхний алхамд загварын параметрүүдийг царцаадаг (freeze) бөгөөд хоёр дахь алхамд загварын бүх параметрийг хамтад нь сургадаг. | |
| Үүний дараа BART-ийн олон хэлний хувилбар болох mBART гарсан бөгөөд энэ нь орчуулгад зориулагдсан, олон өөр хэл дээр урьдчилан сургагдсан.</p> <p>Орчуулгыг өөрөө туршиж үзэхэд бэлэн үү? T5-ийг хэрхэн fine-tune хийж, inference-д ашиглахыг сурахын тулд бидний бүрэн <a href="https://huggingface.co/docs/transformers/tasks/translation" rel="nofollow">орчуулгын гарын авлага</a>-ыг үзээрэй!</p> <blockquote class="tip"><p>Энэ гарын авлагын туршид харсанчлан олон загвар өөр өөр даалгавар шийддэг хэдий ч ижил хэв маягийг дагадаг. Эдгээр нийтлэг хэв маягийг ойлгох нь шинэ загварууд хэрхэн ажилладгийг хурдан ойлгох, одоо байгаа загваруудыг өөрийн хэрэгцээнд тохируулахад тусална.</p></blockquote> <!--[1--><h2 class="relative group"><a id="текстээс-бусад-модаль" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#текстээс-бусад-модаль"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Текстээс бусад модаль</span></h2><!--]--><!----> <p>Transformers зөвхөн текстээр хязгаарлагдахгүй. Тэдгээрийг яриа ба аудио, зураг, видео зэрэг бусад модальд ч хэрэглэж болно. Мэдээж энэ курст бид текстэд анхаарлаа хандуулах ч бусад модалийг товч танилцуулж болно.</p> <!--[2--><h3 class="relative group"><a id="яриа-ба-аудио" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#яриа-ба-аудио"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Яриа ба аудио</span></h3><!--]--><!----> <p>Текст эсвэл зурагтай харьцуулахад өвөрмөц сорилтуудтай яриа ба аудио өгөгдлийг Transformer загварууд хэрхэн боловсруулдгийг судлахаас эхэлье.</p> <p><a href="https://huggingface.co/docs/transformers/main/en/model_doc/whisper" rel="nofollow">Whisper</a> нь 680,000 цагийн шошготой аудио өгөгдөл дээр урьдчилан сургагдсан encoder-decoder (sequence-to-sequence) transformer юм. Урьдчилан сургалтын өгөгдлийн ийм хэмжээ нь англи болон бусад олон хэлний аудио даалгаварт zero-shot гүйцэтгэл үзүүлэх боломж олгодог. Decoder нь Whisper-т encoder-ийн сурсан ярианы дүрслэлүүдийг нэмэлт fine-tuning хийлгүйгээр текст зэрэг хэрэгтэй гаралт руу хөрвүүлэх боломжийг олгодог. Whisper шууд л ажилладаг.</p> <div class="flex justify-center"><img src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/whisper_architecture.png"/></div> <p>Диаграммыг <a href="https://huggingface.co/papers/2212.04356" rel="nofollow">Whisper өгүүлэл</a>-ээс авсан.</p> <p>Энэ загвар нь хоёр үндсэн бүрэлдэхүүн хэсэгтэй:</p> <ol><li><p><strong>Encoder</strong> нь оролтын аудиог боловсруулдаг. Түүхий аудиог эхлээд log-Mel спектрограмм руу хөрвүүлдэг. Дараа нь энэ спектрограммыг Transformer encoder сүлжээгээр дамжуулдаг.</p></li> <li><p><strong>Decoder</strong> нь encode хийсэн аудионы дүрслэлийг авч, харгалзах текст token-уудыг autoregressive байдлаар таамагладаг. Энэ нь өмнөх token-ууд болон encoder-ийн гаралтыг үндэслэн дараагийн текст token-ыг таамаглахаар сургагдсан стандарт Transformer decoder юм. Загварыг транскрипц, орчуулга, хэл таних зэрэг тодорхой даалгавар руу чиглүүлэхийн тулд decoder-ийн оролтын эхэнд тусгай token-ууд ашигладаг.</p></li></ol> <p>Whisper нь вэбээс цуглуулсан 680,000 цагийн шошготой аудио өгөгдлийн асар том, олон төрлийн датасет дээр урьдчилан сургагдсан. Энэхүү том хэмжээний, сул хяналттай (weakly supervised) урьдчилан сургалт нь олон хэл, даалгаварт zero-shot гүйцэтгэл сайн байх гол түлхүүр юм.</p> <p>Whisper урьдчилан сургагдсан тул та үүнийг zero-shot inference-д шууд ашиглах эсвэл яриа автоматаар таних, ярианы орчуулга зэрэг тодорхой даалгаварт гүйцэтгэлийг сайжруулахын тулд өөрийн өгөгдөл дээр fine-tune хийж болно!</p> <blockquote class="tip"><p>Whisper-ийн гол шинэлэг тал нь интернетээс авсан, урьд өмнө байгаагүй хэмжээний олон төрлийн, сул хяналттай аудио өгөгдөл дээр сургагдсан явдал юм. Энэ нь тухайн даалгаварт зориулсан fine-tuning хийлгүйгээр өөр өөр хэл, аялга, даалгаварт гайхалтай сайн ерөнхийлөх боломжийг олгодог.</p></blockquote> <!--[2--><h3 class="relative group"><a id="яриа-автоматаар-таних" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#яриа-автоматаар-таних"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Яриа автоматаар таних</span></h3><!--]--><!----> <p>Урьдчилан сургагдсан загварыг яриа автоматаар таних даалгаварт ашиглахын тулд түүний encoder-decoder бүтцийг бүрэн ашиглана. Encoder нь аудио оролтыг боловсруулж, decoder нь транскриптыг token token-оор autoregressive байдлаар үүсгэдэг. Fine-tune хийхдээ загварыг ихэвчлэн аудио оролтод үндэслэн зөв текст token-уудыг таамаглахаар стандарт sequence-to-sequence loss (cross-entropy гэх мэт) ашиглан сургадаг.</p> <p>Fine-tune хийсэн загварыг inference-д ашиглах хамгийн хялбар арга бол <code>pipeline</code> дотор ашиглах юм.</p> <div class="code-block relative "><div class="absolute top-2.5 right-4"><button class="inline-flex items-center relative text-sm focus:text-green-500 cursor-pointer focus:outline-none transition duration-200 ease-in-out opacity-0 mx-0.5 text-gray-600 " title="code excerpt" type="button"><svg xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----> <div class=" absolute pointer-events-none transition-opacity bg-black text-white py-1 px-2 leading-tight rounded font-normal shadow left-1/2 top-full transform -translate-x-1/2 translate-y-2 opacity-0 "><div class="absolute bottom-full left-1/2 transform -translate-x-1/2 w-0 h-0 border-black border-4 border-t-0" style="border-left-color: transparent; border-right-color: transparent;"></div> Copied</div><!----></button><!----></div> <pre class="language-python "><!----><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline | |
| transcriber = pipeline( | |
| task=<span class="hljs-string">"automatic-speech-recognition"</span>, model=<span class="hljs-string">"openai/whisper-base.en"</span> | |
| ) | |
| transcriber(<span class="hljs-string">"https://huggingface.co/datasets/Narsil/asr_dummy/resolve/main/mlk.flac"</span>) | |
| <span class="hljs-comment"># Output: {'text': ' I have a dream that one day this nation will rise up and live out the true meaning of its creed.'}</span><!----></pre></div><!----> <p>Яриа автоматаар танихыг өөрөө туршиж үзэхэд бэлэн үү? Whisper-ийг хэрхэн fine-tune хийж, inference-д ашиглахыг сурахын тулд бидний бүрэн <a href="https://huggingface.co/docs/transformers/tasks/asr" rel="nofollow">яриа автоматаар таних гарын авлага</a>-ыг үзээрэй!</p> <!--[2--><h3 class="relative group"><a id="компьютерийн-хараа" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#компьютерийн-хараа"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Компьютерийн хараа</span></h3><!--]--><!----> <p>Одоо зураг эсвэл видеоны харааны мэдээллийг ойлгож, тайлбарлах компьютерийн харааны даалгаврууд руу шилжье.</p> <p>Компьютерийн харааны даалгаврыг шийдэх хоёр арга бий:</p> <ol><li>Зургийг patch-уудын дараалал болгон хувааж, Transformer-оор зэрэгцээ боловсруулах.</li> <li><a href="https://huggingface.co/docs/transformers/model_doc/convnext" rel="nofollow">ConvNeXT</a> зэрэг convolutional давхаргад тулгуурласан боловч орчин үеийн сүлжээний загвар хэрэглэдэг орчин үеийн CNN ашиглах.</li></ol> <blockquote class="tip"><p>Гурав дахь арга нь Transformer-ийг convolution-тай хослуулдаг (жишээлбэл, <a href="https://huggingface.co/docs/transformers/model_doc/cvt" rel="nofollow">Convolutional Vision Transformer</a> эсвэл <a href="https://huggingface.co/docs/transformers/model_doc/levit" rel="nofollow">LeViT</a>). Эдгээр нь энд судлах хоёр аргыг зүгээр л хослуулдаг тул бид тэдгээрийг авч үзэхгүй.</p></blockquote> <p>ViT болон ConvNeXT-ийг ихэвчлэн зураг ангилахад ашигладаг. Харин объект илрүүлэх, сегментчлэх, гүн тооцоолох зэрэг бусад харааны даалгаварт эдгээр даалгаварт илүү тохиромжтой DETR, Mask2Former, GLPN-ийг тус тус авч үзнэ.</p> <!--[2--><h3 class="relative group"><a id="зураг-ангилах" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#зураг-ангилах"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Зураг ангилах</span></h3><!--]--><!----> <p>Зураг ангилах нь компьютерийн харааны суурь даалгаврын нэг юм. Өөр өөр загварын архитектурууд энэ асуудлыг хэрхэн шийддэгийг харцгаая.</p> <p>ViT болон ConvNeXT хоёулаа зураг ангилахад ашиглагдаж болно. Гол ялгаа нь ViT attention механизм ашигладаг бол ConvNeXT convolution ашигладаг.</p> <p><a href="https://huggingface.co/docs/transformers/model_doc/vit" rel="nofollow">ViT</a> нь convolution-ийг бүхэлд нь цэвэр Transformer архитектураар орлуулдаг. Хэрэв та анхны Transformer-ийг мэддэг бол ViT-г ойлгох замын ихэнхийг аль хэдийн туулсан гэсэн үг.</p> <div class="flex justify-center"><img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/vit_architecture.jpg"/></div> <p>ViT-ийн оруулсан гол өөрчлөлт нь зургийг Transformer руу хэрхэн оруулахад байсан:</p> <ol><li><p>Зургийг давхцахгүй дөрвөлжин patch-уудад хуваадаг бөгөөд тус бүрийг вектор буюу <em>patch embedding</em> болгон хувиргадаг. Patch embedding-уудыг зөв оролтын хэмжээсийг (суурь Transformer-ийн хувьд patch embedding бүрт 768 утга) үүсгэдэг 2D convolutional давхаргаас гаргадаг. Хэрэв танд 224x224 пикселийн зураг байгаа бол үүнийг 16x16 хэмжээтэй 196 patch болгон хувааж болно. Текстийг үгс болгон token-д хуваадаг шиг зургийг patch-уудын дараалал болгон “token болгон хуваадаг”.</p></li> <li><p>BERT-тэй адил patch embedding-уудын эхэнд <em>learnable embedding</em> буюу тусгай <code>[CLS]</code> token нэмдэг. <code>[CLS]</code> token-ны эцсийн hidden state-ийг холбогдсон classification head-ийн оролт болгон ашигладаг бөгөөд бусад гаралтыг үл тоодог. Энэ token нь зургийн дүрслэлийг хэрхэн encode хийхийг загварт сурахад тусалдаг.</p></li> <li><p>Patch болон сурах боломжтой embedding-уудад хамгийн сүүлд нэмэх зүйл бол <em>position embedding</em> юм, учир нь загвар зургийн patch-ууд ямар дарааллаар байрлаж байгааг мэддэггүй. Position embedding-ууд мөн сурах боломжтой бөгөөд patch embedding-уудтай ижил хэмжээтэй. Эцэст нь бүх embedding-ийг Transformer encoder руу дамжуулдаг.</p></li> <li><p>Гаралт, тодруулбал зөвхөн <code>[CLS]</code> token-той гаралтыг multilayer perceptron head (MLP) руу дамжуулдаг. ViT-ийн урьдчилан сургалтын зорилт нь зүгээр л ангилал юм. Бусад classification head-ийн адил MLP head нь гаралтыг ангиллын шошгууд дээрх logits болгон хөрвүүлж, хамгийн магадлалтай ангиллыг олохын тулд cross-entropy loss тооцоолдог.</p></li></ol> <p>Зураг ангилахыг өөрөө туршиж үзэхэд бэлэн үү? ViT-ийг хэрхэн fine-tune хийж, inference-д ашиглахыг сурахын тулд бидний бүрэн <a href="https://huggingface.co/docs/transformers/tasks/image_classification" rel="nofollow">зураг ангилах гарын авлага</a>-ыг үзээрэй!</p> <blockquote class="tip"><p>ViT болон BERT-ийн ижил төстэй байдлыг анзаараарай: хоёулаа ерөнхий дүрслэлийг барихын тулд тусгай token (<code>[CLS]</code>) ашигладаг, хоёулаа embedding-дээ байрлалын мэдээлэл нэмдэг, хоёулаа token/patch-уудын дарааллыг боловсруулахдаа Transformer encoder ашигладаг.</p></blockquote> <a class="!text-gray-400 !no-underline text-sm flex items-center not-prose mt-4" href="https://github.com/huggingface/course/blob/main/chapters/mn/chapter1/5.mdx" target="_blank"><svg class="mr-1" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M31,16l-7,7l-1.41-1.41L28.17,16l-5.58-5.59L24,9l7,7z"></path><path d="M1,16l7-7l1.41,1.41L3.83,16l5.58,5.59L8,23l-7-7z"></path><path d="M12.419,25.484L17.639,6.552l1.932,0.518L14.351,26.002z"></path></svg><!----> <span><span class="underline">Update</span> on GitHub</span></a><!----> <p></p><!--]--><!----><!--]--><!--]--><!--]--> <!--[-1--><!--]--><!--]--> | |
| <script> | |
| { | |
| __sveltekit_wf1ozj = { | |
| base: "/docs/course/pr_1373/mn", | |
| assets: "/docs/course/pr_1373/mn" | |
| }; | |
| const element = document.currentScript.parentElement; | |
| Promise.all([ | |
| import("/docs/course/pr_1373/mn/_app/immutable/entry/start.BcQNL8Iq.js"), | |
| import("/docs/course/pr_1373/mn/_app/immutable/entry/app.DtWVLBJm.js") | |
| ]).then(([kit, app]) => { | |
| kit.start(app, element, { | |
| node_ids: [0, 9], | |
| data: [null,null], | |
| form: null, | |
| error: null | |
| }); | |
| }); | |
| } | |
| </script> | |
Xet Storage Details
- Size:
- 67.8 kB
- Xet hash:
- e0c90fac253dcb2678d3f3488b79cafc96c9e4325518c9460e082b4eec678e5a
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.