Buckets:
| <meta charset="utf-8" /><meta name="hf:doc:metadata" content="{"title":"آزمون پایان فصل","local":"end-of-chapter-quiz","sections":[{"title":"۱. چه زمانی باید یک توکِنایزر جدید تعلیم دهید؟","local":"۱-چه-زمانی-باید-یک-توکنایزر-جدید-تعلیم-دهید","sections":[],"depth":3},{"title":"۲. استفاده از مولدی از فهرستهای متن در مقایسه با فهرستی از فهرستهای متن هنگام استفاده از train_new_from_iterator() چه مزیتی دارد؟","local":"۲-استفاده-از-مولدی-از-فهرستهای-متن-در-مقایسه-با-فهرستی-از-فهرستهای-متن-هنگام-استفاده-از-trainnewfromiterator-چه-مزیتی-دارد","sections":[],"depth":3},{"title":"۳. استفاده از توکِنایزر «سریع» چه مزایایی دارد؟","local":"۳-استفاده-از-توکنایزر-سریع-چه-مزایایی-دارد","sections":[],"depth":3},{"title":"۴. خط تولید token-classification چگونه موجودیتهایی را مدیریت میکند که روی چند توکِن گستردهاند؟","local":"۴-خط-تولید-token-classification-چگونه-موجودیتهایی-را-مدیریت-میکند-که-روی-چند-توکن-گستردهاند","sections":[],"depth":3},{"title":"۵. خط تولید question-answering چگونه زمینههای طولانی را مدیریت میکند؟","local":"۵-خط-تولید-question-answering-چگونه-زمینههای-طولانی-را-مدیریت-میکند","sections":[],"depth":3},{"title":"۶. نرمالسازی چیست؟","local":"۶-نرمالسازی-چیست","sections":[],"depth":3},{"title":"۷. پیشتوکِنسازی برای یک توکِنایزر زیرواژهای چه کاربردی دارد؟","local":"۷-پیشتوکنسازی-برای-یک-توکنایزر-زیرواژهای-چه-کاربردی-دارد","sections":[],"depth":3},{"title":"۸. جملههایی را انتخاب کنید که دربارهی مدل توکِنسازی BPE صدق میکنند.","local":"۸-جملههایی-را-انتخاب-کنید-که-دربارهی-مدل-توکنسازی-bpe-صدق-میکنند","sections":[],"depth":3},{"title":"۹. جملههایی را انتخاب کنید که دربارهی مدل توکِنسازی WordPiece صدق میکنند.","local":"۹-جملههایی-را-انتخاب-کنید-که-دربارهی-مدل-توکنسازی-wordpiece-صدق-میکنند","sections":[],"depth":3},{"title":"۱۰. جملههایی را انتخاب کنید که دربارهی مدل توکِنسازی Unigram صدق میکنند.","local":"۱۰-جملههایی-را-انتخاب-کنید-که-دربارهی-مدل-توکنسازی-unigram-صدق-میکنند","sections":[],"depth":3}],"depth":1}"/> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/entry/start.CqZXmSrv.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/oyrVqMhC.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/B3UUDp28.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/entry/app.B4UvgX5H.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/BioDZtGL.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/NIl2lQjl.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/DN6uzRQe.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/DsnmJJEf.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/nodes/0.DcFj1eGj.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/u5kFQ1Zb.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/nodes/68.D5SdGApK.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/BjCHz3cj.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/B8VBSgkq.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/DFIrGYWg.js" rel="modulepreload"> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/chunks/NA1Q7nSg.js" rel="modulepreload"> | |
| <!--1lv75x0--><meta name="hf:doc:metadata" content="{"title":"آزمون پایان فصل","local":"end-of-chapter-quiz","sections":[{"title":"۱. چه زمانی باید یک توکِنایزر جدید تعلیم دهید؟","local":"۱-چه-زمانی-باید-یک-توکنایزر-جدید-تعلیم-دهید","sections":[],"depth":3},{"title":"۲. استفاده از مولدی از فهرستهای متن در مقایسه با فهرستی از فهرستهای متن هنگام استفاده از train_new_from_iterator() چه مزیتی دارد؟","local":"۲-استفاده-از-مولدی-از-فهرستهای-متن-در-مقایسه-با-فهرستی-از-فهرستهای-متن-هنگام-استفاده-از-trainnewfromiterator-چه-مزیتی-دارد","sections":[],"depth":3},{"title":"۳. استفاده از توکِنایزر «سریع» چه مزایایی دارد؟","local":"۳-استفاده-از-توکنایزر-سریع-چه-مزایایی-دارد","sections":[],"depth":3},{"title":"۴. خط تولید token-classification چگونه موجودیتهایی را مدیریت میکند که روی چند توکِن گستردهاند؟","local":"۴-خط-تولید-token-classification-چگونه-موجودیتهایی-را-مدیریت-میکند-که-روی-چند-توکن-گستردهاند","sections":[],"depth":3},{"title":"۵. خط تولید question-answering چگونه زمینههای طولانی را مدیریت میکند؟","local":"۵-خط-تولید-question-answering-چگونه-زمینههای-طولانی-را-مدیریت-میکند","sections":[],"depth":3},{"title":"۶. نرمالسازی چیست؟","local":"۶-نرمالسازی-چیست","sections":[],"depth":3},{"title":"۷. پیشتوکِنسازی برای یک توکِنایزر زیرواژهای چه کاربردی دارد؟","local":"۷-پیشتوکنسازی-برای-یک-توکنایزر-زیرواژهای-چه-کاربردی-دارد","sections":[],"depth":3},{"title":"۸. جملههایی را انتخاب کنید که دربارهی مدل توکِنسازی BPE صدق میکنند.","local":"۸-جملههایی-را-انتخاب-کنید-که-دربارهی-مدل-توکنسازی-bpe-صدق-میکنند","sections":[],"depth":3},{"title":"۹. جملههایی را انتخاب کنید که دربارهی مدل توکِنسازی WordPiece صدق میکنند.","local":"۹-جملههایی-را-انتخاب-کنید-که-دربارهی-مدل-توکنسازی-wordpiece-صدق-میکنند","sections":[],"depth":3},{"title":"۱۰. جملههایی را انتخاب کنید که دربارهی مدل توکِنسازی Unigram صدق میکنند.","local":"۱۰-جملههایی-را-انتخاب-کنید-که-دربارهی-مدل-توکنسازی-unigram-صدق-میکنند","sections":[],"depth":3}],"depth":1}"/><!----> | |
| <link href="/docs/course/pr_1364/fa/_app/immutable/assets/0.tn0RQdqM.css" rel="modulepreload"> <!--[--><!--[0--><!--[--><!--[0--><!--[--><p></p> <div dir="rtl"><div class="items-center shrink-0 min-w-[100px] max-sm:min-w-[50px] justify-end ml-auto flex" style="float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"><div class="inline-flex rounded-md max-sm:rounded-sm"><button class="inline-flex items-center gap-1 h-7 max-sm:h-7 px-2 max-sm:px-1.5 text-sm font-medium text-gray-800 border border-r-0 rounded-l-md max-sm:rounded-l-sm border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-live="polite"><span class="inline-flex items-center justify-center rounded-md p-0.5 max-sm:p-0 hover:text-gray-800 dark:hover:text-gray-200"><svg class="sm:size-3.5 size-3" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----></span> <span>Copy page</span></button> <button class="inline-flex items-center justify-center w-6 max-sm:w-5 h-7 max-sm:h-7 disabled:pointer-events-none text-sm text-gray-500 hover:text-gray-700 dark:hover:text-white rounded-r-md max-sm:rounded-r-sm border border-l transition border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-haspopup="menu" aria-expanded="false" aria-label="Open copy menu"><svg class="transition-transform text-gray-400 overflow-visible sm:size-3.5 size-3 rotate-0" width="1em" height="1em" viewBox="0 0 12 7" fill="none" xmlns="http://www.w3.org/2000/svg"><path d="M1 1L6 6L11 1" stroke="currentColor"></path></svg><!----></button></div> <!--[-1--><!--]--></div><!----> <!--[0--><h1 class="relative group"><a id="end-of-chapter-quiz" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#end-of-chapter-quiz"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>آزمون پایان فصل</span></h1><!--]--><!----> <div class="flex space-x-1 absolute z-10 right-0 top-0"><a href="https://discuss.huggingface.co/t/chapter-6-questions" target="_blank"><img alt="Ask a Question" class="!m-0" src="https://img.shields.io/badge/Ask%20a%20question-ffcb4c.svg?logo=data:image/svg+xml;base64,PHN2ZyB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciIHZpZXdCb3g9IjAgLTEgMTA0IDEwNiI+PGRlZnM+PHN0eWxlPi5jbHMtMXtmaWxsOiMyMzFmMjA7fS5jbHMtMntmaWxsOiNmZmY5YWU7fS5jbHMtM3tmaWxsOiMwMGFlZWY7fS5jbHMtNHtmaWxsOiMwMGE5NGY7fS5jbHMtNXtmaWxsOiNmMTVkMjI7fS5jbHMtNntmaWxsOiNlMzFiMjM7fTwvc3R5bGU+PC9kZWZzPjx0aXRsZT5EaXNjb3Vyc2VfbG9nbzwvdGl0bGU+PGcgaWQ9IkxheWVyXzIiPjxnIGlkPSJMYXllcl8zIj48cGF0aCBjbGFzcz0iY2xzLTEiIGQ9Ik01MS44NywwQzIzLjcxLDAsMCwyMi44MywwLDUxYzAsLjkxLDAsNTIuODEsMCw1Mi44MWw1MS44Ni0uMDVjMjguMTYsMCw1MS0yMy43MSw1MS01MS44N1M4MCwwLDUxLjg3LDBaIi8+PHBhdGggY2xhc3M9ImNscy0yIiBkPSJNNTIuMzcsMTkuNzRBMzEuNjIsMzEuNjIsMCwwLDAsMjQuNTgsNjYuNDFsLTUuNzIsMTguNEwzOS40LDgwLjE3YTMxLjYxLDMxLjYxLDAsMSwwLDEzLTYwLjQzWiIvPjxwYXRoIGNsYXNzPSJjbHMtMyIgZD0iTTc3LjQ1LDMyLjEyYTMxLjYsMzEuNiwwLDAsMS0zOC4wNSw0OEwxOC44Niw4NC44MmwyMC45MS0yLjQ3QTMxLjYsMzEuNiwwLDAsMCw3Ny40NSwzMi4xMloiLz48cGF0aCBjbGFzcz0iY2xzLTQiIGQ9Ik03MS42MywyNi4yOUEzMS42LDMxLjYsMCwwLDEsMzguOCw3OEwxOC44Niw4NC44MiwzOS40LDgwLjE3QTMxLjYsMzEuNiwwLDAsMCw3MS42MywyNi4yOVoiLz48cGF0aCBjbGFzcz0iY2xzLTUiIGQ9Ik0yNi40Nyw2Ny4xMWEzMS42MSwzMS42MSwwLDAsMSw1MS0zNUEzMS42MSwzMS42MSwwLDAsMCwyNC41OCw2Ni40MWwtNS43MiwxOC40WiIvPjxwYXRoIGNsYXNzPSJjbHMtNiIgZD0iTTI0LjU4LDY2LjQxQTMxLjYxLDMxLjYxLDAsMCwxLDcxLjYzLDI2LjI5YTMxLjYxLDMxLjYxLDAsMCwwLTQ5LDM5LjYzbC0zLjc2LDE4LjlaIi8+PC9nPjwvZz48L3N2Zz4="/></a><!----> <!--[-1--><!--]--> <!--[-1--><!--]--></div><!----> <p>بیایید آموختههای خود را در این فصل امتحان کنیم!</p> <!--[2--><h3 class="relative group"><a id="۱-چه-زمانی-باید-یک-توکنایزر-جدید-تعلیم-دهید" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۱-چه-زمانی-باید-یک-توکنایزر-جدید-تعلیم-دهید"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۱. چه زمانی باید یک توکِنایزر جدید تعلیم دهید؟</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->وقتی دیتاست شما شبیه دیتاستی است که یک مدل از پیش تعلیمدیدهی موجود روی آن تعلیم دیده و میخواهید مدل جدیدی را از صفر پیشتعلیم دهید<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->وقتی دیتاست شما شبیه دیتاستی است که یک مدل از پیش تعلیمدیدهی موجود روی آن تعلیم دیده و میخواهید با استفاده از این مدل از پیش تعلیمدیده، مدل جدیدی را کوک کنید<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->وقتی دیتاست شما با دیتاستی که یک مدل از پیش تعلیمدیدهی موجود روی آن تعلیم دیده متفاوت است و میخواهید مدل جدیدی را از صفر پیشتعلیم دهید<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="3"/> <!---->وقتی دیتاست شما با دیتاستی که یک مدل از پیش تعلیمدیدهی موجود روی آن تعلیم دیده متفاوت است، اما میخواهید با استفاده از این مدل از پیش تعلیمدیده، مدل جدیدی را کوک کنید<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----> <!--[2--><h3 class="relative group"><a id="۲-استفاده-از-مولدی-از-فهرستهای-متن-در-مقایسه-با-فهرستی-از-فهرستهای-متن-هنگام-استفاده-از-trainnewfromiterator-چه-مزیتی-دارد" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۲-استفاده-از-مولدی-از-فهرستهای-متن-در-مقایسه-با-فهرستی-از-فهرستهای-متن-هنگام-استفاده-از-trainnewfromiterator-چه-مزیتی-دارد"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۲. استفاده از مولدی از فهرستهای متن در مقایسه با فهرستی از فهرستهای متن هنگام استفاده از train_new_from_iterator() چه مزیتی دارد؟</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->این تنها نوعی است که متد <code>train_new_from_iterator()</code> میپذیرد.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->از بارگذاری کل دیتاست در حافظه بهصورت همزمان جلوگیری میکنید.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->این کار به کتابخانهی 🤗 Tokenizers اجازه میدهد از پردازش چندگانه استفاده کند.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="3"/> <!---->توکِنایزری که تعلیم میدهید متنهای بهتری تولید خواهد کرد.<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----> <!--[2--><h3 class="relative group"><a id="۳-استفاده-از-توکنایزر-سریع-چه-مزایایی-دارد" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۳-استفاده-از-توکنایزر-سریع-چه-مزایایی-دارد"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۳. استفاده از توکِنایزر «سریع» چه مزایایی دارد؟</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->وقتی تعداد زیادی ورودی را با هم بتچ میکنید، ورودیها را سریعتر از توکِنایزر کند پردازش میکند.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->توکِنایزرهای سریع همیشه سریعتر از نمونههای کند خود توکِنسازی میکنند.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->میتواند همطولسازی و کوتاهسازی را اعمال کند.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="3"/> <!---->قابلیتهای اضافی دارد که به شما اجازه میدهد توکِنها را به بازهی متنی که آنها را ایجاد کرده نگاشت کنید.<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----> <!--[2--><h3 class="relative group"><a id="۴-خط-تولید-token-classification-چگونه-موجودیتهایی-را-مدیریت-میکند-که-روی-چند-توکن-گستردهاند" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۴-خط-تولید-token-classification-چگونه-موجودیتهایی-را-مدیریت-میکند-که-روی-چند-توکن-گستردهاند"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۴. خط تولید token-classification چگونه موجودیتهایی را مدیریت میکند که روی چند توکِن گستردهاند؟</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->موجودیتهایی که برچسب یکسان دارند در یک موجودیت ادغام میشوند.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->برای ابتدای یک موجودیت و ادامهی یک موجودیت برچسب جداگانهای وجود دارد.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->در یک کلمه، تا زمانی که نخستین توکِن برچسب موجودیت را داشته باشد، کل کلمه با آن موجودیت برچسبگذاریشده در نظر گرفته میشود.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="3"/> <!---->وقتی توکِنی برچسب یک موجودیت مشخص را داشته باشد، هر توکِن بعدی دیگری با همان برچسب بخشی از همان موجودیت در نظر گرفته میشود، مگر اینکه برچسب شروع یک موجودیت جدید را داشته باشد.<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----> <!--[2--><h3 class="relative group"><a id="۵-خط-تولید-question-answering-چگونه-زمینههای-طولانی-را-مدیریت-میکند" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۵-خط-تولید-question-answering-چگونه-زمینههای-طولانی-را-مدیریت-میکند"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۵. خط تولید question-answering چگونه زمینههای طولانی را مدیریت میکند؟</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->واقعاً آنها را مدیریت نمیکند، چون زمینهی طولانی را در حداکثر طول پذیرفتهشده توسط مدل کوتاه میکند.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->زمینه را به چند بخش تقسیم میکند و نتایج بهدستآمده را میانگین میگیرد.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->زمینه را به چند بخش (با همپوشانی) تقسیم میکند و بیشترین امتیاز پاسخ را در هر بخش پیدا میکند.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="3"/> <!---->زمینه را به چند بخش (بدون همپوشانی، برای کارایی بیشتر) تقسیم میکند و بیشترین امتیاز پاسخ را در هر بخش پیدا میکند.<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----> <!--[2--><h3 class="relative group"><a id="۶-نرمالسازی-چیست" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۶-نرمالسازی-چیست"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۶. نرمالسازی چیست؟</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->هر نوع پاکسازیای است که توکِنایزر در مراحل اولیه روی متنها انجام میدهد.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->یک روش افزایش داده است که با حذف کلمههای نادر، متن را عادیتر میکند.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->مرحلهی نهایی پسپردازش است که در آن توکِنایزر توکِنهای ویژه را اضافه میکند.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="3"/> <!---->زمانی است که با کم کردن میانگین و تقسیم بر انحراف معیار، embeddingها با میانگین صفر و انحراف معیار یک ساخته میشوند.<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----> <!--[2--><h3 class="relative group"><a id="۷-پیشتوکنسازی-برای-یک-توکنایزر-زیرواژهای-چه-کاربردی-دارد" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۷-پیشتوکنسازی-برای-یک-توکنایزر-زیرواژهای-چه-کاربردی-دارد"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۷. پیشتوکِنسازی برای یک توکِنایزر زیرواژهای چه کاربردی دارد؟</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->گام پیش از توکِنسازی است که در آن افزایش داده (مانند ماسکگذاری تصادفی) اعمال میشود.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->گام پیش از توکِنسازی است که در آن عملیات پاکسازی مطلوب روی متن اعمال میشود.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->گامی پیش از اعمال مدل توکِنایزر است که ورودی را به کلمهها تقسیم میکند.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="3"/> <!---->گامی پیش از اعمال مدل توکِنایزر است که ورودی را به توکِنها تقسیم میکند.<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----> <!--[2--><h3 class="relative group"><a id="۸-جملههایی-را-انتخاب-کنید-که-دربارهی-مدل-توکنسازی-bpe-صدق-میکنند" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۸-جملههایی-را-انتخاب-کنید-که-دربارهی-مدل-توکنسازی-bpe-صدق-میکنند"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۸. جملههایی را انتخاب کنید که دربارهی مدل توکِنسازی BPE صدق میکنند.</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->BPE الگوریتم توکِنسازی زیرواژهای است که با واژگانی کوچک شروع میکند و قواعد ادغام را یاد میگیرد.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->BPE الگوریتم توکِنسازی زیرواژهای است که با واژگانی بزرگ شروع میکند و بهتدریج توکِنها را از آن حذف میکند.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->توکِنایزرهای BPE قواعد ادغام را با ادغام جفت توکِنهایی یاد میگیرند که پرتکرارترین جفت هستند.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="3"/> <!---->توکِنایزر BPE با ادغام جفت توکِنهایی قاعدهی ادغام یاد میگیرد که امتیازی را بیشینه میکند که جفتهای پرتکرار با اجزای منفرد کمتکرارتر را ترجیح میدهد.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="4"/> <!---->BPE با تقسیم کلمهها به نویسهها و سپس اعمال قواعد ادغام، کلمهها را به زیرکلمهها توکِنسازی میکند.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="5"/> <!---->BPE با پیدا کردن طولانیترین زیرکلمهای که از ابتدای متن شروع میشود و در واژگان وجود دارد و سپس تکرار فرایند برای ادامهی متن، کلمهها را به زیرکلمهها توکِنسازی میکند.<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----> <!--[2--><h3 class="relative group"><a id="۹-جملههایی-را-انتخاب-کنید-که-دربارهی-مدل-توکنسازی-wordpiece-صدق-میکنند" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۹-جملههایی-را-انتخاب-کنید-که-دربارهی-مدل-توکنسازی-wordpiece-صدق-میکنند"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۹. جملههایی را انتخاب کنید که دربارهی مدل توکِنسازی WordPiece صدق میکنند.</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->WordPiece الگوریتم توکِنسازی زیرواژهای است که با واژگانی کوچک شروع میکند و قواعد ادغام را یاد میگیرد.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->WordPiece الگوریتم توکِنسازی زیرواژهای است که با واژگانی بزرگ شروع میکند و بهتدریج توکِنها را از آن حذف میکند.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->توکِنایزرهای WordPiece قواعد ادغام را با ادغام جفت توکِنهایی یاد میگیرند که پرتکرارترین جفت هستند.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="3"/> <!---->توکِنایزر WordPiece با ادغام جفت توکِنهایی قاعدهی ادغام یاد میگیرد که امتیازی را بیشینه میکند که جفتهای پرتکرار با اجزای منفرد کمتکرارتر را ترجیح میدهد.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="4"/> <!---->WordPiece با پیدا کردن محتملترین تقسیمبندی به توکِنها بر اساس مدل، کلمهها را به زیرکلمهها توکِنسازی میکند.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="5"/> <!---->WordPiece با پیدا کردن طولانیترین زیرکلمهای که از ابتدای متن شروع میشود و در واژگان وجود دارد و سپس تکرار فرایند برای ادامهی متن، کلمهها را به زیرکلمهها توکِنسازی میکند.<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----> <!--[2--><h3 class="relative group"><a id="۱۰-جملههایی-را-انتخاب-کنید-که-دربارهی-مدل-توکنسازی-unigram-صدق-میکنند" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#۱۰-جملههایی-را-انتخاب-کنید-که-دربارهی-مدل-توکنسازی-unigram-صدق-میکنند"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>۱۰. جملههایی را انتخاب کنید که دربارهی مدل توکِنسازی Unigram صدق میکنند.</span></h3><!--]--><!----> <div><form><!--[--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="0"/> <!---->Unigram الگوریتم توکِنسازی زیرواژهای است که با واژگانی کوچک شروع میکند و قواعد ادغام را یاد میگیرد.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="1"/> <!---->Unigram الگوریتم توکِنسازی زیرواژهای است که با واژگانی بزرگ شروع میکند و بهتدریج توکِنها را از آن حذف میکند.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="2"/> <!---->Unigram با کمینه کردن هزینهای که روی کل پیکره محاسبه میشود، واژگان خود را سازگار میکند.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="3"/> <!---->Unigram با نگه داشتن پرتکرارترین زیرکلمهها، واژگان خود را سازگار میکند.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="4"/> <!---->Unigram با پیدا کردن محتملترین تقسیمبندی به توکِنها بر اساس مدل، کلمهها را به زیرکلمهها توکِنسازی میکند.<!----></label> <!--[-1--><!--]--><label class="block"><input autocomplete="off" class="form-input -mt-1.5 mr-2" name="choice" type="checkbox" value="5"/> <!---->Unigram با تقسیم کلمهها به نویسهها و سپس اعمال قواعد ادغام، کلمهها را به زیرکلمهها توکِنسازی میکند.<!----></label> <!--[-1--><!--]--><!--]--> <div class="flex flex-row items-center mt-3"><button class="btn px-4 mr-4" type="submit" disabled="">Submit</button> <!--[-1--><!--]--></div></form></div><!----></div> <a class="!text-gray-400 !no-underline text-sm flex items-center not-prose mt-4" href="https://github.com/huggingface/course/blob/main/chapters/fa/chapter6/10.mdx" target="_blank"><svg class="mr-1" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M31,16l-7,7l-1.41-1.41L28.17,16l-5.58-5.59L24,9l7,7z"></path><path d="M1,16l7-7l1.41,1.41L3.83,16l5.58,5.59L8,23l-7-7z"></path><path d="M12.419,25.484L17.639,6.552l1.932,0.518L14.351,26.002z"></path></svg><!----> <span><span class="underline">Update</span> on GitHub</span></a><!----> <p></p><!--]--><!----><!--]--><!--]--><!--]--> <!--[-1--><!--]--><!--]--> | |
| <script> | |
| { | |
| __sveltekit_pfm8ny = { | |
| base: "/docs/course/pr_1364/fa", | |
| assets: "/docs/course/pr_1364/fa" | |
| }; | |
| const element = document.currentScript.parentElement; | |
| Promise.all([ | |
| import("/docs/course/pr_1364/fa/_app/immutable/entry/start.CqZXmSrv.js"), | |
| import("/docs/course/pr_1364/fa/_app/immutable/entry/app.B4UvgX5H.js") | |
| ]).then(([kit, app]) => { | |
| kit.start(app, element, { | |
| node_ids: [0, 68], | |
| data: [null,null], | |
| form: null, | |
| error: null | |
| }); | |
| }); | |
| } | |
| </script> | |
Xet Storage Details
- Size:
- 46.7 kB
- Xet hash:
- 4feeaf83b11eadf9801ced42996e797f4f8e8cd4cc22ef593dc91e276988bd84
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.