Buckets:
| # آزمون پایان فصل[[end-of-chapter-quiz]] | |
| <CourseFloatingBanner | |
| chapter={6} | |
| classNames="absolute z-10 right-0 top-0" | |
| /> | |
| بیایید آموختههای خود را در این فصل امتحان کنیم! | |
| ### ۱. چه زمانی باید یک توکِنایزر جدید تعلیم دهید؟ | |
| <Question | |
| choices={[ | |
| { | |
| text: "وقتی دیتاست شما شبیه دیتاستی است که یک مدل از پیش تعلیمدیدهی موجود روی آن تعلیم دیده و میخواهید مدل جدیدی را از صفر پیشتعلیم دهید", | |
| explain: "در این حالت، برای صرفهجویی در زمان و منابع محاسباتی، انتخاب بهتر استفاده از همان توکِنایزر مدل از پیش تعلیمدیده و کوک کردن همان مدل است." | |
| }, | |
| { | |
| text: "وقتی دیتاست شما شبیه دیتاستی است که یک مدل از پیش تعلیمدیدهی موجود روی آن تعلیم دیده و میخواهید با استفاده از این مدل از پیش تعلیمدیده، مدل جدیدی را کوک کنید", | |
| explain: "برای کوک کردن مدلی از روی یک مدل از پیش تعلیمدیده، همیشه باید از همان توکِنایزر استفاده کنید." | |
| }, | |
| { | |
| text: "وقتی دیتاست شما با دیتاستی که یک مدل از پیش تعلیمدیدهی موجود روی آن تعلیم دیده متفاوت است و میخواهید مدل جدیدی را از صفر پیشتعلیم دهید", | |
| explain: "درست است! در این حالت استفاده از همان توکِنایزر مزیتی ندارد.", | |
| correct: true | |
| }, | |
| { | |
| text: "وقتی دیتاست شما با دیتاستی که یک مدل از پیش تعلیمدیدهی موجود روی آن تعلیم دیده متفاوت است، اما میخواهید با استفاده از این مدل از پیش تعلیمدیده، مدل جدیدی را کوک کنید", | |
| explain: "برای کوک کردن مدلی از روی یک مدل از پیش تعلیمدیده، همیشه باید از همان توکِنایزر استفاده کنید." | |
| } | |
| ]} | |
| /> | |
| ### ۲. استفاده از مولدی از فهرستهای متن در مقایسه با فهرستی از فهرستهای متن هنگام استفاده از `train_new_from_iterator()` چه مزیتی دارد؟ | |
| <Question | |
| choices={[ | |
| { | |
| text: "این تنها نوعی است که متد train_new_from_iterator() میپذیرد.", | |
| explain: "فهرستی از فهرستهای متن نوع خاصی از مولد فهرستهای متن است، بنابراین متد این نوع را نیز میپذیرد. دوباره تلاش کنید!" | |
| }, | |
| { | |
| text: "از بارگذاری کل دیتاست در حافظه بهصورت همزمان جلوگیری میکنید.", | |
| explain: "درست است! هر بتچ از متنها هنگام پیمایش از حافظه آزاد میشود و این مزیت بهویژه زمانی محسوس است که از 🤗 Datasets برای ذخیرهی متنها استفاده کنید.", | |
| correct: true | |
| }, | |
| { | |
| text: "این کار به کتابخانهی 🤗 Tokenizers اجازه میدهد از پردازش چندگانه استفاده کند.", | |
| explain: "نه، در هر دو حالت از پردازش چندگانه استفاده میکند." | |
| }, | |
| { | |
| text: "توکِنایزری که تعلیم میدهید متنهای بهتری تولید خواهد کرد.", | |
| explain: "توکِنایزر متن تولید نمیکند — آیا آن را با مدل زبانی اشتباه گرفتهاید؟" | |
| } | |
| ]} | |
| /> | |
| ### ۳. استفاده از توکِنایزر «سریع» چه مزایایی دارد؟ | |
| <Question | |
| choices={[ | |
| { | |
| text: "وقتی تعداد زیادی ورودی را با هم بتچ میکنید، ورودیها را سریعتر از توکِنایزر کند پردازش میکند.", | |
| explain: "درست است! به لطف موازیسازی پیادهسازیشده در Rust، روی بتچهای ورودی سریعتر خواهد بود. چه مزیت دیگری به ذهنتان میرسد؟", | |
| correct: true | |
| }, | |
| { | |
| text: "توکِنایزرهای سریع همیشه سریعتر از نمونههای کند خود توکِنسازی میکنند.", | |
| explain: "توکِنایزر سریع ممکن است هنگام دریافت تنها یک یا چند متن، کندتر باشد، چون نمیتواند از موازیسازی استفاده کند." | |
| }, | |
| { | |
| text: "میتواند همطولسازی و کوتاهسازی را اعمال کند.", | |
| explain: "درست است، اما توکِنایزرهای کند نیز همین کار را انجام میدهند." | |
| }, | |
| { | |
| text: "قابلیتهای اضافی دارد که به شما اجازه میدهد توکِنها را به بازهی متنی که آنها را ایجاد کرده نگاشت کنید.", | |
| explain: "دقیقاً — به اینها نگاشتهای offset گفته میشود. البته این تنها مزیت نیست.", | |
| correct: true | |
| } | |
| ]} | |
| /> | |
| ### ۴. خط تولید `token-classification` چگونه موجودیتهایی را مدیریت میکند که روی چند توکِن گستردهاند؟ | |
| <Question | |
| choices={[ | |
| { | |
| text: "موجودیتهایی که برچسب یکسان دارند در یک موجودیت ادغام میشوند.", | |
| explain: "این توضیح کمی بیش از حد سادهسازی شده است. دوباره تلاش کنید!" | |
| }, | |
| { | |
| text: "برای ابتدای یک موجودیت و ادامهی یک موجودیت برچسب جداگانهای وجود دارد.", | |
| explain: "درست است!", | |
| correct: true | |
| }, | |
| { | |
| text: "در یک کلمه، تا زمانی که نخستین توکِن برچسب موجودیت را داشته باشد، کل کلمه با آن موجودیت برچسبگذاریشده در نظر گرفته میشود.", | |
| explain: "این یکی از راهبردهای مدیریت موجودیتهاست. کدام پاسخهای دیگر اینجا کاربرد دارند؟", | |
| correct: true | |
| }, | |
| { | |
| text: "وقتی توکِنی برچسب یک موجودیت مشخص را داشته باشد، هر توکِن بعدی دیگری با همان برچسب بخشی از همان موجودیت در نظر گرفته میشود، مگر اینکه برچسب شروع یک موجودیت جدید را داشته باشد.", | |
| explain: "این رایجترین روش گروهبندی موجودیتهاست — البته تنها پاسخ درست نیست.", | |
| correct: true | |
| } | |
| ]} | |
| /> | |
| ### ۵. خط تولید `question-answering` چگونه زمینههای طولانی را مدیریت میکند؟ | |
| <Question | |
| choices={[ | |
| { | |
| text: "واقعاً آنها را مدیریت نمیکند، چون زمینهی طولانی را در حداکثر طول پذیرفتهشده توسط مدل کوتاه میکند.", | |
| explain: "ترفندی برای مدیریت زمینههای طولانی وجود دارد. یادتان میآید چیست؟" | |
| }, | |
| { | |
| text: "زمینه را به چند بخش تقسیم میکند و نتایج بهدستآمده را میانگین میگیرد.", | |
| explain: "نه، میانگین گرفتن نتایج منطقی نیست، چون برخی بخشهای زمینه پاسخ را دربرنمیگیرند." | |
| }, | |
| { | |
| text: "زمینه را به چند بخش (با همپوشانی) تقسیم میکند و بیشترین امتیاز پاسخ را در هر بخش پیدا میکند.", | |
| explain: "این پاسخ درست است!", | |
| correct: true | |
| }, | |
| { | |
| text: "زمینه را به چند بخش (بدون همپوشانی، برای کارایی بیشتر) تقسیم میکند و بیشترین امتیاز پاسخ را در هر بخش پیدا میکند.", | |
| explain: "نه، بین بخشها همپوشانی ایجاد میکند تا از حالتی جلوگیری شود که پاسخ بین دو بخش تقسیم شود." | |
| } | |
| ]} | |
| /> | |
| ### ۶. نرمالسازی چیست؟ | |
| <Question | |
| choices={[ | |
| { | |
| text: "هر نوع پاکسازیای است که توکِنایزر در مراحل اولیه روی متنها انجام میدهد.", | |
| explain: "درست است — برای نمونه، ممکن است شامل حذف اَکسانها یا فاصلهها و کوچک کردن حروف ورودی باشد.", | |
| correct: true | |
| }, | |
| { | |
| text: "یک روش افزایش داده است که با حذف کلمههای نادر، متن را عادیتر میکند.", | |
| explain: "نادرست است! دوباره تلاش کنید." | |
| }, | |
| { | |
| text: "مرحلهی نهایی پسپردازش است که در آن توکِنایزر توکِنهای ویژه را اضافه میکند.", | |
| explain: "آن مرحله صرفاً پسپردازش نامیده میشود." | |
| }, | |
| { | |
| text: "زمانی است که با کم کردن میانگین و تقسیم بر انحراف معیار، embeddingها با میانگین صفر و انحراف معیار یک ساخته میشوند.", | |
| explain: "این فرایند هنگام اعمال روی مقادیر پیکسل در بینایی ماشین معمولاً نرمالسازی نامیده میشود، اما در NLP معنای نرمالسازی این نیست." | |
| } | |
| ]} | |
| /> | |
| ### ۷. پیشتوکِنسازی برای یک توکِنایزر زیرواژهای چه کاربردی دارد؟ | |
| <Question | |
| choices={[ | |
| { | |
| text: "گام پیش از توکِنسازی است که در آن افزایش داده (مانند ماسکگذاری تصادفی) اعمال میشود.", | |
| explain: "نه، آن گام بخشی از پیشپردازش است." | |
| }, | |
| { | |
| text: "گام پیش از توکِنسازی است که در آن عملیات پاکسازی مطلوب روی متن اعمال میشود.", | |
| explain: "نه، آن گام نرمالسازی است." | |
| }, | |
| { | |
| text: "گامی پیش از اعمال مدل توکِنایزر است که ورودی را به کلمهها تقسیم میکند.", | |
| explain: "این پاسخ درست است!", | |
| correct: true | |
| }, | |
| { | |
| text: "گامی پیش از اعمال مدل توکِنایزر است که ورودی را به توکِنها تقسیم میکند.", | |
| explain: "نه، تقسیم به توکِنها وظیفهی مدل توکِنایزر است." | |
| } | |
| ]} | |
| /> | |
| ### ۸. جملههایی را انتخاب کنید که دربارهی مدل توکِنسازی BPE صدق میکنند. | |
| <Question | |
| choices={[ | |
| { | |
| text: "BPE الگوریتم توکِنسازی زیرواژهای است که با واژگانی کوچک شروع میکند و قواعد ادغام را یاد میگیرد.", | |
| explain: "دقیقاً همینطور است!", | |
| correct: true | |
| }, | |
| { | |
| text: "BPE الگوریتم توکِنسازی زیرواژهای است که با واژگانی بزرگ شروع میکند و بهتدریج توکِنها را از آن حذف میکند.", | |
| explain: "نه، این رویکرد الگوریتم توکِنسازی دیگری است." | |
| }, | |
| { | |
| text: "توکِنایزرهای BPE قواعد ادغام را با ادغام جفت توکِنهایی یاد میگیرند که پرتکرارترین جفت هستند.", | |
| explain: "درست است!", | |
| correct: true | |
| }, | |
| { | |
| text: "توکِنایزر BPE با ادغام جفت توکِنهایی قاعدهی ادغام یاد میگیرد که امتیازی را بیشینه میکند که جفتهای پرتکرار با اجزای منفرد کمتکرارتر را ترجیح میدهد.", | |
| explain: "نه، این راهبرد الگوریتم توکِنسازی دیگری است." | |
| }, | |
| { | |
| text: "BPE با تقسیم کلمهها به نویسهها و سپس اعمال قواعد ادغام، کلمهها را به زیرکلمهها توکِنسازی میکند.", | |
| explain: "درست است!", | |
| correct: true | |
| }, | |
| { | |
| text: "BPE با پیدا کردن طولانیترین زیرکلمهای که از ابتدای متن شروع میشود و در واژگان وجود دارد و سپس تکرار فرایند برای ادامهی متن، کلمهها را به زیرکلمهها توکِنسازی میکند.", | |
| explain: "نه، این روش کار الگوریتم توکِنسازی دیگری است." | |
| }, | |
| ]} | |
| /> | |
| ### ۹. جملههایی را انتخاب کنید که دربارهی مدل توکِنسازی WordPiece صدق میکنند. | |
| <Question | |
| choices={[ | |
| { | |
| text: "WordPiece الگوریتم توکِنسازی زیرواژهای است که با واژگانی کوچک شروع میکند و قواعد ادغام را یاد میگیرد.", | |
| explain: "دقیقاً همینطور است!", | |
| correct: true | |
| }, | |
| { | |
| text: "WordPiece الگوریتم توکِنسازی زیرواژهای است که با واژگانی بزرگ شروع میکند و بهتدریج توکِنها را از آن حذف میکند.", | |
| explain: "نه، این رویکرد الگوریتم توکِنسازی دیگری است." | |
| }, | |
| { | |
| text: "توکِنایزرهای WordPiece قواعد ادغام را با ادغام جفت توکِنهایی یاد میگیرند که پرتکرارترین جفت هستند.", | |
| explain: "نه، این راهبرد الگوریتم توکِنسازی دیگری است." | |
| }, | |
| { | |
| text: "توکِنایزر WordPiece با ادغام جفت توکِنهایی قاعدهی ادغام یاد میگیرد که امتیازی را بیشینه میکند که جفتهای پرتکرار با اجزای منفرد کمتکرارتر را ترجیح میدهد.", | |
| explain: "درست است!", | |
| correct: true | |
| }, | |
| { | |
| text: "WordPiece با پیدا کردن محتملترین تقسیمبندی به توکِنها بر اساس مدل، کلمهها را به زیرکلمهها توکِنسازی میکند.", | |
| explain: "نه، این روش کار الگوریتم توکِنسازی دیگری است." | |
| }, | |
| { | |
| text: "WordPiece با پیدا کردن طولانیترین زیرکلمهای که از ابتدای متن شروع میشود و در واژگان وجود دارد و سپس تکرار فرایند برای ادامهی متن، کلمهها را به زیرکلمهها توکِنسازی میکند.", | |
| explain: "بله، WordPiece برای کدگذاری به این شکل عمل میکند.", | |
| correct: true | |
| }, | |
| ]} | |
| /> | |
| ### ۱۰. جملههایی را انتخاب کنید که دربارهی مدل توکِنسازی Unigram صدق میکنند. | |
| <Question | |
| choices={[ | |
| { | |
| text: "Unigram الگوریتم توکِنسازی زیرواژهای است که با واژگانی کوچک شروع میکند و قواعد ادغام را یاد میگیرد.", | |
| explain: "نه، این رویکرد الگوریتم توکِنسازی دیگری است." | |
| }, | |
| { | |
| text: "Unigram الگوریتم توکِنسازی زیرواژهای است که با واژگانی بزرگ شروع میکند و بهتدریج توکِنها را از آن حذف میکند.", | |
| explain: "درست است!", | |
| correct: true | |
| }, | |
| { | |
| text: "Unigram با کمینه کردن هزینهای که روی کل پیکره محاسبه میشود، واژگان خود را سازگار میکند.", | |
| explain: "درست است!", | |
| correct: true | |
| }, | |
| { | |
| text: "Unigram با نگه داشتن پرتکرارترین زیرکلمهها، واژگان خود را سازگار میکند.", | |
| explain: "نه، این نادرست است." | |
| }, | |
| { | |
| text: "Unigram با پیدا کردن محتملترین تقسیمبندی به توکِنها بر اساس مدل، کلمهها را به زیرکلمهها توکِنسازی میکند.", | |
| explain: "درست است!", | |
| correct: true | |
| }, | |
| { | |
| text: "Unigram با تقسیم کلمهها به نویسهها و سپس اعمال قواعد ادغام، کلمهها را به زیرکلمهها توکِنسازی میکند.", | |
| explain: "نه، این روش کار الگوریتم توکِنسازی دیگری است." | |
| }, | |
| ]} | |
| /> | |
Xet Storage Details
- Size:
- 17 kB
- Xet hash:
- 7c698afd13f6adc39009306656359954f2ac8141a84c16b3c8a7a2f0407c2172
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.