Buckets:

|
download
raw
926 Bytes
# توکِنایزرها، تمام![[tokenizers-check]]
<CourseFloatingBanner
chapter={6}
classNames="absolute z-10 right-0 top-0"
/>
آفرین که این فصل را به پایان رساندید!
پس از این بررسی عمیق توکِنایزرها، باید بتوانید:
- با استفاده از یک توکِنایزر قدیمی به‌عنوان الگو، توکِنایزر جدیدی تعلیم دهید.
- برای نگاشت موقعیت توکِن‌ها به بازه‌ی متن اصلی، از offsetها استفاده کنید.
- تفاوت‌های BPE، WordPiece و Unigram را درک کنید.
- بلوک‌های فراهم‌شده توسط کتابخانه‌ی 🤗 Tokenizers را برای ساختن توکِنایزر خودتان با هم ترکیب کنید.
- از آن توکِنایزر درون کتابخانه‌ی 🤗 Transformers استفاده کنید.

Xet Storage Details

Size:
926 Bytes
·
Xet hash:
52bfc62cca50e55c4661ffc4a4fd45270f39f6513d93add7cdf18a4838626967

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.