Buckets:
توکِنایزرها، تمام![[tokenizers-check]]
آفرین که این فصل را به پایان رساندید!
پس از این بررسی عمیق توکِنایزرها، باید بتوانید:
- با استفاده از یک توکِنایزر قدیمی بهعنوان الگو، توکِنایزر جدیدی تعلیم دهید.
- برای نگاشت موقعیت توکِنها به بازهی متن اصلی، از offsetها استفاده کنید.
- تفاوتهای BPE، WordPiece و Unigram را درک کنید.
- بلوکهای فراهمشده توسط کتابخانهی 🤗 Tokenizers را برای ساختن توکِنایزر خودتان با هم ترکیب کنید.
- از آن توکِنایزر درون کتابخانهی 🤗 Transformers استفاده کنید.
Xet Storage Details
- Size:
- 926 Bytes
- Xet hash:
- 52bfc62cca50e55c4661ffc4a4fd45270f39f6513d93add7cdf18a4838626967
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.