Buckets:

|
download
raw
926 Bytes

توکِنایزرها، تمام![[tokenizers-check]]

آفرین که این فصل را به پایان رساندید!

پس از این بررسی عمیق توکِنایزرها، باید بتوانید:

  • با استفاده از یک توکِنایزر قدیمی به‌عنوان الگو، توکِنایزر جدیدی تعلیم دهید.
  • برای نگاشت موقعیت توکِن‌ها به بازه‌ی متن اصلی، از offsetها استفاده کنید.
  • تفاوت‌های BPE، WordPiece و Unigram را درک کنید.
  • بلوک‌های فراهم‌شده توسط کتابخانه‌ی 🤗 Tokenizers را برای ساختن توکِنایزر خودتان با هم ترکیب کنید.
  • از آن توکِنایزر درون کتابخانه‌ی 🤗 Transformers استفاده کنید.

Xet Storage Details

Size:
926 Bytes
·
Xet hash:
52bfc62cca50e55c4661ffc4a4fd45270f39f6513d93add7cdf18a4838626967

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.