Buckets:
نرمالسازی و پیشتوکِنسازی[[normalization-and-pre-tokenization]]
<CourseFloatingBanner chapter={6} classNames="absolute z-10 right-0 top-0" notebooks={[ {label: "Google Colab", value: "https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter6/section4.ipynb"}, {label: "Aws Studio", value: "https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter6/section4.ipynb"}, ]} />
پیش از اینکه عمیقتر وارد سه الگوریتم رایج توکِنسازی زیرواژهای مورد استفاده در مدلهای ترنسفورمر شویم (BPE، WordPiece و Unigram)، ابتدا پیشپردازشی را بررسی میکنیم که هر توکِنایزر روی متن انجام میدهد. در ادامه نمایی کلی از مراحل خط تولید توکِنسازی میبینید:
پیش از تقسیم متن به زیرتوکِنها (بر اساس مدل آن)، توکِنایزر دو مرحله را انجام میدهد: نرمالسازی و پیشتوکِنسازی.
نرمالسازی[[normalization]]
مرحلهی نرمالسازی شامل پاکسازیهای عمومی مانند حذف فاصلههای غیرضروری، تبدیل حروف به کوچک و/یا حذف اَکسانهاست. اگر با نرمالسازی Unicode (مانند NFC یا NFKC) آشنا باشید، این نیز کاری است که ممکن است توکِنایزر انجام دهد.
tokenizer در 🤗 Transformers ویژگیای به نام backend_tokenizer دارد که دسترسی به توکِنایزر زیربنایی کتابخانهی 🤗 Tokenizers را فراهم میکند:
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
print(type(tokenizer.backend_tokenizer))
<class 'tokenizers.Tokenizer'>
ویژگی normalizer شیء tokenizer متد normalize_str() را دارد که میتوانیم از آن برای دیدن نحوهی انجام نرمالسازی استفاده کنیم:
print(tokenizer.backend_tokenizer.normalizer.normalize_str("Héllò hôw are ü?"))
'hello how are u?'
در این مثال، چون نقطهی تعلیم bert-base-uncased را انتخاب کردیم، نرمالسازی حروف را کوچک کرد و اَکسانها را حذف کرد.
✏️ امتحان کنید! یک توکِنایزر را از نقطهی تعلیم
bert-base-casedبارگذاری کنید و همان مثال را به آن بدهید. چه تفاوتهای اصلیای بین نسخههای cased و uncased توکِنایزر میبینید؟
پیشتوکِنسازی[[pre-tokenization]]
همانطور که در بخشهای بعد خواهیم دید، توکِنایزر را نمیتوان فقط روی متن خام تعلیم داد. ابتدا باید متنها را به واحدهای کوچکتری مانند کلمهها تقسیم کنیم. اینجاست که مرحلهی پیشتوکِنسازی وارد میشود. همانطور که در فصل ۲ دیدیم، یک توکِنایزر مبتنی بر کلمه میتواند متن خام را بهسادگی بر اساس فاصله و علائم نگارشی به کلمهها تقسیم کند. این کلمهها مرزهای زیرتوکِنهایی خواهند بود که توکِنایزر میتواند هنگام تعلیم خود یاد بگیرد.
برای دیدن نحوهی انجام پیشتوکِنسازی توسط یک توکِنایزر سریع، میتوانیم از متد pre_tokenize_str() ویژگی pre_tokenizer شیء tokenizer استفاده کنیم:
tokenizer.backend_tokenizer.pre_tokenizer.pre_tokenize_str("Hello, how are you?")
[('Hello', (0, 5)), (',', (5, 6)), ('how', (7, 10)), ('are', (11, 14)), ('you', (16, 19)), ('?', (19, 20))]
توجه کنید که توکِنایزر از همین حالا offsetها را دنبال میکند؛ به همین دلیل میتواند نگاشت offsetی را که در بخش قبل استفاده کردیم به ما بدهد. در اینجا توکِنایزر دو فاصله را نادیده میگیرد و آنها را با یک فاصله جایگزین میکند، اما برای جبران این موضوع، بین are و you پرشی در offset رخ میدهد.
از آنجا که از توکِنایزر BERT استفاده میکنیم، پیشتوکِنسازی شامل تقسیم بر اساس فاصله و علائم نگارشی است. توکِنایزرهای دیگر ممکن است برای این مرحله قواعد متفاوتی داشته باشند. برای مثال، اگر از توکِنایزر GPT-2 استفاده کنیم:
tokenizer = AutoTokenizer.from_pretrained("gpt2")
tokenizer.backend_tokenizer.pre_tokenizer.pre_tokenize_str("Hello, how are you?")
این توکِنایزر نیز بر اساس فاصله و علائم نگارشی تقسیم میکند، اما فاصلهها را نگه میدارد و با نماد Ġ جایگزین میکند؛ بنابراین اگر توکِنها را رمزگشایی کنیم، میتواند فاصلههای اصلی را بازسازی کند:
[('Hello', (0, 5)), (',', (5, 6)), ('Ġhow', (6, 10)), ('Ġare', (10, 14)), ('Ġ', (14, 15)), ('Ġyou', (15, 19)),
('?', (19, 20))]
همچنین توجه کنید که برخلاف توکِنایزر BERT، این توکِنایزر فاصلهی دوتایی را نادیده نمیگیرد.
برای آخرین مثال، توکِنایزر T5 را بررسی کنیم که بر اساس الگوریتم SentencePiece ساخته شده است:
tokenizer = AutoTokenizer.from_pretrained("t5-small")
tokenizer.backend_tokenizer.pre_tokenizer.pre_tokenize_str("Hello, how are you?")
[('▁Hello,', (0, 6)), ('▁how', (7, 10)), ('▁are', (11, 14)), ('▁you?', (16, 20))]
این توکِنایزر نیز مانند توکِنایزر GPT-2 فاصلهها را نگه میدارد و با توکِنی مشخص جایگزین میکند (_)، اما توکِنایزر T5 فقط بر اساس فاصله تقسیم میکند، نه علائم نگارشی. همچنین توجه کنید که بهصورت پیشفرض در ابتدای جمله (پیش از Hello) یک فاصله اضافه کرده و فاصلهی دوتایی بین are و you را نادیده گرفته است.
حالا که کمی با نحوهی پردازش متن توسط چند توکِنایزر متفاوت آشنا شدیم، میتوانیم بررسی خود الگوریتمهای زیربنایی را آغاز کنیم. ابتدا نگاهی کوتاه به SentencePiece، الگوریتمی با کاربرد بسیار گسترده، میاندازیم؛ سپس در سه بخش بعدی نحوهی کار سه الگوریتم اصلی توکِنسازی زیرواژهای را بررسی میکنیم.
SentencePiece[[sentencepiece]]
SentencePiece الگوریتمی برای پیشپردازش متن است که میتوانید آن را با هرکدام از مدلهایی که در سه بخش بعدی میبینیم استفاده کنید. این الگوریتم متن را دنبالهای از نویسههای Unicode در نظر میگیرد و فاصلهها را با نویسهی ویژهی ▁ جایگزین میکند. اگر همراه با الگوریتم Unigram (به بخش ۷ مراجعه کنید) استفاده شود، حتی به مرحلهی پیشتوکِنسازی نیز نیاز ندارد؛ این ویژگی برای زبانهایی که از نویسهی فاصله استفاده نمیکنند (مانند چینی یا ژاپنی) بسیار مفید است.
ویژگی اصلی دیگر SentencePiece، توکِنسازی برگشتپذیر است: چون رفتار ویژهای با فاصلهها ندارد، رمزگشایی توکِنها فقط با بههمچسباندن آنها و جایگزین کردن _ها با فاصله انجام میشود — نتیجه، متن نرمالشده است. همانطور که پیشتر دیدیم، توکِنایزر BERT فاصلههای تکراری را حذف میکند، پس توکِنسازی آن برگشتپذیر نیست.
مرور الگوریتمها[[algorithm-overview]]
در بخشهای بعدی وارد سه الگوریتم اصلی توکِنسازی زیرواژهای میشویم: BPE (که GPT-2 و مدلهای دیگر از آن استفاده میکنند)، WordPiece (که برای مثال BERT از آن استفاده میکند) و Unigram (که T5 و مدلهای دیگر از آن استفاده میکنند). پیش از شروع، در ادامه نمایی کوتاه از نحوهی کار هرکدام میبینید. اگر جدول پس از خواندن هر بخش هنوز برایتان روشن نبود، بدون تردید دوباره به آن برگردید.
| مدل | BPE | WordPiece | Unigram |
|---|---|---|---|
| تعلیم | از یک واژگان کوچک شروع میکند و قواعدی برای ادغام توکِنها یاد میگیرد | از یک واژگان کوچک شروع میکند و قواعدی برای ادغام توکِنها یاد میگیرد | از یک واژگان بزرگ شروع میکند و قواعدی برای حذف توکِنها یاد میگیرد |
| گام تعلیم | توکِنهای متناظر با رایجترین جفت را ادغام میکند | توکِنهای متناظر با جفتی را ادغام میکند که بر اساس بسامد جفت بهترین امتیاز را دارد و جفتهایی را ترجیح میدهد که هر توکِن منفردشان کمتکرارتر است | همهی توکِنهای واژگان را که باعث کمینه شدن هزینهی محاسبهشده روی کل پیکره میشوند حذف میکند |
| یاد میگیرد | قواعد ادغام و یک واژگان | فقط یک واژگان | یک واژگان همراه با امتیازی برای هر توکِن |
| رمزگذاری | یک کلمه را به نویسهها تقسیم میکند و ادغامهای یادگرفتهشده هنگام تعلیم را اعمال میکند | طولانیترین زیرواژهی موجود در واژگان را از ابتدای کلمه پیدا میکند، سپس همین کار را برای باقی کلمه انجام میدهد | محتملترین تقسیم به توکِنها را با استفاده از امتیازهای یادگرفتهشده هنگام تعلیم پیدا میکند |
حالا وارد BPE شویم!
Xet Storage Details
- Size:
- 11.6 kB
- Xet hash:
- bc4f9971b8e5531c923f7ec7ed2f43bc9b776c8ec5053bdaebbe74b2318c971f
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.