Buckets:
| # مقدمه[[introduction]] | |
| <CourseFloatingBanner | |
| chapter={6} | |
| classNames="absolute z-10 right-0 top-0" | |
| /> | |
| در [فصل ۳](/course/chapter3)، بررسی کردیم که چگونه یک مدل را برای مسئلهای مشخص کوک کنیم. در این فرایند از همان توکِنایزری استفاده میکنیم که مدل با آن پیشتعلیم دیده است — اما وقتی بخواهیم مدلی را از صفر تعلیم دهیم، چه کار باید بکنیم؟ در این موارد، استفاده از توکِنایزری که با پیکرهای از حوزه یا زبان دیگری پیشتعلیم دیده است معمولاً بهینه نیست. برای مثال، توکِنایزری که با پیکرهای انگلیسی تعلیم دیده باشد، روی پیکرهای از متنهای ژاپنی عملکرد ضعیفی خواهد داشت، چون کاربرد فاصلهها و علائم نگارشی در این دو زبان بسیار متفاوت است. | |
| در این فصل یاد میگیرید چگونه یک توکِنایزر کاملاً جدید را روی پیکرهای از متنها تعلیم دهید تا بعداً بتوان از آن برای پیشتعلیم یک مدل زبانی استفاده کرد. همهی این کارها با کمک کتابخانهی [🤗 Tokenizers](https://github.com/huggingface/tokenizers) انجام میشود؛ این کتابخانه توکِنایزرهای «سریع» کتابخانهی [🤗 Transformers](https://github.com/huggingface/transformers) را فراهم میکند. نگاهی دقیق به قابلیتهای این کتابخانه خواهیم داشت و بررسی میکنیم توکِنایزرهای سریع چه تفاوتی با نسخههای «کند» دارند. | |
| موضوعاتی که پوشش میدهیم عبارتاند از: | |
| * چگونه توکِنایزر جدیدی مشابه توکِنایزر مورد استفادهی یک نقطهی تعلیم مشخص را روی پیکرهای جدید از متنها تعلیم دهیم | |
| * قابلیتهای ویژهی توکِنایزرهای سریع | |
| * تفاوتهای سه الگوریتم اصلی توکِنسازی زیرواژهای که امروزه در NLP استفاده میشوند | |
| * چگونه با کتابخانهی 🤗 Tokenizers توکِنایزری را از صفر بسازیم و آن را روی دادههایی تعلیم دهیم | |
| تکنیکهایی که در این فصل معرفی میشوند شما را برای بخشی از [فصل ۷](/course/chapter7/6) آماده میکنند که در آن به ساختن یک مدل زبانی برای کد منبع پایتون میپردازیم. بیایید با بررسی معنای «تعلیم دادن» یک توکِنایزر شروع کنیم. | |
Xet Storage Details
- Size:
- 2.99 kB
- Xet hash:
- 642582cc24f8f5435a3c6cc8cd3f50b9b6b05f398d1c939e277958c6acd925a2
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.