Buckets:
همهچیز را کنار هم بگذاریم[[putting-it-all-together]]
<CourseFloatingBanner chapter={2} classNames="absolute z-10 right-0 top-0" notebooks={[ {label: "Google Colab", value: "https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter2/section6_pt.ipynb"}, {label: "Aws Studio", value: "https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter2/section6_pt.ipynb"}, ]} />
در چند بخش گذشته تلاش کردیم بیشتر کارها را بهصورت دستی انجام دهیم. با نحوهی کار توکِنایزرها آشنا شدیم و توکِنسازی، تبدیل به شناسههای ورودی، همطولسازی، کوتاهسازی و ماسکهای توجه را بررسی کردیم.
با این حال، همانطور که در بخش ۲ دیدیم، API 🤗 Transformers میتواند همهی این کارها را با یک تابع سطحبالا برای ما انجام دهد؛ در اینجا به بررسی آن میپردازیم. وقتی tokenizer خود را مستقیماً روی جمله فراخوانی میکنید، ورودیهایی دریافت میکنید که آمادهی ارسال به مدل هستند:
from transformers import AutoTokenizer
checkpoint = "distilbert-base-uncased-finetuned-sst-2-english"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
sequence = "I've been waiting for a HuggingFace course my whole life."
model_inputs = tokenizer(sequence)
در اینجا متغیر model_inputs همهی چیزهایی را در خود دارد که برای عملکرد مناسب مدل لازم است. برای DistilBERT، این موارد شامل شناسههای ورودی و همچنین ماسک توجه میشوند. مدلهای دیگری که ورودیهای اضافی میپذیرند نیز آن ورودیها را از شیء tokenizer دریافت خواهند کرد.
همانطور که در چند نمونهی زیر میبینیم، این روش بسیار قدرتمند است. ابتدا میتواند یک توالی را توکِنسازی کند:
sequence = "I've been waiting for a HuggingFace course my whole life."
model_inputs = tokenizer(sequence)
همچنین میتواند چندین توالی را همزمان و بدون هیچ تغییری در API مدیریت کند:
sequences = ["I've been waiting for a HuggingFace course my whole life.", "So have I!"]
model_inputs = tokenizer(sequences)
این روش میتواند بر اساس چند هدف مختلف همطولسازی کند:
# Will pad the sequences up to the maximum sequence length
model_inputs = tokenizer(sequences, padding="longest")
# Will pad the sequences up to the model max length
# (512 for BERT or DistilBERT)
model_inputs = tokenizer(sequences, padding="max_length")
# Will pad the sequences up to the specified max length
model_inputs = tokenizer(sequences, padding="max_length", max_length=8)
همچنین میتواند توالیها را کوتاه کند:
sequences = ["I've been waiting for a HuggingFace course my whole life.", "So have I!"]
# Will truncate the sequences that are longer than the model max length
# (512 for BERT or DistilBERT)
model_inputs = tokenizer(sequences, truncation=True)
# Will truncate the sequences that are longer than the specified max length
model_inputs = tokenizer(sequences, max_length=8, truncation=True)
شیء tokenizer میتواند تبدیل به تِنسورهای مخصوص فریمورک را نیز انجام دهد؛ این تِنسورها را میتوان مستقیماً به مدل فرستاد. برای مثال، در کد زیر از توکِنایزر میخواهیم تِنسورهایی از فریمورکهای مختلف برگرداند — مقدار "pt" تِنسورهای پایتورچ و مقدار "np" آرایههای NumPy را برمیگرداند:
sequences = ["I've been waiting for a HuggingFace course my whole life.", "So have I!"]
# Returns PyTorch tensors
model_inputs = tokenizer(sequences, padding=True, return_tensors="pt")
# Returns NumPy arrays
model_inputs = tokenizer(sequences, padding=True, return_tensors="np")
توکِنهای ویژه[[special-tokens]]
اگر شناسههای ورودی برگشتی از توکِنایزر را بررسی کنیم، میبینیم تفاوت کوچکی با آنچه قبلاً داشتیم دارند:
sequence = "I've been waiting for a HuggingFace course my whole life."
model_inputs = tokenizer(sequence)
print(model_inputs["input_ids"])
tokens = tokenizer.tokenize(sequence)
ids = tokenizer.convert_tokens_to_ids(tokens)
print(ids)
[101, 1045, 1005, 2310, 2042, 3403, 2005, 1037, 17662, 12172, 2607, 2026, 2878, 2166, 1012, 102]
[1045, 1005, 2310, 2042, 3403, 2005, 1037, 17662, 12172, 2607, 2026, 2878, 2166, 1012]
یک شناسهی توکِن در ابتدا و یک شناسه در انتها اضافه شده است. بیایید دو توالی شناسهی بالا را رمزگشایی کنیم تا ببینیم موضوع چیست:
print(tokenizer.decode(model_inputs["input_ids"]))
print(tokenizer.decode(ids))
"[CLS] i've been waiting for a huggingface course my whole life. [SEP]"
"i've been waiting for a huggingface course my whole life."
توکِنایزر واژهی ویژهی [CLS] را در ابتدا و واژهی ویژهی [SEP] را در انتها اضافه کرده است. دلیلش این است که مدل با این توکِنهای ویژه پیشتعلیم داده شده است؛ بنابراین برای گرفتن همان نتایج در استنتاج باید آنها را نیز اضافه کنیم. توجه کنید که بعضی مدلها واژههای ویژه اضافه نمیکنند یا واژههای متفاوتی اضافه میکنند؛ مدلها ممکن است این واژههای ویژه را فقط در ابتدا یا فقط در انتها اضافه کنند. در هر صورت، توکِنایزر میداند کدام واژهها مورد انتظار هستند و این کار را برای شما انجام خواهد داد.
جمعبندی: از توکِنایزر تا مدل[[wrapping-up-from-tokenizer-to-model]]
حالا که همهی مراحل جداگانهای را که شیء tokenizer هنگام اعمال روی متنها استفاده میکند دیدیم، بیایید برای آخرین بار ببینیم API اصلی آن چگونه میتواند چندین توالی (همطولسازی!)، توالیهای بسیار طولانی (کوتاهسازی!) و انواع مختلف تِنسورها را مدیریت کند:
import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification
checkpoint = "distilbert-base-uncased-finetuned-sst-2-english"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSequenceClassification.from_pretrained(checkpoint)
sequences = ["I've been waiting for a HuggingFace course my whole life.", "So have I!"]
tokens = tokenizer(sequences, padding=True, truncation=True, return_tensors="pt")
output = model(**tokens)
Xet Storage Details
- Size:
- 7.59 kB
- Xet hash:
- 5c38ffaf95abbf9c8d84651e11c2305f9b1ed749eebaebe19c25e199a1d4e480
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.