Buckets:

|
download
raw
7.59 kB
# همه‌چیز را کنار هم بگذاریم[[putting-it-all-together]]
<CourseFloatingBanner chapter={2}
classNames="absolute z-10 right-0 top-0"
notebooks={[
{label: "Google Colab", value: "https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter2/section6_pt.ipynb"},
{label: "Aws Studio", value: "https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter2/section6_pt.ipynb"},
]} />
در چند بخش گذشته تلاش کردیم بیشتر کارها را به‌صورت دستی انجام دهیم. با نحوه‌ی کار توکِنایزرها آشنا شدیم و توکِن‌سازی، تبدیل به شناسه‌های ورودی، هم‌طول‌سازی، کوتاه‌سازی و ماسک‌های توجه را بررسی کردیم.
با این حال، همان‌طور که در بخش ۲ دیدیم، API 🤗 Transformers می‌تواند همه‌ی این کارها را با یک تابع سطح‌بالا برای ما انجام دهد؛ در اینجا به بررسی آن می‌پردازیم. وقتی `tokenizer` خود را مستقیماً روی جمله فراخوانی می‌کنید، ورودی‌هایی دریافت می‌کنید که آماده‌ی ارسال به مدل هستند:
```py
from transformers import AutoTokenizer
checkpoint = "distilbert-base-uncased-finetuned-sst-2-english"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
sequence = "I've been waiting for a HuggingFace course my whole life."
model_inputs = tokenizer(sequence)
```
در اینجا متغیر `model_inputs` همه‌ی چیزهایی را در خود دارد که برای عملکرد مناسب مدل لازم است. برای DistilBERT، این موارد شامل شناسه‌های ورودی و همچنین ماسک توجه می‌شوند. مدل‌های دیگری که ورودی‌های اضافی می‌پذیرند نیز آن ورودی‌ها را از شیء `tokenizer` دریافت خواهند کرد.
همان‌طور که در چند نمونه‌ی زیر می‌بینیم، این روش بسیار قدرتمند است. ابتدا می‌تواند یک توالی را توکِن‌سازی کند:
```py
sequence = "I've been waiting for a HuggingFace course my whole life."
model_inputs = tokenizer(sequence)
```
همچنین می‌تواند چندین توالی را هم‌زمان و بدون هیچ تغییری در API مدیریت کند:
```py
sequences = ["I've been waiting for a HuggingFace course my whole life.", "So have I!"]
model_inputs = tokenizer(sequences)
```
این روش می‌تواند بر اساس چند هدف مختلف هم‌طول‌سازی کند:
```py
# Will pad the sequences up to the maximum sequence length
model_inputs = tokenizer(sequences, padding="longest")
# Will pad the sequences up to the model max length
# (512 for BERT or DistilBERT)
model_inputs = tokenizer(sequences, padding="max_length")
# Will pad the sequences up to the specified max length
model_inputs = tokenizer(sequences, padding="max_length", max_length=8)
```
همچنین می‌تواند توالی‌ها را کوتاه کند:
```py
sequences = ["I've been waiting for a HuggingFace course my whole life.", "So have I!"]
# Will truncate the sequences that are longer than the model max length
# (512 for BERT or DistilBERT)
model_inputs = tokenizer(sequences, truncation=True)
# Will truncate the sequences that are longer than the specified max length
model_inputs = tokenizer(sequences, max_length=8, truncation=True)
```
شیء `tokenizer` می‌تواند تبدیل به تِنسورهای مخصوص فریمورک را نیز انجام دهد؛ این تِنسورها را می‌توان مستقیماً به مدل فرستاد. برای مثال، در کد زیر از توکِنایزر می‌خواهیم تِنسورهایی از فریمورک‌های مختلف برگرداند — مقدار `"pt"` تِنسورهای پایتورچ و مقدار `"np"` آرایه‌های NumPy را برمی‌گرداند:
```py
sequences = ["I've been waiting for a HuggingFace course my whole life.", "So have I!"]
# Returns PyTorch tensors
model_inputs = tokenizer(sequences, padding=True, return_tensors="pt")
# Returns NumPy arrays
model_inputs = tokenizer(sequences, padding=True, return_tensors="np")
```
## توکِن‌های ویژه[[special-tokens]]
اگر شناسه‌های ورودی برگشتی از توکِنایزر را بررسی کنیم، می‌بینیم تفاوت کوچکی با آنچه قبلاً داشتیم دارند:
```py
sequence = "I've been waiting for a HuggingFace course my whole life."
model_inputs = tokenizer(sequence)
print(model_inputs["input_ids"])
tokens = tokenizer.tokenize(sequence)
ids = tokenizer.convert_tokens_to_ids(tokens)
print(ids)
```
```python out
[101, 1045, 1005, 2310, 2042, 3403, 2005, 1037, 17662, 12172, 2607, 2026, 2878, 2166, 1012, 102]
[1045, 1005, 2310, 2042, 3403, 2005, 1037, 17662, 12172, 2607, 2026, 2878, 2166, 1012]
```
یک شناسه‌ی توکِن در ابتدا و یک شناسه در انتها اضافه شده است. بیایید دو توالی شناسه‌ی بالا را رمزگشایی کنیم تا ببینیم موضوع چیست:
```py
print(tokenizer.decode(model_inputs["input_ids"]))
print(tokenizer.decode(ids))
```
```python out
"[CLS] i've been waiting for a huggingface course my whole life. [SEP]"
"i've been waiting for a huggingface course my whole life."
```
توکِنایزر واژه‌ی ویژه‌ی `[CLS]` را در ابتدا و واژه‌ی ویژه‌ی `[SEP]` را در انتها اضافه کرده است. دلیلش این است که مدل با این توکِن‌های ویژه پیش‌تعلیم داده شده است؛ بنابراین برای گرفتن همان نتایج در استنتاج باید آن‌ها را نیز اضافه کنیم. توجه کنید که بعضی مدل‌ها واژه‌های ویژه اضافه نمی‌کنند یا واژه‌های متفاوتی اضافه می‌کنند؛ مدل‌ها ممکن است این واژه‌های ویژه را فقط در ابتدا یا فقط در انتها اضافه کنند. در هر صورت، توکِنایزر می‌داند کدام واژه‌ها مورد انتظار هستند و این کار را برای شما انجام خواهد داد.
## جمع‌بندی: از توکِنایزر تا مدل[[wrapping-up-from-tokenizer-to-model]]
حالا که همه‌ی مراحل جداگانه‌ای را که شیء `tokenizer` هنگام اعمال روی متن‌ها استفاده می‌کند دیدیم، بیایید برای آخرین بار ببینیم API اصلی آن چگونه می‌تواند چندین توالی (هم‌طول‌سازی!)، توالی‌های بسیار طولانی (کوتاه‌سازی!) و انواع مختلف تِنسورها را مدیریت کند:
```py
import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification
checkpoint = "distilbert-base-uncased-finetuned-sst-2-english"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSequenceClassification.from_pretrained(checkpoint)
sequences = ["I've been waiting for a HuggingFace course my whole life.", "So have I!"]
tokens = tokenizer(sequences, padding=True, truncation=True, return_tensors="pt")
output = model(**tokens)
```

Xet Storage Details

Size:
7.59 kB
·
Xet hash:
5c38ffaf95abbf9c8d84651e11c2305f9b1ed749eebaebe19c25e199a1d4e480

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.