Buckets:

|
download
raw
12.5 kB

کار با چندین توالی[[handling-multiple-sequences]]

<CourseFloatingBanner chapter={2} classNames="absolute z-10 right-0 top-0" notebooks={[ {label: "Google Colab", value: "https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter2/section5_pt.ipynb"}, {label: "Aws Studio", value: "https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter2/section5_pt.ipynb"}, ]} />

در بخش قبلی ساده‌ترین کاربرد را بررسی کردیم: انجام استنتاج روی یک توالی کوتاه. با این حال، همین حالا چند پرسش مطرح می‌شود:

  • چگونه با چندین توالی کار کنیم؟
  • چگونه با چندین توالی با طول‌های متفاوت کار کنیم؟
  • آیا اندیس‌های واژگان تنها ورودی‌هایی هستند که باعث می‌شوند یک مدل عملکرد خوبی داشته باشد؟
  • آیا توالی می‌تواند بیش از حد طولانی باشد؟

بیایید ببینیم این پرسش‌ها چه مشکلاتی ایجاد می‌کنند و چگونه می‌توانیم با استفاده از API 🤗 Transformers آن‌ها را حل کنیم.

مدل‌ها یک بتچ از ورودی‌ها را انتظار دارند[[models-expect-a-batch-of-inputs]]

در تمرین قبلی دیدید که توالی‌ها چگونه به فهرست‌هایی از اعداد تبدیل می‌شوند. بیایید این فهرست اعداد را به یک تِنسور تبدیل کنیم و به مدل بدهیم:

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

checkpoint = "distilbert-base-uncased-finetuned-sst-2-english"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSequenceClassification.from_pretrained(checkpoint)

sequence = "I've been waiting for a HuggingFace course my whole life."

tokens = tokenizer.tokenize(sequence)
ids = tokenizer.convert_tokens_to_ids(tokens)
input_ids = torch.tensor(ids)
# This line will fail.
model(input_ids)
IndexError: Dimension out of range (expected to be in range of [-1, 0], but got 1)

اوه نه! چرا این کار شکست خورد؟ ما مراحل خط تولید در بخش ۲ را دنبال کردیم.

مشکل این است که یک توالی را به مدل فرستادیم، در حالی که مدل‌های 🤗 Transformers به‌طور پیش‌فرض چند جمله را انتظار دارند. در اینجا تلاش کردیم همه‌ی کارهایی را که توکِنایزر هنگام اعمال آن روی یک sequence در پشت صحنه انجام می‌دهد، خودمان انجام دهیم. اما اگر با دقت نگاه کنید، می‌بینید توکِنایزر فقط فهرست شناسه‌های ورودی را به یک تِنسور تبدیل نکرد، بلکه یک بُعد نیز به آن اضافه کرد:

tokenized_inputs = tokenizer(sequence, return_tensors="pt")
print(tokenized_inputs["input_ids"])
tensor([[  101,  1045,  1005,  2310,  2042,  3403,  2005,  1037, 17662, 12172,
          2607,  2026,  2878,  2166,  1012,   102]])

بیایید دوباره تلاش کنیم و یک بُعد جدید اضافه کنیم:

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

checkpoint = "distilbert-base-uncased-finetuned-sst-2-english"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSequenceClassification.from_pretrained(checkpoint)

sequence = "I've been waiting for a HuggingFace course my whole life."

tokens = tokenizer.tokenize(sequence)
ids = tokenizer.convert_tokens_to_ids(tokens)

input_ids = torch.tensor([ids])
print("Input IDs:", input_ids)

output = model(input_ids)
print("Logits:", output.logits)

شناسه‌های ورودی و همچنین لوجیت‌های حاصل را چاپ می‌کنیم — خروجی چنین است:

Input IDs: [[ 1045,  1005,  2310,  2042,  3403,  2005,  1037, 17662, 12172,  2607, 2026,  2878,  2166,  1012]]
Logits: [[-2.7276,  2.8789]]

بتچ‌سازی یعنی فرستادن چند جمله از طریق مدل به‌صورت هم‌زمان. اگر فقط یک جمله دارید، می‌توانید بتچی با یک توالی بسازید:

batched_ids = [ids, ids]

این یک بتچ شامل دو توالی یکسان است!

✏️ امتحان کنید! فهرست batched_ids را به یک تِنسور تبدیل کنید و آن را از مدل عبور دهید. بررسی کنید که همان لوجیت‌های قبلی را (اما دو بار) دریافت می‌کنید.

بتچ‌سازی به مدل اجازه می‌دهد هنگام دریافت چند جمله کار کند. استفاده از چند توالی به سادگی ساختن یک بتچ با یک توالی است. اما مشکل دومی هم وجود دارد. وقتی می‌خواهید دو (یا بیشتر) جمله را در یک بتچ قرار دهید، ممکن است طول‌های متفاوتی داشته باشند. اگر قبلاً با تِنسورها کار کرده باشید، می‌دانید که آن‌ها باید شکل مستطیلی داشته باشند؛ بنابراین نمی‌توانید فهرست شناسه‌های ورودی را مستقیماً به تِنسور تبدیل کنید. برای حل این مشکل، معمولاً ورودی‌ها را هم‌طول‌سازی می‌کنیم.

هم‌طول‌سازی ورودی‌ها[[padding-the-inputs]]

فهرست تو در توی زیر را نمی‌توان به یک تِنسور تبدیل کرد:

batched_ids = [
    [200, 200, 200],
    [200, 200]
]

برای حل این مشکل، از هم‌طول‌سازی استفاده می‌کنیم تا تِنسورهای ما شکل مستطیلی داشته باشند. هم‌طول‌سازی با افزودن واژه‌ی ویژه‌ای به نام توکِن هم‌طول‌سازی به جمله‌هایی که مقدار کمتری دارند، باعث می‌شود همه‌ی جمله‌ها طول یکسانی داشته باشند. برای مثال، اگر ۱۰ جمله‌ی ۱۰ کلمه‌ای و ۱ جمله‌ی ۲۰ کلمه‌ای داشته باشید، هم‌طول‌سازی باعث می‌شود همه‌ی جمله‌ها ۲۰ کلمه داشته باشند. در مثال ما، تِنسور حاصل به شکل زیر است:

padding_id = 100

batched_ids = [
    [200, 200, 200],
    [200, 200, padding_id],
]

شناسه‌ی توکِن هم‌طول‌سازی را می‌توان در tokenizer.pad_token_id پیدا کرد. بیایید از آن استفاده کنیم و دو جمله‌ی خود را یک‌بار به‌صورت جداگانه و یک‌بار در قالب بتچ از مدل عبور دهیم:

model = AutoModelForSequenceClassification.from_pretrained(checkpoint)

sequence1_ids = [[200, 200, 200]]
sequence2_ids = [[200, 200]]
batched_ids = [
    [200, 200, 200],
    [200, 200, tokenizer.pad_token_id],
]

print(model(torch.tensor(sequence1_ids)).logits)
print(model(torch.tensor(sequence2_ids)).logits)
print(model(torch.tensor(batched_ids)).logits)
tensor([[ 1.5694, -1.3895]], grad_fn=<AddmmBackward>)
tensor([[ 0.5803, -0.4125]], grad_fn=<AddmmBackward>)
tensor([[ 1.5694, -1.3895],
        [ 1.3373, -1.2163]], grad_fn=<AddmmBackward>)

در پیش‌بینی‌های بتچی ما مشکلی در لوجیت‌ها وجود دارد: ردیف دوم باید با لوجیت‌های جمله‌ی دوم یکسان باشد، اما مقادیر کاملاً متفاوتی دریافت کرده‌ایم!

این اتفاق به این دلیل رخ می‌دهد که ویژگی کلیدی مدل‌های ترنسفورمر، لایه‌های توجهی هستند که هر توکِن را زمینه‌مند می‌کنند. این لایه‌ها توکِن‌های هم‌طول‌سازی را نیز در نظر می‌گیرند، چون به همه‌ی توکِن‌های یک توالی توجه می‌کنند. برای آنکه هنگام عبور دادن جمله‌های جداگانه با طول‌های متفاوت از مدل، یا هنگام عبور دادن یک بتچ شامل همان جمله‌ها با هم‌طول‌سازی، نتیجه‌ی یکسانی بگیریم، باید به لایه‌های توجه بگوییم توکِن‌های هم‌طول‌سازی را نادیده بگیرند. این کار با استفاده از یک ماسک توجه انجام می‌شود.

ماسک‌های توجه[[attention-masks]]

ماسک‌های توجه تِنسورهایی با دقیقاً همان شکل تِنسور شناسه‌های ورودی هستند که با صفر و یک پر شده‌اند: عدد ۱ نشان می‌دهد باید به توکِن متناظر توجه شود و عدد ۰ نشان می‌دهد نباید به آن توکِن توجه شود (یعنی لایه‌های توجه مدل باید آن را نادیده بگیرند).

بیایید مثال قبلی را با یک ماسک توجه کامل کنیم:

batched_ids = [
    [200, 200, 200],
    [200, 200, tokenizer.pad_token_id],
]

attention_mask = [
    [1, 1, 1],
    [1, 1, 0],
]

outputs = model(torch.tensor(batched_ids), attention_mask=torch.tensor(attention_mask))
print(outputs.logits)
tensor([[ 1.5694, -1.3895],
        [ 0.5803, -0.4125]], grad_fn=<AddmmBackward>)

اکنون لوجیت‌های جمله‌ی دوم در بتچ با مقدار قبلی یکسان است.

توجه کنید که آخرین مقدار توالی دوم یک شناسه‌ی هم‌طول‌سازی است که در ماسک توجه مقدار ۰ دارد.

✏️ امتحان کنید! توکِن‌سازی را روی دو جمله‌ی استفاده‌شده در بخش ۲ به‌صورت دستی انجام دهید («I've been waiting for a HuggingFace course my whole life.» و «I hate this so much!»). آن‌ها را از مدل عبور دهید و بررسی کنید که همان لوجیت‌های بخش ۲ را دریافت می‌کنید. حالا با استفاده از توکِن هم‌طول‌سازی آن‌ها را در یک بتچ قرار دهید و سپس ماسک توجه مناسب را بسازید. بررسی کنید که هنگام عبور از مدل همان نتایج را به دست می‌آورید!

توالی‌های طولانی‌تر[[longer-sequences]]

در مدل‌های ترنسفورمر، برای طول توالی‌هایی که می‌توانیم به مدل بدهیم محدودیت وجود دارد. بیشتر مدل‌ها توالی‌هایی با حداکثر ۵۱۲ یا ۱۰۲۴ توکِن را مدیریت می‌کنند و اگر از آن‌ها خواسته شود توالی‌های طولانی‌تری را پردازش کنند، از کار می‌افتند. برای این مشکل دو راه‌حل وجود دارد:

  • از مدلی با طول توالی پشتیبانی‌شده‌ی بیشتر استفاده کنید.
  • توالی‌های خود را کوتاه کنید.

مدل‌ها طول‌های متفاوتی را پشتیبانی می‌کنند و بعضی از آن‌ها در مدیریت توالی‌های بسیار طولانی تخصص دارند. Longformer یک نمونه است و LED نمونه‌ی دیگری است. اگر روی وظیفه‌ای کار می‌کنید که به توالی‌های بسیار طولانی نیاز دارد، پیشنهاد می‌کنیم این مدل‌ها را بررسی کنید.

در غیر این صورت، پیشنهاد می‌کنیم با مشخص کردن پارامتر max_sequence_length توالی‌های خود را کوتاه کنید:

sequence = sequence[:max_sequence_length]

Xet Storage Details

Size:
12.5 kB
·
Xet hash:
fbe13bb1ad07a0f19b3024a7a77ab72c90b4d6e73b3da0512df8e785a81ac133

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.