Buckets:

|
download
raw
48.5 kB

اشکال‌زدایی خط لوله‌ی تعلیم[[debugging-the-training-pipeline]]

<CourseFloatingBanner chapter={8} classNames="absolute z-10 right-0 top-0" notebooks={[ {label: "Google Colab", value: "https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter8/section4.ipynb"}, {label: "Aws Studio", value: "https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter8/section4.ipynb"}, ]} />

شما برای یک کار مشخص، با پیروی دقیق از توصیه‌های فصل ۷، اسکریپتی زیبا برای تعلیم یا کوک‌کردن یک مدل نوشته‌اید. اما وقتی دستور trainer.train() را اجرا می‌کنید، اتفاقی وحشتناک می‌افتد: با خطا روبه‌رو می‌شوید 😱! یا بدتر، همه‌چیز ظاهراً خوب است و تعلیم بدون خطا اجرا می‌شود، اما مدل حاصل افتضاح است. در این بخش نشان می‌دهیم برای اشکال‌زدایی این مشکلات چه کارهایی می‌توانید انجام دهید.

اشکال‌زدایی خط لوله‌ی تعلیم[[debugging-the-training-pipeline]]

وقتی در trainer.train() با خطا روبه‌رو می‌شوید، مشکل می‌تواند از منابع مختلفی ناشی شود، چون Trainer معمولاً اجزای زیادی را کنار هم می‌گذارد. ابتدا دیتاسِت‌ها را به بارگذارهای داده تبدیل می‌کند؛ بنابراین ممکن است مشکلی در دیتاسِت یا هنگام دسته‌بندی عناصر دیتاسِت‌ها وجود داشته باشد. سپس یک دسته داده را به مدل می‌دهد، پس مشکل می‌تواند در کد مدل باشد. بعد گرادیان‌ها را محاسبه و مرحله‌ی بهینه‌سازی را اجرا می‌کند، بنابراین بهینه‌ساز هم می‌تواند منشأ مشکل باشد. حتی اگر تعلیم بدون مشکل پیش برود، ممکن است هنگام ارزیابی و در صورت وجود ایراد در متریک، خطایی رخ دهد.

بهترین راه برای اشکال‌زدایی خطایی که در trainer.train() رخ می‌دهد، بررسی دستی کل این خط لوله است تا ببینید مشکل از کجا ناشی شده است. در این صورت، حل خطا اغلب بسیار آسان است.

برای نشان دادن این موضوع، از اسکریپت زیر استفاده می‌کنیم که (تلاش می‌کند) یک مدل DistilBERT را در دیتاسِت MNLI تنظیم کند:

from datasets import load_dataset
import evaluate
from transformers import (
    AutoTokenizer,
    AutoModelForSequenceClassification,
    TrainingArguments,
    Trainer,
)

raw_datasets = load_dataset("glue", "mnli")

model_checkpoint = "distilbert-base-uncased"
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)

def preprocess_function(examples):
    return tokenizer(examples["premise"], examples["hypothesis"], truncation=True)

tokenized_datasets = raw_datasets.map(preprocess_function, batched=True)
model = AutoModelForSequenceClassification.from_pretrained(model_checkpoint)

args = TrainingArguments(
    f"distilbert-finetuned-mnli",
    evaluation_strategy="epoch",
    save_strategy="epoch",
    learning_rate=2e-5,
    num_train_epochs=3,
    weight_decay=0.01,
)

metric = evaluate.load("glue", "mnli")

def compute_metrics(eval_pred):
    predictions, labels = eval_pred
    return metric.compute(predictions=predictions, references=labels)

trainer = Trainer(
    model,
    args,
    train_dataset=raw_datasets["train"],
    eval_dataset=raw_datasets["validation_matched"],
    compute_metrics=compute_metrics,
)
trainer.train()

اگر سعی کنید آن را اجرا کنید، با یک خطای نسبتاً مرموز روبرو خواهید شد:

'ValueError: You have to specify either input_ids or inputs_embeds'

داده های خود را بررسی کنید[[check-your-data]]

این نکته بدیهی است، اما اگر داده‌هایتان خراب باشند، Trainer نمی‌تواند دسته تشکیل دهد، چه رسد به اینکه مدل را تعلیم دهد. پس اول از همه باید ببینید داخل مجموعه‌ی تعلیم چه چیزی قرار دارد.

برای جلوگیری از ساعت‌های بی‌شماری صرف تلاش برای رفع مشکلی که منبع اشکال نیست، توصیه می‌کنیم از trainer.train_dataset برای بررسی‌های خود استفاده کنید و نه چیز دیگر. پس بیایید این کار را در اینجا انجام دهیم:

trainer.train_dataset[0]
{'hypothesis': 'Product and geography are what make cream skimming work. ',
 'idx': 0,
 'label': 1,
 'premise': 'Conceptually cream skimming has two basic dimensions - product and geography.'}

آیا متوجه چیزی اشتباه می شوید؟ این، همراه با پیام خطا در مورد گم شدن input_ids، باید به شما کمک کند که متوجه شوید این متن هستند، نه اعدادی که مدل می تواند آنها را معنا کند. در اینجا، خطای اصلی بسیار گمراه کننده است زیرا Trainer به طور خودکار ستون هایی را که با امضای مدل مطابقت ندارند (یعنی آرگومان های مورد انتظار مدل) حذف می کند. این بدان معناست که در اینجا، همه چیز به غیر از برچسب ها دور ریخته شد. بنابراین هیچ مشکلی با ایجاد دسته‌ها و سپس ارسال آنها به مدل وجود نداشت، که به نوبه خود شکایت داشت که ورودی مناسب را دریافت نکرده است.

چرا داده ها پردازش نشد؟ ما از روش Dataset.map() در دیتاسِت‌ها برای اعمال توکِنایزر در هر نمونه استفاده کردیم. اما اگر به کدها دقت کنید، متوجه خواهید شد که در انتقال مجموعه های آموزشی و ارزیابی به Trainer اشتباه کردیم. به جای استفاده از tokenized_datasets در اینجا، ما از raw_datasets استفاده کردیم 🤦. پس بیایید این را درست کنیم!

from datasets import load_dataset
import evaluate
from transformers import (
    AutoTokenizer,
    AutoModelForSequenceClassification,
    TrainingArguments,
    Trainer,
)

raw_datasets = load_dataset("glue", "mnli")

model_checkpoint = "distilbert-base-uncased"
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)

def preprocess_function(examples):
    return tokenizer(examples["premise"], examples["hypothesis"], truncation=True)

tokenized_datasets = raw_datasets.map(preprocess_function, batched=True)
model = AutoModelForSequenceClassification.from_pretrained(model_checkpoint)

args = TrainingArguments(
    f"distilbert-finetuned-mnli",
    evaluation_strategy="epoch",
    save_strategy="epoch",
    learning_rate=2e-5,
    num_train_epochs=3,
    weight_decay=0.01,
)

metric = evaluate.load("glue", "mnli")

def compute_metrics(eval_pred):
    predictions, labels = eval_pred
    return metric.compute(predictions=predictions, references=labels)

trainer = Trainer(
    model,
    args,
    train_dataset=tokenized_datasets["train"],
    eval_dataset=tokenized_datasets["validation_matched"],
    compute_metrics=compute_metrics,
)
trainer.train()

این کد جدید اکنون خطای متفاوتی (پیشرفت!) می‌دهد:

'ValueError: expected sequence of length 43 at dim 1 (got 37)'

با نگاهی به ردیابی، می‌توانیم خطا را در مرحله جمع‌بندی داده‌ها مشاهده کنیم:

~/git/transformers/src/transformers/data/data_collator.py in torch_default_data_collator(features)
    105                 batch[k] = torch.stack([f[k] for f in features])
    106             else:
--> 107                 batch[k] = torch.tensor([f[k] for f in features])
    108 
    109     return batch

بنابراین، ما باید به سمت آن حرکت کنیم. با این حال، قبل از انجام این کار، اجازه دهید بررسی داده‌های خود را به پایان برسانیم تا 100% از صحت آن مطمئن شویم.

یکی از کارهایی که همیشه باید هنگام اشکال زدایی یک جلسه آموزشی انجام دهید این است که به ورودی های رمزگشایی شده مدل خود نگاه کنید. ما نمی‌توانیم اعدادی را که مستقیماً به آن تغذیه می‌کنیم معنا کنیم، بنابراین باید ببینیم که آن اعداد چه چیزی را نشان می‌دهند. برای مثال، در بینایی کامپیوتری، این به معنای نگاه کردن به تصاویر رمزگشایی شده پیکسل‌هایی است که عبور می‌دهید، در گفتار به معنای گوش دادن به نمونه‌های صوتی رمزگشایی شده است، و برای مثال NLP ما در اینجا به معنای استفاده از توکِنایزر برای رمزگشایی ورودی‌ها است:

tokenizer.decode(trainer.train_dataset[0]["input_ids"])
'[CLS] conceptually cream skimming has two basic dimensions - product and geography. [SEP] product and geography are what make cream skimming work. [SEP]'

پس درست به نظر می رسد. شما باید این کار را برای تمام کلیدهای ورودی انجام دهید:

trainer.train_dataset[0].keys()
dict_keys(['attention_mask', 'hypothesis', 'idx', 'input_ids', 'label', 'premise'])

توجه داشته باشید که کلیدهایی که با ورودی های پذیرفته شده توسط مدل مطابقت ندارند به طور خودکار کنار گذاشته می شوند، بنابراین در اینجا فقط input_ids، attention_mask، و label (که به labels تغییر نام می دهند) نگه می داریم. برای بررسی مجدد امضای مدل، می توانید کلاس مدل خود را چاپ کنید، سپس اسناد آن را بررسی کنید:

type(trainer.model)
transformers.models.distilbert.modeling_distilbert.DistilBertForSequenceClassification

بنابراین در مورد ما، می توانیم پارامترهای پذیرفته شده در این صفحه را بررسی کنیم. Trainer همچنین ستون هایی را که دور می اندازد ثبت می کند.

با رمزگشایی، صحت شناسه های ورودی را بررسی کرده ایم. بعدی attention_mask است:

trainer.train_dataset[0]["attention_mask"]
[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]

از آنجایی که ما در پیش‌پردازش خود از padding استفاده نکردیم، این کاملاً طبیعی به نظر می‌رسد. برای اطمینان از اینکه مشکلی با آن ماسک توجه وجود ندارد، بیایید بررسی کنیم که طول آن با شناسه‌های ورودی ما یکسان باشد:

len(trainer.train_dataset[0]["attention_mask"]) == len(
    trainer.train_dataset[0]["input_ids"]
)
True

این خوب است! در آخر، بیایید برچسب خود را بررسی کنیم:

trainer.train_dataset[0]["label"]
1

مانند شناسه های ورودی، این عددی است که به خودی خود واقعاً معنی ندارد. همانطور که قبلاً دیدیم، نقشه بین اعداد صحیح و نام برچسب ها در ویژگی names مربوط به ویژگی دیتاسِت ذخیره می شود:

trainer.train_dataset.features["label"].names
['entailment', 'neutral', 'contradiction']

بنابراین 1 به معنای neutral است، یعنی دو جمله ای که در بالا دیدیم با هم تضاد ندارند و اولی دلالت بر دومی ندارد. درست به نظر می رسد!

ما در اینجا شناسه نوع توکن نداریم، زیرا DistilBERT انتظار آنها را ندارد؛ اگر در مدل خود شناسه‌هایی دارید، باید مطمئن شوید که آنها به درستی با محل قرارگیری جملات اول و دوم در ورودی مطابقت دارند.

✏️ نوبت شماست! بررسی کنید که آیا همه چیز در مورد عنصر دوم دیتاسِت آموزشی درست به نظر می‌رسد یا خیر.

ما در اینجا فقط مجموعه آموزشی را بررسی می‌کنیم، اما مطمئناً باید اعتبارسنجی و مجموعه‌های تست را به همین ترتیب بررسی کنید.

اکنون که می دانیم دیتاسِت های ما خوب به نظر می رسند، وقت آن است که مرحله بعدی خط لوله آموزشی را بررسی کنیم.

از دیتاسِت ها تا بارگذارهای داده[[from-datasets-to-dataloaders]]

مورد بعدی که می‌تواند در خط لوله آموزش اشتباه رخ دهد، زمانی است که Trainer سعی می‌کند از دیتاسِت‌های آموزش یا اعتبارسنجی، دسته‌هایی تشکیل دهد. پس از اطمینان از صحت دیتاسِت‌های Trainer، می‌توانید با اجرای دستور زیر، به صورت دستی یک دسته تشکیل دهید (برای بارگذار داده اعتبارسنجی، train را با eval جایگزین کنید):

for batch in trainer.get_train_dataloader():
    break

این کد دیتالودر آموزشی را ایجاد می کند، سپس از طریق آن تکرار می شود و در اولین تکرار متوقف می شود. اگر کد بدون خطا اجرا شود، اولین دسته آموزشی را دارید که می توانید بررسی کنید، و اگر کد خطا کرد، مطمئناً می دانید که مشکل در دیتالودر است، همانطور که در اینجا وجود دارد:

~/git/transformers/src/transformers/data/data_collator.py in torch_default_data_collator(features)
    105                 batch[k] = torch.stack([f[k] for f in features])
    106             else:
--> 107                 batch[k] = torch.tensor([f[k] for f in features])
    108 
    109     return batch

ValueError: expected sequence of length 45 at dim 1 (got 76)

بررسی آخرین فریم traceback باید سرنخی به شما بدهد، اما بیایید کمی عمیق‌تر بررسی کنیم. بیشتر مشکلات هنگام ساختن دسته از کنار هم گذاشتن نمونه‌ها در یک دسته ناشی می‌شوند؛ بنابراین وقتی مطمئن نیستید، نخست باید بررسی کنید DataLoader شما از کدام collate_fn استفاده می‌کند:

data_collator = trainer.get_train_dataloader().collate_fn
data_collator
<function transformers.data.data_collator.default_data_collator(features: List[InputDataClass], return_tensors='pt') -> Dict[str, Any]>

بنابراین این default_data_collator است، اما این چیزی نیست که ما در این مورد می‌خواهیم. ما می‌خواهیم مثال‌هایمان را به طولانی‌ترین جمله در دسته اضافه کنیم، که این کار توسط جمع‌کننده‌ی DataCollatorWithPadding انجام می‌شود. و قرار است این جمع‌کننده‌ی داده‌ها به طور پیش‌فرض توسط Trainer استفاده شود، پس چرا اینجا استفاده نمی‌شود؟

پاسخ این است که ما tokenizer را به Trainer منتقل نکردیم، بنابراین نمی تواند DataCollatorWithPadding مورد نظر ما را ایجاد کند. در عمل، هرگز نباید در ارسال صریح جمع‌آوری داده‌ای که می‌خواهید استفاده کنید تردید کنید تا مطمئن شوید که از این نوع خطاها جلوگیری می‌کنید. بیایید کد خود را دقیقاً برای انجام این کار تطبیق دهیم:

from datasets import load_dataset
import evaluate
from transformers import (
    AutoTokenizer,
    AutoModelForSequenceClassification,
    DataCollatorWithPadding,
    TrainingArguments,
    Trainer,
)

raw_datasets = load_dataset("glue", "mnli")

model_checkpoint = "distilbert-base-uncased"
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)

def preprocess_function(examples):
    return tokenizer(examples["premise"], examples["hypothesis"], truncation=True)

tokenized_datasets = raw_datasets.map(preprocess_function, batched=True)
model = AutoModelForSequenceClassification.from_pretrained(model_checkpoint)

args = TrainingArguments(
    f"distilbert-finetuned-mnli",
    evaluation_strategy="epoch",
    save_strategy="epoch",
    learning_rate=2e-5,
    num_train_epochs=3,
    weight_decay=0.01,
)

metric = evaluate.load("glue", "mnli")

def compute_metrics(eval_pred):
    predictions, labels = eval_pred
    return metric.compute(predictions=predictions, references=labels)

data_collator = DataCollatorWithPadding(tokenizer=tokenizer)

trainer = Trainer(
    model,
    args,
    train_dataset=tokenized_datasets["train"],
    eval_dataset=tokenized_datasets["validation_matched"],
    compute_metrics=compute_metrics,
    data_collator=data_collator,
    tokenizer=tokenizer,
)
trainer.train()

خبر خوب؟ ما همان خطای قبلی را دریافت نمی کنیم که قطعاً پیشرفت است. خبر بد؟ در عوض یک خطای بدنام CUDA دریافت می کنیم:

RuntimeError: CUDA error: CUBLAS_STATUS_ALLOC_FAILED when calling `cublasCreate(handle)`

این بد است زیرا خطاهای CUDA به طور کلی بسیار سخت است. در عرض یک دقیقه خواهیم دید که چگونه این مشکل را حل کنیم، اما ابتدا اجازه دهید تجزیه و تحلیل خود را از ایجاد دسته به پایان برسانیم.

اگر مطمئن هستید که ابزار گردآوری داده‌های شما مناسب است، باید آن را روی چند نمونه از دیتاسِت‌های خود اعمال کنید:

data_collator = trainer.get_train_dataloader().collate_fn
batch = data_collator([trainer.train_dataset[i] for i in range(4)])

این کد شکست خواهد خورد زیرا train_dataset شامل ستون های رشته ای است که Trainer معمولاً آنها را حذف می کند. می توانید آنها را به صورت دستی حذف کنید، یا اگر می خواهید دقیقاً همان کاری را که Trainer در پشت صحنه انجام می دهد تکرار کنید، می توانید با روش خصوصی Trainer._remove_unused_columns() که این کار را انجام می دهد تماس بگیرید:

data_collator = trainer.get_train_dataloader().collate_fn
actual_train_set = trainer._remove_unused_columns(trainer.train_dataset)
batch = data_collator([actual_train_set[i] for i in range(4)])

سپس باید بتوانید به صورت دستی آنچه را که در داخل جمع‌آوری داده اتفاق می‌افتد در صورت تداوم خطا، اشکال زدایی کنید.

اکنون که فرآیند ایجاد دسته را اشکال زدایی کردیم، وقت آن است که یکی را از مدل عبور دهیم!

گذر از مدل[[going-through-the-model]]

با اجرای دستور زیر باید بتوانید یک دسته دریافت کنید:

for batch in trainer.get_train_dataloader():
    break

اگر این کد را در یک نوت بوک اجرا می کنید، ممکن است یک خطای CUDA دریافت کنید که مشابه همان چیزی است که قبلا دیدیم، در این صورت باید نوت بوک خود را مجددا راه اندازی کنید و آخرین قطعه را بدون خط trainer.train() دوباره اجرا کنید. این دومین چیز آزاردهنده در مورد خطاهای CUDA است: آنها به طور غیرقابل جبرانی هسته شما را می شکند. آزاردهنده ترین چیز در مورد آنها این واقعیت است که اشکال زدایی آنها سخت است.

چرا اینطور است؟ این به نحوه عملکرد پردازنده های گرافیکی مربوط می شود. آنها در اجرای موازی بسیاری از عملیات ها بسیار کارآمد هستند، اما اشکال این است که وقتی یکی از آن دستورالعمل ها منجر به خطا می شود، فوراً متوجه آن نمی شوید. تنها زمانی که برنامه هماهنگ سازی چندین فرآیند را در GPU فراخوانی می کند، متوجه می شود که مشکلی پیش آمده است، بنابراین خطا در واقع در جایی مطرح می شود که ربطی به چیزی که آن را ایجاد کرده است ندارد. به عنوان مثال، اگر به ردیابی قبلی خود نگاه کنیم، خطا در پاس به عقب مطرح شده است، اما در عرض یک دقیقه خواهیم دید که در واقع از چیزی در ارسال به جلو سرچشمه می گیرد.

پس چگونه این خطاها را اشکال‌زدایی کنیم؟ پاسخ آسان است: ما این کار را نمی‌کنیم. مگر اینکه خطای CUDA شما یک خطای کمبود حافظه باشد (که به این معنی است که حافظه کافی در GPU شما وجود ندارد)، شما همیشه باید برای اشکال‌زدایی آن به CPU برگردید.

برای انجام این کار در مورد ما، فقط باید مدل را بر روی CPU قرار دهیم و آن را در دسته خود فراخوانی کنیم - دسته ای که توسط DataLoader برگردانده شده است هنوز به GPU منتقل نشده است:

outputs = trainer.model.cpu()(**batch)
~/.pyenv/versions/3.7.9/envs/base/lib/python3.7/site-packages/torch/nn/functional.py in nll_loss(input, target, weight, size_average, ignore_index, reduce, reduction)
   2386         )
   2387     if dim == 2:
-> 2388         ret = torch._C._nn.nll_loss(input, target, weight, _Reduction.get_enum(reduction), ignore_index)
   2389     elif dim == 4:
   2390         ret = torch._C._nn.nll_loss2d(input, target, weight, _Reduction.get_enum(reduction), ignore_index)

IndexError: Target 2 is out of bounds.

بنابراین، تصویر واضح‌تر می‌شود. به جای خطای CUDA، اکنون در محاسبه‌ی تلفات یک IndexError داریم (بنابراین، همانطور که قبلاً گفتیم، هیچ ارتباطی با مسیر رو به عقب ندارد). به طور دقیق‌تر، می‌توانیم ببینیم که هدف ۲ است که خطا را ایجاد می‌کند، بنابراین اکنون زمان بسیار خوبی برای بررسی تعداد برچسب‌های مدل ماست:

trainer.model.config.num_labels
2

با دو برچسب، فقط 0 و 1 به عنوان هدف مجاز هستند، اما با توجه به پیام خطا ما یک 2 دریافت می کنیم. گرفتن 2 در واقع طبیعی است: اگر نام برچسب هایی را که قبلا استخراج کرده ایم به خاطر بیاوریم، سه عدد وجود دارد، بنابراین شاخص های 0، 1 و 2 را در دیتاسِت خود داریم. مشکل این است که ما این را به مدل خود که باید با سه برچسب ایجاد می شد، نگفتیم. پس بیایید درستش کنیم!

from datasets import load_dataset
import evaluate
from transformers import (
    AutoTokenizer,
    AutoModelForSequenceClassification,
    DataCollatorWithPadding,
    TrainingArguments,
    Trainer,
)

raw_datasets = load_dataset("glue", "mnli")

model_checkpoint = "distilbert-base-uncased"
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)

def preprocess_function(examples):
    return tokenizer(examples["premise"], examples["hypothesis"], truncation=True)

tokenized_datasets = raw_datasets.map(preprocess_function, batched=True)
model = AutoModelForSequenceClassification.from_pretrained(model_checkpoint, num_labels=3)

args = TrainingArguments(
    f"distilbert-finetuned-mnli",
    evaluation_strategy="epoch",
    save_strategy="epoch",
    learning_rate=2e-5,
    num_train_epochs=3,
    weight_decay=0.01,
)

metric = evaluate.load("glue", "mnli")

def compute_metrics(eval_pred):
    predictions, labels = eval_pred
    return metric.compute(predictions=predictions, references=labels)

data_collator = DataCollatorWithPadding(tokenizer=tokenizer)

trainer = Trainer(
    model,
    args,
    train_dataset=tokenized_datasets["train"],
    eval_dataset=tokenized_datasets["validation_matched"],
    compute_metrics=compute_metrics,
    data_collator=data_collator,
    tokenizer=tokenizer,
)

ما هنوز خط trainer.train() را در نظر نگرفته‌ایم تا وقت بگذاریم و بررسی کنیم که همه چیز خوب به نظر می‌رسد. اگر یک دسته درخواست کنیم و به مدل خود منتقل کنیم، اکنون بدون خطا کار می کند!

for batch in trainer.get_train_dataloader():
    break

outputs = trainer.model.cpu()(**batch)

مرحله بعدی این است که به GPU برگردید و بررسی کنید که همه چیز هنوز کار می کند:

import torch

device = torch.device("cuda") if torch.cuda.is_available() else torch.device("cpu")
batch = {k: v.to(device) for k, v in batch.items()}

outputs = trainer.model.to(device)(**batch)

اگر باز هم با خطا مواجه شدید، مطمئن شوید که نوت بوک خود را مجددا راه اندازی کرده اید و فقط آخرین نسخه اسکریپت را اجرا کنید.

انجام یک مرحله‌ی بهینه‌سازی[[performing-one-optimization-step]]

اکنون که می دانیم می توانیم دسته هایی بسازیم که در واقع مدل را طی می کنند، برای مرحله بعدی خط لوله آموزشی آماده هستیم: محاسبه گرادیان ها و انجام یک مرحله بهینه سازی.

بخش اول فقط فراخوانی روش backward() در مورد ضرر است:

loss = outputs.loss
loss.backward()

دریافت خطا در این مرحله بسیار نادر است، اما اگر خطا دریافت کردید، حتما به CPU برگردید تا پیام خطای مفیدی دریافت کنید.

برای انجام مرحله بهینه سازی، فقط باید optimizer را ایجاد کرده و متد step() آن را فراخوانی کنیم:

trainer.create_optimizer()
trainer.optimizer.step()

باز هم، اگر از بهینه‌ساز پیش‌فرض در Trainer استفاده می‌کنید، نباید در این مرحله خطایی دریافت کنید، اما اگر یک بهینه‌ساز سفارشی دارید، ممکن است در اینجا مشکلاتی برای اشکال‌زدایی وجود داشته باشد. اگر در این مرحله با خطای عجیب CUDA مواجه شدید، فراموش نکنید که به CPU برگردید. صحبت از خطاهای CUDA شد، قبلاً به یک مورد خاص اشاره کردیم. اکنون بیایید نگاهی به آن بیندازیم.

مقابله با خطاهای کمبود حافظه‌ی CUDA[[dealing-with-cuda-out-of-memory-errors]]

هر زمان که پیام خطایی دریافت کردید که با RuntimeError: CUDA out of memory شروع می‌شود، این نشان می‌دهد که حافظه GPU شما تمام شده است. این مستقیماً به کد شما مرتبط نیست و می‌تواند برای اسکریپتی که کاملاً خوب اجرا می‌شود نیز اتفاق بیفتد. این خطا به این معنی است که شما سعی کرده‌اید چیزهای زیادی را در حافظه داخلی GPU خود قرار دهید و این منجر به خطا شده است. مانند سایر خطاهای CUDA، برای اینکه بتوانید آموزش خود را دوباره اجرا کنید، باید هسته خود را مجدداً راه‌اندازی کنید.

برای حل این مشکل، فقط باید از فضای GPU کمتری استفاده کنید - چیزی که گفتن آن آسان تر از انجام آن است. ابتدا مطمئن شوید که دو مدل همزمان روی پردازنده گرافیکی ندارید (البته مگر اینکه برای مشکل شما نیاز باشد). سپس، احتمالاً باید اندازه دسته خود را کاهش دهید، زیرا به طور مستقیم بر اندازه تمام خروجی های میانی مدل و گرادیان آنها تأثیر می گذارد. اگر مشکل ادامه داشت، از نسخه کوچکتری از مدل خود استفاده کنید.

در قسمت بعدی این دوره، تکنیک های پیشرفته تری را بررسی خواهیم کرد که می تواند به شما کمک کند ردپای حافظه خود را کاهش دهید و به شما امکان می دهد بزرگترین مدل ها را تنظیم کنید.

ارزیابی مدل[[evaluating-the-model]]

اکنون که همه مشکلات کد خود را حل کرده ایم، همه چیز عالی است و آموزش باید بدون مشکل اجرا شود، درست است؟ نه به این سرعت! اگر دستور trainer.train() را اجرا کنید، در ابتدا همه چیز خوب به نظر می رسد، اما پس از مدتی موارد زیر را دریافت خواهید کرد:

# This will take a long time and error out, so you shouldn't run this cell
trainer.train()
TypeError: only size-1 arrays can be converted to Python scalars

متوجه خواهید شد که این خطا در مرحله ارزیابی ظاهر می شود، بنابراین این آخرین چیزی است که باید آن را اشکال زدایی کنیم.

شما می‌توانید حلقه ارزیابی Trainer را به طور مستقل از آموزش به صورت زیر اجرا کنید:

trainer.evaluate()
TypeError: only size-1 arrays can be converted to Python scalars

💡 همیشه باید مطمئن شوید که می‌توانید trainer.evaluate() را قبل از راه‌اندازی trainer.train() اجرا کنید تا از هدر رفتن منابع محاسباتی زیادی قبل از بروز خطا جلوگیری کنید.

قبل از تلاش برای اشکال‌زدایی یک مشکل در حلقه ارزیابی، ابتدا باید مطمئن شوید که داده‌ها را بررسی کرده‌اید، می‌توانید یک دسته را به درستی تشکیل دهید و می‌توانید مدل خود را روی آن اجرا کنید. ما تمام این مراحل را انجام داده‌ایم، بنابراین کد زیر می‌تواند بدون خطا اجرا شود:

for batch in trainer.get_eval_dataloader():
    break

batch = {k: v.to(device) for k, v in batch.items()}

with torch.no_grad():
    outputs = trainer.model(**batch)

خطا بعداً، در پایان مرحله ارزیابی می آید، و اگر به ردیابی نگاه کنیم، این را می بینیم:

~/git/datasets/src/datasets/metric.py in add_batch(self, predictions, references)
    431         """
    432         batch = {"predictions": predictions, "references": references}
--> 433         batch = self.info.features.encode_batch(batch)
    434         if self.writer is None:
    435             self._init_writer()

این به ما می‌گوید که خطا از ماژول datasets/metric.py منشأ می‌گیرد - بنابراین این یک مشکل با عملکرد compute_metrics() ما است. یک تاپل با لاجیت ها و برچسب ها به عنوان آرایه های NumPy طول می کشد، بنابراین بیایید سعی کنیم آن را تغذیه کنیم که:

predictions = outputs.logits.cpu().numpy()
labels = batch["labels"].cpu().numpy()

compute_metrics((predictions, labels))
TypeError: only size-1 arrays can be converted to Python scalars

ما همان خطا را دریافت می کنیم، بنابراین مشکل قطعاً در آن تابع است. اگر به کد آن نگاه کنیم، می بینیم که فقط predictions و labels را به metric.compute() ارسال می کند. پس آیا این روش مشکلی دارد؟ نه واقعا. بیایید نگاهی گذرا به شکل ها بیندازیم:

predictions.shape, labels.shape
((8, 3), (8,))

پیش‌بینی‌های ما هنوز logits هستند، نه پیش‌بینی‌های واقعی، به همین دلیل است که معیار این خطای (تا حدودی مبهم) را برمی‌گرداند. رفع این مشکل بسیار آسان است؛ ما فقط باید یک argmax در تابع compute_metrics() اضافه کنیم:

import numpy as np

def compute_metrics(eval_pred):
    predictions, labels = eval_pred
    predictions = np.argmax(predictions, axis=1)
    return metric.compute(predictions=predictions, references=labels)

compute_metrics((predictions, labels))
{'accuracy': 0.625}

حالا خطای ما برطرف شده است! این آخرین مورد بود، بنابراین اسکریپت ما اکنون یک مدل را به درستی آموزش می‌دهد.

برای مرجع، این اسکریپت کاملاً ثابت است:

import numpy as np
from datasets import load_dataset
import evaluate
from transformers import (
    AutoTokenizer,
    AutoModelForSequenceClassification,
    DataCollatorWithPadding,
    TrainingArguments,
    Trainer,
)

raw_datasets = load_dataset("glue", "mnli")

model_checkpoint = "distilbert-base-uncased"
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)

def preprocess_function(examples):
    return tokenizer(examples["premise"], examples["hypothesis"], truncation=True)

tokenized_datasets = raw_datasets.map(preprocess_function, batched=True)
model = AutoModelForSequenceClassification.from_pretrained(model_checkpoint, num_labels=3)

args = TrainingArguments(
    f"distilbert-finetuned-mnli",
    evaluation_strategy="epoch",
    save_strategy="epoch",
    learning_rate=2e-5,
    num_train_epochs=3,
    weight_decay=0.01,
)

metric = evaluate.load("glue", "mnli")

def compute_metrics(eval_pred):
    predictions, labels = eval_pred
    predictions = np.argmax(predictions, axis=1)
    return metric.compute(predictions=predictions, references=labels)

data_collator = DataCollatorWithPadding(tokenizer=tokenizer)

trainer = Trainer(
    model,
    args,
    train_dataset=tokenized_datasets["train"],
    eval_dataset=tokenized_datasets["validation_matched"],
    compute_metrics=compute_metrics,
    data_collator=data_collator,
    tokenizer=tokenizer,
)
trainer.train()

در این مثال، دیگر مشکلی وجود ندارد و اسکریپت ما مدلی را که باید نتایج معقولی ارائه دهد، به خوبی تنظیم می کند. اما وقتی آموزش بدون خطا پیش می رود و مدل آموزش دیده اصلاً عملکرد خوبی ندارد، چه کاری می توانیم انجام دهیم؟ این سخت ترین بخش یادگیری ماشینی است و ما چند تکنیک را به شما نشان می دهیم که می تواند کمک کند.

نکته 💡 اگر از حلقه آموزشی دستی استفاده می کنید، همین مراحل برای اشکال زدایی خط لوله آموزشی شما اعمال می شود، اما جدا کردن آنها آسان تر است. مطمئن شوید که model.eval() یا model.train() را در مکان های مناسب، یا zero_grad() را در هر مرحله فراموش نکرده اید!

اشکال زدایی خطاهای خاموش در حین آموزش[[debugging-silent-errors-during-training]]

برای اشکال‌زدایی آموزشی که بدون خطا تکمیل می‌شود اما نتایج خوبی ندارد، چه کاری می‌توانیم انجام دهیم؟ در اینجا نکاتی را به شما ارائه خواهیم داد، اما توجه داشته باشید که این نوع اشکال‌زدایی سخت‌ترین بخش یادگیری ماشین است و هیچ پاسخ جادویی برای آن وجود ندارد.

داده‌هایتان را (دوباره!) بررسی کنید[[check-your-data-again]]

مدل شما فقط زمانی چیزی یاد می‌گیرد که واقعاً امکان یادگیری از داده‌های شما وجود داشته باشد. اگر اشکالی وجود داشته باشد که داده ها را خراب کند یا برچسب ها به طور تصادفی نسبت داده شوند، به احتمال زیاد هیچ آموزش مدلی در دیتاسِت خود دریافت نخواهید کرد. بنابراین همیشه با بررسی مجدد ورودی ها و برچسب های رمزگشایی شده خود شروع کنید و سوالات زیر را از خود بپرسید:

  • آیا داده های رمزگشایی قابل درک است؟
  • آیا با برچسب ها موافقید؟
  • آیا برچسبی وجود دارد که از بقیه رایج‌تر باشد؟
  • اگر مدل یک پاسخ تصادفی را پیش‌بینی کند/همیشه پاسخ یکسان باشد، ضرر/متریک باید چقدر باشد؟

⚠️ اگر در حال انجام آموزش های توزیعی هستید، نمونه هایی از دیتاسِت های خود را در هر فرآیند چاپ کنید و سه بار بررسی کنید که همان چیزی را دریافت کرده اید. یکی از اشکالات رایج وجود منبع تصادفی در ایجاد داده است که باعث می شود هر فرآیند نسخه متفاوتی از دیتاسِت داشته باشد.

پس از مشاهده داده های خود، تعدادی از پیش بینی های مدل را مرور کنید و آنها را نیز رمزگشایی کنید. اگر مدل همیشه یک چیز را پیش‌بینی می‌کند، ممکن است به این دلیل باشد که دیتاسِت شما نسبت به یک دسته (برای مشکلات طبقه‌بندی) سوگیری دارد. تکنیک هایی مانند نمونه برداری بیش از حد از کلاس های نادر ممکن است کمک کند.

اگر ضرر/متری که در مدل اولیه خود دریافت می‌کنید با ضرر/متریکی که برای پیش‌بینی‌های تصادفی انتظار دارید بسیار متفاوت است، روش محاسبه ضرر یا متریک خود را دوباره بررسی کنید، زیرا احتمالاً یک اشکال وجود دارد. اگر از چندین ضرر استفاده می‌کنید که در پایان اضافه می‌کنید، مطمئن شوید که در یک مقیاس هستند.

وقتی مطمئن شدید که داده‌هایتان بی‌نقص هستند، می‌توانید با یک تست ساده ببینید که آیا مدل قادر به آموزش روی آن است یا خیر.

بیش‌برازش مدل روی یک دسته[[overfit-your-model-on-one-batch]]

تطبیق بیش از حد معمولاً چیزی است که ما سعی می‌کنیم هنگام آموزش از آن اجتناب کنیم، زیرا به این معنی است که مدل یاد نمی‌گیرد ویژگی‌های کلی را که ما می‌خواهیم تشخیص دهد، بلکه فقط نمونه‌های آموزشی را به خاطر می‌سپارد. با این حال، تلاش برای آموزش مکرر مدل خود بر روی یک دسته، آزمون خوبی است تا بررسی کنید که آیا مشکلی که آن را قاب کرده‌اید می‌توان با مدلی که می‌خواهید آموزش دهید حل کرد یا خیر. همچنین به شما کمک می کند تا ببینید که آیا میزان یادگیری اولیه شما خیلی زیاد است یا خیر.

انجام این کار زمانی که Trainer خود را تعریف کردید بسیار آسان است. فقط یک دسته از داده های آموزشی را بردارید، سپس یک حلقه آموزشی دستی کوچک را فقط با استفاده از آن دسته برای چیزی حدود 20 مرحله اجرا کنید:

for batch in trainer.get_train_dataloader():
    break

batch = {k: v.to(device) for k, v in batch.items()}
trainer.create_optimizer()

for _ in range(20):
    outputs = trainer.model(**batch)
    loss = outputs.loss
    loss.backward()
    trainer.optimizer.step()
    trainer.optimizer.zero_grad()

💡 اگر داده‌های آموزشی شما نامتوازن است، حتماً یک دسته از داده‌های آموزشی حاوی تمام برچسب‌ها ایجاد کنید.

مدل حاصل باید نتایج تقریباً بی‌نقصی روی همان batch داشته باشد. بیایید معیار را روی پیش‌بینی‌های حاصل محاسبه کنیم:

with torch.no_grad():
    outputs = trainer.model(**batch)
preds = outputs.logits
labels = batch["labels"]

compute_metrics((preds.cpu().numpy(), labels.cpu().numpy()))
{'accuracy': 1.0}

100% دقت، حالا این یک مثال خوب از overfitting است (یعنی اگر مدل خود را روی هر جمله دیگری امتحان کنید، به احتمال زیاد به شما پاسخ اشتباه می دهد)!

اگر نتوانستید مدل خود را به نتایج عالی مانند این دست یابید، به این معنی است که در نحوه قاب بندی مشکل یا داده های خود مشکلی وجود دارد، بنابراین باید آن را برطرف کنید. فقط زمانی که موفق به قبولی در آزمون اضافه برازش شدید می توانید مطمئن باشید که مدل شما واقعاً می تواند چیزی یاد بگیرد.

⚠️ شما باید بعد از این آزمایش مدل خود و Trainer خود را دوباره بسازید، زیرا مدل به دست آمده احتمالاً قادر به بازیابی و یادگیری چیزهای مفید در دیتاسِت کامل شما نخواهد بود.

تا داشتن یک خط پایه‌ی اولیه چیزی را تنظیم نکنید[[dont-tune-anything-until-you-have-a-first-baseline]]

تنظیم فراپارامتر همیشه به‌عنوان سخت‌ترین بخش یادگیری ماشینی مورد تاکید قرار می‌گیرد، اما این آخرین مرحله است که به شما کمک می‌کند کمی از متریک به دست آورید. در بیشتر مواقع، هایپرپارامترهای پیش‌فرض Trainer به خوبی کار می‌کنند تا نتایج خوبی به شما بدهند، بنابراین تا زمانی که چیزی را نداشته باشید که از خط پایه شما در دیتاسِت‌تان عبور کند، به جستجوی فراپارامترهای زمان‌بر و پرهزینه خودداری کنید.

هنگامی که یک مدل به اندازه کافی خوب دارید، می توانید کمی تغییر دهید. سعی نکنید هزار اجرا را با هایپرپارامترهای مختلف راه اندازی کنید، بلکه چند اجرا با مقادیر مختلف را برای یک هایپرپارامتر مقایسه کنید تا متوجه شوید کدامیک بیشترین تأثیر را دارد.

اگر در حال تغییر مدل خود هستید، آن را ساده نگه دارید و چیزی را که نمی‌توانید به طور منطقی توجیه کنید، امتحان نکنید. همیشه مطمئن شوید که به تست بیش‌برازش برمی‌گردید تا تأیید کنید که تغییر شما هیچ پیامد ناخواسته‌ای نداشته است.

کمک بخواهید[[ask-for-help]]

امیدواریم در این بخش توصیه هایی پیدا کرده باشید که به شما کمک کرده است مشکل خود را حل کنید، اما اگر اینطور نیست، به یاد داشته باشید که همیشه می توانید از انجمن در فروم سوال کنید.

در اینجا چند منبع اضافی وجود دارد که ممکن است مفید باشد:

البته هر مشکلی که هنگام تعلیم شبکه‌های عصبی با آن روبه‌رو می‌شوید تقصیر خودتان نیست! اگر در کتابخانه‌های 🤗 ترنسفورمرها یا 🤗 دیتاسِتس با چیزی مواجه شدید که درست به نظر نمی‌رسد، ممکن است یک باگ پیدا کرده باشید. حتماً همه‌چیز را به ما اطلاع دهید؛ در بخش بعدی دقیقاً توضیح می‌دهیم چگونه این کار را انجام دهید.

Xet Storage Details

Size:
48.5 kB
·
Xet hash:
713ab7473689b3e22493212577126bb6174f44c0348c31aaf06e5a011fb72b47

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.