Buckets:
وقتی خطا میگیرید چه باید کرد[[what-to-do-when-you-get-an-error]]
<CourseFloatingBanner chapter={8} classNames="absolute z-10 right-0 top-0" notebooks={[ {label: "Google Colab", value: "https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter8/section2.ipynb"}, {label: "Aws Studio", value: "https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter8/section2.ipynb"}, ]} />
در این بخش، به برخی از خطاهای رایجی که ممکن است هنگام تلاش برای تولید پیشبینیها از مدل ترنسفورمر تازه تنظیمشدهتان رخ دهد، نگاهی خواهیم انداخت. این شما را برای بخش ۴ آماده میکند، جایی که نحوه اشکالزدایی خود مرحله آموزش را بررسی خواهیم کرد.
برای این بخش یک مخزن مدل نمونه آماده کردهایم. اگر میخواهید کد این فصل را اجرا کنید، ابتدا باید مدل را در حساب خود در هاب هاگینگفیس کپی کنید. برای این کار، ابتدا با اجرای یکی از دستورهای زیر در یک دفترچهی Jupyter وارد شوید:
from huggingface_hub import notebook_login
notebook_login()
یا دستور زیر را در ترمینال مورد علاقهتان اجرا کنید:
huggingface-cli login
این دستور از شما میخواهد نام کاربری و گذرواژهتان را وارد کنید و یک توکن را در مسیر ~/.cache/huggingface/ ذخیره میکند. پس از ورود، میتوانید مخزن نمونه را با تابع زیر کپی کنید:
from distutils.dir_util import copy_tree
from huggingface_hub import Repository, snapshot_download, create_repo, get_full_repo_name
def copy_repository_template():
# Clone the repo and extract the local path
template_repo_id = "lewtun/distilbert-base-uncased-finetuned-squad-d5716d28"
commit_hash = "be3eaffc28669d7932492681cd5f3e8905e358b4"
template_repo_dir = snapshot_download(template_repo_id, revision=commit_hash)
# Create an empty repo on the Hub
model_name = template_repo_id.split("/")[1]
create_repo(model_name, exist_ok=True)
# Clone the empty repo
new_repo_id = get_full_repo_name(model_name)
new_repo_dir = model_name
repo = Repository(local_dir=new_repo_dir, clone_from=new_repo_id)
# Copy files
copy_tree(template_repo_dir, new_repo_dir)
# Push to Hub
repo.push_to_hub()
حالا با فراخوانی copy_repository_template()، یک کپی از مخزن نمونه در حساب شما ساخته میشود.
اشکالزدایی خط لوله از 🤗 ترنسفورمرها[[debugging-the-pipeline-from-transformers]]
برای شروع سفرمان به دنیای شگفتانگیز اشکالزدایی مدلهای ترنسفورمر، این سناریو را در نظر بگیرید: با همکاری یکی از همکارانتان روی پروژهای برای پاسخگویی به پرسشها کار میکنید تا مشتریان یک وبسایت تجارت الکترونیک بتوانند دربارهی محصولات پاسخ پیدا کنند. همکارتان پیامی شبیه این میفرستد:
سلام! همین الان با استفاده از روشهای فصل ۷ دورهی هاگینگفیس آزمایشی انجام دادم و روی SQuAD به نتایج خیلی خوبی رسیدم! فکر میکنم بتوانیم از این مدل بهعنوان نقطهی شروع پروژهمان استفاده کنیم. شناسهی مدل در هاب این است: "lewtun/distillbert-base-uncased-finetuned-squad-d5716d28". با خیال راحت آن را آزمایش کن :)
و اولین چیزی که به ذهنتان میرسد این است که مدل را با استفاده از pipeline در 🤗 ترنسفورمرها بارگذاری کنید:
from transformers import pipeline
model_checkpoint = get_full_repo_name("distillbert-base-uncased-finetuned-squad-d5716d28")
reader = pipeline("question-answering", model=model_checkpoint)
"""
OSError: Can't load config for 'lewtun/distillbert-base-uncased-finetuned-squad-d5716d28'. Make sure that:
- 'lewtun/distillbert-base-uncased-finetuned-squad-d5716d28' is a correct model identifier listed on 'https://huggingface.co/models'
- or 'lewtun/distillbert-base-uncased-finetuned-squad-d5716d28' is the correct path to a directory containing a config.json file
"""
اوه نه، به نظر میرسد مشکلی پیش آمده است! اگر تازه برنامهنویسی را شروع کرده باشید، این نوع خطاها ممکن است ابتدا کمی رمزآلود به نظر برسند (اصلاً OSError چیست؟!). خطایی که اینجا میبینید فقط آخرین بخش گزارش خطای بسیار بزرگتری به نام ردیابی پایتون (یا stack trace) است. برای نمونه، اگر این کد را در Google Colab اجرا کنید، باید چیزی شبیه تصویر زیر ببینید:
اطلاعات زیادی در این گزارشها وجود دارد، پس بیایید بخشهای مهم را با هم مرور کنیم. نخست توجه کنید که tracebackها باید از پایین به بالا خوانده شوند. اگر به خواندن متن انگلیسی از بالا به پایین عادت دارید، این موضوع شاید عجیب باشد؛ اما علتش این است که traceback توالی فراخوانی تابعهایی را نشان میدهد که pipeline هنگام دانلود مدل و توکنساز انجام میدهد. (برای جزئیات بیشتر دربارهی نحوهی کار pipeline در پشت صحنه، فصل ۲ را ببینید.)
نکته 🚨 کادر آبیِ اطراف «6 frames» را در traceback مربوط به Google Colab میبینید؟ این قابلیت ویژهی Colab، traceback را به «فریمها» فشرده میکند. اگر نمیتوانید منبع خطا را پیدا کنید، با کلیک روی آن دو فلش، traceback کامل را باز کنید.
این بدان معناست که آخرین خط traceback آخرین پیام خطا را نشان میدهد و نام استثنایی که رخ داده است را ارائه میدهد. در این حالت، نوع استثنا OSError است که نشان دهنده یک خطای مرتبط با سیستم است. اگر پیام خطای همراه را بخوانیم، میتوانیم ببینیم که به نظر میرسد مشکلی در فایل config.json مدل وجود دارد و دو پیشنهاد برای رفع آن به ما ارائه میشود:
"""
Make sure that:
- 'lewtun/distillbert-base-uncased-finetuned-squad-d5716d28' is a correct model identifier listed on 'https://huggingface.co/models'
- or 'lewtun/distillbert-base-uncased-finetuned-squad-d5716d28' is the correct path to a directory containing a config.json file
"""
💡 اگر با پیام خطایی روبهرو شدید که فهمش دشوار است، پیام را در نوار جستوجوی Google یا Stack Overflow کپی و جایگذاری کنید (بله، واقعاً همین کار را انجام دهید!). احتمال زیادی دارد که شما نخستین فردی نباشید که با این خطا روبهرو شده است و این روش میتواند راهحلهایی را که دیگران در جامعه منتشر کردهاند نشان دهد. برای نمونه، جستوجوی
OSError: Can't load config forدر Stack Overflow چند نتیجه دارد که میتوانند نقطهی شروعی برای حل مشکل باشند.
پیشنهاد نخست این است که بررسی کنیم شناسهی مدل واقعاً درست است یا نه؛ بنابراین اولین کار، کپیکردن شناسه و جایگذاری آن در نوار جستوجوی هاب است:
هوم، واقعاً به نظر میرسد مدل همکارمان در هاب وجود ندارد... آها، نام مدل اشتباه تایپ شده است! DistilBERT در نامش فقط یک «l» دارد؛ پس بیایید آن را اصلاح کنیم و بهجای آن «lewtun/distilbert-base-uncased-finetuned-squad-d5716d28» را جستوجو کنیم:
خوب، این جستوجو نتیجه داد. حالا بیایید دوباره مدل را با شناسهی صحیح دانلود کنیم:
model_checkpoint = get_full_repo_name("distilbert-base-uncased-finetuned-squad-d5716d28")
reader = pipeline("question-answering", model=model_checkpoint)
"""
OSError: Can't load config for 'lewtun/distilbert-base-uncased-finetuned-squad-d5716d28'. Make sure that:
- 'lewtun/distilbert-base-uncased-finetuned-squad-d5716d28' is a correct model identifier listed on 'https://huggingface.co/models'
- or 'lewtun/distilbert-base-uncased-finetuned-squad-d5716d28' is the correct path to a directory containing a config.json file
"""
ای وای، باز هم نتیجه نگرفتیم—به زندگی روزمرهی مهندس یادگیری ماشین خوش آمدید! حالا که شناسهی مدل را اصلاح کردهایم، مشکل باید در خود مخزن باشد. یک راه سریع برای دسترسی به محتوای مخزن در 🤗 هاب، استفاده از تابع list_repo_files() در کتابخانهی huggingface_hub است:
from huggingface_hub import list_repo_files
list_repo_files(repo_id=model_checkpoint)
['.gitattributes', 'README.md', 'pytorch_model.bin', 'special_tokens_map.json', 'tokenizer_config.json', 'training_args.bin', 'vocab.txt']
جالب است—به نظر میرسد فایل config.json در مخزن وجود ندارد! عجیب نیست که pipeline نتوانست مدل را بارگذاری کند؛ همکارمان احتمالاً پس از کوککردن مدل، فراموش کرده این فایل را در هاب بارگذاری کند. در این حالت، رفع مشکل نسبتاً ساده به نظر میرسد: میتوانیم از او بخواهیم فایل را اضافه کند یا، چون از شناسهی مدل میدانیم مدل ازپیشتعلیمدیدهی استفادهشده distilbert-base-uncased بوده است، پیکربندی این مدل را دانلود کنیم و برای بررسی نتیجه، آن را در مخزن خودمان بارگذاری کنیم. بیایید این کار را انجام دهیم. با استفاده از روشهایی که در فصل ۲ آموختیم، میتوانیم پیکربندی مدل را با کلاس AutoConfig دانلود کنیم:
from transformers import AutoConfig
pretrained_checkpoint = "distilbert-base-uncased"
config = AutoConfig.from_pretrained(pretrained_checkpoint)
🚨 روشی که در اینجا به کار میبریم بینقص نیست، چون ممکن است همکارمان پیش از کوککردن مدل، پیکربندی
distilbert-base-uncasedرا تغییر داده باشد. در دنیای واقعی ابتدا باید با او هماهنگ کنیم، اما برای این بخش فرض میکنیم از پیکربندی پیشفرض استفاده کرده است.
سپس میتوانیم این پیکربندی را با تابع push_to_hub() به مخزن مدل خودمان ارسال کنیم:
config.push_to_hub(model_checkpoint, commit_message="Add config.json")
حالا میتوانیم با بارگذاری مدل از آخرین commit در شاخهی main بررسی کنیم که این کار موفق بوده است:
reader = pipeline("question-answering", model=model_checkpoint, revision="main")
context = r"""
Extractive Question Answering is the task of extracting an answer from a text
given a question. An example of a question answering dataset is the SQuAD
dataset, which is entirely based on that task. If you would like to fine-tune a
model on a SQuAD task, you may leverage the
examples/pytorch/question-answering/run_squad.py script.
🤗 Transformers is interoperable with the PyTorch, TensorFlow, and JAX
frameworks, so you can use your favourite tools for a wide variety of tasks!
"""
question = "What is extractive question answering?"
reader(question=question, context=context)
{'score': 0.38669535517692566,
'start': 34,
'end': 95,
'answer': 'the task of extracting an answer from a text given a question'}
هورا، کار کرد! بیایید آنچه را یاد گرفتید مرور کنیم:
- پیامهای خطای پایتون traceback نام دارند و از پایین به بالا خوانده میشوند. آخرین خط پیام خطا معمولاً اطلاعات لازم برای پیدا کردن منبع مشکل را در اختیار شما میگذارد.
- اگر آخرین خط اطلاعات کافی نداشت، در traceback به سمت بالا حرکت کنید و ببینید آیا میتوانید محل وقوع خطا در کد منبع را پیدا کنید.
- اگر هیچیک از پیامهای خطا به اشکالزدایی کمک نکردند، برای یافتن راهحل مشکلی مشابه، در اینترنت جستوجو کنید.
- کتابخانهی
huggingface_hub// 🤗 هاب؟ مجموعهای از ابزارها را ارائه میدهد که میتوانید برای تعامل با مخازن هاب و اشکالزدایی آنها استفاده کنید.
حالا که میدانید چگونه یک خط لوله را اشکالزدایی کنید، بیایید نمونهی دشوارتری را در گذر رو به جلوی خود مدل بررسی کنیم.
اشکالزدایی گذر رو به جلوی مدل شما[[debugging-the-forward-pass-of-your-model]]
اگرچه pipeline برای بیشتر کاربردهایی که به تولید سریع پیشبینی نیاز دارند عالی است، گاهی لازم است به لاجیتهای مدل دسترسی پیدا کنید (مثلاً اگر پردازش پسینی سفارشی دارید که میخواهید اعمال کنید). برای دیدن اینکه در این حالت چه چیزهایی ممکن است اشتباه پیش برود، ابتدا مدل و توکنساز را از pipeline دریافت میکنیم:
tokenizer = reader.tokenizer
model = reader.model
اکنون به یک پرسش نیاز داریم؛ بیایید ببینیم چارچوبهای مورد علاقهمان پشتیبانی میشوند یا نه:
question = "Which frameworks can I use?"
همانطور که در فصل ۷ دیدیم، گامهای معمولی که باید برداریم شامل توکنسازی ورودیها، استخراج لاجیتهای شروع و پایان توکنها و سپس رمزگشایی بازهی پاسخ است:
import torch
inputs = tokenizer(question, context, add_special_tokens=True)
input_ids = inputs["input_ids"][0]
outputs = model(**inputs)
answer_start_scores = outputs.start_logits
answer_end_scores = outputs.end_logits
# Get the most likely beginning of answer with the argmax of the score
answer_start = torch.argmax(answer_start_scores)
# Get the most likely end of answer with the argmax of the score
answer_end = torch.argmax(answer_end_scores) + 1
answer = tokenizer.convert_tokens_to_string(
tokenizer.convert_ids_to_tokens(input_ids[answer_start:answer_end])
)
print(f"Question: {question}")
print(f"Answer: {answer}")
"""
---------------------------------------------------------------------------
AttributeError Traceback (most recent call last)
/var/folders/28/k4cy5q7s2hs92xq7_h89_vgm0000gn/T/ipykernel_75743/2725838073.py in <module>
1 inputs = tokenizer(question, text, add_special_tokens=True)
2 input_ids = inputs["input_ids"]
----> 3 outputs = model(**inputs)
4 answer_start_scores = outputs.start_logits
5 answer_end_scores = outputs.end_logits
~/miniconda3/envs/huggingface/lib/python3.8/site-packages/torch/nn/modules/module.py in _call_impl(self, *input, **kwargs)
1049 if not (self._backward_hooks or self._forward_hooks or self._forward_pre_hooks or _global_backward_hooks
1050 or _global_forward_hooks or _global_forward_pre_hooks):
-> 1051 return forward_call(*input, **kwargs)
1052 # Do not call functions when jit is used
1053 full_backward_hooks, non_full_backward_hooks = [], []
~/miniconda3/envs/huggingface/lib/python3.8/site-packages/transformers/models/distilbert/modeling_distilbert.py in forward(self, input_ids, attention_mask, head_mask, inputs_embeds, start_positions, end_positions, output_attentions, output_hidden_states, return_dict)
723 return_dict = return_dict if return_dict is not None else self.config.use_return_dict
724
--> 725 distilbert_output = self.distilbert(
726 input_ids=input_ids,
727 attention_mask=attention_mask,
~/miniconda3/envs/huggingface/lib/python3.8/site-packages/torch/nn/modules/module.py in _call_impl(self, *input, **kwargs)
1049 if not (self._backward_hooks or self._forward_hooks or self._forward_pre_hooks or _global_backward_hooks
1050 or _global_forward_hooks or _global_forward_pre_hooks):
-> 1051 return forward_call(*input, **kwargs)
1052 # Do not call functions when jit is used
1053 full_backward_hooks, non_full_backward_hooks = [], []
~/miniconda3/envs/huggingface/lib/python3.8/site-packages/transformers/models/distilbert/modeling_distilbert.py in forward(self, input_ids, attention_mask, head_mask, inputs_embeds, output_attentions, output_hidden_states, return_dict)
471 raise ValueError("You cannot specify both input_ids and inputs_embeds at the same time")
472 elif input_ids is not None:
--> 473 input_shape = input_ids.size()
474 elif inputs_embeds is not None:
475 input_shape = inputs_embeds.size()[:-1]
AttributeError: 'list' object has no attribute 'size'
"""
ای وای، به نظر میرسد در کدمان اشکالی وجود دارد! اما از کمی اشکالزدایی نمیترسیم. میتوانید از اشکالزدای پایتون در یک دفترچه استفاده کنید:
یا در یک ترمینال:
خواندن پیام خطا به ما میگوید که شیء list ویژگی size ندارد و فلش --> به خطی اشاره میکند که مشکل در آن رخ داده است: model(**inputs). میتوانید با اشکالزدای پایتون بهصورت تعاملی خطا را بررسی کنید، اما فعلاً فقط بخشی از inputs را چاپ میکنیم تا ببینیم چه چیزی در اختیار داریم:
inputs["input_ids"][:5]
[101, 2029, 7705, 2015, 2064]
این دقیقاً شبیه یک list معمولی پایتون به نظر میرسد، اما بیایید نوع آن را دوباره بررسی کنیم:
type(inputs["input_ids"])
list
بله، قطعاً یک list پایتون است. پس چه چیزی اشتباه پیش رفت؟ از فصل ۲ به یاد داریم که کلاسهای AutoModelForXxx در 🤗 ترنسفورمرها با تنسورها (در PyTorch یا TensorFlow) کار میکنند و یک عملیات رایج، استخراج ابعاد تنسور با استفاده از Tensor.size() در مثلاً PyTorch است. بیایید دوباره traceback را نگاه کنیم تا ببینیم کدام خط استثنا را ایجاد کرده است:
~/miniconda3/envs/huggingface/lib/python3.8/site-packages/transformers/models/distilbert/modeling_distilbert.py in forward(self, input_ids, attention_mask, head_mask, inputs_embeds, output_attentions, output_hidden_states, return_dict)
471 raise ValueError("You cannot specify both input_ids and inputs_embeds at the same time")
472 elif input_ids is not None:
--> 473 input_shape = input_ids.size()
474 elif inputs_embeds is not None:
475 input_shape = inputs_embeds.size()[:-1]
AttributeError: 'list' object has no attribute 'size'
به نظر میرسد کدمان تلاش کرده input_ids.size() را فراخوانی کند، اما این کار برای یک list پایتون که فقط یک محفظه است، ممکن نیست. چگونه میتوانیم این مشکل را حل کنیم؟ جستوجوی پیام خطا در Stack Overflow چند نتیجه مرتبط نشان میدهد. با کلیک روی اولین نتیجه، پرسشی مشابه پرسش ما و پاسخ آن را در تصویر زیر میبینیم:
در پاسخ پیشنهاد شده است که return_tensors='pt' را به توکنساز اضافه کنیم؛ بیایید ببینیم برای ما هم کار میکند یا نه:
inputs = tokenizer(question, context, add_special_tokens=True, return_tensors="pt")
input_ids = inputs["input_ids"][0]
outputs = model(**inputs)
answer_start_scores = outputs.start_logits
answer_end_scores = outputs.end_logits
# Get the most likely beginning of answer with the argmax of the score
answer_start = torch.argmax(answer_start_scores)
# Get the most likely end of answer with the argmax of the score
answer_end = torch.argmax(answer_end_scores) + 1
answer = tokenizer.convert_tokens_to_string(
tokenizer.convert_ids_to_tokens(input_ids[answer_start:answer_end])
)
print(f"Question: {question}")
print(f"Answer: {answer}")
"""
Question: Which frameworks can I use?
Answer: pytorch, tensorflow, and jax
"""
عالی، کار کرد! این نمونهی خوبی از مفیدبودن Stack Overflow است: با پیدا کردن مشکلی مشابه، توانستیم از تجربهی جامعه استفاده کنیم. بااینحال، جستوجو همیشه نتیجهی مرتبطی ندارد؛ در چنین شرایطی چه میتوان کرد؟ خوشبختانه جامعهی خوشبرخوردی از توسعهدهندگان در انجمنهای هاگینگفیس وجود دارد که میتواند کمک کند. در بخش بعدی بررسی میکنیم چگونه پرسشهای خوبی در انجمن مطرح کنیم که احتمال پاسخگرفتنشان زیاد باشد.
Xet Storage Details
- Size:
- 24.3 kB
- Xet hash:
- 1fe6ca894fed242abf5bee87441285880f03e3a397f4a9bbcddeee3e0026717a
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.