Buckets:
سوگیری و محدودیتها[[bias-and-limitations]]
<CourseFloatingBanner chapter={1} classNames="absolute z-10 right-0 top-0" notebooks={[ {label: "Google Colab", value: "https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter1/section8.ipynb"}, {label: "Aws Studio", value: "https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter1/section8.ipynb"}, ]} />
اگر قصد دارید از یک مدل از پیش تعلیمدیده یا نسخهای کوکشده از آن در محیط استقرار استفاده کنید، توجه داشته باشید که این مدلها با وجود قدرت زیاد، محدودیتهایی هم دارند. بزرگترین این محدودیتها از این واقعیت ناشی میشود که پژوهشگران برای امکانپذیر کردن پیشتعلیم با مقدار زیادی داده، اغلب همهی محتوایی را که میتوانند پیدا کنند جمعآوری میکنند و هم بهترین و هم بدترین محتوای موجود در اینترنت را در اختیار میگیرند.
برای یک نمونهی کوتاه، به مثال خط تولید fill-mask با مدل BERT برگردیم:
from transformers import pipeline
unmasker = pipeline("fill-mask", model="bert-base-uncased")
result = unmasker("This man works as a [MASK].")
print([r["token_str"] for r in result])
result = unmasker("This woman works as a [MASK].")
print([r["token_str"] for r in result])
['lawyer', 'carpenter', 'doctor', 'waiter', 'mechanic']
['nurse', 'waitress', 'teacher', 'maid', 'prostitute']
وقتی از مدل خواسته میشود کلمهی گمشده را در این دو جمله پر کند، فقط یک پاسخ بدون جنسیت (waiter/waitress) ارائه میدهد. بقیهی پاسخها شغلهایی هستند که معمولاً با یک جنسیت مشخص مرتبط دانسته میشوند — و بله، prostitute در میان ۵ احتمال برتر مرتبط با «woman» و «work» قرار گرفته است. این اتفاق با وجود آن رخ میدهد که BERT یکی از معدود مدلهای ترنسفورمر است که با جمعآوری داده از سراسر اینترنت ساخته نشده، بلکه از دادههایی ظاهراً بیطرف استفاده میکند (این مدل روی دیتاستهای ویکیپدیای انگلیسی و BookCorpus تعلیم داده شده است).
بنابراین هنگام استفاده از این ابزارها باید همیشه در نظر داشته باشید که مدل اولیهای که استفاده میکنید میتواند بهراحتی محتوای جنسیتزده، نژادپرستانه یا همجنسگراهراسانه تولید کند. کوک کردن مدل روی دادههای شما این سوگیری ذاتی را از بین نخواهد برد.
Xet Storage Details
- Size:
- 3.27 kB
- Xet hash:
- dcf46e3323ed4a5749d7584b5822898f5a24b34a06d7df265dddd4d27ef6fd71
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.