Buckets:

|
download
raw
9.24 kB

ساختن کارت مدل[[building-a-model-card]]

کارت مدل فایلی است که در مخزن مدل، از نظر اهمیت هم‌تراز فایل‌های مدل و توکِنایزر به شمار می‌رود. این فایل تعریف مرکزی مدل است، استفاده‌ی دوباره از آن را برای اعضای جامعه تضمین می‌کند، بازتولیدپذیری نتایج را ممکن می‌سازد و بستری فراهم می‌کند تا دیگر اعضا مصنوعات خود را بر پایه‌ی آن بسازند.

مستندسازی فرایند تعلیم و ارزیابی به دیگران کمک می‌کند بدانند از یک مدل چه انتظاری داشته باشند — و ارائه‌ی اطلاعات کافی درباره‌ی داده‌های استفاده‌شده و پیش‌پردازش و پس‌پردازشی که انجام شده است، باعث می‌شود محدودیت‌ها، سوگیری‌ها و زمینه‌هایی که مدل در آن‌ها مفید هست یا نیست، شناسایی و درک شوند.

بنابراین، ساختن کارتی که مدل شما را به‌روشنی تعریف کند، گام بسیار مهمی است. در اینجا چند نکته ارائه می‌کنیم که به شما کمک خواهند کرد. کارت مدل از طریق فایل README.md که پیش‌تر دیدید ساخته می‌شود؛ این فایل با Markdown نوشته شده است.

مفهوم «کارت مدل» از یک مسیر پژوهشی در گوگل سرچشمه می‌گیرد و نخستین بار در مقاله‌ی "Model Cards for Model Reporting" نوشته‌ی مارگارت میچل و همکارانش مطرح شد. بخش زیادی از اطلاعات اینجا بر اساس همان مقاله است و پیشنهاد می‌کنیم برای درک اهمیت کارت‌های مدل در دنیایی که برای بازتولیدپذیری، استفاده‌ی مجدد و انصاف ارزش قائل است، نگاهی به آن بیندازید.

کارت مدل معمولاً با یک مرور بسیار کوتاه و سطح‌بالا از هدف مدل آغاز می‌شود و سپس جزئیات بیشتری در بخش‌های زیر ارائه می‌شود:

  • توضیح مدل
  • کاربردهای موردنظر و محدودیت‌ها
  • نحوه‌ی استفاده
  • محدودیت‌ها و سوگیری
  • داده‌ی تعلیم
  • فرایند تعلیم
  • نتایج ارزیابی

بیایید ببینیم هر یک از این بخش‌ها باید چه محتوایی داشته باشند.

توضیح مدل[[model-description]]

توضیح مدل جزئیات پایه‌ای درباره‌ی مدل ارائه می‌دهد. این جزئیات شامل معماری، نسخه، اینکه آیا مدل در مقاله‌ای معرفی شده است یا نه، اینکه پیاده‌سازی اصلی آن در دسترس هست یا نه، نویسنده و اطلاعات کلی درباره‌ی مدل است. هرگونه حق نشر نیز باید در اینجا ذکر شود. اطلاعات کلی درباره‌ی فرایندهای تعلیم، پارامترها و سلب مسئولیت‌های مهم را نیز می‌توان در این بخش آورد.

کاربردهای موردنظر و محدودیت‌ها[[intended-uses-limitations]]

در اینجا موارد کاربردی را شرح می‌دهید که مدل برای آن‌ها در نظر گرفته شده است؛ از جمله زبان‌ها، حوزه‌ها و زمینه‌هایی که می‌توان مدل را در آن‌ها به کار برد. این بخش از کارت مدل می‌تواند زمینه‌هایی را نیز مستند کند که مدل برای آن‌ها مناسب نیست یا احتمال دارد در آن‌ها عملکرد ضعیفی داشته باشد.

نحوه‌ی استفاده[[how-to-use]]

این بخش باید چند نمونه از نحوه‌ی استفاده از مدل را شامل شود. این نمونه‌ها می‌توانند کاربرد تابع pipeline()، استفاده از کلاس‌های مدل و توکِنایزر و هر کد دیگری را که فکر می‌کنید مفید است، نشان دهند.

داده‌ی تعلیم[[training-data]]

این بخش باید مشخص کند مدل روی کدام دیتاست یا دیتاست‌ها تعلیم داده شده است. ارائه‌ی توضیحی کوتاه درباره‌ی دیتاست‌ها نیز مفید است.

فرایند تعلیم[[training-procedure]]

در این بخش باید همه‌ی جنبه‌های مرتبط با تعلیم را که از دید بازتولیدپذیری مفید هستند شرح دهید. این موارد شامل هرگونه پیش‌پردازش و پس‌پردازشی است که روی داده‌ها انجام شده، و همچنین جزئیاتی مانند تعداد epochهایی که مدل روی آن‌ها تعلیم دیده، اندازه‌ی بتچ، نرخ یادگیری و موارد دیگر.

متغیرها و معیارها[[variable-and-metrics]]

در اینجا معیارهایی را که برای ارزیابی استفاده می‌کنید و عوامل مختلفی را که اندازه‌گیری می‌کنید شرح دهید. ذکر اینکه از کدام معیارها، روی کدام دیتاست و کدام بخش از دیتاست استفاده شده است، مقایسه‌ی عملکرد مدل شما با مدل‌های دیگر را آسان می‌کند. این موارد باید بر اساس بخش‌های قبلی، مانند کاربران موردنظر و موارد کاربرد، انتخاب شوند.

نتایج ارزیابی[[evaluation-results]]

در نهایت، مشخص کنید مدل روی دیتاست ارزیابی چه عملکردی دارد. اگر مدل از یک آستانه‌ی تصمیم استفاده می‌کند، یا آستانه‌ی تصمیم استفاده‌شده در ارزیابی را ارائه دهید یا جزئیات ارزیابی در آستانه‌های مختلف را برای کاربردهای موردنظر بیان کنید.

نمونه[[example]]

برای دیدن چند نمونه از کارت‌های مدلِ خوب‌ساخته‌شده، موارد زیر را بررسی کنید:

نمونه‌های بیشتری از سازمان‌ها و شرکت‌های مختلف اینجا در دسترس هستند.

یادداشت[[note]]

کارت‌های مدل هنگام انتشار مدل اجباری نیستند و لازم نیست هنگام ساخت کارت همه‌ی بخش‌های توضیح‌داده‌شده در بالا را وارد کنید. بااین‌حال، مستندسازی صریح مدل فقط می‌تواند برای کاربران آینده سودمند باشد؛ بنابراین پیشنهاد می‌کنیم تا حد امکان و بر اساس دانش و توانایی خود، تعداد بیشتری از این بخش‌ها را تکمیل کنید.

فراداده‌ی کارت مدل[[model-card-metadata]]

اگر کمی در هاب هاگینگ‌فِیس جست‌وجو کرده باشید، احتمالاً دیده‌اید که بعضی مدل‌ها به دسته‌های مشخصی تعلق دارند: می‌توانید مدل‌ها را بر اساس وظایف، زبان‌ها، کتابخانه‌ها و موارد دیگر فیلتر کنید. دسته‌ای که یک مدل به آن تعلق دارد، بر اساس فراداده‌ای مشخص می‌شود که در سربرگ کارت مدل اضافه می‌کنید.

برای مثال، اگر کارت مدل camembert-base را ببینید، باید خطوط زیر را در سربرگ کارت مدل مشاهده کنید:

---
language: fr
license: mit
datasets:
- oscar
---

این فراداده توسط هاب هاگینگ‌فِیس پردازش می‌شود و هاب بر اساس آن مدل را یک مدل فرانسوی با مجوز MIT معرفی می‌کند که روی دیتاست Oscar تعلیم دیده است.

مشخصات کامل کارت مدل امکان مشخص کردن زبان‌ها، مجوزها، برچسب‌ها، دیتاست‌ها و معیارها، و همچنین نتایج ارزیابی‌ای را که مدل هنگام تعلیم به دست آورده است فراهم می‌کند.

Xet Storage Details

Size:
9.24 kB
·
Xet hash:
6a73b9ba3c8535c93fa0df75376db955d3e80dcfd7ec7e7d4ed664f3e650d97c

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.