Buckets:
استخدام النماذج المُدرَّبة مسبقًا[[using-pretrained-models]]
{#if fw === 'pt'}
<CourseFloatingBanner chapter={4} classNames="absolute z-10 right-0 top-0" notebooks={[ {label: "Google Colab", value: "https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter4/section2_pt.ipynb"}, {label: "Aws Studio", value: "https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter4/section2_pt.ipynb"}, ]} />
{:else}
<CourseFloatingBanner chapter={4} classNames="absolute z-10 right-0 top-0" notebooks={[ {label: "Google Colab", value: "https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter4/section2_tf.ipynb"}, {label: "Aws Studio", value: "https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter4/section2_tf.ipynb"}, ]} />
{/if}
تُسهّل منصة النماذج (Model Hub) اختيار النموذج المناسب، بحيث يمكن استخدامه في أي مكتبة تدعمه ببضعة أسطر من الكود فقط. لنلقِ نظرة على كيفية استخدام أحد هذه النماذج فعليًا، وكيفية المساهمة بدورك في المجتمع (community).
لنفترض أننا نبحث عن نموذج للغة الفرنسية قادر على أداء مهمة ملء الكلمات المحجوبة (mask filling).
نختار نقطة الحفظ (checkpoint) المسمّاة camembert-base لتجربتها. والمُعرِّف camembert-base هو كل ما نحتاج إليه لبدء استخدامها! وكما رأيت في الفصول السابقة، يمكننا إنشاء نسخة (instantiate) منها باستخدام الدالة pipeline():
from transformers import pipeline
camembert_fill_mask = pipeline("fill-mask", model="camembert-base")
results = camembert_fill_mask("Le camembert est <mask> :)")
[
{'sequence': 'Le camembert est délicieux :)', 'score': 0.49091005325317383, 'token': 7200, 'token_str': 'délicieux'},
{'sequence': 'Le camembert est excellent :)', 'score': 0.1055697426199913, 'token': 2183, 'token_str': 'excellent'},
{'sequence': 'Le camembert est succulent :)', 'score': 0.03453313186764717, 'token': 26202, 'token_str': 'succulent'},
{'sequence': 'Le camembert est meilleur :)', 'score': 0.0330314114689827, 'token': 528, 'token_str': 'meilleur'},
{'sequence': 'Le camembert est parfait :)', 'score': 0.03007650189101696, 'token': 1654, 'token_str': 'parfait'}
]
كما ترى، فإن تحميل نموذج داخل خط معالجة (pipeline) أمر بسيط للغاية. والشيء الوحيد الذي عليك الانتباه إليه هو أن تكون نقطة الحفظ المختارة مناسبة للمهمة التي ستُستخدم فيها. فعلى سبيل المثال، نحمّل هنا نقطة الحفظ camembert-base في خط المعالجة fill-mask، وهذا مناسب تمامًا. أما لو حمّلنا نقطة الحفظ هذه في خط المعالجة text-classification، فلن يكون للنتائج أي معنى، لأن الرأس (head) الخاص بـ camembert-base غير مناسب لهذه المهمة! ننصحك باستخدام أداة اختيار المهام (task selector) في واجهة منصة Hugging Face Hub من أجل اختيار نقاط الحفظ المناسبة:
يمكنك أيضًا إنشاء نسخة من نقطة الحفظ باستخدام بنية (architecture) النموذج مباشرةً:
{#if fw === 'pt'}
from transformers import CamembertTokenizer, CamembertForMaskedLM
tokenizer = CamembertTokenizer.from_pretrained("camembert-base")
model = CamembertForMaskedLM.from_pretrained("camembert-base")
ومع ذلك، ننصحك باستخدام أصناف Auto* بدلًا من ذلك، لأنها مُصمَّمة بحيث تكون مستقلة عن البنية. فبينما يقصر مثال الكود السابق المستخدمين على نقاط الحفظ التي يمكن تحميلها في بنية CamemBERT، فإن استخدام أصناف Auto* يجعل التبديل بين نقاط الحفظ أمرًا بسيطًا:
from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("camembert-base")
model = AutoModelForMaskedLM.from_pretrained("camembert-base")
{:else}
from transformers import CamembertTokenizer, TFCamembertForMaskedLM
tokenizer = CamembertTokenizer.from_pretrained("camembert-base")
model = TFCamembertForMaskedLM.from_pretrained("camembert-base")
ومع ذلك، ننصحك باستخدام أصناف TFAuto* بدلًا من ذلك، لأنها مُصمَّمة بحيث تكون مستقلة عن البنية. فبينما يقصر مثال الكود السابق المستخدمين على نقاط الحفظ التي يمكن تحميلها في بنية CamemBERT، فإن استخدام أصناف TFAuto* يجعل التبديل بين نقاط الحفظ أمرًا بسيطًا:
from transformers import AutoTokenizer, TFAutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("camembert-base")
model = TFAutoModelForMaskedLM.from_pretrained("camembert-base")
{/if}
عند استخدام نموذج مُدرَّب مسبقًا (pretrained model)، احرص على التحقق من طريقة تدريبه، ومجموعات البيانات (datasets) التي دُرِّب عليها، وقيوده (limitations)، وتحيّزاته (biases). ينبغي أن تكون كل هذه المعلومات مذكورة في بطاقة النموذج (model card) الخاصة به.
Xet Storage Details
- Size:
- 5.99 kB
- Xet hash:
- b77c5562e501e20d9c72177653f615c7d99606cb0ca474cf811f12072ec9a34a
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.