Buckets:

|
download
raw
3.34 kB
# مقدمه[[introduction]]
<CourseFloatingBanner
chapter={7}
classNames="absolute z-10 right-0 top-0"
/>
در [فصل ۳](/course/chapter3) دیدید که چگونه یک مدل را برای دسته‌بندی متن کوک کنید. در این فصل به وظایف رایج زبانی زیر می‌پردازیم که برای کار با مدل‌های سنتی NLP و LLMهای مدرن ضروری‌اند:
- دسته‌بندی توکِن
- مدل‌سازی زبان ماسک‌شده (مانند BERT)
- خلاصه‌سازی
- ترجمه
- پیش‌تعلیم مدل‌سازی زبان علّی (مانند GPT-2)
- پاسخ‌گویی به پرسش
این وظایف بنیادی پایه‌ی نحوه‌ی کار مدل‌های زبان بزرگ (LLMها) را تشکیل می‌دهند و درک آن‌ها برای کار مؤثر با پیشرفته‌ترین مدل‌های زبانی امروز ضروری است.
{#if fw === 'pt'}
برای این کار، باید از همه‌ی آموخته‌های خود درباره‌ی API `Trainer` و کتابخانه‌ی 🤗 Accelerate در [فصل ۳](/course/chapter3)، کتابخانه‌ی 🤗 Datasets در [فصل ۵](/course/chapter5) و کتابخانه‌ی 🤗 Tokenizers در [فصل ۶](/course/chapter6) استفاده کنید. همچنین نتایجمان را مانند [فصل ۴](/course/chapter4) در هاب مدل‌ها بارگذاری می‌کنیم؛ پس این همان فصلی است که همه‌چیز در آن به هم می‌رسد!
هر بخش را می‌توان مستقل خواند و در آن خواهید دید چگونه با API `Trainer` یا حلقه‌ی تعلیم خودتان و با استفاده از 🤗 Accelerate مدل تعلیم دهید. می‌توانید هر بخش را که علاقه‌ای به آن ندارید رد کنید و روی بخش دیگر تمرکز کنید: API `Trainer` برای کوک کردن یا تعلیم مدل بدون نگرانی درباره‌ی اتفاق‌های پشت صحنه عالی است، در حالی که حلقه‌ی تعلیم با `Accelerate` اجازه می‌دهد هر بخش دلخواه را آسان‌تر سفارشی کنید.
{:else}
برای این کار، باید از همه‌ی آموخته‌های خود درباره‌ی تعلیم مدل‌ها با API کِراس در [فصل ۳](/course/chapter3)، کتابخانه‌ی 🤗 Datasets در [فصل ۵](/course/chapter5) و کتابخانه‌ی 🤗 Tokenizers در [فصل ۶](/course/chapter6) استفاده کنید. همچنین نتایجمان را مانند [فصل ۴](/course/chapter4) در هاب مدل‌ها بارگذاری می‌کنیم؛ پس این همان فصلی است که همه‌چیز در آن به هم می‌رسد!
هر بخش را می‌توان مستقل خواند.
{/if}
> [!TIP]
> اگر بخش‌ها را به‌ترتیب بخوانید، متوجه می‌شوید که مقدار قابل‌توجهی کد و نثر مشترک دارند. این تکرار عمدی است تا بتوانید به هر وظیفه‌ای که برایتان جالب است سر بزنید (یا بعداً به آن برگردید) و یک مثال کامل و قابل‌اجرا پیدا کنید.

Xet Storage Details

Size:
3.34 kB
·
Xet hash:
83f0dd90a25651f91ee3fcb6283203add6e9b231669d142efc4696b804beebbc

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.