Buckets:

|
download
raw
26.5 kB
# ترنسفورمرها چه کارهایی می‌توانند انجام دهند؟[[transformers-what-can-they-do]]
<CourseFloatingBanner chapter={1}
classNames="absolute z-10 right-0 top-0"
notebooks={[
{label: "Google Colab", value: "https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter1/section3.ipynb"},
{label: "Aws Studio", value: "https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter1/section3.ipynb"},
]} />
در این بخش بررسی می‌کنیم مدل‌های ترنسفورمر چه کارهایی می‌توانند انجام دهند و از نخستین ابزار خود در کتابخانه‌ی 🤗 Transformers، یعنی تابع `pipeline()`، استفاده می‌کنیم.
> [!TIP]
> 👀 دکمه‌ی Open in Colab را در گوشه‌ی بالا سمت راست می‌بینید؟ روی آن کلیک کنید تا یک نوت‌بوک Google Colab شامل همه‌ی نمونه‌کدهای این بخش باز شود. این دکمه در هر بخشی که نمونه‌کد داشته باشد وجود خواهد داشت.
>
> اگر می‌خواهید نمونه‌ها را به‌صورت محلی اجرا کنید، پیشنهاد می‌کنیم نگاهی به [راه‌اندازی](/course/chapter0) بیندازید.
## ترنسفورمرها همه‌جا هستند![[transformers-are-everywhere]]
مدل‌های ترنسفورمر برای حل انواع مسائل در مدالیته‌های گوناگون، از جمله پردازش زبان طبیعی (NLP)، بینایی ماشین، پردازش صوت و موارد دیگر، به کار می‌روند. در اینجا برخی از شرکت‌ها و سازمان‌هایی را می‌بینید که از هاگینگ‌فِیس و مدل‌های ترنسفورمر استفاده می‌کنند و با به‌اشتراک‌گذاری مدل‌های خود به جامعه نیز کمک می‌کنند:
کتابخانه‌ی [🤗 Transformers](https://github.com/huggingface/transformers) قابلیت ایجاد و استفاده از این مدل‌های به‌اشتراک‌گذاشته‌شده را فراهم می‌کند. [هاب مدل‌ها](https://huggingface.co/models) شامل میلیون‌ها مدل از پیش تعلیم‌دیده است که هر کسی می‌تواند آن‌ها را دانلود و استفاده کند. شما همچنین می‌توانید مدل‌های خود را در هاب بارگذاری کنید!
> [!TIP]
> ⚠️ هاب هاگینگ‌فِیس فقط به مدل‌های ترنسفورمر محدود نمی‌شود. هر کسی می‌تواند هر نوع مدل یا دیتاستی را که می‌خواهد به اشتراک بگذارد! برای استفاده از همه‌ی قابلیت‌های موجود، یک حساب کاربری در huggingface.co بسازید!
پیش از آنکه به سازوکار درونی مدل‌های ترنسفورمر بپردازیم، بیایید چند نمونه از کاربرد آن‌ها برای حل مسائل جالب NLP را بررسی کنیم.
## کار با خط تولید[[working-with-pipelines]]
ساده‌ترین شیء در کتابخانه‌ی 🤗 Transformers تابع `pipeline()` است. این تابع یک مدل را با مراحل پیش‌پردازش و پس‌پردازش موردنیاز آن به هم متصل می‌کند و به ما اجازه می‌دهد مستقیماً هر متنی را وارد کنیم و پاسخی قابل‌فهم دریافت کنیم:
```python
from transformers import pipeline
classifier = pipeline("sentiment-analysis")
classifier("I've been waiting for a HuggingFace course my whole life.")
```
```python out
[{'label': 'POSITIVE', 'score': 0.9598047137260437}]
```
حتی می‌توانیم چند جمله را هم‌زمان وارد کنیم!
```python
classifier(
["I've been waiting for a HuggingFace course my whole life.", "I hate this so much!"]
)
```
```python out
[{'label': 'POSITIVE', 'score': 0.9598047137260437},
{'label': 'NEGATIVE', 'score': 0.9994558095932007}]
```
این خط تولید به‌طور پیش‌فرض مدل از پیش تعلیم‌دیده‌ی مشخصی را انتخاب می‌کند که برای تحلیل احساسات به زبان انگلیسی کوک شده است. هنگام ایجاد شیء `classifier`، مدل دانلود و در کش ذخیره می‌شود. اگر فرمان را دوباره اجرا کنید، به‌جای دانلود دوباره از مدل ذخیره‌شده در کش استفاده می‌شود.
هنگام وارد کردن متنی به خط تولید، سه مرحله‌ی اصلی انجام می‌شود:
1. متن به قالبی پیش‌پردازش می‌شود که مدل بتواند آن را درک کند.
2. ورودی‌های پیش‌پردازش‌شده به مدل داده می‌شوند.
3. پیش‌بینی‌های مدل پس‌پردازش می‌شوند تا بتوانید آن‌ها را درک کنید.
## خط‌های تولید موجود برای مدالیته‌های مختلف
تابع `pipeline()` از چندین مدالیته پشتیبانی می‌کند و به شما اجازه می‌دهد با متن، تصویر، صوت و حتی وظایف چندوجهی کار کنید. در این دوره روی وظایف متنی تمرکز می‌کنیم، اما برای درک ظرفیت معماری ترنسفورمر، مروری کوتاه بر آن خواهیم داشت.
در ادامه، نمایی کلی از گزینه‌های موجود آمده است:
> [!TIP]
> برای دیدن فهرست کامل و به‌روز خط‌های تولید، به [مستندات 🤗 Transformers](https://huggingface.co/docs/hub/en/models-tasks) مراجعه کنید.
### خط‌های تولید متن
- `text-generation`: تولید متن از یک اعلان
- `text-classification`: دسته‌بندی متن در دسته‌های از پیش تعیین‌شده
- `summarization`: ایجاد نسخه‌ای کوتاه‌تر از متن با حفظ اطلاعات کلیدی
- `translation`: ترجمه‌ی متن از یک زبان به زبان دیگر
- `zero-shot-classification`: دسته‌بندی متن بدون تعلیم قبلی برای برچسب‌های مشخص
- `feature-extraction`: استخراج بازنمایی‌های برداری از متن
### خط‌های تولید تصویر
- `image-to-text`: تولید توضیحات متنی برای تصاویر
- `image-classification`: شناسایی اشیا در تصاویر
- `object-detection`: مکان‌یابی و شناسایی اشیا در تصاویر
### خط‌های تولید صوت
- `automatic-speech-recognition`: تبدیل صوت به متن
- `audio-classification`: دسته‌بندی صوت در گروه‌های مختلف
- `text-to-speech`: تبدیل متن به گفتار
### خط‌های تولید چندوجهی
- `image-text-to-text`: پاسخ‌گویی درباره‌ی تصویر بر اساس یک اعلان متنی
بیایید برخی از این خط‌های تولید را با جزئیات بیشتری بررسی کنیم!
## دسته‌بندی zero-shot[[zero-shot-classification]]
کار را با مسئله‌ی چالش‌برانگیزتری شروع می‌کنیم که در آن باید متن‌هایی را دسته‌بندی کنیم که برچسب‌گذاری نشده‌اند. این سناریو در پروژه‌های واقعی متداول است، زیرا حاشیه‌نویسی متن معمولاً زمان‌بر است و به تخصص در حوزه‌ی مربوط نیاز دارد. خط تولید `zero-shot-classification` برای این کاربرد بسیار قدرتمند است: می‌توانید برچسب‌هایی را که می‌خواهید برای دسته‌بندی استفاده شوند مشخص کنید، بنابراین لازم نیست به برچسب‌های مدل از پیش تعلیم‌دیده تکیه کنید. پیش‌تر دیدید که مدل چگونه می‌تواند یک جمله را با استفاده از دو برچسب مثبت یا منفی دسته‌بندی کند؛ اما می‌تواند متن را با هر مجموعه‌ی دیگری از برچسب‌ها که می‌خواهید نیز دسته‌بندی کند.
```python
from transformers import pipeline
classifier = pipeline("zero-shot-classification")
classifier(
"This is a course about the Transformers library",
candidate_labels=["education", "politics", "business"],
)
```
```python out
{'sequence': 'This is a course about the Transformers library',
'labels': ['education', 'business', 'politics'],
'scores': [0.8445963859558105, 0.111976258456707, 0.043427448719739914]}
```
به این خط تولید `zero-shot` گفته می‌شود، چون برای استفاده از آن لازم نیست مدل را روی داده‌های خود کوک کنید. این خط تولید می‌تواند برای هر فهرستی از برچسب‌هایی که می‌خواهید، مستقیماً امتیازهای احتمال را برگرداند!
> [!TIP]
> ✏️ **امتحان کنید!** با توالی‌ها و برچسب‌های خودتان کار کنید و ببینید مدل چگونه رفتار می‌کند.
## تولید متن[[text-generation]]
حالا ببینیم چگونه از یک خط تولید برای تولید متن استفاده کنیم. ایده‌ی اصلی این است که یک اعلان در اختیار مدل می‌گذارید و مدل با تولید بخش باقی‌مانده‌ی متن، آن را کامل می‌کند. این کار شبیه قابلیت متن پیش‌بین است که در بسیاری از تلفن‌ها وجود دارد. تولید متن تصادفی است، بنابراین طبیعی است که نتایجی دقیقاً مانند نمونه‌ی زیر دریافت نکنید.
```python
from transformers import pipeline
generator = pipeline("text-generation")
generator("In this course, we will teach you how to")
```
```python out
[{'generated_text': 'In this course, we will teach you how to understand and use '
'data flow and data interchange when handling user data. We '
'will be working with one or more of the most commonly used '
'data flows — data flows of various types, as seen by the '
'HTTP'}]
```
با آرگومان `num_return_sequences` می‌توانید تعداد توالی‌های متفاوتی را که تولید می‌شوند کنترل کنید و با آرگومان `max_length` طول کلی خروجی را تعیین کنید.
> [!TIP]
> ✏️ **امتحان کنید!** از آرگومان‌های `num_return_sequences` و `max_length` استفاده کنید تا دو جمله‌ی ۱۵ کلمه‌ای تولید شوند.
## استفاده از هر مدلی از هاب در خط تولید[[using-any-model-from-the-hub-in-a-pipeline]]
نمونه‌های قبلی از مدل پیش‌فرض وظیفه‌ی موردنظر استفاده می‌کردند، اما می‌توانید برای یک وظیفه‌ی خاص، مثلاً تولید متن، مدل مشخصی را هم برای استفاده در خط تولید انتخاب کنید. به [هاب مدل‌ها](https://huggingface.co/models) بروید و روی برچسب متناظر در سمت چپ کلیک کنید تا فقط مدل‌های پشتیبانی‌کننده از آن وظیفه نمایش داده شوند. باید به صفحه‌ای مانند [این صفحه](https://huggingface.co/models?pipeline_tag=text-generation) برسید.
بیایید مدل [`HuggingFaceTB/SmolLM2-360M`](https://huggingface.co/HuggingFaceTB/SmolLM2-360M) را امتحان کنیم! در ادامه روش بارگذاری آن در همان خط تولید قبلی را می‌بینید:
```python
from transformers import pipeline
generator = pipeline("text-generation", model="HuggingFaceTB/SmolLM2-360M")
generator(
"In this course, we will teach you how to",
max_length=30,
num_return_sequences=2,
)
```
```python out
[{'generated_text': 'In this course, we will teach you how to manipulate the world and '
'move your mental and physical capabilities to your advantage.'},
{'generated_text': 'In this course, we will teach you how to become an expert and '
'practice realtime, and with a hands on experience on both real '
'time and real'}]
```
با کلیک روی برچسب‌های زبان می‌توانید جست‌وجوی خود برای یک مدل تولید متن را دقیق‌تر کنید و مدلی را انتخاب کنید که متن را به زبان دیگری تولید کند. هاب مدل‌ها حتی شامل نقطه‌های تعلیم مدل‌های چندزبانه‌ای است که از چندین زبان پشتیبانی می‌کنند.
پس از انتخاب مدل با کلیک روی آن، می‌بینید که ویجتی به شما اجازه می‌دهد مستقیماً آن را به‌صورت آنلاین امتحان کنید. به این ترتیب می‌توانید پیش از دانلود مدل، قابلیت‌های آن را به‌سرعت آزمایش کنید.
> [!TIP]
> ✏️ **امتحان کنید!** از فیلترها برای پیدا کردن یک مدل تولید متن به زبان دیگر استفاده کنید. با ویجت کار کنید و آن را در یک خط تولید به کار ببرید!
### ارائه‌دهندگان استنتاج[[inference-providers]]
همه‌ی مدل‌ها را می‌توان با استفاده از ارائه‌دهندگان استنتاج، مستقیماً از طریق مرورگر آزمایش کرد. در این صفحه‌ی [وب‌سایت هاگینگ‌فِیس](https://huggingface.co/docs/inference-providers/en/index) می‌توانید متن دلخواه خود را وارد کنید و پردازش آن توسط مدل را ببینید.
ارائه‌دهندگان استنتاجی که ویجت را فعال می‌کنند به‌عنوان محصولی پولی نیز در دسترس هستند و برای گردش‌کارهای شما مفید واقع می‌شوند. برای جزئیات بیشتر، صفحه‌ی [قیمت‌گذاری](https://huggingface.co/docs/inference-providers/en/pricing) را ببینید.
## پر کردن ماسک[[mask-filling]]
خط تولید بعدی که امتحان می‌کنید `fill-mask` است. ایده‌ی این وظیفه، پر کردن جاهای خالی در یک متن داده‌شده است:
```python
from transformers import pipeline
unmasker = pipeline("fill-mask")
unmasker("This course will teach you all about <mask> models.", top_k=2)
```
```python out
[{'sequence': 'This course will teach you all about mathematical models.',
'score': 0.19619831442832947,
'token': 30412,
'token_str': ' mathematical'},
{'sequence': 'This course will teach you all about computational models.',
'score': 0.04052725434303284,
'token': 38163,
'token_str': ' computational'}]
```
آرگومان `top_k` تعداد گزینه‌هایی را که می‌خواهید نمایش داده شوند کنترل می‌کند. توجه کنید که در اینجا مدل واژه‌ی ویژه‌ی `<mask>` را پر می‌کند که اغلب به آن *توکِن ماسک* گفته می‌شود. مدل‌های دیگری که وظیفه‌ی پر کردن ماسک را انجام می‌دهند ممکن است توکِن‌های ماسک متفاوتی داشته باشند، بنابراین هنگام بررسی مدل‌های دیگر، همیشه باید واژه‌ی ماسک مناسب را بررسی کنید. یکی از راه‌های انجام این کار، نگاه کردن به واژه‌ی ماسک استفاده‌شده در ویجت است.
> [!TIP]
> ✏️ **امتحان کنید!** مدل `bert-base-cased` را در هاب جست‌وجو کنید و واژه‌ی ماسک آن را در ویجت Inference API پیدا کنید. این مدل برای جمله‌ی موجود در نمونه‌ی `pipeline` ما چه چیزی پیش‌بینی می‌کند؟
## تشخیص موجودیت نامدار[[named-entity-recognition]]
تشخیص موجودیت نامدار (NER) وظیفه‌ای است که در آن مدل باید مشخص کند کدام بخش‌های متن ورودی به موجودیت‌هایی مانند افراد، مکان‌ها یا سازمان‌ها مربوط می‌شوند. بیایید یک نمونه را ببینیم:
```python
from transformers import pipeline
ner = pipeline("ner", aggregation_strategy="simple")
ner("My name is Sylvain and I work at Hugging Face in Brooklyn.")
```
```python out
[{'entity_group': 'PER', 'score': 0.99816, 'word': 'Sylvain', 'start': 11, 'end': 18},
{'entity_group': 'ORG', 'score': 0.97960, 'word': 'Hugging Face', 'start': 33, 'end': 45},
{'entity_group': 'LOC', 'score': 0.99321, 'word': 'Brooklyn', 'start': 49, 'end': 57}
]
```
در اینجا مدل به‌درستی تشخیص داد که Sylvain یک فرد (PER)، Hugging Face یک سازمان (ORG) و Brooklyn یک مکان (LOC) است.
در تابع ایجاد خط تولید، گزینه‌ی `aggregation_strategy="simple"` را ارسال می‌کنیم تا به خط تولید بگوییم بخش‌هایی از جمله را که به یک موجودیت تعلق دارند دوباره کنار هم قرار دهد: در اینجا مدل «Hugging» و «Face» را به‌درستی به‌عنوان یک سازمان واحد گروه‌بندی کرد، با اینکه این نام از چند کلمه تشکیل شده است. در واقع، همان‌طور که در فصل بعد خواهیم دید، پیش‌پردازش حتی برخی کلمه‌ها را به بخش‌های کوچک‌تری تقسیم می‌کند. برای نمونه، `Sylvain` به چهار قطعه‌ی `S`، `##yl`، `##va` و `##in` تقسیم می‌شود. در مرحله‌ی پس‌پردازش، خط تولید این قطعه‌ها را با موفقیت دوباره گروه‌بندی می‌کند.
> [!TIP]
> ✏️ **امتحان کنید!** در هاب مدل، مدلی را پیدا کنید که بتواند برچسب‌گذاری نقش دستوری را انجام دهد (که معمولاً با POS خلاصه می‌شود). این مدل برای جمله‌ی نمونه‌ی بالا چه چیزی پیش‌بینی می‌کند؟
## پاسخ‌گویی به پرسش[[question-answering]]
خط تولید `question-answering` با استفاده از اطلاعات یک زمینه‌ی داده‌شده به پرسش‌ها پاسخ می‌دهد:
```python
from transformers import pipeline
question_answerer = pipeline("question-answering")
question_answerer(
question="Where do I work?",
context="My name is Sylvain and I work at Hugging Face in Brooklyn",
)
```
```python out
{'score': 0.6385916471481323, 'start': 33, 'end': 45, 'answer': 'Hugging Face'}
```
توجه کنید که این خط تولید با استخراج اطلاعات از زمینه‌ی ارائه‌شده کار می‌کند و پاسخ را تولید نمی‌کند.
## خلاصه‌سازی[[summarization]]
خلاصه‌سازی وظیفه‌ی تبدیل یک متن به متنی کوتاه‌تر است، به‌گونه‌ای که جنبه‌های مهم ذکرشده در متن (یا بیشتر آن‌ها) حفظ شوند. نمونه‌ای از این کار را ببینید:
```python
from transformers import pipeline
summarizer = pipeline("summarization")
summarizer(
"""
America has changed dramatically during recent years. Not only has the number of
graduates in traditional engineering disciplines such as mechanical, civil,
electrical, chemical, and aeronautical engineering declined, but in most of
the premier American universities engineering curricula now concentrate on
and encourage largely the study of engineering science. As a result, there
are declining offerings in engineering subjects dealing with infrastructure,
the environment, and related issues, and greater concentration on high
technology subjects, largely supporting increasingly complex scientific
developments. While the latter is important, it should not be at the expense
of more traditional engineering.
Rapidly developing economies such as China and India, as well as other
industrial countries in Europe and Asia, continue to encourage and advance
the teaching of engineering. Both China and India, respectively, graduate
six and eight times as many traditional engineers as does the United States.
Other industrial countries at minimum maintain their output, while America
suffers an increasingly serious decline in the number of engineering graduates
and a lack of well-educated engineers.
"""
)
```
```python out
[{'summary_text': ' America has changed dramatically during recent years . The '
'number of engineering graduates in the U.S. has declined in '
'traditional engineering disciplines such as mechanical, civil '
', electrical, chemical, and aeronautical engineering . Rapidly '
'developing economies such as China and India, as well as other '
'industrial countries in Europe and Asia, continue to encourage '
'and advance engineering .'}]
```
همانند تولید متن، می‌توانید برای نتیجه‌ی خلاصه‌سازی `max_length` یا `min_length` را مشخص کنید.
## ترجمه[[translation]]
برای ترجمه می‌توانید یک مدل پیش‌فرض را در صورتی به کار ببرید که جفت‌زبان را در نام وظیفه مشخص کنید، مثلاً `"translation_en_to_fr"`؛ اما ساده‌ترین راه، انتخاب مدل موردنظر از [هاب مدل‌ها](https://huggingface.co/models) است. در اینجا ترجمه از فرانسوی به انگلیسی را امتحان می‌کنیم:
```python
from transformers import pipeline
translator = pipeline("translation", model="Helsinki-NLP/opus-mt-fr-en")
translator("Ce cours est produit par Hugging Face.")
```
```python out
[{'translation_text': 'This course is produced by Hugging Face.'}]
```
همانند تولید متن و خلاصه‌سازی، می‌توانید `max_length` یا `min_length` را برای ترجمه مشخص کنید.
> [!TIP]
> ✏️ **امتحان کنید!** مدل‌های ترجمه را برای زبان‌های دیگر جست‌وجو کنید و جمله‌ی قبلی را به چند زبان متفاوت ترجمه کنید.
## خط‌های تولید تصویر و صوت
مدل‌های ترنسفورمر علاوه بر متن، می‌توانند با تصاویر و صوت نیز کار کنند. در ادامه چند نمونه را می‌بینید:
### دسته‌بندی تصویر
```python
from transformers import pipeline
image_classifier = pipeline(
task="image-classification", model="google/vit-base-patch16-224"
)
result = image_classifier(
"https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"
)
print(result)
```
```python out
[{'label': 'lynx, catamount', 'score': 0.43350091576576233},
{'label': 'cougar, puma, catamount, mountain lion, painter, panther, Felis concolor',
'score': 0.034796204417943954},
{'label': 'snow leopard, ounce, Panthera uncia',
'score': 0.03240183740854263},
{'label': 'Egyptian cat', 'score': 0.02394474856555462},
{'label': 'tiger cat', 'score': 0.02288915030658245}]
```
### تشخیص خودکار گفتار
```python
from transformers import pipeline
transcriber = pipeline(
task="automatic-speech-recognition", model="openai/whisper-large-v3"
)
result = transcriber(
"https://huggingface.co/datasets/Narsil/asr_dummy/resolve/main/mlk.flac"
)
print(result)
```
```python out
{'text': ' I have a dream that one day this nation will rise up and live out the true meaning of its creed.'}
```
## ترکیب داده‌ها از منابع متعدد
یکی از کاربردهای قدرتمند مدل‌های ترنسفورمر، توانایی آن‌ها در ترکیب و پردازش داده‌ها از منابع متعدد است. این قابلیت به‌ویژه زمانی مفید است که بخواهید:
1. در چندین پایگاه داده یا مخزن جست‌وجو کنید.
2. اطلاعات را از قالب‌های مختلف (متن، تصویر، صوت) یکپارچه کنید.
3. نمایی یکپارچه از اطلاعات مرتبط ایجاد کنید.
برای مثال، می‌توانید سامانه‌ای بسازید که:
- اطلاعات را در پایگاه‌های داده‌ی مختلف و در مدالیته‌هایی مانند متن و تصویر جست‌وجو کند.
- نتایج را از منابع مختلف در یک پاسخ منسجم ترکیب کند؛ برای نمونه، از یک فایل صوتی و توضیح متنی.
- مرتبط‌ترین اطلاعات را از پایگاه داده‌ای شامل اسناد و فراداده ارائه کند.
## جمع‌بندی
خط‌های تولیدی که در این فصل نشان داده شدند، بیشتر برای نمایش کاربرد دارند. این خط‌ها برای وظایف مشخصی برنامه‌ریزی شده‌اند و نمی‌توانند گونه‌های مختلف آن وظایف را انجام دهند. در فصل بعد با محتوای تابع `pipeline()` و روش سفارشی‌سازی رفتار آن آشنا خواهید شد.

Xet Storage Details

Size:
26.5 kB
·
Xet hash:
09ecf9c917c95cb0d6725e51b5bced2246c44ec76b3adf7913a84ff862215453

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.