Buckets:

|
download
raw
26.5 kB

ترنسفورمرها چه کارهایی می‌توانند انجام دهند؟[[transformers-what-can-they-do]]

<CourseFloatingBanner chapter={1} classNames="absolute z-10 right-0 top-0" notebooks={[ {label: "Google Colab", value: "https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter1/section3.ipynb"}, {label: "Aws Studio", value: "https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter1/section3.ipynb"}, ]} />

در این بخش بررسی می‌کنیم مدل‌های ترنسفورمر چه کارهایی می‌توانند انجام دهند و از نخستین ابزار خود در کتابخانه‌ی 🤗 Transformers، یعنی تابع pipeline()، استفاده می‌کنیم.

👀 دکمه‌ی Open in Colab را در گوشه‌ی بالا سمت راست می‌بینید؟ روی آن کلیک کنید تا یک نوت‌بوک Google Colab شامل همه‌ی نمونه‌کدهای این بخش باز شود. این دکمه در هر بخشی که نمونه‌کد داشته باشد وجود خواهد داشت.

اگر می‌خواهید نمونه‌ها را به‌صورت محلی اجرا کنید، پیشنهاد می‌کنیم نگاهی به راه‌اندازی بیندازید.

ترنسفورمرها همه‌جا هستند![[transformers-are-everywhere]]

مدل‌های ترنسفورمر برای حل انواع مسائل در مدالیته‌های گوناگون، از جمله پردازش زبان طبیعی (NLP)، بینایی ماشین، پردازش صوت و موارد دیگر، به کار می‌روند. در اینجا برخی از شرکت‌ها و سازمان‌هایی را می‌بینید که از هاگینگ‌فِیس و مدل‌های ترنسفورمر استفاده می‌کنند و با به‌اشتراک‌گذاری مدل‌های خود به جامعه نیز کمک می‌کنند:

کتابخانه‌ی 🤗 Transformers قابلیت ایجاد و استفاده از این مدل‌های به‌اشتراک‌گذاشته‌شده را فراهم می‌کند. هاب مدل‌ها شامل میلیون‌ها مدل از پیش تعلیم‌دیده است که هر کسی می‌تواند آن‌ها را دانلود و استفاده کند. شما همچنین می‌توانید مدل‌های خود را در هاب بارگذاری کنید!

⚠️ هاب هاگینگ‌فِیس فقط به مدل‌های ترنسفورمر محدود نمی‌شود. هر کسی می‌تواند هر نوع مدل یا دیتاستی را که می‌خواهد به اشتراک بگذارد! برای استفاده از همه‌ی قابلیت‌های موجود، یک حساب کاربری در huggingface.co بسازید!

پیش از آنکه به سازوکار درونی مدل‌های ترنسفورمر بپردازیم، بیایید چند نمونه از کاربرد آن‌ها برای حل مسائل جالب NLP را بررسی کنیم.

کار با خط تولید[[working-with-pipelines]]

ساده‌ترین شیء در کتابخانه‌ی 🤗 Transformers تابع pipeline() است. این تابع یک مدل را با مراحل پیش‌پردازش و پس‌پردازش موردنیاز آن به هم متصل می‌کند و به ما اجازه می‌دهد مستقیماً هر متنی را وارد کنیم و پاسخی قابل‌فهم دریافت کنیم:

from transformers import pipeline

classifier = pipeline("sentiment-analysis")
classifier("I've been waiting for a HuggingFace course my whole life.")
[{'label': 'POSITIVE', 'score': 0.9598047137260437}]

حتی می‌توانیم چند جمله را هم‌زمان وارد کنیم!

classifier(
    ["I've been waiting for a HuggingFace course my whole life.", "I hate this so much!"]
)
[{'label': 'POSITIVE', 'score': 0.9598047137260437},
 {'label': 'NEGATIVE', 'score': 0.9994558095932007}]

این خط تولید به‌طور پیش‌فرض مدل از پیش تعلیم‌دیده‌ی مشخصی را انتخاب می‌کند که برای تحلیل احساسات به زبان انگلیسی کوک شده است. هنگام ایجاد شیء classifier، مدل دانلود و در کش ذخیره می‌شود. اگر فرمان را دوباره اجرا کنید، به‌جای دانلود دوباره از مدل ذخیره‌شده در کش استفاده می‌شود.

هنگام وارد کردن متنی به خط تولید، سه مرحله‌ی اصلی انجام می‌شود:

  1. متن به قالبی پیش‌پردازش می‌شود که مدل بتواند آن را درک کند.
  2. ورودی‌های پیش‌پردازش‌شده به مدل داده می‌شوند.
  3. پیش‌بینی‌های مدل پس‌پردازش می‌شوند تا بتوانید آن‌ها را درک کنید.

خط‌های تولید موجود برای مدالیته‌های مختلف

تابع pipeline() از چندین مدالیته پشتیبانی می‌کند و به شما اجازه می‌دهد با متن، تصویر، صوت و حتی وظایف چندوجهی کار کنید. در این دوره روی وظایف متنی تمرکز می‌کنیم، اما برای درک ظرفیت معماری ترنسفورمر، مروری کوتاه بر آن خواهیم داشت.

در ادامه، نمایی کلی از گزینه‌های موجود آمده است:

برای دیدن فهرست کامل و به‌روز خط‌های تولید، به مستندات 🤗 Transformers مراجعه کنید.

خط‌های تولید متن

  • text-generation: تولید متن از یک اعلان
  • text-classification: دسته‌بندی متن در دسته‌های از پیش تعیین‌شده
  • summarization: ایجاد نسخه‌ای کوتاه‌تر از متن با حفظ اطلاعات کلیدی
  • translation: ترجمه‌ی متن از یک زبان به زبان دیگر
  • zero-shot-classification: دسته‌بندی متن بدون تعلیم قبلی برای برچسب‌های مشخص
  • feature-extraction: استخراج بازنمایی‌های برداری از متن

خط‌های تولید تصویر

  • image-to-text: تولید توضیحات متنی برای تصاویر
  • image-classification: شناسایی اشیا در تصاویر
  • object-detection: مکان‌یابی و شناسایی اشیا در تصاویر

خط‌های تولید صوت

  • automatic-speech-recognition: تبدیل صوت به متن
  • audio-classification: دسته‌بندی صوت در گروه‌های مختلف
  • text-to-speech: تبدیل متن به گفتار

خط‌های تولید چندوجهی

  • image-text-to-text: پاسخ‌گویی درباره‌ی تصویر بر اساس یک اعلان متنی

بیایید برخی از این خط‌های تولید را با جزئیات بیشتری بررسی کنیم!

دسته‌بندی zero-shot[[zero-shot-classification]]

کار را با مسئله‌ی چالش‌برانگیزتری شروع می‌کنیم که در آن باید متن‌هایی را دسته‌بندی کنیم که برچسب‌گذاری نشده‌اند. این سناریو در پروژه‌های واقعی متداول است، زیرا حاشیه‌نویسی متن معمولاً زمان‌بر است و به تخصص در حوزه‌ی مربوط نیاز دارد. خط تولید zero-shot-classification برای این کاربرد بسیار قدرتمند است: می‌توانید برچسب‌هایی را که می‌خواهید برای دسته‌بندی استفاده شوند مشخص کنید، بنابراین لازم نیست به برچسب‌های مدل از پیش تعلیم‌دیده تکیه کنید. پیش‌تر دیدید که مدل چگونه می‌تواند یک جمله را با استفاده از دو برچسب مثبت یا منفی دسته‌بندی کند؛ اما می‌تواند متن را با هر مجموعه‌ی دیگری از برچسب‌ها که می‌خواهید نیز دسته‌بندی کند.

from transformers import pipeline

classifier = pipeline("zero-shot-classification")
classifier(
    "This is a course about the Transformers library",
    candidate_labels=["education", "politics", "business"],
)
{'sequence': 'This is a course about the Transformers library',
 'labels': ['education', 'business', 'politics'],
 'scores': [0.8445963859558105, 0.111976258456707, 0.043427448719739914]}

به این خط تولید zero-shot گفته می‌شود، چون برای استفاده از آن لازم نیست مدل را روی داده‌های خود کوک کنید. این خط تولید می‌تواند برای هر فهرستی از برچسب‌هایی که می‌خواهید، مستقیماً امتیازهای احتمال را برگرداند!

✏️ امتحان کنید! با توالی‌ها و برچسب‌های خودتان کار کنید و ببینید مدل چگونه رفتار می‌کند.

تولید متن[[text-generation]]

حالا ببینیم چگونه از یک خط تولید برای تولید متن استفاده کنیم. ایده‌ی اصلی این است که یک اعلان در اختیار مدل می‌گذارید و مدل با تولید بخش باقی‌مانده‌ی متن، آن را کامل می‌کند. این کار شبیه قابلیت متن پیش‌بین است که در بسیاری از تلفن‌ها وجود دارد. تولید متن تصادفی است، بنابراین طبیعی است که نتایجی دقیقاً مانند نمونه‌ی زیر دریافت نکنید.

from transformers import pipeline

generator = pipeline("text-generation")
generator("In this course, we will teach you how to")
[{'generated_text': 'In this course, we will teach you how to understand and use '
                    'data flow and data interchange when handling user data. We '
                    'will be working with one or more of the most commonly used '
                    'data flows — data flows of various types, as seen by the '
                    'HTTP'}]

با آرگومان num_return_sequences می‌توانید تعداد توالی‌های متفاوتی را که تولید می‌شوند کنترل کنید و با آرگومان max_length طول کلی خروجی را تعیین کنید.

✏️ امتحان کنید! از آرگومان‌های num_return_sequences و max_length استفاده کنید تا دو جمله‌ی ۱۵ کلمه‌ای تولید شوند.

استفاده از هر مدلی از هاب در خط تولید[[using-any-model-from-the-hub-in-a-pipeline]]

نمونه‌های قبلی از مدل پیش‌فرض وظیفه‌ی موردنظر استفاده می‌کردند، اما می‌توانید برای یک وظیفه‌ی خاص، مثلاً تولید متن، مدل مشخصی را هم برای استفاده در خط تولید انتخاب کنید. به هاب مدل‌ها بروید و روی برچسب متناظر در سمت چپ کلیک کنید تا فقط مدل‌های پشتیبانی‌کننده از آن وظیفه نمایش داده شوند. باید به صفحه‌ای مانند این صفحه برسید.

بیایید مدل HuggingFaceTB/SmolLM2-360M را امتحان کنیم! در ادامه روش بارگذاری آن در همان خط تولید قبلی را می‌بینید:

from transformers import pipeline

generator = pipeline("text-generation", model="HuggingFaceTB/SmolLM2-360M")
generator(
    "In this course, we will teach you how to",
    max_length=30,
    num_return_sequences=2,
)
[{'generated_text': 'In this course, we will teach you how to manipulate the world and '
                    'move your mental and physical capabilities to your advantage.'},
 {'generated_text': 'In this course, we will teach you how to become an expert and '
                    'practice realtime, and with a hands on experience on both real '
                    'time and real'}]

با کلیک روی برچسب‌های زبان می‌توانید جست‌وجوی خود برای یک مدل تولید متن را دقیق‌تر کنید و مدلی را انتخاب کنید که متن را به زبان دیگری تولید کند. هاب مدل‌ها حتی شامل نقطه‌های تعلیم مدل‌های چندزبانه‌ای است که از چندین زبان پشتیبانی می‌کنند.

پس از انتخاب مدل با کلیک روی آن، می‌بینید که ویجتی به شما اجازه می‌دهد مستقیماً آن را به‌صورت آنلاین امتحان کنید. به این ترتیب می‌توانید پیش از دانلود مدل، قابلیت‌های آن را به‌سرعت آزمایش کنید.

✏️ امتحان کنید! از فیلترها برای پیدا کردن یک مدل تولید متن به زبان دیگر استفاده کنید. با ویجت کار کنید و آن را در یک خط تولید به کار ببرید!

ارائه‌دهندگان استنتاج[[inference-providers]]

همه‌ی مدل‌ها را می‌توان با استفاده از ارائه‌دهندگان استنتاج، مستقیماً از طریق مرورگر آزمایش کرد. در این صفحه‌ی وب‌سایت هاگینگ‌فِیس می‌توانید متن دلخواه خود را وارد کنید و پردازش آن توسط مدل را ببینید.

ارائه‌دهندگان استنتاجی که ویجت را فعال می‌کنند به‌عنوان محصولی پولی نیز در دسترس هستند و برای گردش‌کارهای شما مفید واقع می‌شوند. برای جزئیات بیشتر، صفحه‌ی قیمت‌گذاری را ببینید.

پر کردن ماسک[[mask-filling]]

خط تولید بعدی که امتحان می‌کنید fill-mask است. ایده‌ی این وظیفه، پر کردن جاهای خالی در یک متن داده‌شده است:

from transformers import pipeline

unmasker = pipeline("fill-mask")
unmasker("This course will teach you all about <mask> models.", top_k=2)
[{'sequence': 'This course will teach you all about mathematical models.',
  'score': 0.19619831442832947,
  'token': 30412,
  'token_str': ' mathematical'},
 {'sequence': 'This course will teach you all about computational models.',
  'score': 0.04052725434303284,
  'token': 38163,
  'token_str': ' computational'}]

آرگومان top_k تعداد گزینه‌هایی را که می‌خواهید نمایش داده شوند کنترل می‌کند. توجه کنید که در اینجا مدل واژه‌ی ویژه‌ی <mask> را پر می‌کند که اغلب به آن توکِن ماسک گفته می‌شود. مدل‌های دیگری که وظیفه‌ی پر کردن ماسک را انجام می‌دهند ممکن است توکِن‌های ماسک متفاوتی داشته باشند، بنابراین هنگام بررسی مدل‌های دیگر، همیشه باید واژه‌ی ماسک مناسب را بررسی کنید. یکی از راه‌های انجام این کار، نگاه کردن به واژه‌ی ماسک استفاده‌شده در ویجت است.

✏️ امتحان کنید! مدل bert-base-cased را در هاب جست‌وجو کنید و واژه‌ی ماسک آن را در ویجت Inference API پیدا کنید. این مدل برای جمله‌ی موجود در نمونه‌ی pipeline ما چه چیزی پیش‌بینی می‌کند؟

تشخیص موجودیت نامدار[[named-entity-recognition]]

تشخیص موجودیت نامدار (NER) وظیفه‌ای است که در آن مدل باید مشخص کند کدام بخش‌های متن ورودی به موجودیت‌هایی مانند افراد، مکان‌ها یا سازمان‌ها مربوط می‌شوند. بیایید یک نمونه را ببینیم:

from transformers import pipeline

ner = pipeline("ner", aggregation_strategy="simple")
ner("My name is Sylvain and I work at Hugging Face in Brooklyn.")
[{'entity_group': 'PER', 'score': 0.99816, 'word': 'Sylvain', 'start': 11, 'end': 18}, 
 {'entity_group': 'ORG', 'score': 0.97960, 'word': 'Hugging Face', 'start': 33, 'end': 45}, 
 {'entity_group': 'LOC', 'score': 0.99321, 'word': 'Brooklyn', 'start': 49, 'end': 57}
]

در اینجا مدل به‌درستی تشخیص داد که Sylvain یک فرد (PER)، Hugging Face یک سازمان (ORG) و Brooklyn یک مکان (LOC) است.

در تابع ایجاد خط تولید، گزینه‌ی aggregation_strategy="simple" را ارسال می‌کنیم تا به خط تولید بگوییم بخش‌هایی از جمله را که به یک موجودیت تعلق دارند دوباره کنار هم قرار دهد: در اینجا مدل «Hugging» و «Face» را به‌درستی به‌عنوان یک سازمان واحد گروه‌بندی کرد، با اینکه این نام از چند کلمه تشکیل شده است. در واقع، همان‌طور که در فصل بعد خواهیم دید، پیش‌پردازش حتی برخی کلمه‌ها را به بخش‌های کوچک‌تری تقسیم می‌کند. برای نمونه، Sylvain به چهار قطعه‌ی S، ##yl، ##va و ##in تقسیم می‌شود. در مرحله‌ی پس‌پردازش، خط تولید این قطعه‌ها را با موفقیت دوباره گروه‌بندی می‌کند.

✏️ امتحان کنید! در هاب مدل، مدلی را پیدا کنید که بتواند برچسب‌گذاری نقش دستوری را انجام دهد (که معمولاً با POS خلاصه می‌شود). این مدل برای جمله‌ی نمونه‌ی بالا چه چیزی پیش‌بینی می‌کند؟

پاسخ‌گویی به پرسش[[question-answering]]

خط تولید question-answering با استفاده از اطلاعات یک زمینه‌ی داده‌شده به پرسش‌ها پاسخ می‌دهد:

from transformers import pipeline

question_answerer = pipeline("question-answering")
question_answerer(
    question="Where do I work?",
    context="My name is Sylvain and I work at Hugging Face in Brooklyn",
)
{'score': 0.6385916471481323, 'start': 33, 'end': 45, 'answer': 'Hugging Face'}

توجه کنید که این خط تولید با استخراج اطلاعات از زمینه‌ی ارائه‌شده کار می‌کند و پاسخ را تولید نمی‌کند.

خلاصه‌سازی[[summarization]]

خلاصه‌سازی وظیفه‌ی تبدیل یک متن به متنی کوتاه‌تر است، به‌گونه‌ای که جنبه‌های مهم ذکرشده در متن (یا بیشتر آن‌ها) حفظ شوند. نمونه‌ای از این کار را ببینید:

from transformers import pipeline

summarizer = pipeline("summarization")
summarizer(
    """
    America has changed dramatically during recent years. Not only has the number of 
    graduates in traditional engineering disciplines such as mechanical, civil, 
    electrical, chemical, and aeronautical engineering declined, but in most of 
    the premier American universities engineering curricula now concentrate on 
    and encourage largely the study of engineering science. As a result, there 
    are declining offerings in engineering subjects dealing with infrastructure, 
    the environment, and related issues, and greater concentration on high 
    technology subjects, largely supporting increasingly complex scientific 
    developments. While the latter is important, it should not be at the expense 
    of more traditional engineering.

    Rapidly developing economies such as China and India, as well as other 
    industrial countries in Europe and Asia, continue to encourage and advance 
    the teaching of engineering. Both China and India, respectively, graduate 
    six and eight times as many traditional engineers as does the United States. 
    Other industrial countries at minimum maintain their output, while America 
    suffers an increasingly serious decline in the number of engineering graduates 
    and a lack of well-educated engineers.
"""
)
[{'summary_text': ' America has changed dramatically during recent years . The '
                  'number of engineering graduates in the U.S. has declined in '
                  'traditional engineering disciplines such as mechanical, civil '
                  ', electrical, chemical, and aeronautical engineering . Rapidly '
                  'developing economies such as China and India, as well as other '
                  'industrial countries in Europe and Asia, continue to encourage '
                  'and advance engineering .'}]

همانند تولید متن، می‌توانید برای نتیجه‌ی خلاصه‌سازی max_length یا min_length را مشخص کنید.

ترجمه[[translation]]

برای ترجمه می‌توانید یک مدل پیش‌فرض را در صورتی به کار ببرید که جفت‌زبان را در نام وظیفه مشخص کنید، مثلاً "translation_en_to_fr"؛ اما ساده‌ترین راه، انتخاب مدل موردنظر از هاب مدل‌ها است. در اینجا ترجمه از فرانسوی به انگلیسی را امتحان می‌کنیم:

from transformers import pipeline

translator = pipeline("translation", model="Helsinki-NLP/opus-mt-fr-en")
translator("Ce cours est produit par Hugging Face.")
[{'translation_text': 'This course is produced by Hugging Face.'}]

همانند تولید متن و خلاصه‌سازی، می‌توانید max_length یا min_length را برای ترجمه مشخص کنید.

✏️ امتحان کنید! مدل‌های ترجمه را برای زبان‌های دیگر جست‌وجو کنید و جمله‌ی قبلی را به چند زبان متفاوت ترجمه کنید.

خط‌های تولید تصویر و صوت

مدل‌های ترنسفورمر علاوه بر متن، می‌توانند با تصاویر و صوت نیز کار کنند. در ادامه چند نمونه را می‌بینید:

دسته‌بندی تصویر

from transformers import pipeline

image_classifier = pipeline(
    task="image-classification", model="google/vit-base-patch16-224"
)
result = image_classifier(
    "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"
)
print(result)
[{'label': 'lynx, catamount', 'score': 0.43350091576576233},
 {'label': 'cougar, puma, catamount, mountain lion, painter, panther, Felis concolor',
  'score': 0.034796204417943954},
 {'label': 'snow leopard, ounce, Panthera uncia',
  'score': 0.03240183740854263},
 {'label': 'Egyptian cat', 'score': 0.02394474856555462},
 {'label': 'tiger cat', 'score': 0.02288915030658245}]

تشخیص خودکار گفتار

from transformers import pipeline

transcriber = pipeline(
    task="automatic-speech-recognition", model="openai/whisper-large-v3"
)
result = transcriber(
    "https://huggingface.co/datasets/Narsil/asr_dummy/resolve/main/mlk.flac"
)
print(result)
{'text': ' I have a dream that one day this nation will rise up and live out the true meaning of its creed.'}

ترکیب داده‌ها از منابع متعدد

یکی از کاربردهای قدرتمند مدل‌های ترنسفورمر، توانایی آن‌ها در ترکیب و پردازش داده‌ها از منابع متعدد است. این قابلیت به‌ویژه زمانی مفید است که بخواهید:

  1. در چندین پایگاه داده یا مخزن جست‌وجو کنید.
  2. اطلاعات را از قالب‌های مختلف (متن، تصویر، صوت) یکپارچه کنید.
  3. نمایی یکپارچه از اطلاعات مرتبط ایجاد کنید.

برای مثال، می‌توانید سامانه‌ای بسازید که:

  • اطلاعات را در پایگاه‌های داده‌ی مختلف و در مدالیته‌هایی مانند متن و تصویر جست‌وجو کند.
  • نتایج را از منابع مختلف در یک پاسخ منسجم ترکیب کند؛ برای نمونه، از یک فایل صوتی و توضیح متنی.
  • مرتبط‌ترین اطلاعات را از پایگاه داده‌ای شامل اسناد و فراداده ارائه کند.

جمع‌بندی

خط‌های تولیدی که در این فصل نشان داده شدند، بیشتر برای نمایش کاربرد دارند. این خط‌ها برای وظایف مشخصی برنامه‌ریزی شده‌اند و نمی‌توانند گونه‌های مختلف آن وظایف را انجام دهند. در فصل بعد با محتوای تابع pipeline() و روش سفارشی‌سازی رفتار آن آشنا خواهید شد.

Xet Storage Details

Size:
26.5 kB
·
Xet hash:
09ecf9c917c95cb0d6725e51b5bced2246c44ec76b3adf7913a84ff862215453

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.