Transformers documentation
MobileViTV2
نُشر هذا النموذج في أوراق HF في 2022-06-06 وسُهم به في Hugging Face Transformers في 2023-06-02.
MobileViTV2
نظرة عامة
قُدِّم نموذج MobileViTV2 في Separable Self-attention for Mobile Vision Transformers من قِبل Sachin Mehta وMohammad Rastegari.
MobileViTV2 هي النسخة الثانية من MobileViT، وقد بُنيت عن طريق استبدال الانتباه الذاتي متعدد الرؤوس في MobileViT بالانتباه الذاتي القابل للفصل.
المستخلص من الورقة البحثية هو كالتالي:
يمكن لتحويلات الرؤية المحمولة (MobileViT) تحقيق أداء متقدم على مستوى الفن في عدة مهام رؤية محمولة، بما في ذلك التصنيف والكشف. وعلى الرغم من أن هذه النماذج تحتوي على عدد أقل من المعاملات، إلا أن زمن الاستجابة لديها مرتفع مقارنةً بالنماذج القائمة على الشبكات العصبية التلافيفية. عنق الزجاجة الرئيسي للكفاءة في MobileViT هو الانتباه الذاتي متعدد الرؤوس (MHA) في التحويلات، والذي يتطلب تعقيدًا زمنيًا من الرتبة O(k2) بالنسبة لعدد الرموز (أو البقع) k. علاوة على ذلك، يتطلب MHA عمليات مكلفة (مثل ضرب المصفوفات على مستوى الدفعة) لحساب الانتباه الذاتي، مما يؤثر على زمن الاستجابة على الأجهزة ذات الموارد المحدودة. يقدم هذا الورقة طريقة انتباه ذاتي قابلة للفصل ذات تعقيد خطي، أي O(k). إحدى الخصائص البسيطة والفعالة للطريقة المقترحة هي أنها تستخدم عمليات على مستوى العنصر لحساب الانتباه الذاتي، مما يجعلها خيارًا جيدًا للأجهزة ذات الموارد المحدودة. النموذج المحسّن، MobileViTV2، هو متقدم على مستوى الفن في عدة مهام رؤية محمولة، بما في ذلك تصنيف الكائنات في ImageNet وكشف الكائنات في MS-COCO. ومع حوالي ثلاثة ملايين معامل، يحقق MobileViTV2 دقة top-1 تبلغ 75.6% على مجموعة بيانات ImageNet، متفوقًا على MobileViT بنسبة حوالي 1% بينما يعمل أسرع بمقدار 3.2× على جهاز محمول.
تمت مساهمة هذا النموذج من قِبل shehan97. يمكن العثور على الكود الأصلي هنا.
نصائح للاستخدام
- يُشبه MobileViTV2 شبكات العصبية التلافيفية (CNN) أكثر من كونه نموذج Transformer. فهو لا يعمل على بيانات التسلسلات بل على دفعات من الصور. وعلى عكس ViT، لا توجد تمثيلات (embeddings). حيث يُخرج النموذج الأساسي خريطة ميزات (feature map).
- يمكن استخدام MobileViTImageProcessor لتحضير الصور للنموذج. لاحظ أنه إذا قمت بإجراء المعالجة المسبقة بنفسك، فإن نقاط التفتيش المُسبقة التدريب تتوقع أن تكون الصور بترتيب بكسل BGR (وليس RGB).
- النقاط الفاصلة المتاحة لتصنيف الصور مُدرَّبة مسبقًا على ImageNet-1k (المعروف أيضًا باسم ILSVRC 2012، وهو مجموعة تضم 1.3 مليون صورة و1,000 فئة).
- يستخدم نموذج التقطيع رأس DeepLabV3. نقاط التفتيش المتاحة للتقطيع الدلالي مُدرَّبة مسبقًا على PASCAL VOC.
MobileViTV2Config
فئة transformers.MobileViTV2Config
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonenum_channels: int = 3image_size: int | list[int] | tuple[int, int] = 256patch_size: int | list[int] | tuple[int, int] = 2expand_ratio: float = 2.0hidden_act: str = 'swish'conv_kernel_size: int = 3output_stride: int = 32classifier_dropout_prob: float | int = 0.1initializer_range: float = 0.02layer_norm_eps: float = 1e-05aspp_out_channels: int = 512atrous_rates: list[int] | tuple[int, ...] = (6, 12, 18)aspp_dropout_prob: float | int = 0.1semantic_loss_ignore_index: int = 255n_attn_blocks: list[int] | tuple[int, ...] = (2, 4, 3)base_attn_unit_dims: list[int] | tuple[int, ...] = (128, 192, 256)width_multiplier: float | int = 1.0ffn_multiplier: int = 2attn_dropout: float | int = 0.0ffn_dropout: float | int = 0.0 )
المعاملات
- num_channels (
int، اختياري، القيمة الافتراضية3) — عدد قنوات الإدخال. - image_size (
Union[int, list[int], tuple[int, int]]، اختياري، القيمة الافتراضية256) — حجم (دقة) كل صورة. - patch_size (
Union[int, list[int], tuple[int, int]]، اختياري، القيمة الافتراضية2) — حجم (دقة) كل رقعة. - expand_ratio (
float، اختياري، القيمة الافتراضية2.0) — نسبة التوسيع لضبط أبعاد المخرجات للتوسيع - hidden_act (
str، اختياري، القيمة الافتراضيةswish) — دالة التنشيط غير الخطية (دالة أو نص) في المُفكِّك. على سبيل المثال،"gelu"،"relu"،"silu"، وما إلى ذلك. - conv_kernel_size (
int، اختياري، القيمة الافتراضية3) — حجم نواة الالتفاف. - output_stride (
int، اختياري، القيمة الافتراضية32) — النسبة بين الدقة المكانية لخريطة الميزات المدخلة وخريطة الميزات المخرجة. - classifier_dropout_prob (
Union[float, int]، اختياري، القيمة الافتراضية0.1) — نسبة dropout الخاصة بتصنيفي. - initializer_range (
float، اختياري، القيمة الافتراضية0.02) — الانحراف المعياري لـ truncated_normal_initializer المستخدم في تهيئة جميع مصفوفات الأوزان. - layer_norm_eps (
float, اختياري، القيمة الافتراضية1e-05) — قيمة الإيبسلون المستخدمة في طبقات تطبيع الطبقة. - aspp_out_channels (
int، اختياري، القيمة الافتراضية 512) — عدد قنوات الإخراج المستخدمة في طبقة ASPP للتجزئة الدلالية. - atrous_rates (
list[int]، اختياري، القيمة الافتراضية[6, 12, 18]) — معاملات التمدد (atrous) المستخدمة في طبقة ASPP للتجزئة الدلالية. - aspp_dropout_prob (
float, اختياري، القيمة الافتراضية 0.1) — نسبة الإسقاط (Dropout) لطبقة ASPP الخاصة بالتجزئة الدلالية. - semantic_loss_ignore_index (
int، اختياري، القيمة الافتراضية255) — المؤشر الذي تتجاهله دالة الخسارة في نموذج التقسيم الدلالي. - n_attn_blocks (
list[int]، اختياري، القيمة الافتراضية[2, 4, 3]) — عدد كتل الانتباه في كل طبقة MobileViTV2Layer - base_attn_unit_dims (
list[int]، اختياري، القيمة الافتراضية[128, 192, 256]) — المضاعف الأساسي لأبعاد كتل الانتباه في كل طبقة MobileViTV2Layer - width_multiplier (
float، اختياري، القيمة الافتراضية 1.0) — معامل العرض لنموذج MobileViTV2. - ffn_multiplier (
int، اختياري، القيمة الافتراضية 2) — معامل FFN الخاص بـ MobileViTV2. - attn_dropout (
Union[float, int]، اختياري، القيمة الافتراضية0.0) — نسبة الإسقاط (dropout) لاحتمالات الانتباه. - ffn_dropout (
float, اختياري، القيمة الافتراضية 0.0) — نسبة الإسقاط (Dropout) بين طبقات FFN.
هذه فئة الإعدادات المخزنة لإعدادات نموذج MobileViTV2Model. تُستخدم لاستحداث نموذج Mobilevitv2 وفقاً للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى إعدادات مشابهة لتلك الخاصة بـ apple/mobilevitv2-1.0
ترث كائنات التهيئة من PreTrainedConfig ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ PreTrainedConfig لمزيد من المعلومات.
مثال:
>>> from transformers import MobileViTV2Config, MobileViTV2Model
>>> # Initializing a mobilevitv2-small style configuration
>>> configuration = MobileViTV2Config()
>>> # Initializing a model from the mobilevitv2-small style configuration
>>> model = MobileViTV2Model(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configMobileViTV2Model
فئة transformers.MobileViTV2Model
< source >( config: MobileViTV2Configexpand_output: bool = True )
المعاملات
- config (MobileViTV2Config) — فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. لا يؤدي التهيئة باستخدام ملف الإعداد إلى تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة from_pretrained() لتحميل أوزان النموذج.
- expand_output (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان سيتم توسيع مخرجات النموذج. إذا كانتTrue، فسيقوم النموذج بإخراج الميزات المجمعة بالإضافة إلى حالات الإخفاء. إذا كانتFalse، فسيتم إرجاع حالات الإخفاء فقط.
نموذج Mobilevitv2 الأساسي الذي يُخرج حالات مخفية خام دون أي رأس محدد في الأعلى.
يرث هذا النموذج من PreTrainedModel. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التحميل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).
هذا النموذج هو أيضًا فئة فرعية من torch.nn.Module في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.
forward
< source >( pixel_values: typing.Optional[torch.Tensor] = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → BaseModelOutputWithPoolingAndNoAttention or tuple(torch.Tensor)
المعاملات
- pixel_values (
torch.Tensorمن الشكل(batch_size, num_channels, image_size, image_size)، اختياري) — المصفوفات المقابلة للصور المدخلة. يمكن الحصول على قيم البكسل باستخدام MobileViTImageProcessor. راجع MobileViTImageProcessor.call() للتفاصيل (processor_classيستخدم MobileViTImageProcessor لمعالجة الصور). - output_hidden_states (
bool، اختياري) — ما إذا كان يجب إرجاع حالات الطبقات المخفية لجميع الطبقات. راجعhidden_statesضمن الموترات المُرجعة للحصول على مزيد من التفاصيل. - return_dict (
bool، اختياري) — ما إذا كان يجب إرجاع ModelOutput بدلاً من tuple عادي.
يعيد
BaseModelOutputWithPoolingAndNoAttention أو tuple(torch.Tensor)
BaseModelOutputWithPoolingAndNoAttention أو مجموعة (tuple) من
torch.Tensor (إذا تم تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر
مختلفة اعتماداً على الإعداد (MobileViTV2Config) والمدخلات.
تتجاوز طريقة MobileViTV2Model الخاصة بالتقديم (forward) الطريقة الخاصة __call__.
على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن
Moduleبدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.
last_hidden_state (
torch.Tensorمن الشكل(batch_size, num_channels, height, width)) — تسلسل من حالات الإخفاء عند مخرجات الطبقة الأخيرة من النموذج.pooler_output (
torch.Tensorمن الشكل(batch_size, hidden_size)) — حالة الطبقة المخفية الأخيرة بعد عملية تجميع على الأبعاد المكانية.hidden_states (
tuple(torch.Tensor)، اختياري، يُعاد عند تمريرoutput_hidden_states=Trueأو عند تعيينconfig.output_hidden_states=True) — مجموعة منtorch.Tensor(واحدة لإخراج الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لإخراج كل طبقة) بأبعاد(batch_size, num_channels, height, width).حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية.
MobileViTV2ForImageClassification
فئة transformers.MobileViTV2ForImageClassification
< source >( config: MobileViTV2Config )
المعاملات
- config (MobileViTV2Config) — فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. لا يؤدي التهيئة باستخدام ملف الإعداد إلى تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة from_pretrained() لتحميل أوزان النموذج.
نموذج MobileViTV2 مع رأس تصنيف الصور في الأعلى (طبقة خطية فوق الميزات المجمّعة)، على سبيل المثال لـ ImageNet.
يرث هذا النموذج من PreTrainedModel. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التحميل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).
هذا النموذج هو أيضًا فئة فرعية من torch.nn.Module في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.
forward
< source >( pixel_values: typing.Optional[torch.Tensor] = Noneoutput_hidden_states: bool | None = Nonelabels: typing.Optional[torch.Tensor] = Nonereturn_dict: bool | None = None**kwargs ) → ImageClassifierOutputWithNoAttention or tuple(torch.Tensor)
المعاملات
- pixel_values (
torch.Tensorمن الشكل(batch_size, num_channels, image_size, image_size)، اختياري) — المصفوفات المقابلة للصور المدخلة. يمكن الحصول على قيم البكسل باستخدام MobileViTImageProcessor. راجع MobileViTImageProcessor.call() للتفاصيل (processor_classيستخدم MobileViTImageProcessor لمعالجة الصور). - output_hidden_states (
bool، اختياري) — ما إذا كان يجب إرجاع حالات الطبقات المخفية لجميع الطبقات. راجعhidden_statesضمن الموترات المُرجعة للحصول على مزيد من التفاصيل. - labels (
torch.LongTensorof shape(batch_size,), اختياري) — التسميات لحساب خسارة تصنيف الصور/الانحدار. يجب أن تكون الفهارس ضمن[0, ..., config.num_labels - 1]. إذا كانconfig.num_labels == 1يتم حساب خسارة الانحدار (خسارة متوسط المربع)، وإذا كانconfig.num_labels > 1يتم حساب خسارة التصنيف (الإنتروبيا المتقاطعة). - return_dict (
bool، اختياري) — ما إذا كان يجب إرجاع ModelOutput بدلاً من tuple عادي.
يعيد
ImageClassifierOutputWithNoAttention أو tuple(torch.Tensor)
ImageClassifierOutputWithNoAttention أو مجموعة (tuple) من
torch.Tensor (إذا تم تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة
تعتمد على الإعداد (MobileViTV2Config) والمدخلات.
تتجاوز طريقة MobileViTV2ForImageClassification الخاصة بالتقديم (forward) الطريقة الخاصة __call__.
على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن
Moduleبدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.
- loss (
torch.Tensorمن الشكل(1,)، اختياري، يُعاد عند توفيرlabels) — خسارة التصنيف (أو الانحدار إذا كان config.num_labels==1). - logits (
torch.Tensorمن الشكل(batch_size, config.num_labels)) — درجات التصنيف (أو الانحدار إذا كان config.num_labels==1) (قبل SoftMax). - hidden_states (
tuple(torch.Tensor)، اختياري، يُعاد عند تمريرoutput_hidden_states=Trueأو عند تعيينconfig.output_hidden_states=True) — مجموعة منtorch.Tensor(واحدة لإخراج الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لإخراج كل مرحلة) من الشكل(batch_size, num_channels, height, width). حالات مخفية (تُسمى أيضًا خرائط الميزات) للنموذج عند إخراج كل مرحلة.
مثال:
>>> from transformers import AutoImageProcessor, MobileViTV2ForImageClassification
>>> import torch
>>> from datasets import load_dataset
>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]
>>> image_processor = AutoImageProcessor.from_pretrained("apple/mobilevitv2-1.0")
>>> model = MobileViTV2ForImageClassification.from_pretrained("apple/mobilevitv2-1.0")
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...MobileViTV2ForSemanticSegmentation
فئة transformers.MobileViTV2ForSemanticSegmentation
< source >( config: MobileViTV2Config )
المعاملات
- config (MobileViTV2Config) — فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. لا يؤدي التهيئة باستخدام ملف الإعداد إلى تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة from_pretrained() لتحميل أوزان النموذج.
نموذج MobileViTV2 مع رأس تقسيم دلالي في الأعلى، على سبيل المثال لـ Pascal VOC.
يرث هذا النموذج من PreTrainedModel. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التحميل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).
هذا النموذج هو أيضًا فئة فرعية من torch.nn.Module في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.
forward
< source >( pixel_values: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.Tensor] = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → SemanticSegmenterOutput or tuple(torch.Tensor)
المعاملات
- pixel_values (
torch.Tensorمن الشكل(batch_size, num_channels, image_size, image_size)، اختياري) — المصفوفات المقابلة للصور المدخلة. يمكن الحصول على قيم البكسل باستخدام MobileViTImageProcessor. راجع MobileViTImageProcessor.call() للتفاصيل (processor_classيستخدم MobileViTImageProcessor لمعالجة الصور). - labels (
torch.LongTensorمن الشكل(batch_size, height, width)، اختياري) — خرائط التقسيم الدلالي الصحيحة (Ground truth) لحساب الخسارة. يجب أن تكون الفهارس ضمن[0, ..., config.num_labels - 1]. إذا كانconfig.num_labels > 1، يتم حساب خسارة التصنيف (Cross-Entropy). - output_hidden_states (
bool، اختياري) — ما إذا كان يجب إرجاع حالات الطبقات المخفية لجميع الطبقات. راجعhidden_statesضمن الموترات المُرجعة للحصول على مزيد من التفاصيل. - return_dict (
bool، اختياري) — ما إذا كان يجب إرجاع ModelOutput بدلاً من tuple عادي.
يعيد
SemanticSegmenterOutput أو tuple(torch.Tensor)
SemanticSegmenterOutput أو مجموعة مرتبة من
torch.Tensor (إذا تم تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة اعتماداً على الإعداد (MobileViTV2Config) والمدخلات.
تتجاوز طريقة MobileViTV2ForSemanticSegmentation الخاصة بالتقديم (forward) الطريقة الخاصة __call__.
على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن
Moduleبدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.
loss (
torch.Tensorمن الشكل(1,)، اختياري، يُعاد عند توفيرlabels) — خسارة التصنيف (أو الانحدار إذا كان config.num_labels==1).logits (
torch.Tensorمن الشكل(batch_size, config.num_labels, logits_height, logits_width)) — درجات التصنيف لكل بكسل.The logits returned do not necessarily have the same size as the
pixel_valuespassed as inputs. This is to avoid doing two interpolations and lose some quality when a user needs to resize the logits to the original image size as post-processing. You should always check your logits shape and resize as needed.hidden_states (
tuple(torch.Tensor)، اختياري، يُعاد عند تمريرoutput_hidden_states=Trueأو عند تعيينconfig.output_hidden_states=True) — مجموعة منtorch.Tensor(واحدة لإخراج الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لإخراج كل طبقة) من الشكل(batch_size, patch_size, hidden_size).حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية.
attentions (
tuple(torch.Tensor)، اختياري، يُعاد عند تمريرoutput_attentions=Trueأو عند تعيينconfig.output_attentions=True) — مجموعة منtorch.Tensor(واحدة لكل طبقة) بأبعاد(batch_size, num_heads, patch_size, sequence_length).أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي.
أمثلة:
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> import torch
>>> from PIL import Image
>>> from transformers import AutoImageProcessor, MobileViTV2ForSemanticSegmentation
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
... image = Image.open(BytesIO(response.read()))
>>> image_processor = AutoImageProcessor.from_pretrained("apple/mobilevitv2-1.0-imagenet1k-256")
>>> model = MobileViTV2ForSemanticSegmentation.from_pretrained("apple/mobilevitv2-1.0-imagenet1k-256")
>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.no_grad():
... outputs = model(**inputs)
>>> # logits are of shape (batch_size, num_labels, height, width)
>>> logits = outputs.logits