نُشر هذا النموذج في أوراق HF في 14 أبريل 2022، وأُضيف إلى مكتبة Hugging Face Transformers في 22 سبتمبر 2022.

ViTMSN

نظرة عامة

قُدِّم نموذج ViTMSN في Masked Siamese Networks for Label-Efficient Learning من قِبل Mahmoud Assran وMathilde Caron وIshan Misra وPiotr Bojanowski وFlorian Bordes وPascal Vincent وArmand Joulin وMichael Rabbat وNicolas Ballas. يقدّم هذا الورقة معمارية تضمين مشترك لمطابقة النماذج الأولية (prototypes) للرقع المقنّعة مع تلك الخاصة بالرقع غير المقنّعة. وبفضل هذا الإعداد، تحقق طريقتهم أداءً ممتازاً في سيناريوهات القليل من العينات (low-shot) والقليل جداً من العينات (extreme low-shot).

المستخلص من الورقة البحثية هو كالتالي:

نقترح الشبكات التوأمية المقنّعة (MSN)، وهي إطار عمل للتعلم غير المُشرط (self-supervised learning) لتعلم تمثيلات الصور. تطابق منهجيتنا تمثيل عرض صورة يحتوي على رقعات (patches) مقنّعة عشوائياً مع تمثيل الصورة الأصلية غير المقنّعة. هذه الاستراتيجية المسبقة للتعلم غير المُشرط قابلة للتوسع بشكل خاص عند تطبيقها على محوّلات الرؤية (Vision Transformers)، حيث تُعالج الشبكة فقط الرقعات غير المقنّعة. ونتيجةً لذلك، تحسّن الشبكات التوأمية المقنّعة قابلية توسع معماريات التضمين المشترك (joint-embedding architectures)، مع إنتاج تمثيلات ذات مستوى دلالي عالٍ تتنافس في تصنيف الصور ذات العينات القليلة (low-shot). على سبيل المثال، على مجموعة بيانات ImageNet-1K، وبمجرد 5,000 صورة مُعلَّمة، يحقق نموذج MSN الأساسي دقة 72.4% في التصنيف الأول (top-1)، ومع 1% من تسميات ImageNet-1K، نحقق دقة 75.7% في التصنيف الأول، مما يضع حداً فاصلاً جديداً لأفضل أداء (state-of-the-art) للتعلم غير المُشرط على هذا المعيار.

تمت مساهمة هذا النموذج من قِبل sayakpaul. يمكن العثور على الكود الأصلي هنا.

نصائح للاستخدام

• MSN (شبكات سيامية مقنّعة) هي طريقة للتدريب المسبق غير المُشرط على محوّلات الرؤية (ViTs). يتمثّل هدف التدريب المسبق في مطابقة النماذج الأولية المُسندة إلى العروض غير المقنّعة من الصور مع النماذج الأولية الخاصة بالعروض المقنّعة من نفس الصور.
• لم يقدّم المؤلفون سوى الأوزان المُدرَّبة مسبقًا للهيكل الأساسي (التدريب المسبق على ImageNet-1k). لذا، لاستخدام ذلك على مجموعة بيانات تصنيف الصور الخاصة بك، استخدم فئة ViTMSNForImageClassification التي يتم تهيئتها من ViTMSNModel. اتبع هذا الدفتر للحصول على شرح تفصيلي حول الضبط الدقيق.
• يُعدّ MSN مفيداً بشكل خاص في نطاقات القليل من الأمثلة (low-shot) والقليل جداً من الأمثلة (extreme low-shot). ومن اللافت للنظر أنه يحقق دقة 75.7% في التصنيف الأول (top-1) باستخدام 1% فقط من تسميات ImageNet-1K عند ضبطه الدقيق (fine-tuning).

استخدام الانتباه القياسي بنقطة منتج

يتضمن PyTorch مُشغّلًا أصليًا للانتباه بنقطة جدولية مُقيّمة (SDPA) كجزء من torch.nn.functional. تشمل هذه الدالة عدة تطبيقات يمكن تطبيقها اعتمادًا على المدخلات والعتاد المستخدم. راجع التوثيق الرسمي أو صفحة GPU Inference لمزيد من المعلومات.

يُستخدم SDPA افتراضيًا لـ torch>=2.1.1 عندما تكون هناك نسخة تنفيذية متاحة، لكن يمكنك أيضًا تعيين attn_implementation="sdpa" في from_pretrained() لطلب استخدام SDPA بشكل صريح.

from transformers import ViTMSNForImageClassification


model = ViTMSNForImageClassification.from_pretrained("facebook/vit-msn-base", attn_implementation="sdpa", device_map="auto")
...

للحصول على أفضل تسارعات، ننصح بتحميل النموذج بدقة نصفية (مثل torch.float16 أو torch.bfloat16).

في معيار محلي (A100-40GB، PyTorch 2.3.0، نظام التشغيل Ubuntu 22.04) باستخدام float32 ونموذج facebook/vit-msn-base، لاحظنا التسارعات التالية أثناء الاستدلال.

الموارد

قائمة بموارد رسمية من Hugging Face وموارد مجتمعية (مشار إليها بـ 🌎) لمساعدتك على البدء مع ViT MSN.

• يُؤمَّن دعم ViTMSNForImageClassification من خلال هذا دفتر ملاحظات.
• انظر أيضاً: دليل مهمة تصنيف الصور

إذا كنت مهتمًا بتقديم مورد ليُدرج هنا، فلا تتردد في فتح طلب سحب وسنقوم بمراجعته! يُفضَّل أن يُظهر المورد شيئًا جديدًا بدلاً من تكرار مورد موجود مسبقًا.

ViTMSNConfig

>>> from transformers import ViTMSNModel, ViTMSNConfig

>>> # Initializing a ViT MSN vit-msn-base style configuration
>>> configuration = ViTConfig()

>>> # Initializing a model from the vit-msn-base style configuration
>>> model = ViTMSNModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ViTMSNModel

>>> from transformers import AutoImageProcessor, ViTMSNModel
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/vit-msn-small")
>>> model = ViTMSNModel.from_pretrained("facebook/vit-msn-small")
>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.no_grad():
...     outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state

ViTMSNForImageClassification

>>> from transformers import AutoImageProcessor, ViTMSNForImageClassification
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> torch.manual_seed(2)
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read())).convert("RGB")

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/vit-msn-small")
>>> model = ViTMSNForImageClassification.from_pretrained("facebook/vit-msn-small")

>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
tusker