نُشر هذا النموذج في أوراق HF في 25 يونيو 2021، وأُضيف إلى مكتبة Hugging Face Transformers في 13 مارس 2024.

هرم تحويل الرؤية V2 (PVTv2)

نظرة عامة

قُدِّم نموذج PVTv2 في PVT v2: Improved Baselines with Pyramid Vision Transformer من قِبل Wenhai Wang وEnze Xie وXiang Li وDeng-Ping Fan وKaitao Song وDing Liang وTong Lu وPing Luo وLing Shao. وبوصفه نسخة محسّنة من PVT، يتخلّى عن تضمينات المواقع (position embeddings) ويعتمد بدلاً من ذلك على معلومات المواقع المُرمَّزة عبر التوسيط الصفري (zero-padding) وتضمينات البقع المتداخلة (overlapping patch embeddings). وهذا الافتقار إلى الاعتماد على تضمينات المواقع يُبسّط البنية، ويتيح تنفيذ الاستدلال (inference) بأي دقة دون الحاجة إلى استيفائها (interpolation).

تم نشر بنية مُشفِّر PVTv2 بنجاح لتحقيق نتائج متقدمة في Segformer للتجزئة الدلالية، وGLPN للعمق أحادي العين، وPanoptic Segformer للتجزئة الشاملة.

ينتمي PVTv2 إلى عائلة من النماذج تُسمى المحوّلات الهرمية، والتي تُجري تعديلات على طبقات المحوّل (Transformer) من أجل توليد خرائط ميزات متعددة المقاييس. وعلى عكس البنية العمودية في محوّل الرؤية (ViT) التي تفقد التفاصيل الدقيقة، تُعرف خرائط الميزات متعددة المقاييس بقدرتها على الحفاظ على هذه التفاصيل والمساهمة في تحسين الأداء في مهام التنبؤ الكثيف. في حالة PVTv2، يتم تحقيق ذلك من خلال توليد رموز رقعات الصورة باستخدام التمرير ثنائي الأبعاد (2D convolution) مع نوى متداخلة في كل طبقة من طبقات المُشفِّر (encoder).

تتيح الميزات متعددة المقاييس في محولات التسلسل الهرمي استبدالها بسهولة بنماذج العمود الفقري التقليدية الشائعة في الرؤية الحاسوبية مثل ResNet ضمن البنى المعمارية الأكبر. وقد أثبت كل من Segformer وPanoptic Segformer أن التكوينات التي تستخدم PVTv2 كعمود فقري تتفوق باستمرار على تلك التي تستخدم أعمدة فقرية من ResNet بحجم مماثل.

ميزة قوية أخرى في PVTv2 هي تقليل التعقيد في طبقات الانتباه الذاتي، وتُسمى الانتباه المُخفَّض مكانيًا (SRA)، حيث تستخدم طبقات التمرير ثنائي الأبعاد لإسقاط الحالات المخفية إلى دقة أصغر قبل الانتباه إليها بالاستعلامات، مما يحسّن $O(n^2)$ تعقيد الانتباه الذاتي إلى $O(n^2/R)$، حيث $R$ هو نسبة الاختزال المكاني (sr_ratio, أي حجم النواة والخطوة في التمرير ثنائي الأبعاد).

تم تقديم SRA في PVT، وهو طريقة تقليل تعقيد الانتباه الافتراضية المستخدمة في PVTv2. ومع ذلك، قدّم PVTv2 أيضاً خيار استخدام آلية انتباه ذاتي بتعقيد خطي مرتبط بحجم الصورة، والتي أسموها “Linear SRA”. تستخدم هذه طريقة متوسط التجميع (average pooling) لتقليل الحالات المخفية إلى حجم ثابت لا يتأثر بالدقة الأصلية (على الرغم من أن هذا أكثر فقداناً للمعلومات بطبيعته من SRA العادي). يمكن تفعيل هذا الخيار عن طريق تعيين linear_attention إلى True في PVTv2Config.

الملخص من الورقة

Transformer recently has presented encouraging progress in computer vision. In this work, we present new baselines by improving the original Pyramid Vision Transformer (PVT v1) by adding three designs, including (1) linear complexity attention layer, (2) overlapping patch embedding, and (3) convolutional feed-forward network. With these modifications, PVT v2 reduces the computational complexity of PVT v1 to linear and achieves significant improvements on fundamental vision tasks such as classification, detection, and segmentation. Notably, the proposed PVT v2 achieves comparable or better performances than recent works such as Swin Transformer. We hope this work will facilitate state-of-the-art Transformer researches in computer vision. Code is available at https://github.com/whai362/PVT.

تمت مساهمة هذا النموذج من قِبل FoamoftheSea. يمكن العثور على الكود الأصلي هنا.

نصائح للاستخدام

• PVTv2 هو نموذج تحويل هرمي أظهر أداءً قويًا في تصنيف الصور ومهام أخرى متعددة، ويُستخدم كهيكل أساسي للتجزئة الدلالية في Segformer، وتقدير العمق أحادي العين في GLPN، والتجزئة الشاملة في Panoptic Segformer، مع إظهار أداء أعلى باستمرار مقارنةً بتكوينات ResNet المماثلة.

• تحقق محولات هرمية مثل PVTv2 من كفاءة أعلى في استخدام البيانات والمعاملات على بيانات الصور مقارنةً بمعماريات المحولات النقية، وذلك من خلال دمج عناصر تصميم شبكات العصب التلافيفية (CNNs) في مشفّراتها. وهذا يُنشئ معمارية تجمع بين مزايا العالمين، إذ تُغني الشبكة بالانحيازات الاستقرائية المفيدة لشبكات CNN مثل التكافؤ الانتقالي والخصوصية المحلية، مع الاستفادة في الوقت نفسه من مزايا الاستجابة الديناميكية للبيانات ونمذجة العلاقات الشاملة التي يوفرها آلية الانتباه الذاتي في transformers.

• يستخدم PVTv2 تضمينات بقع متداخلة لإنشاء خرائط ميزات متعددة المقاييس، والتي تُغرس فيها معلومات الموقع باستخدام التوسيع الصفري والتحويلات التجميعية العميقة.

• لخفض التعقيد في طبقات الانتباه، يقوم PVTv2 بإجراء اختزال مكاني على الحالات المخفية باستخدام إما التمرير ثنائي الأبعاد (SRA) أو متوسط الحجم الثابت (Linear SRA). وعلى الرغم من أن Linear SRA أكثر فقداناً للمعلومات بطبيعته، إلا أنه يوفر أداءً مبهراً بتعقيد خطي بالنسبة لحجم الصورة. لاستخدام Linear SRA في طبقات الانتباه الذاتي، اضبط linear_attention=True في PvtV2Config.

• PvtV2Model هو مُشفِّر الترانسفورمر الهرمي (والذي يُشار إليه غالبًا باسم Mix Transformer أو MiT في الأدبيات). يضيف PvtV2ForImageClassification رأس تصنيف بسيط في الأعلى لأداء تصنيف الصور. يمكن استخدام PvtV2Backbone مع نظام AutoBackbone في البنى المعمارية الأكبر مثل Deformable DETR.

• يمكن العثور على أوزان ImageNet المُدرَّبة مسبقًا لجميع أحجام النماذج على المركز.

  أفضل طريقة للبدء مع PVTv2 هي تحميل نقطة التفتيش المُسبقة التدريب بحجمك المفضل باستخدام AutoModelForImageClassification:

import requests
import torch
from PIL import Image

from transformers import AutoImageProcessor, AutoModelForImageClassification


model = AutoModelForImageClassification.from_pretrained("OpenGVLab/pvt_v2_b0", device_map="auto")
image_processor = AutoImageProcessor.from_pretrained("OpenGVLab/pvt_v2_b0")
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
processed = image_processor(image)
outputs = model(torch.tensor(processed["pixel_values"]))

للاستخدام PVTv2 كهيكل أساسي (backbone) لمعماريات أكثر تعقيداً مثل DeformableDETR، يمكنك استخدام AutoBackbone (سيحتاج هذا النموذج إلى ضبط دقيق (fine-tuning) لأنك تستبدل الهيكل الأساسي في النموذج المُدرَّب مسبقاً، وهو مُهيأ بأوزان عشوائية):

import requests
import torch
from PIL import Image

from transformers import AutoConfig, AutoImageProcessor, AutoModelForObjectDetection


model = AutoModelForObjectDetection.from_config(
    config=AutoConfig.from_pretrained(
        "SenseTime/deformable-detr",
        backbone_config=AutoConfig.from_pretrained("OpenGVLab/pvt_v2_b5"),
    ),
)

image_processor = AutoImageProcessor.from_pretrained("SenseTime/deformable-detr")
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
processed = image_processor(image)
outputs = model(torch.tensor(processed["pixel_values"]))

أداء PVTv2 على ImageNet-1K حسب حجم النموذج (B0-B5):

PvtV2Config

>>> from transformers import PvtV2Model, PvtV2Config

>>> # Initializing a pvt_v2_b0 style configuration
>>> configuration = PvtV2Config()

>>> # Initializing a model from the OpenGVLab/pvt_v2_b0 style configuration
>>> model = PvtV2Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

PvtForImageClassification

>>> from transformers import AutoImageProcessor, PvtV2ForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("OpenGVLab/pvt_v2_b0")
>>> model = PvtV2ForImageClassification.from_pretrained("OpenGVLab/pvt_v2_b0")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...

PvtModel