このモデルは2021年6月25日にHF papersで公開され、2024年3月13日にHugging Face Transformersに貢献されました。

Pyramid Vision Transformer V2 (PVTv2)

概要

PVTv2モデルは、Wenhai Wang、Enze Xie、Xiang Li、Deng-Ping Fan、Kaitao Song、Ding Liang、Tong Lu、Ping Luo、Ling Shao によって提案された PVT v2: Improved Baselines with Pyramid Vision Transformer に記載されています。PVTの改良版として、位置埋め込みを排除し、代わりにゼロパディングと重複するパッチ埋め込みによってエンコードされる位置情報に依存しています。この位置埋め込みへの依存性の排除により、アーキテクチャが簡素化され、それらの補間を行うことなく任意の解像度で推論を実行できるようになります。

PVTv2エンコーダー構造は、セマンティックセグメンテーションのSegformer、単眼深度推定のGLPN、パノプティックセグメンテーションのPanoptic Segformerにおいて、最先端のスコアを達成するために正常にデプロイされました。

PVTv2 は、階層型トランスフォーマー と呼ばれるモデルファミリーに属しています。このファミリーは、マルチスケールの特徴マップを生成するためにトランスフォーマー層に適応を加えます。Vision Transformer (ViT) の列状構造は微細な詳細を失う傾向がありますが、マルチスケールの特徴マップはこれらの詳細を保持し、高密度予測タスクの性能向上に寄与することが知られています。PVTv2 の場合、これは各エンコーダー層において、重なり合うカーネルを用いた 2 次元畳み込みで画像パッチトークンを生成することによって実現されています。

階層型 Transformer のマルチスケール特徴により、ResNet などの従来の主力コンピュータビジョンバックボーンモデルを、より大規模なアーキテクチャ内で容易に置き換えることができます。Segformer と Panoptic Segformer の両方で、バックボーンに PVTv2 を使用した構成が、同サイズの ResNet バックボーンを使用する構成を一貫して上回ることが示されました。

PVTv2のもう一つの強力な機能は、Spatial Reduction Attention (SRA) と呼ばれる自己アテンション層の複雑さの低減です。SRA は 2D 畳み込み層を使用して、クエリでアテンションを行う前に隠れ状態をより低い解像度に射影し、 $O(n^2)$ 自己アテンションの複雑さを $O(n^2/R)$ に低減します。ここで $R$ は空間削減比 (sr_ratio, 2D 畳み込みにおけるカーネルサイズとストライドに相当) です。

SRA は PVT で導入され、PVTv2 で使用されるデフォルトの注意複雑度削減手法です。ただし、PVTv2 では、画像サイズに線形に関連する複雑度を持つ自己注意機構を使用するオプションも導入されており、これは「Linear SRA」と呼ばれています。この手法は、平均プーリングを使用して隠れ状態を元の解像度に依存しない固定サイズに削減します（ただし、これは通常の SRA よりも本質的に多くの情報を失います）。このオプションは、PVTv2Config で linear_attention を True に設定することで有効にできます。

論文からの抜粋

Transformer は、コンピュータビジョン分野で近年、有望な進歩を遂げています。本稿では、元の Pyramid Vision Transformer (PVT v1) に 3 つの設計要素、すなわち (1) 線形計算量の attention レイヤー、(2) 重複する patch embedding、(3) 畳み込みフィードフォワードネットワークを追加することで、新たなベースラインを提案します。これらの改良により、PVT v2 は PVT v1 の計算複雑さを線形に低減し、分類、検出、セグメンテーションといった基本的なビジョンタスクにおいて大幅な性能向上を達成しました。特に、提案する PVT v2 は、Swin Transformer などの最近の研究と比較して同等以上の性能を示しています。本稿が、コンピュータビジョンにおける最先端の Transformer 研究の発展に貢献することを期待しています。コードは https://github.com/whai362/PVT で入手できます。

このモデルはFoamoftheSeaによって提供されました。元のコードはこちらで確認できます。

使用のコツ

• PVTv2 は階層型 Transformer モデルであり、画像分類をはじめとする複数のタスクで優れた性能を示しています。Segformer におけるセマンティックセグメンテーション、GLPN における単眼深度推定、Panoptic Segformer におけるパノプティックセグメンテーションのバックボーンとして使用されており、同様の ResNet 構成と比較して一貫して高い性能を発揮しています。

• PVTv2のような階層型transformersは、エンコーダーに畳み込みニューラルネットワーク（CNN）の設計要素を取り入れることで、純粋なtransformersアーキテクチャと比較して、画像データにおいて優れたデータ効率とパラメータ効率を実現します。これにより、transformersの自己注意機構が提供する動的なデータ応答とグローバルな関係モデリングの利点を享受しつつ、ネットワークにCNNの有用な帰納的バイアス（移動等変性や局所性など）を付与する、両者の長所を兼ね備えたアーキテクチャが構築されます。

• PVTv2 は、重複するパッチ埋め込みを使用してマルチスケールの特徴マップを作成し、ゼロパディングと深度方向畳み込みを用いて位置情報を付与します。

• アテンション層の複雑さを低減するために、PVTv2 は、ストライド付き 2D 畳み込み (SRA) または固定サイズのアベレージプーリング (Linear SRA) を使用して、隠れ状態に対して空間的削減を行います。Linear SRA は本質的に損失が大きく、画像サイズに対して線形な複雑さを持ちながら、優れたパフォーマンスを発揮します。自己アテンション層で Linear SRA を使用するには、PvtV2Config で linear_attention=True を設定します。

• PvtV2Model は階層型 Transformer エンコーダーです（文献では Mix Transformer や MiT と呼ばれることも多いです）。PvtV2ForImageClassification はその上にシンプルな分類ヘッドを追加して、Image Classification を行います。PvtV2Backbone は、Deformable DETR のような大規模なアーキテクチャにおいて AutoBackbone システムと組み合わせて使用できます。

• すべてのモデルサイズに対応したImageNet事前学習済み重みは、ハブで入手できます。

  PVTv2の使い方を始める最善の方法は、AutoModelForImageClassificationを使用して、希望するサイズの事前学習済みチェックポイントをロードすることです:

import requests
import torch
from PIL import Image

from transformers import AutoImageProcessor, AutoModelForImageClassification


model = AutoModelForImageClassification.from_pretrained("OpenGVLab/pvt_v2_b0", device_map="auto")
image_processor = AutoImageProcessor.from_pretrained("OpenGVLab/pvt_v2_b0")
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
processed = image_processor(image)
outputs = model(torch.tensor(processed["pixel_values"]))

DeformableDETRのようなより複雑なアーキテクチャのバックボーンとしてPVTv2を使用するには、AutoBackboneを使用できます（事前学習済みモデルのバックボーンを置き換えるため、このモデルはランダムな重みで初期化され、ファインチューニングが必要です）：

import requests
import torch
from PIL import Image

from transformers import AutoConfig, AutoImageProcessor, AutoModelForObjectDetection


model = AutoModelForObjectDetection.from_config(
    config=AutoConfig.from_pretrained(
        "SenseTime/deformable-detr",
        backbone_config=AutoConfig.from_pretrained("OpenGVLab/pvt_v2_b5"),
    ),
)

image_processor = AutoImageProcessor.from_pretrained("SenseTime/deformable-detr")
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
processed = image_processor(image)
outputs = model(torch.tensor(processed["pixel_values"]))

モデルサイズ（B0-B5）別のImageNet-1KにおけるPVTv2の性能:

PvtV2Config

>>> from transformers import PvtV2Model, PvtV2Config

>>> # Initializing a pvt_v2_b0 style configuration
>>> configuration = PvtV2Config()

>>> # Initializing a model from the OpenGVLab/pvt_v2_b0 style configuration
>>> model = PvtV2Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

PvtForImageClassification

>>> from transformers import AutoImageProcessor, PvtV2ForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("OpenGVLab/pvt_v2_b0")
>>> model = PvtV2ForImageClassification.from_pretrained("OpenGVLab/pvt_v2_b0")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...

PvtModel