このモデルは2022年4月14日にHF papersで公開され、2022年9月22日にHugging Face Transformersに貢献されました。

ViTMSN

概要

ViTMSNモデルは、Mahmoud Assran、Mathilde Caron、Ishan Misra、Piotr Bojanowski、Florian Bordes、Pascal Vincent、Armand Joulin、Michael Rabbat、Nicolas Ballas による論文 Masked Siamese Networks for Label-Efficient Learning で提案されました。この論文では、マスクされたパッチのプロトタイプをマスクされていないパッチのプロトタイプと一致させるためのジョイントエンベディングアーキテクチャが紹介されています。この設定により、同手法は低ショットおよび極低ショットの環境で優れた性能を発揮します。

論文の抄録は以下の通りです。

画像表現を学習するための自己教師あり学習フレームワークである Masked Siamese Networks (MSN) を提案します。当社のアプローチでは、ランダムにマスクされたパッチを含む画像ビューの表現と、元のマスクなし画像の表現を一致させます。この自己教師あり事前学習戦略は、Vision Transformers に適用する場合に特にスケーラビリティが高く、ネットワークが処理するのはマスクされていないパッチのみだからです。その結果、MSN は joint-embedding アーキテクチャのスケーラビリティを向上させると同時に、低ショット画像分類で競争力のある性能を発揮する高セマンティックレベルの表現を生成します。例えば、ImageNet-1K では、アノテーション付き画像がわずか 5,000 枚しかない状態で、ベースの MSN モデルが 72.4% の top-1 精度を達成し、ImageNet-1K のラベルの 1% だけを使用することで 75.7% の top-1 精度を達成し、このベンチマークにおける自己教師あり学習の新たな state-of-the-art を樹立しました。

このモデルは sayakpaul によって提供されました。元のコードは こちら で確認できます。

使用のコツ

• MSN（masked siamese networks）は、Vision Transformers（ViTs）の自己教師あり事前学習を行う手法です。事前学習の目的は、画像のマスクされていないビューに割り当てられたプロトタイプを、同じ画像のマスクされたビューのプロトタイプと一致させることです。
• 著者はバックボーン（ImageNet-1k 事前学習）の事前学習済み重みのみを公開しています。そのため、独自の画像分類データセットでこれを使用するには、ViTMSNModel から初期化される ViTMSNForImageClassification クラスを使用してください。ファインチューニングの詳細なチュートリアルについては、このノートブックを参照してください。
• MSNは、低ショットおよび極低ショットの環境で特に有用です。特に、ファインチューニングを行うと、ImageNet-1Kのラベルのわずか1%のみで75.7%のトップ1精度を達成します。

Scaled Dot Product Attention (SDPA) の使用

PyTorchには、torch.nn.functionalの一部として、ネイティブのスケーリングドットプロダクトアテンション（SDPA）オペレーターが含まれています。この関数は、入力や使用しているハードウェアに応じて適用できる複数の実装を備えています。詳細については、公式ドキュメントまたはGPU推論ページを参照してください。

torch>=2.1.1 の場合、実装が利用可能な場合はデフォルトで SDPA が使用されますが、from_pretrained() で attn_implementation="sdpa" を設定することで、SDPA の使用を明示的に指定することもできます。

from transformers import ViTMSNForImageClassification


model = ViTMSNForImageClassification.from_pretrained("facebook/vit-msn-base", attn_implementation="sdpa", device_map="auto")
...

最大限の高速化を実現するには、モデルを半精度（例: torch.float16 または torch.bfloat16）で読み込むことをお勧めします。

ローカルベンチマーク（A100-40GB、PyTorch 2.3.0、OS Ubuntu 22.04）において、float32 と facebook/vit-msn-base モデルを使用した場合、推論時に以下の速度向上を確認しました。

リソース

ViT MSNの入門を支援するための、Hugging Face公式およびコミュニティ（🌎で示されます）のリソースのリストです。

• ViTMSNForImageClassification は、この ノートブック でサポートされています。
• 関連項目: 画像分類タスクガイド

ここにリソースを掲載していただくことを希望される場合は、Pull Request を開いてください。レビューいたします。リソースは、既存のリソースと重複するのではなく、新しいものを示すことが望ましいです。

ViTMSNConfig

>>> from transformers import ViTMSNModel, ViTMSNConfig

>>> # Initializing a ViT MSN vit-msn-base style configuration
>>> configuration = ViTConfig()

>>> # Initializing a model from the vit-msn-base style configuration
>>> model = ViTMSNModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ViTMSNModel

>>> from transformers import AutoImageProcessor, ViTMSNModel
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/vit-msn-small")
>>> model = ViTMSNModel.from_pretrained("facebook/vit-msn-small")
>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.no_grad():
...     outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state

ViTMSNForImageClassification

>>> from transformers import AutoImageProcessor, ViTMSNForImageClassification
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> torch.manual_seed(2)
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read())).convert("RGB")

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/vit-msn-small")
>>> model = ViTMSNForImageClassification.from_pretrained("facebook/vit-msn-small")

>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
tusker