نُشر هذا النموذج في أوراق HF في 14 أبريل 2023، وأُضيف إلى مكتبة Hugging Face Transformers في 18 يوليو 2023.

DINOv2

DINOv2 هو نموذج أساسي للرؤية يستخدم ViT كمستخرج للميزات لمهام متعددة لاحقة مثل تصنيف الصور وتقدير العمق. يركّز على استقرار التدريب وتسريعه من خلال تقنيات مثل انتباه أسرع وأكثر كفاءة في استخدام الذاكرة، وتعبئة التسلسلات، وتحسين العمق العشوائي، والتوازي الكامل لتقسيم البيانات (FSDP)، وتقطير النماذج.

يمكنك العثور على جميع نقاط التفتيش الأصلية الخاصة بـ DINOv2 ضمن مجموعة Dinov2.

انقر على نماذج DINOv2 في الشريط الجانبي الأيمن لمزيد من الأمثلة حول كيفية تطبيق DINOv2 على مهام الرؤية المختلفة.

يُظهر المثال أدناه كيفية الحصول على تضمين صورة باستخدام Pipeline أو فئة AutoModel.

from transformers import pipeline


pipe = pipeline(
    task="image-classification",
    model="facebook/dinov2-small-imagenet1k-1-layer",
    device=0
)

pipe("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg")

import requests
from PIL import Image

from transformers import AutoImageProcessor, AutoModelForImageClassification


url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained("facebook/dinov2-small-imagenet1k-1-layer")
model = AutoModelForImageClassification.from_pretrained(
    "facebook/dinov2-small-imagenet1k-1-layer",
    device_map="auto",
    attn_implementation="sdpa"
)

inputs = processor(images=image, return_tensors="pt").to(model.device)
logits = model(**inputs).logits
predicted_class_idx = logits.argmax(-1).item()
print("Predicted class:", model.config.id2label[predicted_class_idx])

تقلل عملية التكميم العبء على الذاكرة في النماذج الكبيرة من خلال تمثيل الأوزان بدقة أقل. راجع نظرة عامة على التكميم للاطلاع على المزيد من واجهات التكميم المتاحة.

يستخدم المثال أدناه torchao لاختزال الأوزان إلى int4 فقط.

# pip install torchao
import requests
from PIL import Image
from torchao.quantization import Int4WeightOnlyConfig

from transformers import AutoImageProcessor, AutoModelForImageClassification, TorchAoConfig


url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained('facebook/dinov2-giant-imagenet1k-1-layer')

quant_config = Int4WeightOnlyConfig(group_size=128)
quantization_config = TorchAoConfig(quant_type=quant_config)

model = AutoModelForImageClassification.from_pretrained(
    'facebook/dinov2-giant-imagenet1k-1-layer',
    device_map="auto",
    quantization_config=quantization_config
)

inputs = processor(images=image, return_tensors="pt").to(model.device)
outputs = model(**inputs)
logits = outputs.logits
predicted_class_idx = logits.argmax(-1).item()
print("Predicted class:", model.config.id2label[predicted_class_idx])

ملاحظات

• يُظهر المثال أدناه كيفية تقسيم المصفوفة الناتجة إلى:

  • تضمين واحد للصورة بأكملها، يُشار إليه عادةً برمز CLS، مفيد للتصنيف والاسترجاع
  • مجموعة من التضمينات المحلية، تضمين واحد لكل رقعة 14x14 من الصورة المدخلة، مفيدة للمهام الكثيفة، مثل التقسيم الدلالي
  تم النسخ

  from transformers import AutoImageProcessor, AutoModel
  from PIL import Image
  import requests
  
  url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
  image = Image.open(requests.get(url, stream=True).raw)
  print(image.height, image.width)  # [480, 640]
  
  processor = AutoImageProcessor.from_pretrained('facebook/dinov2-base')
  model = AutoModel.from_pretrained('facebook/dinov2-base', device_map="auto")
  patch_size = model.config.patch_size
  
  inputs = processor(images=image, return_tensors="pt").to(model.device)
  print(inputs.pixel_values.shape)  # [1, 3, 224, 224]
  batch_size, rgb, img_height, img_width = inputs.pixel_values.shape
  num_patches_height, num_patches_width = img_height // patch_size, img_width // patch_size
  num_patches_flat = num_patches_height * num_patches_width
  
  outputs = model(**inputs)
  last_hidden_states = outputs[0]
  print(last_hidden_states.shape)  # [1, 1 + 256, 768]
  assert last_hidden_states.shape == (batch_size, 1 + num_patches_flat, model.config.hidden_size)
  
  cls_token = last_hidden_states[:, 0, :]
  patch_features = last_hidden_states[:, 1:, :].unflatten(1, (num_patches_height, num_patches_width))

• استخدم torch.jit.trace لتسريع الاستدلال. ومع ذلك، سيؤدي ذلك إلى ظهور بعض العناصر غير المتطابقة. يبلغ الفرق بين النموذج الأصلي والنموذج المُتتبَّع 1e-4.

  تم النسخ

  import torch
  from transformers import AutoImageProcessor, AutoModel
  from PIL import Image
  import requests
  
  url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
  image = Image.open(requests.get(url, stream=True).raw)
  
  processor = AutoImageProcessor.from_pretrained('facebook/dinov2-base')
  model = AutoModel.from_pretrained('facebook/dinov2-base', device_map="auto")
  
  inputs = processor(images=image, return_tensors="pt").to(model.device)
  outputs = model(**inputs)
  last_hidden_states = outputs[0]
  
  # We have to force return_dict=False for tracing
  model.config.return_dict = False
  
  with torch.no_grad():
      traced_model = torch.jit.trace(model, [inputs.pixel_values])
      traced_outputs = traced_model(inputs.pixel_values)
  
  print((last_hidden_states - traced_outputs[0]).abs().max())

Dinov2Config

>>> from transformers import Dinov2Config, Dinov2Model

>>> # Initializing a Dinov2 dinov2-base style configuration
>>> configuration = Dinov2Config()

>>> # Initializing a model (with random weights) from the dinov2-base style configuration
>>> model = Dinov2Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

Dinov2Model

Dinov2ForImageClassification

>>> from transformers import AutoImageProcessor, Dinov2ForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/dinov2-base")
>>> model = Dinov2ForImageClassification.from_pretrained("facebook/dinov2-base")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...