نُشر هذا النموذج في أوراق HF في 13 يونيو 2024، وأُضيف إلى مكتبة Hugging Face Transformers في 5 يوليو 2024.

Depth Anything V2

نظرة عامة

تم تقديم Depth Anything V2 في الورقة البحثية التي تحمل الاسم نفسه بواسطة ليه يانغ وآخرون. يستخدم نفس البنية المعمارية مثل نموذج Depth Anything الأصلي، لكنه يستخدم بيانات اصطناعية ونموذج معلم أكبر سعة لتحقيق تنبؤات أعمق أدق وأكثر متانة بكثير.

المستخلص من الورقة البحثية هو كالتالي:

تقدّم هذه الدراسة Depth Anything V2. وبدلًا من السعي وراء تقنيات معقّدة، نهدف إلى الكشف عن نتائج جوهرية تمهّد الطريق لبناء نموذج قوي لتقدير العمق أحادي العين. ومن الجدير بالذكر أنه، مقارنةً بالإصدار الأول، ينتج هذا الإصدار تنبؤات عمق أدق وأكثر متانة من خلال ثلاث ممارسات رئيسية: 1) استبدال جميع الصور الحقيقية الموسومة بصور اصطناعية، 2) توسيع سعة نموذج المعلم لدينا، و3) تعليم نماذج الطالب عبر جسر من الصور الحقيقية الموسومة بشكل زائف على نطاق واسع. مقارنةً بأحدث النماذج المبنية على Stable Diffusion، تكون نماذجنا أكثر كفاءة بشكل كبير (أسرع بأكثر من 10 أضعاف) وأكثر دقة. نقدّم نماذج بمقاييس مختلفة (تتراوح من 25 مليون إلى 1.3 مليار معامل) لدعم سيناريوهات واسعة النطاق. ومن خلال الاستفادة من قدرتها القوية على التعميم، نضبطها بدقة باستخدام تسميات عمق مقننة للحصول على نماذج العمق المقنن لدينا. بالإضافة إلى نماذجنا، ونظرًا إلى محدودية التنوع والوجود المتكرر للضوضاء في مجموعات الاختبار الحالية، نبني معيار تقييم متعدد الاستخدامات مع تسميات دقيقة ومشاهد متنوعة لتسهيل الأبحاث المستقبلية.

تمت مساهمة نماذج Depth Anything من قِبل nielsr. يمكن العثور على الكود الأصلي هنا.

مثال على الاستخدام

توجد طريقتان رئيسيتان لاستخدام Depth Anything V2: إما باستخدام واجهة برمجة التطبيقات الخاصة بالخطوط الأنابيب (pipeline API)، والتي تختصر عليك كل التعقيدات، أو من خلال استخدام فئة DepthAnythingForDepthEstimation بنفسك.

واجهة برمجة التطبيقات الخاصة بخط المعالجة

يتيح خط المعالجة استخدام النموذج في بضع أسطر من الكود:

import requests
from PIL import Image

from transformers import pipeline


# load pipe
pipe = pipeline(task="depth-estimation", model="depth-anything/Depth-Anything-V2-Small-hf")

# load image
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

# inference
depth = pipe(image)["depth"]

استخدام النموذج بنفسك

إذا كنت ترغب في تنفيذ المعالجة المسبقة والمعالجة اللاحقة بنفسك، فإليك الطريقة:

import requests
import torch
from PIL import Image

from transformers import AutoImageProcessor, AutoModelForDepthEstimation


url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

image_processor = AutoImageProcessor.from_pretrained("depth-anything/Depth-Anything-V2-Small-hf")
model = AutoModelForDepthEstimation.from_pretrained("depth-anything/Depth-Anything-V2-Small-hf", device_map="auto")

# prepare image for the model
inputs = image_processor(images=image, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model(**inputs)

# interpolate to original size and visualize the prediction
post_processed_output = image_processor.post_process_depth_estimation(
    outputs,
    target_sizes=[(image.height, image.width)],
)

predicted_depth = post_processed_output[0]["predicted_depth"]
depth = (predicted_depth - predicted_depth.min()) / (predicted_depth.max() - predicted_depth.min())
depth = depth.detach().cpu().numpy() * 255
depth = Image.fromarray(depth.astype("uint8"))

الموارد

قائمة بموارد رسمية من Hugging Face وموارد مجتمعية (مشار إليها بـ 🌎) لمساعدتك على البدء مع Depth Anything.

• دليل مهمة تقدير العمق أحادي العين
• عرض عمق أي شيء V2.
• يمكن العثور على دفتر ملاحظات يعرض الاستدلال باستخدام DepthAnythingForDepthEstimation هنا. 🌎
• تحويل small إلى Core ML للاستخدام على Apple Silicon.

إذا كنت مهتمًا بتقديم مورد ليُدرج هنا، فلا تتردد في فتح طلب سحب وسنقوم بمراجعته! يُفضَّل أن يُظهر المورد شيئًا جديدًا بدلاً من تكرار مورد موجود مسبقًا.

DepthAnythingConfig

>>> from transformers import DepthAnythingConfig, DepthAnythingForDepthEstimation

>>> # Initializing a DepthAnything small style configuration
>>> configuration = DepthAnythingConfig()

>>> # Initializing a model from the DepthAnything small style configuration
>>> model = DepthAnythingForDepthEstimation(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

DepthAnythingForDepthEstimation

>>> from transformers import AutoImageProcessor, AutoModelForDepthEstimation
>>> import torch
>>> import numpy as np
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("LiheYoung/depth-anything-small-hf")
>>> model = AutoModelForDepthEstimation.from_pretrained("LiheYoung/depth-anything-small-hf")

>>> # prepare image for the model
>>> inputs = image_processor(images=image, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> # interpolate to original size
>>> post_processed_output = image_processor.post_process_depth_estimation(
...     outputs,
...     target_sizes=[(image.height, image.width)],
... )

>>> # visualize the prediction
>>> predicted_depth = post_processed_output[0]["predicted_depth"]
>>> depth = predicted_depth * 255 / predicted_depth.max()
>>> depth = depth.detach().cpu().numpy()
>>> depth = Image.fromarray(depth.astype("uint8"))