Este modelo foi publicado em HF papers em 2024-06-13 e contribuído para Hugging Face Transformers em 2024-07-05.

Depth Anything V2

Visão geral

Depth Anything V2 foi introduzido em o artigo homônimo por Lihe Yang et al. Ele utiliza a mesma arquitetura do modelo original Depth Anything, mas emprega dados sintéticos e um modelo teacher de maior capacidade para alcançar previsões de profundidade muito mais finas e robustas.

O resumo do artigo é o seguinte:

Este trabalho apresenta o Depth Anything V2. Sem recorrer a técnicas elaboradas, nosso objetivo é revelar descobertas cruciais para abrir caminho para a construção de um modelo poderoso de estimativa de profundidade monocular. Notavelmente, em comparação com a V1, esta versão produz previsões de profundidade muito mais finas e robustas por meio de três práticas-chave: 1) substituir todas as imagens reais rotuladas por imagens sintéticas, 2) aumentar a capacidade do nosso modelo teacher e 3) ensinar modelos student por meio da ponte de imagens reais pseudo-rotuladas em larga escala. Em comparação com os modelos mais recentes construídos sobre o Stable Diffusion, nossos modelos são significativamente mais eficientes (mais de 10x mais rápidos) e mais precisos. Oferecemos modelos de diferentes escalas (variando de 25M a 1,3B de parâmetros) para suportar cenários extensos. Beneficiando-se de sua forte capacidade de generalização, fazemos o fine-tuning deles com rótulos de profundidade métrica para obter nossos modelos de profundidade métrica. Além de nossos modelos, considerando a diversidade limitada e o ruído frequente nos conjuntos de teste atuais, construímos um benchmark de avaliação versátil com anotações precisas e cenas diversas para facilitar pesquisas futuras.

Os modelos Depth Anything foram contribuídos por nielsr. O código original pode ser encontrado aqui.

Exemplo de uso

Existem 2 maneiras principais de usar o Depth Anything V2: seja usando a API de pipeline, que abstrai toda a complexidade para você, ou usando a classe DepthAnythingForDepthEstimation diretamente.

API de Pipeline

O pipeline permite usar o modelo em poucas linhas de código:

import requests
from PIL import Image

from transformers import pipeline


# load pipe
pipe = pipeline(task="depth-estimation", model="depth-anything/Depth-Anything-V2-Small-hf")

# load image
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

# inference
depth = pipe(image)["depth"]

Usando o modelo por conta própria

Se você quiser fazer o pré-processamento e o pós-processamento por conta própria, veja como fazer isso:

import requests
import torch
from PIL import Image

from transformers import AutoImageProcessor, AutoModelForDepthEstimation


url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

image_processor = AutoImageProcessor.from_pretrained("depth-anything/Depth-Anything-V2-Small-hf")
model = AutoModelForDepthEstimation.from_pretrained("depth-anything/Depth-Anything-V2-Small-hf", device_map="auto")

# prepare image for the model
inputs = image_processor(images=image, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model(**inputs)

# interpolate to original size and visualize the prediction
post_processed_output = image_processor.post_process_depth_estimation(
    outputs,
    target_sizes=[(image.height, image.width)],
)

predicted_depth = post_processed_output[0]["predicted_depth"]
depth = (predicted_depth - predicted_depth.min()) / (predicted_depth.max() - predicted_depth.min())
depth = depth.detach().cpu().numpy() * 255
depth = Image.fromarray(depth.astype("uint8"))

Recursos

Uma lista de recursos oficiais da Hugging Face e da comunidade (indicados por 🌎) para ajudar você a começar com o Depth Anything.

• Guia da tarefa de estimativa de profundidade monocular
• Demonstração do Depth Anything V2.
• Um notebook demonstrando inferência com DepthAnythingForDepthEstimation pode ser encontrado aqui. 🌎
• Conversão para Core ML da variante small para uso em Apple Silicon.

Se você tiver interesse em enviar um recurso para ser incluído aqui, sinta-se à vontade para abrir um Pull Request e faremos a revisão! O recurso deve, idealmente, demonstrar algo novo, em vez de duplicar um recurso existente.

DepthAnythingConfig

>>> from transformers import DepthAnythingConfig, DepthAnythingForDepthEstimation

>>> # Initializing a DepthAnything small style configuration
>>> configuration = DepthAnythingConfig()

>>> # Initializing a model from the DepthAnything small style configuration
>>> model = DepthAnythingForDepthEstimation(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

DepthAnythingForDepthEstimation

>>> from transformers import AutoImageProcessor, AutoModelForDepthEstimation
>>> import torch
>>> import numpy as np
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("LiheYoung/depth-anything-small-hf")
>>> model = AutoModelForDepthEstimation.from_pretrained("LiheYoung/depth-anything-small-hf")

>>> # prepare image for the model
>>> inputs = image_processor(images=image, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> # interpolate to original size
>>> post_processed_output = image_processor.post_process_depth_estimation(
...     outputs,
...     target_sizes=[(image.height, image.width)],
... )

>>> # visualize the prediction
>>> predicted_depth = post_processed_output[0]["predicted_depth"]
>>> depth = predicted_depth * 255 / predicted_depth.max()
>>> depth = depth.detach().cpu().numpy()
>>> depth = Image.fromarray(depth.astype("uint8"))