Depth-Anything-V3 / DepthAnythingV3.json

wade.weng

Publish Depth-Anything-V3 RKNN artifacts + worker manifest

b8ed715 4 days ago

1.94 kB

{
  "label": "[Depth]视觉深度信息v3",
  "capability_types": [
    "swcap_vision_depth"
  ],
  "spec_factory": "depth_anything_v3",
  "worker_name": "depth-v3",
  "model_dir_name": "Depth-Anything-V3",
  "model_dir_env": "WDNAI_DEPTH_ANYTHING_V3_DIR",
  "instance_name": "depth-v3",
  "memory_estimate_mb": 3000,
  "estimated_init_seconds": 30,
  "description": "视觉深度信息v3，给定图像输出逐像素深度图与置信度（Depth Anything V3 单目深度估计）",
  "notes": "【当前部署】1-view / 280×280 导出（global 段输入 [1,401,1,768]、head 段输出 [1,1,280,280]）—— 一张图即可出深度图 + 置信度。view 数是**导出时**参数（global 段输入形状 [V,L,1,D]，不是运行期参数），换 V 只需重新导出三段 RKNN（model-zoo 的 --views，已验证范围 1-10），**SDK 与本服务无需改动**。部署侧文件命名跟 LocateAnything-3B 一致：<role>_DepthAnythingV3.280x280.1view.1828.rknn + 同名 .weight（去掉 .1828 段）—— 共 6 个文件。多相机几何另需 model-zoo 导出 ray 分支（当前导出脚本只出 depth+depth_conf，不支持）并换更大的模型——论文数据显示 DA3-Base 的位姿精度仅为 DA3-Giant 的 1/4，位姿比深度更吃模型规模。单目深度估计本身（kind=\"depth\"，图像 → 深度图 + 置信度，不是文本）。RKNN 导出被拆成三段：local（逐图 token）→ global（跨 view 融合）→ head（出深度/置信度），三段**共享**一份按 NPU 核分配的内部显存（C++ demo 的 da3_init_internal_mem_share，约 1.6GB），少了这一步 model_init 会 MODEL_SETUP fail。权重目录由 wdnai 内部的 _default_depth_anything_v3_paths 解析，可用 WDNAI_DEPTH_ANYTHING_V3_DIR 覆写。模型未部署时 load 会抛 FileNotFoundError，由 worker 的 load 流程转成 errored 状态。",
  "available_targets": [
    "182x"
  ],
  "display_order": 80
}

	{
	"label": "[Depth]视觉深度信息v3",
	"capability_types": [
	"swcap_vision_depth"
	],
	"spec_factory": "depth_anything_v3",
	"worker_name": "depth-v3",
	"model_dir_name": "Depth-Anything-V3",
	"model_dir_env": "WDNAI_DEPTH_ANYTHING_V3_DIR",
	"instance_name": "depth-v3",
	"memory_estimate_mb": 3000,
	"estimated_init_seconds": 30,
	"description": "视觉深度信息v3，给定图像输出逐像素深度图与置信度（Depth Anything V3 单目深度估计）",
	"notes": "【当前部署】1-view / 280×280 导出（global 段输入 [1,401,1,768]、head 段输出 [1,1,280,280]）—— 一张图即可出深度图 + 置信度。view 数是导出时参数（global 段输入形状 [V,L,1,D]，不是运行期参数），换 V 只需重新导出三段 RKNN（model-zoo 的 --views，已验证范围 1-10），SDK 与本服务无需改动。部署侧文件命名跟 LocateAnything-3B 一致：<role>_DepthAnythingV3.280x280.1view.1828.rknn + 同名 .weight（去掉 .1828 段）—— 共 6 个文件。多相机几何另需 model-zoo 导出 ray 分支（当前导出脚本只出 depth+depth_conf，不支持）并换更大的模型——论文数据显示 DA3-Base 的位姿精度仅为 DA3-Giant 的 1/4，位姿比深度更吃模型规模。单目深度估计本身（kind=\"depth\"，图像 → 深度图 + 置信度，不是文本）。RKNN 导出被拆成三段：local（逐图 token）→ global（跨 view 融合）→ head（出深度/置信度），三段共享一份按 NPU 核分配的内部显存（C++ demo 的 da3_init_internal_mem_share，约 1.6GB），少了这一步 model_init 会 MODEL_SETUP fail。权重目录由 wdnai 内部的 _default_depth_anything_v3_paths 解析，可用 WDNAI_DEPTH_ANYTHING_V3_DIR 覆写。模型未部署时 load 会抛 FileNotFoundError，由 worker 的 load 流程转成 errored 状态。",
	"available_targets": [
	"182x"
	],
	"display_order": 80
	}