nanodet-plus-1.5x-aerial-6cls

17개 도시 × 두 가지 고도(10m/15m)의 한국 드론 항공 영상으로 전이학습된 NanoDet-Plus 모델. NanoDet-Plus fine-tuned on Korean aerial drone footage from 17 cities at 10m/15m altitudes.

코드·문서 전체 리포지토리: github.com/DeepMav/aerial-perception

---

버전 / Versions

버전	핵심 변경	청라10m	4-도메인 평균
v0.1	청라 10m 단일 (과적합)	30.1%	17.1% ⚠
v0.2	17 cities × 10m+15m	27.1%	28.9% (+69%)
v0.3 (Exp J)	4도메인 + hard-cap 샘플링	26.6%	28.5%
v0.4	고도층화 재샘플링	24.4%	29.2%
v0.5 (Exp B, current)	입력 416→640	29.3%	35.4% ✅

v0.5(입력 640)가 4개 도메인 전부에서 역대 최고입니다 (4-도메인 평균 v0.2 대비 +22%). v0.2 이후 데이터 실험(v0.3·v0.4)은 도메인 맞교환으로 평균이 정체했으나, 해상도 상향이 모든 도메인을 동반 상승시켰습니다.

✅ 현재 호스팅 가중치(.pth/.onnx)는 v0.5(입력 640) 기준입니다. 모든 수치는 동일 평가 파이프라인 측정값이며, v0.2 재측정이 기존 발표치와 정확히 일치함을 확인했습니다.

ⓘ v0.6 (보류) — 타일 파인튜닝 + test-time SAHI, 음성 결과. 15m 고도 차량을 잡으려고 1024 타일로 v0.5를 파인튜닝한 뒤 SAHI 추론을 시도했습니다. vehicle recall은 회복됐으나 building 오탐이 폭증(FPPI ~24)해 종합 mAP가 v0.5 전체추론(0.417)을 넘지 못했습니다. px 게이팅은 vehicle과 structure 박스 크기 분포가 겹쳐 분리에 실패(오탐을 줄이면 차량도 동반 사망: vehicle recall 0.45→0.09). 결론: test-time SAHI 단독으론 부족 → 운용 가중치는 v0.5 유지. 진짜 이득은 train-time 타일링 + score 캘리브레이션이 필요(ROI 불확실).

ⓘ v0.7 (운용개선) — 나무 오탐 줄이기, 재학습 없음. 가중치는 v0.5 그대로이며 후처리만 개선했습니다. 나무 전용 NMS 중복제거(IoU 0.3) + 클래스별 score threshold로 4-도메인 전체 FPPI를 절반 이하로 감축(청라 8.4→3.7·택배 7.8→2.6·농약 5.0→2.2·용인하남 9.6→3.2), 나무 AP 변화 <1pp로 mAP 사실상 불변. 진단상 나무 FP는 위치오차/중복 + 그림자 환각 + 학습셋 라벨 희소(16.5%만 라벨)의 복합이라, negative-mining 파인튜닝은 보류하고 무료 레버로 운용점을 해결했습니다. 근본 해결(미라벨 나무 재라벨 후 재학습)은 향후 과제.

운용점 2종 (나무 threshold만 다름, 6/9 4-도메인 재측정). 같은 v0.5 가중치에 FP↔recall 트레이드오프를 골라 쓰는 후처리입니다 — F1레버(tree τ=0.325, 나무 recall 보존) vs 정밀레버(tree τ=0.40, FPPI 최저).

도메인	전체 FPPI (베이스→F1→정밀)	나무 FPPI	나무 recall
청라10m	8.43 → 3.65 → 2.21	4.41 → 2.14 → 0.69	18.0% → 13.5% → 5.6%
용인하남15m	9.55 → 3.19 → 3.19	0.01 → 0.00 → 0.00	(나무 GT 0)
택배15m	7.77 → 2.61 → 2.53	0.17 → 0.12 → 0.04	(나무 GT 0)
농약	5.00 → 2.20 → 1.87	0.93 → 0.55 → 0.23	46.7% → 39.7% → 27.3%

모델 mAP@0.5(풀캐시, 레버 무관 불변): 청라 29.3 / 용인하남 25.1 / 택배 43.6 / 농약 43.6. ⚠️ 레버는 모든 클래스 τ를 0.3 위로 올리는 정밀도-우선 운용점이라 macro recall은 하락(청라 41.6→32~33%) — mAP는 불변이고 recall 하락은 더 높은 정밀도 점을 택한 대가입니다.

ⓘ v0.8 (실험) — 나무 라벨 완성 후 재학습, 근본 원인 공략. v0.7이 "향후 과제"로 남긴 학습셋 라벨 정화를 시도했습니다. 진단 심화: 나무 라벨은 고도별 이중모드 — 저고도(510m)는 촘촘(청라10m 27.8개/img)하나 15m↑는 사실상 0(00.2개/img). 같은 나무가 10m엔 라벨·15m엔 무라벨이라 모순 신호가 생기고, v0.5는 그 결과 15m 나무에 사실상 장님(고고도 0.0검출/img). 방법: open-vocab 검출기(OWLv2)로 15m 나무 후보를 만들고 v0.5의 안정적 건물·구조물 검출로 오탐을 veto해 라벨을 자동 완성(나무 라벨 77.5k→106k, +37%), exp_b warm-start 10ep 재학습(전체 33k). 결과(정직): 15m 나무 검출 recall 1.1%→14.3%(자동 생성 기준 라벨 대비, 13×), 라벨 도메인 나무 FP 감소(청라 tree FPPI 2.14→1.21·농촌 0.55→0.41), 4-도메인 헤드라인 mAP는 동률(≈26.6, 동일 운용점). ⚠️ 한계: 15m 향상은 자동 생성 기준 라벨(≈85% 정밀, 사람 GT 아님) 대비 측정이고, 평가셋 15m 나무 라벨도 희소해 헤드라인 mAP엔 반영되지 않습니다. 호스팅 가중치는 v0.5 유지(v0.8은 헤드라인 동률 + 자동라벨 기준 측정이라 본배포 보류). 결론: 메커니즘(15m 라벨 완성→검출 회복)은 입증, 사람 라벨로 검증이 다음 단계.

🔬 사람 GT 검증 결과 (6/9, 부분 표본 — 정직한 후속). 평가셋 15m 나무를 사람이 완전 교정해(현재 12장, 나무 483개) 재측정한 결과, 자동 라벨 기준 14.3%는 자기확증 착시로 확인됐습니다. 사람 GT 대비 15m 나무 recall은 운용점에서 0.4%, threshold를 0까지 풀어도 천장이 6.0%(이때 FPPI 8.3 — 사용 불가), 개별 나무를 군락 단위로 12배 뭉쳐 재채점해도 FP 통제점에서 최대 **7.3%**였습니다. 비교군 v0.5는 모든 조건에서 0.0%(12장 전체 나무 검출 1개 = 완전 장님)이므로, v0.8의 학습 메커니즘 자체는 작동(0%→검출)하지만, 14.3%는 OWLv2 자동 라벨(모델이 학습한 것과 동형)에 대고 측정한 값이라 부풀려졌고 배포 가능한 15m 나무 성능에는 크게 못 미칩니다. → 호스팅 가중치 v0.5 유지 확정. (n=12는 부분 표본이며 잔여 28장 교정 예정이나, 0%·6%·7% 세 측정이 일관됩니다.)

---

모델 정보 / Model Info

항목	값
Base	nanodet-plus-m-1.5x (COCO 80 pretrained)
Backbone	ShuffleNetV2-1.5x
Neck	GhostPAN
Input	416 × 416 RGB (v0.2~v0.4) · 640 × 640 (v0.5)
Params	7.79M
Classes	6 (drone-specific)
Training	30 epoch, AdamW, cosine. v0.2: batch 20×5 (eff 100), lr 0.0016 · v0.5: batch 10×5 (eff 50, 640 메모리 제약), lr 0.00113
Dataset	AI Hub #183 — Urban surveillance + delivery + dusting, 다중 도메인
Best epoch	15 (cosine annealing plateau)
License	CC BY-NC 4.0

클래스 / Classes

ID	Name	KR
0	tree	나무
1	structure	시설물 (가로등·송전탑 등)
2	building	건물
3	vehicle	차량
4	bridge	다리
5	person	사람

---

성능 / Performance

In-domain (Cheongna 10m val, 1,023 images — same as v0.1)

Class	v0.1 (Cheongna only)	v0.2 (multi-city)	Δ
tree	18.0%	11.8%	-6.2pp
structure	18.1%	12.8%	-5.3pp
building	27.1%	32.9%	+5.8pp
vehicle	61.0%	45.6%	-15.4pp
bridge	14.9%	21.3%	+6.4pp
person	41.4%	38.2%	-3.2pp
mAP@0.5	30.1%	27.1%	-3.0pp

v0.1은 청라 데이터에 과적합되어 더 높은 점수가 나왔습니다. v0.2는 일반화를 위해 다양성을 학습한 결과 일부 점수를 양보했습니다.

4-Domain Generalization (out-of-distribution 평가, τ=0.3, IoU≥0.5)

Val 도메인	v0.1	v0.2	v0.3	v0.4	v0.5
청라10m (in-domain)	30.1	27.1	26.6	24.4	29.3
용인하남 15m (외삽-도시)	7.3	23.6	19.2	19.5	25.1
드론택배 15m (외삽-도시 시나리오)	10.7	43.6	33.5	36.5	43.6
농약살포 (외삽-농촌)	20.4	21.3	34.8	36.4	43.6 🔥
4-도메인 평균	17.1	28.9	28.5	29.2	35.4

핵심 인사이트:

• v0.5(입력 640)가 4개 도메인 전부 역대 최고이거나 동률 — 평균 35.4% (v0.2 대비 +6.5pp, +22%)
• 농촌(농약살포): v0.2 21.3% → v0.5 43.6%로 2배 이상. 농업 데이터 학습 + 해상도 효과
• 15m 고도 차량: v0.5(640)으로도 여전히 검출 실패 — 해상도 단독으로는 한계. 타일/SAHI 추론 필요
• v0.3·v0.4(데이터 실험): 도메인 맞교환으로 평균 정체. 돌파는 해상도(v0.5)에서 나옴

---

파일 / Files

File	Size	Format	Note
nanodet_model_best.pth	31 MB	PyTorch	v0.5 학습 가중치 (입력 640)
drone_nanodet_640.onnx	11 MB	ONNX	배포용 (모바일/엣지), 입력 640×640
config.yaml	4 KB	NanoDet training config	v0.5: input 640, batch 10×5, lr 0.00113, 30 epoch
example.jpg	~700 KB	Sample inference	참고용

---

사용법 / Usage

PyTorch (NanoDet)

NanoDet 설치 필요 / Requires NanoDet installed from github.com/RangiLyu/nanodet:

from huggingface_hub import hf_hub_download
from nanodet.util import cfg, load_config, load_model_weight, Logger
from nanodet.model.arch import build_model
import torch

# Download weight
pth = hf_hub_download(
    repo_id="harveykim/nanodet-plus-1.5x-aerial-6cls",
    filename="nanodet_model_best.pth"
)
cfg_path = hf_hub_download(
    repo_id="harveykim/nanodet-plus-1.5x-aerial-6cls",
    filename="config.yaml"
)

load_config(cfg, cfg_path)
model = build_model(cfg.model)
ckpt = torch.load(pth, map_location="cpu")
load_model_weight(model, ckpt, Logger(-1, use_tensorboard=False))
model.eval().cuda()

ONNX Runtime (recommended for deployment)

import onnxruntime as ort
import cv2, numpy as np
from huggingface_hub import hf_hub_download

onnx_path = hf_hub_download(
    repo_id="harveykim/nanodet-plus-1.5x-aerial-6cls",
    filename="drone_nanodet_640.onnx"
)
sess = ort.InferenceSession(onnx_path)

img = cv2.imread("aerial.jpg")
img = cv2.resize(img, (640, 640))            # v0.5 입력 해상도
x = img.astype(np.float32).transpose(2, 0, 1)[None]
preds = sess.run(None, {"data": x})[0]  # [1, 8500, 38]
# 38 = 6 (cls) + 32 (reg, 4 * (reg_max+1) where reg_max=7)

후처리·시각화 / Post-processing & visualization: github.com/DeepMav/aerial-perception/blob/main/scripts/visualize.py

Android (NCNN)

1. Convert ONNX → NCNN (.param + .bin)
2. Use NanoDet's Android NCNN demo
3. Replace class names with the 6 classes above
4. Expected on-device inference: 8~25 ms (Snapdragon 8 Gen 1+)

---

학습 정보 / Training Info (v0.5, hosted)

• Hardware: 5 × RTX 3070 (DDP), AMP fp16
• Input: 640 × 640 (v0.2~v0.4는 416)
• Batch: 10/GPU (effective 50) — 640 메모리 제약(8GB)으로 v0.2의 절반
• Optimizer: AdamW, lr 0.00113 (effective batch 50에 맞춘 sqrt 스케일링)
• Schedule: Cosine annealing, warmup, T_max=30 · best ≈ epoch 15
• Data: AI Hub #183 다도메인 — 도시감시(10m/15m) + 드론택배 + 농약살포, 실제 고도 층화 재샘플링 (~33k images)
• 변경 이력: v0.2(17도시 다중) → v0.3(4도메인 hard-cap) → v0.4(고도층화) → v0.5(입력 640). 상세는 위 버전 표 참조

---

한계 / Limitations

• 농촌·시골 도메인: v0.2까지 약점(21.3%)이었으나 v0.5에서 농약살포 학습+640으로 43.6%로 개선. 그래도 도시 대비 데이터량 적음
• 15m 이상 고도의 차량: v0.5(640)으로도 여전히 검출 실패(vehicle@15m ~0%). 해상도 상향만으론 부족. v0.6에서 타일/SAHI 추론을 시도했으나 test-time SAHI 단독은 오탐 폭증으로 v0.5를 못 넘음(위 v0.6 보류 주석 참조) — train-time 타일링 필요
• tree 오탐: 잎사귀·관목·그림자를 나무로 오인. v0.7 운용개선(나무 NMS 중복제거 + threshold)으로 4-도메인 FPPI 절반 이하 감축(mAP 불변). 근본원인(학습셋 나무 라벨 16.5%만 — 미라벨 나무로 인한 모순 신호)은 v0.8 실험에서 라벨 자동완성+재학습으로 공략(15m 나무 검출 1.1%→14.3%, 자동 기준 라벨 대비) — 위 v0.8 노트 참조. 단 6/9 사람 GT(12장) 검증서 14.3%는 자기확증 착시로 확인됨(사람 대비 운용점 0.4%·천장 6~7%) → 가중치 v0.5 유지 확정
• 야간·일출·일몰: 학습 데이터 부재로 추정 ~10% 미만
• 상용 비행에 부적합: 자율 회피·구조·자동 항법 등에는 mAP가 부족 (≥50% 권장)

적합한 용도

• ✅ 도시 항공 영상 데모·시연 (5~10m 고도, 낮 시간대)
• ✅ AI 라벨링 자동화 보조 (사람 검수 병행)
• ✅ 교육·연구 baseline
• ❌ 상용 자율 비행
• ❌ 보안 감시 (high stakes)
• ❌ 농업 모니터링 (도메인 미학습)

---

인용 / Citation

@misc{deepmav2026aerialperception,
  title  = {aerial-perception: NanoDet-Plus 1.5x Aerial 6-class Baseline v0.5},
  author = {DeepMav},
  year   = {2026},
  url    = {https://github.com/DeepMav/aerial-perception}
}

감사의 글 / Acknowledgements

• Base model: NanoDet-Plus by @RangiLyu (Apache 2.0)
• Dataset: AI Hub #183 드론 이동체 인지 영상 — research use, source data not redistributed
• Organization: DeepMav

라이선스 / License

CC BY-NC 4.0 — Creative Commons Attribution-NonCommercial 4.0 International

• ✅ 자유 사용 (연구·교육·개인 프로젝트)
• ✅ 수정·배포 가능
• ✅ 출처 표시 의무 (Attribution required)
• ❌ 상용 사용 금지 (Non-commercial only)

상용 사용·라이선스 협의 / Commercial use & licensing inquiries:

• GitHub Issues: DeepMav/aerial-perception

Acknowledgement of Base Model

The underlying NanoDet-Plus architecture (RangiLyu et al.) remains under Apache 2.0 license. Fine-tuned weights provided in this repository are licensed under CC BY-NC 4.0.

Full license text: https://creativecommons.org/licenses/by-nc/4.0/legalcode