YolPe: CCTV 원거리 사람 인식을 위한 YOLO26s

English summary. A person detector for CCTV-like views, where distant people look tiny and crowds overlap. YOLO26s (COCO-pretrained) was fine-tuned on CrowdHuman for single-class person detection. On CrowdHuman val (imgsz 1280, conf 0.35), recall for far-away people (box height < 48px) rose from 0.225 to 0.798 compared with the base YOLO26s, while near-range recall also improved (0.852 → 0.969). The smallest reliably detected person height dropped from 128px to 24px. Training code: https://github.com/lkw-k/YolPe. CrowdHuman is licensed for non-commercial research only.

개요

CCTV는 높은 곳에서 넓은 범위를 찍습니다. 그래서 같은 화면 안에서도 가까운 사람은 크게, 멀리 있는 사람은 수십 px로 작게 보이고, 사람이 많으면 서로 겹칩니다. 화면 속 사람 수를 세려면 이렇게 작고 겹친 사람까지 빠짐없이 찾아야 합니다.

COCO로 학습된 YOLO26 Small(YOLO26s) 은 가까운 사람은 잘 찾지만, 멀리 있는 작은 사람과 겹친 사람은 많이 놓칩니다. 그래서 군중 데이터셋 CrowdHuman으로 파인튜닝해 사람 한 클래스(0: person) 만 검출하도록 만들었습니다. 근거리 성능은 유지하면서 원거리 인식을 끌어올리는 것이 목표입니다.

• 학습 코드: https://github.com/lkw-k/YolPe (데이터 변환, 학습, 거리별 평가)

항목	값
기본 모델	Ultralytics YOLO26s (COCO 사전학습)
클래스	0: person (가려진 부분까지 포함한 전체 몸 박스)
입력 크기	1280 (960에서도 평가)
구조	end-to-end, NMS 없음

사용법

from huggingface_hub import hf_hub_download
from ultralytics import YOLO

path = hf_hub_download("illimax/YolPe", "YolPe.pt")
model = YOLO(path)
results = model.predict("crowd.jpg", imgsz=1280, conf=0.35, max_det=1000)
print(len(results[0].boxes), "명")

• conf=0.35는 아래 거리별 인식률을 잰 기준값입니다. F1이 가장 높은 값은 0.371이고, 두 값의 결과 차이는 작습니다 (아래 성능 참고).
• 혼잡 장면에서는 max_det=1000을 꼭 넘기세요. 기본값 300이면 인원이 잘립니다.
• ONNX/TensorRT로 export할 때도 max_det이 그래프에 고정되므로 max_det=1000을 넘겨야 합니다.
• yolo26s-ywhob-v1.pt는 YolPe.pt와 같은 파일입니다 (예전 이름, 호환용).

학습

학습과 평가 코드, 재현 방법은 GitHub lkw-k/YolPe에 있습니다.

데이터

• CrowdHuman train 15,000장으로 학습, val 4,370장으로 검증
• 라벨: 유효한 사람의 full box(가려진 부분 포함)를 person으로 쓰고, 이미지 밖으로 나간 부분은 잘랐습니다.
• ignore 영역 처리: CrowdHuman의 mask 영역과 ignore 표시된 사람은 라벨에서 빼고, 이미지에서 회색(114)으로 칠했습니다. 라벨만 빼면 모델이 그 사람들(주로 멀리 있는 빽빽한 군중)을 "사람 없음"으로 배워서 원거리 검출이 약해지기 때문입니다. 칠한 영역과 겹치는 유효한 사람의 보이는 부분은 원래 픽셀로 되돌렸습니다.

설정

항목	값	이유
imgsz	1280	원거리 작은 사람 검출
epochs / patience	50 / 10	val mAP50-95가 10 에폭 동안 안 오르면 중단
batch	8
mosaic / close_mosaic	1.0 / 10	마지막 10 에폭은 모자이크를 끄고 실제 이미지 분포로 마무리
scale / fliplr	0.5 / 0.5
flipud	0.0	카메라 시점이 고정이라 상하 반전은 쓰지 않음
hsv_v	0.4	실내 조명 변화
max_det	1000

• 47 에폭에서 얼리 스톱. val mAP50-95가 가장 높았던 37 에폭을 채택했습니다.
• Ultralytics 8.4.163

성능

CrowdHuman val 4,370장(사람 99,481명), imgsz 1280 기준입니다. 기본 모델(YOLO26s COCO)은 person 클래스만 남겨서 비교했습니다.

평가 조건

지표마다 재는 조건이 달라서 수치를 직접 비교하면 안 됩니다.

지표	conf	정답 박스	용도
거리별 인식률 (기준)	0.35	visible box, IoU 0.5	사람을 몇 % 찾았나. COCO 모델과 공정하게 비교하려고 보이는 부분 기준
검출 지표 (P, R, mAP)	0.371 (최대 F1 지점)	full box	Ultralytics 표준 검증

거리별 인식률 (conf 0.35)

사람 수를 세는 용도라 mAP보다 "사람을 몇 % 찾았나"(recall)를 주로 봤습니다. 거리는 화면 속 사람 박스 높이(모델 입력 기준)로 나눴습니다. 작을수록 멀리 있는 사람입니다.

잘 보이는 사람 (몸의 75% 이상이 보이는 사람, 48,204명)

거리	박스 높이	사람 수	기본 YOLO26s	이 모델	향상
원거리	48px 미만	5,535	0.225	0.798	+0.573
중거리	48~128px	14,966	0.559	0.930	+0.371
근거리	128px 이상	27,703	0.852	0.969	+0.117
전체		48,204	0.689	0.938	+0.249

최소 인식 크기(인식률 0.7 이상이 되는 가장 작은 박스 높이): 기본 모델 128px → 이 모델 24px

가려진 사람까지 포함한 전체 (99,481명)

거리	사람 수	기본 YOLO26s	이 모델	향상
원거리	9,151	0.163	0.605	+0.442
중거리	29,321	0.380	0.661	+0.281
근거리	61,009	0.697	0.710	+0.013
전체	99,481	0.554	0.686	+0.132

세부 크기별 인식률, imgsz 960 결과

세부 크기별 (잘 보이는 사람)

박스 높이	기본 YOLO26s	이 모델
16~20px	0.070	0.556
20~24px	0.097	0.691
24~32px	0.143	0.762
32~40px	0.255	0.848
40~48px	0.308	0.869
48~64px	0.420	0.903
64~96px	0.554	0.931
96~128px	0.671	0.950
128~192px	0.770	0.959
192~256px	0.841	0.966
256px 이상	0.893	0.975

imgsz 960으로 추론했을 때 (잘 보이는 사람)

거리	기본 YOLO26s	이 모델
원거리	0.190	0.776
중거리	0.547	0.933
근거리	0.856	0.970
전체	0.624	0.921

최대 F1 지점(conf 0.371)에서 보면

F1이 가장 높은 conf는 0.371(F1 0.91)입니다. 이 지점의 Ultralytics 검출 지표(full box 기준)는 다음과 같습니다.

Precision	Recall	F1	mAP50	mAP50-95
0.940	0.884	0.91	0.946	0.660

같은 conf 0.371로 거리별 인식률을 다시 재도 COCO 대비 결과는 거의 같습니다 (잘 보이는 사람, visible box 기준).

거리	기본 YOLO26s	이 모델
원거리	0.212	0.789
중거리	0.542	0.927
근거리	0.845	0.968
전체	0.678	0.935
최소 인식 크기	128px	24px

같은 conf 0.371인데도 위 Recall은 0.884이고, 거리별 방식으로 잰 가려진 사람 포함 전체 recall은 0.683입니다. 차이는 conf가 아니라 정답 박스 기준(full box / visible box)과 매칭 방식 때문입니다.

구간별 원본 수치는 eval/recall_*.json에 있습니다 (conf 0.371 결과는 eval/conf0.371/).

한계

• 실제 CCTV 영상으로는 아직 평가하지 않았습니다. CrowdHuman은 사람 눈높이에서 찍은 거리 사진이 많아서, 위에서 내려다보는 CCTV 시점과는 다릅니다. 실제 카메라 영상으로 다시 재 보고 쓰세요.
• 평가 수치가 실제보다 좋게 나왔을 수 있습니다. 위 수치는 모두 CrowdHuman val에서 쟀는데, 같은 val로 최적 에폭도 골랐습니다. 별도 test 세트 결과가 아닙니다.
• 많이 가려진 사람은 여전히 놓칩니다. 가려진 사람을 포함한 전체 인식률은 0.686이고, 근거리에서는 기본 모델과 거의 차이가 없습니다 (0.697 → 0.710). 빽빽한 군중에서는 인원이 실제보다 적게 나올 수 있습니다.
• 가려진 사람이 많은 큰 박스(256px 이상)는 기본 모델보다 조금 낮습니다 (0.795 → 0.747). 원인은 아직 확인하지 않았습니다. 잘 보이는 사람만 보면 이 구간도 개선됐습니다 (0.893 → 0.975).
• 16px보다 작은 사람은 거의 못 찾습니다 (인식률 0.33 이하).
• 사람처럼 생긴 물체를 사람으로 볼 수 있습니다. ignore 영역을 회색으로 칠해서 포스터 속 인물, 바닥 반사, 마네킹을 "사람 아님"으로 배울 기회가 없었습니다. 오탐 수준은 측정하지 않았습니다.
• imgsz 1280으로만 학습했습니다. 960 결과는 같은 가중치를 960으로 추론한 값입니다.
• ONNX/INT8 변환과 속도 측정은 아직 하지 않았습니다.

라이선스

• 가중치: AGPL-3.0 (Ultralytics YOLO26 라이선스를 따름)
• 학습 데이터 CrowdHuman은 비상업 연구 목적으로만 쓸 수 있습니다. 이 가중치를 쓸 때도 CrowdHuman 이용 조건을 확인하세요.

인용

• CrowdHuman: Shao et al., "CrowdHuman: A Benchmark for Detecting Human in a Crowd", arXiv:1805.00123, 2018
• Ultralytics YOLO26: https://github.com/ultralytics/ultralytics