프로젝트 배경
1) 문제점
- 기존 CCTV 뷰 중심 탐지 모델의 사람 눈높이 등 다른 뷰 적용 한계
- 실환경 배포 및 실증 시 심각한 오탐 발생 (주차장 내 다양한 객체를 이상행동으로 오인)
- 다양한 카메라 각도(전/후/좌/우)에서의 일관된 탐지 성능 부재
- 실시간 처리를 위한 경량화와 정확도 간의 트레이드오프
2) 프로젝트 목표
- 실시간 경량 모델: 엣지 디바이스에서 실시간 처리 가능한 최적화
- 오탐 최소화: 실환경 특성을 반영한 데이터셋 구축으로 정확도 향상
- 다중 이상행동 탐지: 쓰러짐, 싸움 등 복합적 위험 상황 동시 탐지
3) 주안점
- 주차장 환경: 37종 객체 클래스 정의로 오탐 감소
- 행동 탐지: AVA/Kinetics 대규모 비디오 액션 데이터셋 활용 및 도메인 특화 데이터 추가
- 실증 환경 피드백 기반 지속적 모델 개선
- 기존 CCTV 뷰 중심 탐지 모델의 사람 눈높이 등 다른 뷰 적용 한계
- 실환경 배포 및 실증 시 심각한 오탐 발생 (주차장 내 다양한 객체를 이상행동으로 오인)
- 다양한 카메라 각도(전/후/좌/우)에서의 일관된 탐지 성능 부재
- 실시간 처리를 위한 경량화와 정확도 간의 트레이드오프
2) 프로젝트 목표
- 실시간 경량 모델: 엣지 디바이스에서 실시간 처리 가능한 최적화
- 오탐 최소화: 실환경 특성을 반영한 데이터셋 구축으로 정확도 향상
- 다중 이상행동 탐지: 쓰러짐, 싸움 등 복합적 위험 상황 동시 탐지
3) 주안점
- 주차장 환경: 37종 객체 클래스 정의로 오탐 감소
- 행동 탐지: AVA/Kinetics 대규모 비디오 액션 데이터셋 활용 및 도메인 특화 데이터 추가
- 실증 환경 피드백 기반 지속적 모델 개선
프로젝트 성과
쓰러짐 탐지 정확도 94.75% 달성
로봇 뷰에 최적화된 데이터셋 구축과 클렌징을 통해 쓰러짐 탐지 정확도를 94.75%까지 향상시켜 실환경 적용 가능 수준 달성
오탐율 85% 감소
주차장 환경의 37종 객체 클래스를 추가 학습하여 기존 대비 오탐율을 85% 감소시켜 실용성 대폭 개선
실시간 처리 속도 3.28 FPS → 25 FPS 향상
디코더 경량화 기술 적용으로 엣지 디바이스에서도 실시간 처리 가능한 수준으로 성능 개선
핵심 기능

실시간 싸움 행동 인식
Spatio-temporal Action Localization 기술로 Hit, Kick 등 폭력적 행동을 실시간으로 탐지하고 관제 센터에 즉시 알림
진행 단계
이상 행동 탐지 기술 조사 및 데이터셋 구축
2023.06.
- AVA/Kinetics 데이터셋 분석
- 쓰러짐/싸움 관련 데이터 추출
- 초기 데이터셋 v1 구축 (Train: 5,542장, Val: 1,808장)
- 쓰러짐/싸움 관련 데이터 추출
- 초기 데이터셋 v1 구축 (Train: 5,542장, Val: 1,808장)
데이터셋 확장 및 모델 개선
2023.06.
- AIHub 주차장 데이터 13,884장 추가
- Roboflow 로봇뷰 데이터 31,934장 통합
- 37종 주차장 객체 클래스 정의 및 학습 (총 71,981장)
- Roboflow 로봇뷰 데이터 31,934장 통합
- 37종 주차장 객체 클래스 정의 및 학습 (총 71,981장)
로봇 뷰 특화 모델 개발
2023.07.
- YOLOX 기반 Object Detection 모델 구현
- 4채널 카메라 입력 처리 파이프라인 구축
- 초기 모델 학습 및 검증
- 4채널 카메라 입력 처리 파이프라인 구축
- 초기 모델 학습 및 검증
통합 시스템 구축 및 배포
2023.08.
- CCTV 싸움 및 흡연 탐지 시스템 개발
- Spatio-temporal Action Localization 구현
- 실환경 배포 및 모니터링 시스템 구축
- Spatio-temporal Action Localization 구현
- 실환경 배포 및 모니터링 시스템 구축
프로젝트 상세
1) 포트폴리오 소개
- AI 컴퓨터 비전 기반 안전 관제 솔루션: 자율주행 로봇 기업, 디지털 안전 관제 시스템이 필요한 공공/민간 기업을 타겟으로 함. CCTV 및 로봇 시점에서 쓰러짐, 싸움 등 이상행동을 실시간 탐지하여 사고를 예방하는 시스템 개발.
2) 작업 범위
- 개발 참여 범위: 딥러닝 모델 연구/개발(YOLO, PyTorch), 엣지 디바이스 추론 최적화(ONNX, TensorRT), 데이터셋 구축 및 관리, Docker 기반 시스템 배포 및 실증 테스트 수행.
- 지원 환경: 임베디드 엣지 디바이스(자율주행 로봇), CCTV 관제 시스템.
3) 주요 업무
- 실시간 이상행동 탐지 모델 개발: 쓰러짐, 싸움(가격 행위) 등 복합적인 위험 상황을 실시간으로 동시 탐지하는 기능 구현.
- 환경 특화 데이터셋 구축: 주차장 내 37종 객체를 추가 학습하여 차량, 시설물 등을 이상행동으로 오인하는 문제 해결.
- 모델 경량화 및 추론 최적화: 처리 속도 3.28 FPS → 25 FPS로 향상 및 TensorRT 적용을 통한 엣지 디바이스 탑재.
- 다중 카메라 입력 처리: 로봇의 4채널 카메라 등 여러 영상 입력을 동시에 처리하는 파이프라인 구축.
4) 주안점
- 실환경 오탐 최소화: 실제 배포 환경(주차장) 특성을 반영한 데이터셋을 구축하여 이론적 정확도보다 실용적인 오탐 감소에 중점.
- 다양한 카메라 뷰(View) 대응: 고정된 CCTV 뷰는 물론, 움직이는 로봇의 눈높이와 같은 비정형적 뷰에서도 안정적인 성능을 확보하도록 모델 개선.
- 정확도와 속도의 균형: 엣지 디바이스의 실시간 처리를 위한 모델 경량화와 실증 가능한 수준의 탐지 정확도(쓰러짐 94.75%) 유지를 동시에 달성하는 데 집중.
- AI 컴퓨터 비전 기반 안전 관제 솔루션: 자율주행 로봇 기업, 디지털 안전 관제 시스템이 필요한 공공/민간 기업을 타겟으로 함. CCTV 및 로봇 시점에서 쓰러짐, 싸움 등 이상행동을 실시간 탐지하여 사고를 예방하는 시스템 개발.
2) 작업 범위
- 개발 참여 범위: 딥러닝 모델 연구/개발(YOLO, PyTorch), 엣지 디바이스 추론 최적화(ONNX, TensorRT), 데이터셋 구축 및 관리, Docker 기반 시스템 배포 및 실증 테스트 수행.
- 지원 환경: 임베디드 엣지 디바이스(자율주행 로봇), CCTV 관제 시스템.
3) 주요 업무
- 실시간 이상행동 탐지 모델 개발: 쓰러짐, 싸움(가격 행위) 등 복합적인 위험 상황을 실시간으로 동시 탐지하는 기능 구현.
- 환경 특화 데이터셋 구축: 주차장 내 37종 객체를 추가 학습하여 차량, 시설물 등을 이상행동으로 오인하는 문제 해결.
- 모델 경량화 및 추론 최적화: 처리 속도 3.28 FPS → 25 FPS로 향상 및 TensorRT 적용을 통한 엣지 디바이스 탑재.
- 다중 카메라 입력 처리: 로봇의 4채널 카메라 등 여러 영상 입력을 동시에 처리하는 파이프라인 구축.
4) 주안점
- 실환경 오탐 최소화: 실제 배포 환경(주차장) 특성을 반영한 데이터셋을 구축하여 이론적 정확도보다 실용적인 오탐 감소에 중점.
- 다양한 카메라 뷰(View) 대응: 고정된 CCTV 뷰는 물론, 움직이는 로봇의 눈높이와 같은 비정형적 뷰에서도 안정적인 성능을 확보하도록 모델 개선.
- 정확도와 속도의 균형: 엣지 디바이스의 실시간 처리를 위한 모델 경량화와 실증 가능한 수준의 탐지 정확도(쓰러짐 94.75%) 유지를 동시에 달성하는 데 집중.

딥러닝 기반 싸움 탐지 CCTV 시스템(대전 유성구청 도입)

쓰러짐 탐지

흡연 탐지(인천 연수구청 도입)


