문제점
- 물리적 점검의 한계 및 위험성: 비정형 및 초고층 구조물의 경우 작업자의 직접적인 접근이 물리적으로 불가능하거나 극도로 위험하여 점검 사각지대가 발생하며 잠재적 결함을 놓칠 위험이 높음.
- 드론 영상 검수의 비효율성: 드론으로 촬영된 방대한 고해상도 영상 데이터를 사람이 일일이 육안으로 확인해야 하므로 극심한 시간 소모와 인력 의존성을 유발하며, 검수자의 숙련도에 따라 정확도가 일정하지 않음.
- 후속 관리 프로세스의 비효율성: 육안 검수 완료 후에도 결함 위치 측정, 심각도 평가, 유지보수 계획 및 보고서 작성 과정이 수동적으로 이루어져 시간이 많이 소요되고, 의사 결정 속도를 늦춰 유지보수 시기가 지연될 위험이 있음.

프로젝트 목표
- AI 기반 자동 탐지 시스템 구축: 드론 촬영 이미지에서 시설물의 다양한 결함 유형(균열, 박리, 철근 노출 등)을 자동으로, 정량적으로 탐지 및 분할하는 AI 모델 및 고성능 추론 시스템을 구축.
- 정밀 3D 디지털 트윈 구현: 드론 이미지와 Photogrammetry 기술을 활용하여 시설물의 정밀 3D 모델(Digital Twin)을 재구성하고, AI 분석 결과를 3D 모델 상에 정확히 매핑하여 결함의 위치와 심각도를 직관적으로 시각화.
- MLOps 기반 운영 효율화: 모델 개발부터 배포, 재학습까지의 전 과정을 자동화하는 MLOps 파이프라인을 구축하여 시스템의 유지보수 효율성 및 모델의 신뢰성을 극대화.

주안점 (핵심 개발/운영 고려사항)
- AI 모델의 강인한 정량적 성능 확보: 다양한 크기, 조명 조건, 시설물 외벽 환경에서 높은 정확도와 재현율(Recall)을 갖는 결함 탐지 및 분할 모델 구현.
- SAM 활용 및 경량화: 복잡한 결함에 대한 높은 정밀도의 분할 결과를 얻기 위해 SAM을 활용하고, 실제 운영 환경에서의 빠른 추론 속도를 위해 모델 경량화 작업 집중 수행.
- 정밀 3D 정합 기술 개발: AI가 탐지한 2D 결함 좌표를 3D 모델 상의 실제 좌표(X, Y, Z)로 정확히 변환하고 매핑하는 기술 개발.
- 고성능 추론 서버 구축: NVIDIA Triton Inference Server와 TensorRT를 활용하여 다중 모델에 대한 낮은 Latency와 고효율 병렬 처리를 보장하는 추론 환경 구축.
- 자동 학습 및 배포 파이프라인 (MLOps): 신규 데이터 유입 시 자동 재학습 및 검증하고, 검증된 모델을 자동 배포(CI/CD)하는 시스템 구축.

AI 모델 개발 및 최적화
- 컴퓨터 비전 모델 설계: 시설물의 다양한 결함 유형(균열, 박리, 철근 노출 등)을 정확히 식별하기 위해 객체 탐지(Object Detection), 인스턴스 세그멘테이션(Instance Segmentation), 시맨틱 세그멘테이션(Semantic Segmentation) 모델을 설계하고 학습.
- SAM (Segment Anything Models) 활용 및 경량화: 복잡하고 비정형적인 결함 영역에 대해 높은 정밀도의 분할(Segmentation) 결과를 얻기 위해 SAM을 활용했으며, 실제 운영 환경에서의 추론 속도 향상을 위해 모델 경량화(Model Quantization, Pruning) 작업을 집중적으로 수행.
- 정량적 성능 확보: 실제 시설물 외벽 환경에서 다양한 크기와 조명 조건에 강인하게 동작하는 모델의 정확도와 재현율(Recall)을 극대화하는 데 주력.

3D 비전 및 재구성 시스템 구축
- 정밀 3D 모델 생성: 드론으로 촬영된 대규모 2D 이미지 데이터를 기반으로 Photogrammetry 기술을 활용하여 시설물의 정밀 3D 모델(Digital Twin)을 재구성.
- AI 분석 결과 3D 정합: AI가 탐지한 2D 이미지 상의 결함 영역과 좌표를 3D 모델 상의 실제 좌표(X, Y, Z)로 정확하게 변환하고 매핑하여 시각화하는 기술을 개발했으며, 이 기술을 통해 관리자는 결함의 정확한 위치와 깊이를 직관적으로 파악 가능.

백엔드 및 고성능 추론 서버 구축
- 고성능 추론 서버 구축: NVIDIA Triton Inference Server를 활용하여 AI 추론 서버를 구축했으며, 이는 다중 AI 모델을 안정적으로 호스팅하고 관리하는 데 핵심적인 역할을 수행.
- 최적화된 병렬 처리: AI 모델을 ONNX 형식으로 변환하고, NVIDIA의 고성능 추론 엔진인 TensorRT를 통합하여 AI 모델의 추론 속도를 극대화. Triton 서버 내에서 ONNX와 TensorRT를 병렬 처리 및 동시 요청 처리(Concurrent Execution)하도록 구성하여, 대규모 이미지 입력에 대한 낮은 Latency를 보장.

자동 학습 및 배포 파이프라인 (MLOps)
- 시설물 외벽 결함 자동 학습 파이프라인: 신규 데이터가 유입되거나 모델 성능 저하가 감지될 경우, 시설물 결함 탐지 모델을 자동으로 재학습하고 검증하는 MLOps 파이프라인을 구축.
- 모델 스토어 및 자동 배포 시스템: 검증이 완료된 AI 모델을 버전별로 관리하는 모델 스토어를 구축하고, 운영 환경에 자동으로 배포(CI/CD)하는 시스템을 구현하여 모델 업데이트 및 시스템 유지보수 효율성을 극대화.

Front-end 및 대시보드 개발
- 시설물 모니터링 대시보드: 시설물별 안전 등급, 누적 손상 현황, 최근 점검 이력 등을 요약하여 보여주는 통합 관리 대시보드를 개발.
- 손상 위치 및 심각도 시각화 모듈: 3D 재구성된 시설물 모델 상에 AI 분석 결과를 오버레이하여 결함의 위치, 종류, 심각도를 직관적으로 시각화하는 모듈을 개발했으며, 이를 통해 유지보수 담당자는 보고서 검토 없이도 즉각적으로 현황을 파악하고 조치할 수 있음.

데이터 전처리 및 관리
- 대규모 이미지 및 3D 데이터 관리 시스템: 드론 촬영을 통해 수집된 대규모 고해상도 이미지 및 생성된 3D 데이터(Mesh, Point Cloud)를 효율적으로 저장, 관리, 검색할 수 있는 데이터 관리 시스템을 설계하고 구축.