1) 문제점
- 전시 관람객의 낮은 참여도와 일방향 관람 방식
- 문화유산 콘텐츠를 체험할 수 있는 인터랙티브 요소 부족
- 대형 LED 디스플레이 환경에서 실시간 영상처리의 기술적 난이도
- 짧은 개발 기간(33일) 내 설치물 완성 및 현장 테스트 필요
⠀
2) 프로젝트 목표
- **인터랙티브 체험 제공**: 관람객이 직접 참여하는 문화유산 AR 체험 구현
- **실시간 영상 합성**: 관람객과 볼륨매트릭 콘텐츠의 자연스러운 실시간 합성
- **안정적 현장 운영**: 3일간 전시 기간 무중단 운영 시스템 구축
- **사진 배포 시스템**: QR코드로 체험 사진을 즉시 다운로드할 수 있는 편의 기능
⠀
3) 주안점
- 대형 LED 디스플레이 고해상도 실시간 렌더링 성능 확보
- MediaPipe 손 제스처 인식의 정확도 및 반응속도 최적화
- 크로마키 합성의 자연스러운 품질 유지
- 현장 조명 환경을 고려한 영상처리 파라미터 조정
- 관람객 대기 시간 최소화를 위한 빠른 모드 전환

1) 포트폴리오 소개
⠀
K-메타버스 페스티벌 & 엑스포 2022 전시 관람객을 위한 인터랙티브 LED월 설치물. 관람객의 모습과 문화유산 볼륨매트릭 콘텐츠를 실시간 합성하여 대형 LED 디스플레이에 송출하는 체험형 미디어 아트입니다.
⠀
2) 작업 범위
⠀
- 실시간 영상처리 파이프라인 개발 (Python, OpenCV)
- 컴퓨터 비전 시스템 개발 (바디트래킹)
- LED 디스플레이 제어 시스템
- QR코드 사진 배포 웹 서버
- 현장 설치 및 운영
- 지원 환경: Windows PC, 대형 LED 디스플레이
⠀
3) 주요 업무
⠀
- **실시간 비전 시스템**: 바디트래킹 기반 손 제스처 실시간 인식. 관람객 위치 및 동작 실시간 트래킹. 객체 감지 및 추적 파이프라인 구축
- **실시간 영상 합성**: 관람객 영상과 문화유산 볼륨매트릭 콘텐츠 실시간 합성. 크로마키 및 마스킹 처리로 배경 제거. 인터랙티브 이펙트 실시간 적용
- **QR 사진 배포**: 관람객 체험 사진 자동 촬영 및 저장. QR코드 생성 및 모바일 다운로드 웹 페이지 연동. 서버 사진 관리 시스템
⠀
4) 주안점
⠀
- **실시간 성능 확보**: 카메라 입력부터 LED 출력까지 저지연 영상처리 파이프라인. 고해상도 영상 실시간 합성 및 렌더링
- **안정적인 현장 운영**: 전시 기간(10월 13-15일) 무중단 운영. 관람객 대기 모드, 촬영 모드 자동 전환
- **볼륨매트릭 콘텐츠 통합**: 문화유산 3D 볼륨매트릭 영상을 크로마키 배경으로 렌더링하여 실시간 합성
- **현장 설치 최적화**: 코엑스 Hall B 현장 카메라 위치 확정 및 LED월 배치 설계