플러스
볼륨매트릭 콘텐츠 뷰어 AR 어플리케이션 개발
4.50
계약 금액
30,000,000원
프로젝트 기간
74일
계약 일자
2020.10.21.
프로젝트 배경
1) 문제점
- 무형문화재 공연은 일회성이 강하고 시공간 제약으로 대중 접근성이 낮음
- 기존 2D 영상은 입체감과 현장감이 부족하여 문화유산의 가치를 충분히 전달하기 어려움
- 볼륨매트릭 비디오는 파일 용량이 매우 커서 (수 GB) 모바일 환경에서 실시간 재생이 어려움
- 기존 볼륨매트릭 포맷은 스트리밍에 최적화되어 있지 않아 네트워크 환경에서 사용 불가
⠀
2) 프로젝트 목표
- **AR 기반 문화유산 체험 플랫폼 구축**: 모바일과 AR 글래스에서 볼륨매트릭 콘텐츠를 실시간 감상할 수 있는 뷰어 개발
- **압축 기술 연구**: 볼륨매트릭 콘텐츠의 용량을 대폭 줄이면서도 품질을 유지하는 압축 기술 개발
- **실시간 렌더링**: 모바일 환경에서 30fps 이상의 안정적인 볼륨매트릭 비디오 재생
- **크로스플랫폼 지원**: iOS, Android, AR Glass 등 다양한 디바이스 지원
⠀
3) 주안점
- 볼륨매트릭 콘텐츠의 효율적인 압축 및 파일 포맷 설계
- 메쉬 지오메트리와 텍스처의 분리 압축 및 최적화
- 모바일 GPU에서의 실시간 디코딩 및 렌더링 성능 확보
- 네트워크 스트리밍을 고려한 청크 기반 로딩 시스템
- AR 환경에서의 자연스러운 공간 배치 및 상호작용
- 무형문화재 공연은 일회성이 강하고 시공간 제약으로 대중 접근성이 낮음
- 기존 2D 영상은 입체감과 현장감이 부족하여 문화유산의 가치를 충분히 전달하기 어려움
- 볼륨매트릭 비디오는 파일 용량이 매우 커서 (수 GB) 모바일 환경에서 실시간 재생이 어려움
- 기존 볼륨매트릭 포맷은 스트리밍에 최적화되어 있지 않아 네트워크 환경에서 사용 불가
⠀
2) 프로젝트 목표
- **AR 기반 문화유산 체험 플랫폼 구축**: 모바일과 AR 글래스에서 볼륨매트릭 콘텐츠를 실시간 감상할 수 있는 뷰어 개발
- **압축 기술 연구**: 볼륨매트릭 콘텐츠의 용량을 대폭 줄이면서도 품질을 유지하는 압축 기술 개발
- **실시간 렌더링**: 모바일 환경에서 30fps 이상의 안정적인 볼륨매트릭 비디오 재생
- **크로스플랫폼 지원**: iOS, Android, AR Glass 등 다양한 디바이스 지원
⠀
3) 주안점
- 볼륨매트릭 콘텐츠의 효율적인 압축 및 파일 포맷 설계
- 메쉬 지오메트리와 텍스처의 분리 압축 및 최적화
- 모바일 GPU에서의 실시간 디코딩 및 렌더링 성능 확보
- 네트워크 스트리밍을 고려한 청크 기반 로딩 시스템
- AR 환경에서의 자연스러운 공간 배치 및 상호작용
위시켓과 함께한 진행 과정
프로젝트 등록
지원자 모집
프로젝트 계약
계약 체결일
2020. 10. 21.
계약 금액
30,000,000원
계약 기간
74일
프로젝트 완료
(재)한국산업기술문화재단어려운 과제를 묵묵히 해결해 주셔서 대단히 감사드립니다. 프로젝트 진행 과정 중 발생한 이슈들을 공유하면서 해결해 주셨고, 앞으로도 해결 될
4.50평가 보기
프로젝트 성과
압축률 96% 달성
기존 2GB → 73MB로 압축, 모바일 환경에서의 접근성 획기적 개선
재생 성능 혁신
30fps로 2분 20초 이상 콘텐츠 프레임 드랍 없이 재생 (기존: 8-12fps, 30초 제한)
디바이스 범용성 확대
대용량 에셋 처리를 위해 고속 통신이 가능한 5G 통신 칩을 장착한 기기만 지원하던 한계를 극복하여 LTE 지원 포함 중저사양 스마트폰까지 지원
산업통상자원부 보도
KTV 산업뉴스에 프로젝트 성과 소개 https://www.youtube.com/watch?v=p3-19P9eIus
앱스토어 정식 출시
Apple App Store 및 Google Play Store에 K-Heritage AR 앱 정식 등록
핵심 기능
10단계 볼륨매트릭 제작 파이프라인 설계 및 압축 기술
Draco 메쉬 압축과 H.264/HEVC 텍스처 압축을 결합한 10단계 후처리 파이프라인을 설계했습니다. glTF Binary 포맷을 확장한 독자적인 패키징 방식을 개발했습니다.
실시간 3D 메쉬 렌더링 파이프라인 및 비디오-메쉬 동기화
iOS(SceneKit+Metal)와 Android(ARCore+GLES) 네이티브 렌더링 엔진을 구현했습니다. 트리플 버퍼링과 GPU 컨텍스트 동기화로 30fps 프레임 드롭 없이 비디오-메쉬 완벽 동기화를 달성
AR 평면 인식 및 콘텐츠 배치 시스템
ARKit/ARCore 평면 인식으로 볼륨매트릭 콘텐츠를 실시간 배치합니다. 공간 인식 모드와 카드 인식 모드를 지원하며, 핀치/스와이프/드래그 제스처로 크기, 회전, 위치를 조절할 수 있습니다.
Nreal AR Glass 플랫폼 포팅
Nreal Light AR 글래스용 뷰어를 Unity3D 기반으로 개발했습니다. 네이티브 앱의 압축 기술과 패키징 파이프라인을 활용하며, 핸즈프리 환경에 최적화된 UI/UX를 제공합니다.
관리자 웹 시스템 및 서버 개발
Node.js와 GCP 기반 풀스택 서버를 구축했습니다. Firebase 실시간 데이터베이스, 클라우드 스토리지, CDN을 통합하여 콘텐츠 관리, 사용자 분석, 앱 버전 관리 기능을 제공합니다.
프로젝트 상세
1) 포트폴리오 소개
⠀
문화유산 대중화를 위한 볼륨매트릭 AR 뷰어 플랫폼. 국립무형유산원의 무형문화재 공연(택견, 판소리, 처용무, 수문장 등)을 3D로 촬영하여 모바일과 AR 글래스에서 실시간 감상할 수 있는 서비스입니다.
⠀
2) 작업 범위
⠀
- iOS/Android 네이티브 앱 개발 (Swift, Kotlin, ARKit, ARCore)
- 볼륨매트릭 압축 기술 연구 및 개발
- 10단계 콘텐츠 제작 파이프라인 설계
- 실시간 렌더링 엔진 개발 (SceneKit + Metal, GLES)
- Nreal AR Glass 플랫폼 포팅 (Unity3D)
- 관리자 웹 시스템 개발 (Node.js, GCP)
- 지원 환경: iOS, Android, Nreal AR Glass
⠀
3) 주요 업무
⠀
- **10단계 볼륨매트릭 제작 파이프라인**: 8i 스튜디오 산출물 기반 커스텀 후처리. 렌더링(GLB/HVRS) → 프레임 분할 → 애니메이션 → Draco 메쉬 압축 → 텍스처 압축(H.264/HEVC) → 메쉬 검토/수정 → 색보정 → Photogrammetry 복원 → 에셋 매칭 → 최종 검증. 96% 압축률 달성 (2GB → 73MB)
- **실시간 GLB 시퀀스 렌더링**: iOS(SceneKit + Metal), Android(ARCore + GLES) 네이티브 렌더링 엔진 바닥부터 개발. 트리플 버퍼링과 GPU 컨텍스트 동기화로 비디오-메쉬 완벽 동기화. 프레임별 메쉬 로드/언로드로 메모리 효율화. 30fps 안정적 재생
- **AR 평면 인식 및 콘텐츠 배치**: ARKit/ARCore 평면 인식으로 볼륨매트릭 콘텐츠 실시간 배치. 공간 인식/카드 인식 모드 지원. 핀치/스와이프/드래그 제스처로 크기/회전/위치 조절
- **Nreal AR Glass 포팅**: Unity3D 기반 AR 글래스 뷰어 개발. 네이티브 앱의 압축 기술과 패키징 파이프라인 활용. 핸즈프리 환경 최적화 UI/UX
- **관리자 웹 시스템**: Node.js + GCP 풀스택 서버 구축. Firebase 실시간 DB, 클라우드 스토리지, CDN 통합. 콘텐츠 관리, 사용자 분석, 앱 버전 관리
⠀
4) 주안점
⠀
- **2세대 볼륨매트릭 뷰어**: 기존 한계(30초 제한, 8-12fps, 5G 하이엔드 전용) 극복. 2분+ 콘텐츠를 30fps로 중저사양 디바이스에서 재생
- **독자적 압축 기술**: Draco 메쉬 압축 + H.264/HEVC 텍스처 압축으로 96% 압축률. glTF Binary 확장 포맷으로 메쉬 시퀀스와 비디오를 단일 파일 패키징
- **실시간 렌더링 성능**: 모바일 GPU에서 30fps 실시간 디코딩 및 렌더링. 트리플 버퍼링과 컨텍스트 동기화
- **Photogrammetry 복원**: 메쉬 손실 부분을 포토그래메트리로 복원하고 에셋 매칭
- **멀티 플랫폼**: iOS/Android 기준 개발 후 Nreal AR Glass 포팅. 3개 플랫폼 동시 지원
⠀
문화유산 대중화를 위한 볼륨매트릭 AR 뷰어 플랫폼. 국립무형유산원의 무형문화재 공연(택견, 판소리, 처용무, 수문장 등)을 3D로 촬영하여 모바일과 AR 글래스에서 실시간 감상할 수 있는 서비스입니다.
⠀
2) 작업 범위
⠀
- iOS/Android 네이티브 앱 개발 (Swift, Kotlin, ARKit, ARCore)
- 볼륨매트릭 압축 기술 연구 및 개발
- 10단계 콘텐츠 제작 파이프라인 설계
- 실시간 렌더링 엔진 개발 (SceneKit + Metal, GLES)
- Nreal AR Glass 플랫폼 포팅 (Unity3D)
- 관리자 웹 시스템 개발 (Node.js, GCP)
- 지원 환경: iOS, Android, Nreal AR Glass
⠀
3) 주요 업무
⠀
- **10단계 볼륨매트릭 제작 파이프라인**: 8i 스튜디오 산출물 기반 커스텀 후처리. 렌더링(GLB/HVRS) → 프레임 분할 → 애니메이션 → Draco 메쉬 압축 → 텍스처 압축(H.264/HEVC) → 메쉬 검토/수정 → 색보정 → Photogrammetry 복원 → 에셋 매칭 → 최종 검증. 96% 압축률 달성 (2GB → 73MB)
- **실시간 GLB 시퀀스 렌더링**: iOS(SceneKit + Metal), Android(ARCore + GLES) 네이티브 렌더링 엔진 바닥부터 개발. 트리플 버퍼링과 GPU 컨텍스트 동기화로 비디오-메쉬 완벽 동기화. 프레임별 메쉬 로드/언로드로 메모리 효율화. 30fps 안정적 재생
- **AR 평면 인식 및 콘텐츠 배치**: ARKit/ARCore 평면 인식으로 볼륨매트릭 콘텐츠 실시간 배치. 공간 인식/카드 인식 모드 지원. 핀치/스와이프/드래그 제스처로 크기/회전/위치 조절
- **Nreal AR Glass 포팅**: Unity3D 기반 AR 글래스 뷰어 개발. 네이티브 앱의 압축 기술과 패키징 파이프라인 활용. 핸즈프리 환경 최적화 UI/UX
- **관리자 웹 시스템**: Node.js + GCP 풀스택 서버 구축. Firebase 실시간 DB, 클라우드 스토리지, CDN 통합. 콘텐츠 관리, 사용자 분석, 앱 버전 관리
⠀
4) 주안점
⠀
- **2세대 볼륨매트릭 뷰어**: 기존 한계(30초 제한, 8-12fps, 5G 하이엔드 전용) 극복. 2분+ 콘텐츠를 30fps로 중저사양 디바이스에서 재생
- **독자적 압축 기술**: Draco 메쉬 압축 + H.264/HEVC 텍스처 압축으로 96% 압축률. glTF Binary 확장 포맷으로 메쉬 시퀀스와 비디오를 단일 파일 패키징
- **실시간 렌더링 성능**: 모바일 GPU에서 30fps 실시간 디코딩 및 렌더링. 트리플 버퍼링과 컨텍스트 동기화
- **Photogrammetry 복원**: 메쉬 손실 부분을 포토그래메트리로 복원하고 에셋 매칭
- **멀티 플랫폼**: iOS/Android 기준 개발 후 Nreal AR Glass 포팅. 3개 플랫폼 동시 지원
