1) 문제점
- 온라인 쇼핑에서 안경이나 액세서리는 직접 착용해보지 않으면 구매 결정이 어려움
- 오프라인 매장 방문 없이는 제품이 본인에게 어울리는지 확인할 방법이 없음
- 다양한 스타일을 시도해보려면 시간과 비용이 많이 소요됨
- 기존 2D 이미지 합성 방식은 자연스럽지 않고 정확도가 낮음
⠀
2) 프로젝트 목표
- **실시간 AR 트라이온 엔진 개발**: iOS/Android에서 동작하는 고품질 버추얼 트라이온 기술 구현
- **자연스러운 렌더링**: PBR 기반 사실적인 3D 렌더링으로 실제 착용감에 가까운 경험 제공
- **정밀한 트래킹**: 얼굴 움직임을 정확하게 추적하여 액세서리가 자연스럽게 따라오도록 구현
- **크로스플랫폼 지원**: iOS/Android 모두에서 동일한 사용자 경험 제공
⠀
3) 주안점
- 모바일 환경에서 60fps 이상의 실시간 성능 확보
- 다양한 디바이스와 그래픽 칩셋에서의 안정성 확보
- glTF 2.0 기반 표준 에셋 파이프라인으로 확장성 확보
- 메모리 최적화를 통한 저사양 디바이스 지원

**1) 포트폴리오 소개**
⠀
온라인 쇼핑 고객을 위한 AR 버추얼 트라이온(Virtual Try-On) 모바일 앱. 안경, 선글라스, 귀걸이 등 액세서리를 가상으로 착용해볼 수 있는 실시간 AR 경험을 제공합니다.
⠀
**2) 작업 범위**
⠀
- iOS 앱 개발 (Swift, Objective-C, ARKit, SceneKit)
- Android 앱 개발 (Java, Kotlin, ARCore)
- 실시간 AR 렌더링 엔진 개발 (바닥부터 신규 개발)
- 3D 에셋 파이프라인 구축
- 지원 환경: iOS, Android
⠀
**3) 주요 업무**
⠀
- **실시간 안면 트래킹**: ARKit/ARCore 기반 3D 얼굴 인식 및 추적. 안면부 2D 랜드마크와 3D 지오메트리 실시간 분석으로 액세서리가 얼굴 움직임에 자연스럽게 추종
- **PBR 기반 3D 렌더링**: Physically Based Rendering 파이프라인으로 안경과 액세서리의 재질감을 사실적으로 표현. IBL로 주변 환경 조명 반영
- **glTF 2.0 에셋 시스템**: 표준 3D 포맷 기반 로딩 시스템 구축. 안면 3D 지오메트리 중심 좌표 기준 상대 좌표 참조로 정확한 위치 매핑. Scene Graph 파싱으로 물리 객체 자동 생성
- **물리 엔진 구현**: 자체 물리 엔진으로 귀걸이 등 액세서리의 자연스러운 운동 시뮬레이션. 중력, 관성, 충돌 감지
- **크로스플랫폼 최적화**: iOS/Android 양 플랫폼에서 동일 품질과 성능 제공. CPU/GPU 컨텍스트 동기화, 메모리 관리, 프레임레이트 최적화
⠀
**4) 주안점**
⠀
- **60fps 실시간 성능**: 모바일 환경에서 60fps 이상 안정적 렌더링, 10ms 이내 레이턴시로 자연스러운 트래킹
- **디바이스 호환성**: 다양한 그래픽 칩셋과 저사양 디바이스에서도 안정적 동작
- **확장 가능한 에셋 파이프라인**: glTF 2.0 표준 포맷으로 다양한 브랜드 제품을 효율적으로 추가
- **메모리 최적화**: 메모리 누수 방지 및 효율적 관리로 저사양 모바일 기기 지원