React Native WebRTC 기반 자체 AI 얼굴 필터 네이티브 모듈 개발

[프로젝트 개요]
React Native 환경에서 운영 중인 영상통화 앱에 적용할 자체 AI 얼굴 필터 네이티브 모듈 개발

[프로젝트 배경 및 목표]
현재 당사는 React Native와 react-native-webrtc를 이용하여 영상통화 애플리케이션을 운영 중입니다. 서비스 고도화를 위해 영상통화 중 실시간으로 적용되는 AI 얼굴 필터(눈 크기, 코 크기, 피부, 입 크기, 입술 색깔, 턱 크기 조절) 기능 도입을 준비하고 있습니다. 상용 서드파티 SDK를 사용하지 않고, MediaPipe 등 On-Device AI 모델을 활용하여 직접 필터를 구현해야 합니다. 특히 react-native-webrtc의 RTCView는 커스텀 미디어 프레임 주입이 불가능하므로, 네이티브 단에서 카메라 프레임을 획득하고 필터를 적용한 뒤 WebRTC 비디오 트랙에 커스텀 소스로 주입하여 최종 렌더링하는 4단계 파이프라인을 구축하는 것이 본 프로젝트의 핵심 목표입니다.

[과업 범위]