플러스프로젝트 배경
요모챗(YOMO Chat)은 메타버스 환경과 디지털 아바타 기술의 발전 속도에 발맞춰, 사용자 간의 자연스러운 실시간 커뮤니케이션을 가능하게 하는 새로운 형태의 웹 기반 인터랙티브 챗팅 시스템입니다. 기존 메신저나 화상회의 솔루션은 텍스트나 실사 기반 영상 중심으로 감정 표현이나 비언어적 소통에 한계가 있었으나, 요모챗은 이러한 한계를 극복하고자, 아바타를 통해 음성과 함께 얼굴 표정 및 상체 포즈를 실시간으
프로젝트 성과
칼만 필터 기반 표정/포즈 노이즈 제거 기술
칼만 필터(Kalman Filter)를 도입하여 성과 달성
WebRTC 송신 트래픽을 줄이기
74트래픽을 줄이기 위해 32비트 부동소수(f32)를 16비트/8비트로 압축하는 방법은 시각적으로 손실이 없어 보였습니다.
핵심 기능
핵심기능
사용자의 실시간 얼굴 표정 및 상체 포즈를 웹캠으로 인식한 후, Kalidokit으로 추출된 데이터를 칼만 필터로 안정화하여 GLTF 3D 아바타에 반영하고, WebRTC를 통해 음성과 함께 상대방에게 실시간 전
진행 단계
핵심 기능 개발
2024.11.
웹캠 기반 안면 인식과 포즈 데이터를 Kalidokit으로 추출한 뒤, 칼만 필터로 노이즈를 제거하고 WebRTC를 통해 VRM 아바타에 실시간 반영하는 핵심 기능을 구현하였습니다
프로젝트 상세
<백앤드> NestJS+PostgreSQL+TypeORM WebRTC 음성 챗팅 기능 이메일 인증 회원가입 <프론트앤드> Next.js Three.js: VRM 렌더링 및 3D 인터랙션 MediaPipe+Kalidokit : 브라우저 내 안면 인식 처리 후 VRM에 처리 WebRTC 실시간 보이스 채팅 (브라우저 간 연결) Tailwind CSS
