플러스프로젝트 배경
1) 문제점 . - 기존 키오스크/챗봇의 한계 : 텍스트 위주의 안내 시스템은 딱딱하고 인간적인 상호작용이 부족하여 고객 몰입도가 낮음. . - 개인정보 및 보안 우려 : 민감한 사내 데이터나 고객 정보를 클라우드 API로 전송해야 하는 기존 AI 솔루션은 보안상 도입이 꺼려짐. . - 유지보수의 어려움 : 서비스 변경 시마다 개발자가 직접 데이터를 재가공해야 하거나, 아바타 및 음성 커스터마이징
프로젝트 성과
보안성이 보장된 로컬 기반 RAG 파이프라인 구축
임베딩(KoE5)과 벡터 검색(Faiss), 음성 변환(RVC) 등 핵심 모듈을 로컬 서버에서 구동하도록 설계하여 외부 데이터 유출 가능성을 원천 차단했습니다.
지식 데이터 관리 자동화로 운영 효율 개선
기존의 수동 데이터베이스화 과정을 제거하고, 폴더 내 파일(PDF, TXT 등) 변경을 실시간 감지하여 벡터 DB를 자동 갱신하는 하여, 비개발자(매장 관리자)도 즉각적인 업데이트 가능하게 했습니다.
오픈소스 활용을 통한 고품질 커스텀 보이스 및 아바타 구현
상용 TTS의 기계적인 톤을 극복하기 위해 TTS에 RVC 기술을 결합하여, 특정 캐릭터나 브랜드 이미지에 맞는 '페르소나 보이스'를 비용 없이 생성할 수 있습니다.
핵심 기능
실시간 음성-제스처 동기화
사용자의 음성을 인식(STT)하고 답변을 생성하는 과정에서, 답변의 맥락(긍정/부정/인사 등)을 파악하여 3D 아바타(Three.js/VRM)가 적절한 표정과 손짓을 자동으로 수행하며 답변합니다.
프로젝트 상세
1) 포트폴리오 소개 음성 기반 한국어 질의응답과 3D 아바타 인터랙션이 가능한 AI 어시스턴트를 구축한 프로젝트입니다. 이 시스템은 매장 직원, 무인상담원, 전시 안내용 등 실제 사용 환경에서 활용될 수 있도록 설계되었으며, 보안성과 응답 품질을 모두 고려한 로컬 운용 가능 AI 시스템입니다. • 타깃: 한국어 상담/응대가 필요한 매장 운영자, 브랜드 전시 부스, 키오스크 등 • 카테고리: 인공지능
