플러스프로젝트 배경
1) 문제 상황 사내 문서가 여러 저장소에 흩어져 있어 필요한 정보를 찾기 어렵습니다. 상용 AI API로 문서 검색을 구축하면 문서 본문이 외부로 전송되어 보안 규정을 만족하지 못하고, 문서량에 비례해 비용이 증가합니다. LLM이 검색 결과에 없는 내용을 생성하면 사용자가 사실 여부를 확인할 방법이 없습니다. 제품 이미지에 담긴 정보(라벨·성분·용량)는 텍스트 검색으로 접근할 수 없습니다.
프로젝트 성과
외부 API 의존 제거
로컬 LLM·임베딩·비전 모델만으로 전체 파이프라인을 구성해 API 키 없이 오프라인 동작, 문서 외부 전송 경로 차단
Hybrid Search 구현
BGE Dense Vector 코사인 유사도와 BM25 어휘 검색을 RRF로 결합해 정확 일치 질의와 의미 유사 질의를 함께 처리
출처 검증 기반 답변
인라인 출처 표기를 강제하고 인용 출처가 실제 검색 결과에 존재하는지 검증하는 단계를 추가해 환각 답변 차단
5단계 멀티모달 파이프라인 통합
YOLO 객체 탐지 → OCR 파싱 → CLIP 이미지 유사도 → 벡터 검색 → LLM 답변을 단일 흐름으로 연결
멀티테넌트 데이터 격리 -평가·회귀 감지 자동화
모든 벡터 쿼리에 서버 측 tenant_id 필터링을 강제하고 API Key SHA-256 해싱·RBAC·감사 로그 체계 구축
5개 평가 스위트를 baseline과 비교해 성능 저하를 자동 감지, 단계별 실행 시간
5개 평가 스위트를 baseline과 비교해 성능 저하를 자동 감지, 단계별 실행 시간
핵심 기능
Hybrid Semantic Search
BGE 임베딩 코사인 유사도와 BM25를 RRF로 결합. 서버 측 tenant_id 필터링으로 테넌트 간 검색 결과 격리
진행 단계
아키텍처 설계
2025.09.
로컬 전용 구성 요건 정의, PostgreSQL pgvector 기반 벡터 저장소 및 멀티테넌트 스키마 설계
프로젝트 상세
사내 문서와 제품 이미지를 하나의 검색 대상으로 통합한 멀티모달 RAG 플랫폼입니다. 외부 AI API를 사용하지 않고 로컬 모델만으로 동작하도록 설계해, 문서를 외부로 전송할 수 없는 환경에서도 운영 가능합니다. 로컬 전용 설계 상용 AI API로 문서 검색을 구축하면 문서 본문이 외부 서버로 전송되고 문서량에 비례해 비용이 늘어납니다. 로컬 LLM과 임베딩·비전 모델을 조합해 네트워크 연결 없이 전
