플러스프로젝트 배경
정비 매뉴얼은 방대한데 정작 필요한 한 문단을 찾기가 어려웠다. 키워드가 조금만 달라도 검색이 빗나갔다. 사람이 문서를 뒤지는 시간을, 물어보면 근거와 함께 답이 나오는 방식으로 줄이고 싶었다. 여기도 데이터를 밖으로 내보낼 수 없는 온프레미스 환경이라, 클라우드 LLM은 애초에 후보가 아니었다.
프로젝트 성과
검색 정확도 92%→96%
채점 기준을 키워드 40%→60%로 더 엄격히 했는데도 정확도가 올랐다. 50문항 중 48건 정답.
연속 가동 161.9시간 (목표 24시간)
네 개 핵심 서비스를 1분마다 자체 점검했다. 목표치 24시간의 6.7배인 6.7일을 멈춤 없이 가동했고, 전체 기간 통합 가동률은 99.88%였다.
벡터 검색 21ms→15ms
pgvector top-k 검색을 최적화했다. 즉시 미리보기는 0.3초 안에 띄워 체감 지연을 줄였다.
클라우드 추론 비용 0
폐쇄망 로컬 GPU로 추론을 전량 처리한다(온프레미스 하드웨어는 별도). 같은 질의를 클라우드 API로 돌렸을 때 예상 비용과 대조해 이점을 보여준다.
데이터 정합성 805건 검증
질의응답 이력을 전수 자동 검증했다(검증 항목 2,415개). 재현 가능한 규칙 기반 채점을 공식 신호로 유지한다.
핵심 기능
시맨틱 검색·질의응답
질문과 의미가 가까운 문단을 pgvector로 찾아 로컬 LLM이 근거로 답한다. 출처를 함께 표기한다.
진행 단계
설계·데이터
2025.10
문서 임베딩과 pgvector 스키마를 설계하고 검색→LLM 응답 파이프라인을 구성했다.
프로젝트 상세
문서를 임베딩(문장을 의미가 담긴 숫자 벡터로 바꾸는 것)해 PostgreSQL의 pgvector(PostgreSQL에서 벡터 유사도 검색을 하게 해 주는 확장)에 넣고, 질문이 들어오면 의미가 가까운 문단을 먼저 찾은 다음 로컬 LLaMA가 그 문단을 근거로 한국어 답을 만든다. 답에는 어느 문서에서 왔는지 출처를 같이 붙인다. 클라우드 LLM은 폐쇄망이라 애초에 못 쓰고, 대신 'AI 비용' 화면에서 같은
