플러스프로젝트 배경
10개 시스템 로그가 서로 다른 포맷으로 분산되어 있었고, 통합 관제 체계가 부족해 장애 탐지와 원인 분석이 수동으로 이루어지고 있었습니다. 외부 API와 SaaS 사용이 제한된 폐쇄망 환경에서 내부망만으로 운영 가능한 수집, 저장, 분석, 검색 구조가 필요했습니다.
프로젝트 성과
Consumer Lag 30% 감소 및 조회 속도 40% 향상
Topic 병목 분석과 인덱스 구조 개선으로 지연을 줄이고 대시보드 조회 성능을 높였습니다.
핵심 기능
정합성 검증 및 운영지원 RAG
Cross-Check, Backfill, k-NN 검색을 연결해 로그 통계 신뢰성과 운영 지원 기능을 높였습니다.
진행 단계
로그 파이프라인 및 RAG API 구현
2024.12
Kafka, Logstash, OpenSearch 수집 구조와 운영 매뉴얼 검색형 RAG API를 구축했습니다.
프로젝트 상세
금융권 폐쇄망 환경에서 대내외 10개 시스템 로그를 통합 수집·분석하기 위한 Kafka, Logstash, OpenSearch 기반 로그 모니터링 솔루션 구축 프로젝트입니다. 단순 임계치 기반 수동 모니터링을 개선하기 위해 실시간 로그 파이프라인, 이상징후 탐지, 시계열 예측, 운영 매뉴얼 검색형 RAG API를 함께 구성했습니다. 저는 Logstash 전처리, OpenSearch 적재·조회 구조 개선,
