플러스프로젝트 배경
기존 모니터링 시스템은 민감 정보와 일반 메트릭 데이터가 혼재되어 있었고, 시스템별 필드 구조가 달라 통합 조회와 운영 분석이 어려웠습니다. 대용량 로그가 지속적으로 유입되면서 디스크 사용량, 샤드 설계, 검색 성능, 접근 제어를 함께 개선해야 했습니다.
프로젝트 성과
Consumer Lag 40% 개선 및 1.1TB 이관
Kafka 설정 개선과 Python 기반 이관 검증으로 수집 병목과 과거 데이터 이전 문제를 해결했습니다.
핵심 기능
ECS 기반 통합 모니터링 파이프라인
여러 메트릭 소스를 공통 스키마로 정제해 Kibana 대시보드에서 통합 조회할 수 있게 했습니다.
진행 단계
클러스터 분석 및 수집 파이프라인 구축
2024.09
기존 인프라와 데이터 유입량을 분석하고 Kafka, Logstash, Elasticsearch 구조를 재설계했습니다.
프로젝트 상세
기존 ELK 기반 모니터링 환경의 보안성, 확장성, 데이터 표준화 문제를 개선하기 위해 Elasticsearch 클러스터 구조 재설계, Kafka-Logstash 기반 로그 수집 파이프라인 구축, ECS 기반 필드 표준화, Kibana 대시보드 개선을 수행한 프로젝트입니다. 기존 6노드 단일 클러스터를 비개인정보 클러스터와 개인정보 클러스터로 분리하고 Hot/Warm Tier 구조와 ILM 정책을 적용해
