플러스프로젝트 배경
1) 문제점 - 로그가 서비스·서버마다 흩어져 장애 원인 파악이 느리고, 수집기 하나가 멈추면 로그가 유실됨. 2) 원인 - 로그 수집 경로가 단일 구성이라 단일 장애점이 있었고, 통합 검색·분석 도구가 없었음. 3) 목표 - Kafka 버퍼 + ELK 로 유실 없는 통합 수집·검색 기반을 만들고, 각 단계를 다중화해 고가용성 확보.
프로젝트 성과
단일 장애점 제거
Kafka 버퍼와 다중화 구성으로 수집 경로의 단일 장애점을 없애 로그 유실을 막았습니다.
고가용성 로그 플랫폼 정착
수집·저장 단계를 다중화해 한 노드 장애에도 로그 검색·분석이 유지되도록 했습니다.
Kibana · API 로 데이터 접근 개방
Kibana 대시보드와 API 를 통해 다른 팀·시스템이 로그 데이터를 활용하게 했습니다.
핵심 기능
Kafka 로그 버퍼링
로그를 Kafka 에 먼저 쌓아 수집 장애 시에도 유실을 막습니다.
진행 단계
요구사항 · 로그 소스 조사
2015.01.
서비스별 로그 형식과 양, 장애 분석에 필요한 항목을 조사했습니다.
프로젝트 상세
여러 서비스에 흩어진 로그를 한곳에 모아 검색·분석하는 사내 로그 플랫폼입니다. Kafka 로 로그를 받아 ELK Stack(Elasticsearch, Logstash, Kibana) 에 적재하고, Kibana 와 API 로 데이터를 조회하도록 구축했습니다. [배경] 쇼핑몰 호스팅·자동화 시스템 등 서비스가 늘면서 로그가 서버마다 흩어졌습니다. 장애 원인을 찾으려면 서버에 들어가 파일을 뒤져야 했고,
