플러스프로젝트 배경
1) 문제점 - 다수 운영사(Provider)의 사용자·투자·결제 데이터가 각각 분산되어 있어 통합 분석이 어려운 구조 - 기존 RDB 중심 분석 방식으로는 데이터 증가에 따른 성능 한계 발생 - 운영팀 및 기획자가 데이터 확인 시 개발자 의존도가 높은 환경 - 장애 및 이상 패턴 탐지가 늦어 운영 리스크가 누적 2) 목표 - 다수 Provider의 데이터를 안정적으로 수집·정제·분석할
프로젝트 성과
대용량 데이터 분석 환경 구축
1억 건 이상 데이터 처리 전제의 ETL 및 분석 시스템을 구축하여 데이터 증가에도 안정적인 성능을 유지
운영팀 데이터 활용도 개선
운영자·관리자 대시보드를 통해 개발자 개입 없이 통계·집계·분석 가능 환경 제공
운영 리스크 감소
고수익 사용자, 이상 출금 패턴 등 리스크 탐지 로직을 통해 문제 상황 조기 인지 가능
장기 운영 가능한 구조 확보
무중단 인덱스 운영, 공통 템플릿 분리 등으로 유지보수 비용 및 운영 부담 감소
핵심 기능
Mysql parser
다수 Provider DB 대상 증분 데이터 수집 ETL 파이프라인
created_at / updated_at 기준 이중 윈도우 수집 구조
Cursor 기반 동기화로 중복 적재 및 장애 복구 대응
created_at / updated_at 기준 이중 윈도우 수집 구조
Cursor 기반 동기화로 중복 적재 및 장애 복구 대응
진행 단계
요구사항 분석
2025.03.
Provider별 데이터 구조 및 업무 흐름 분석
운영팀·기획자의 분석 요구사항 정리
분석 대상 지표 및 범위 정의
운영팀·기획자의 분석 요구사항 정리
분석 대상 지표 및 범위 정의
프로젝트 상세
■ 플랫폼 개요 . 다수 운영사 Provider의 사용자·투자·결제 로그를 수집·분석하는 데이터 분석 플랫폼 . Elasticsearch 기반 실시간에 가까운 통계 및 고급 집계 대시보드 제공 . 운영팀 및 기획자가 즉시 활용 가능한 분석 환경 구축 ■ 데이터 수집·ETL 파이프라인 . MySQL 기반 다수 Provider DB 대상 증분 수집 구조 설계 . created_at 및 updated
