프로젝트 배경
1) 문제점
- 다수 운영사(Provider)의 사용자·투자·결제 데이터가 각각 분산되어 있어 통합 분석이 어려운 구조
- 기존 RDB 중심 분석 방식으로는 데이터 증가에 따른 성능 한계 발생
- 운영팀 및 기획자가 데이터 확인 시 개발자 의존도가 높은 환경
- 장애 및 이상 패턴 탐지가 늦어 운영 리스크가 누적
2) 목표
- 다수 Provider의 데이터를 안정적으로 수집·정제·분석할 수 있는 플랫폼 구축
- 대용량 데이터 환경에서도 성능 저하 없이 통계·집계 제공
- 운영팀과 기획자가 직접 활용 가능한 관리자 분석 환경 제공
- 실서비스 기준 장기 운영 가능한 구조 설계
3) 주안점
- 대용량 데이터 처리 전제를 고려한 ETL 및 분석 아키텍처 설계
- 데이터 중복·유실 방지를 위한 안정성 중심 설계
- 운영 중 장애 상황에서도 복구 가능한 구조
- 단기 구현보다 장기 유지보수성과 확장성 우선
- 다수 운영사(Provider)의 사용자·투자·결제 데이터가 각각 분산되어 있어 통합 분석이 어려운 구조
- 기존 RDB 중심 분석 방식으로는 데이터 증가에 따른 성능 한계 발생
- 운영팀 및 기획자가 데이터 확인 시 개발자 의존도가 높은 환경
- 장애 및 이상 패턴 탐지가 늦어 운영 리스크가 누적
2) 목표
- 다수 Provider의 데이터를 안정적으로 수집·정제·분석할 수 있는 플랫폼 구축
- 대용량 데이터 환경에서도 성능 저하 없이 통계·집계 제공
- 운영팀과 기획자가 직접 활용 가능한 관리자 분석 환경 제공
- 실서비스 기준 장기 운영 가능한 구조 설계
3) 주안점
- 대용량 데이터 처리 전제를 고려한 ETL 및 분석 아키텍처 설계
- 데이터 중복·유실 방지를 위한 안정성 중심 설계
- 운영 중 장애 상황에서도 복구 가능한 구조
- 단기 구현보다 장기 유지보수성과 확장성 우선
프로젝트 성과
대용량 데이터 분석 환경 구축
1억 건 이상 데이터 처리 전제의 ETL 및 분석 시스템을 구축하여 데이터 증가에도 안정적인 성능을 유지
운영팀 데이터 활용도 개선
운영자·관리자 대시보드를 통해 개발자 개입 없이 통계·집계·분석 가능 환경 제공
운영 리스크 감소
고수익 사용자, 이상 출금 패턴 등 리스크 탐지 로직을 통해 문제 상황 조기 인지 가능
장기 운영 가능한 구조 확보
무중단 인덱스 운영, 공통 템플릿 분리 등으로 유지보수 비용 및 운영 부담 감소
핵심 기능

Mysql parser
다수 Provider DB 대상 증분 데이터 수집 ETL 파이프라인
created_at / updated_at 기준 이중 윈도우 수집 구조
Cursor 기반 동기화로 중복 적재 및 장애 복구 대응
created_at / updated_at 기준 이중 윈도우 수집 구조
Cursor 기반 동기화로 중복 적재 및 장애 복구 대응

Elasticsearch
Elasticsearch 기반 대용량 통계·집계 API
월별·일별 인덱스 파티셔닝 및 무중단 운영 구조
사용자·메뉴·기간별 투자·수익·이익 분석
월별·일별 인덱스 파티셔닝 및 무중단 운영 구조
사용자·메뉴·기간별 투자·수익·이익 분석

Front
고수익 사용자 및 이상 출금 리스크 탐지 기능
React 기반 관리자·운영자 분석 대시보드
URL Query 기반 검색 상태 공유 및 유지
React 기반 관리자·운영자 분석 대시보드
URL Query 기반 검색 상태 공유 및 유지

System
node-cron 기반 데이터 동기화 자동화
AWS 환경 기반 실서비스 운영 및 배포
AWS 환경 기반 실서비스 운영 및 배포
진행 단계
요구사항 분석
2025.03.
Provider별 데이터 구조 및 업무 흐름 분석
운영팀·기획자의 분석 요구사항 정리
분석 대상 지표 및 범위 정의
운영팀·기획자의 분석 요구사항 정리
분석 대상 지표 및 범위 정의
시스템 설계
2025.03.
데이터 수집·분석 전체 아키텍처 설계
ETL 파이프라인 구조 및 데이터 흐름 정의
대용량 데이터 처리 전제의 시스템 구성 수립
ETL 파이프라인 구조 및 데이터 흐름 정의
대용량 데이터 처리 전제의 시스템 구성 수립
상세 설계
2025.04.
증분 수집 전략(created_at / updated_at 이중 윈도우) 설계
Cursor 기반 동기화 및 중복 방지 로직 설계
Elasticsearch 인덱스 파티셔닝 및 Alias 운영 구조 설계
Cursor 기반 동기화 및 중복 방지 로직 설계
Elasticsearch 인덱스 파티셔닝 및 Alias 운영 구조 설계
구현
2025.05.
MySQL 기반 ETL 파이프라인 개발
Elasticsearch 분석·집계 API 구현
관리자·운영자용 React 분석 대시보드 개발
커스텀 UI 컴포넌트 및 상태 관리 로직 구현
Elasticsearch 분석·집계 API 구현
관리자·운영자용 React 분석 대시보드 개발
커스텀 UI 컴포넌트 및 상태 관리 로직 구현
배포 및 운영
2025.10.
AWS 환경 배포 및 운영 환경 구성
node-cron 기반 데이터 동기화 자동화
로그 모니터링 및 장애 대응
운영 중 성능 개선 및 구조 보완
node-cron 기반 데이터 동기화 자동화
로그 모니터링 및 장애 대응
운영 중 성능 개선 및 구조 보완
프로젝트 상세
■ 플랫폼 개요
. 다수 운영사 Provider의 사용자·투자·결제 로그를 수집·분석하는 데이터 분석 플랫폼
. Elasticsearch 기반 실시간에 가까운 통계 및 고급 집계 대시보드 제공
. 운영팀 및 기획자가 즉시 활용 가능한 분석 환경 구축
■ 데이터 수집·ETL 파이프라인
. MySQL 기반 다수 Provider DB 대상 증분 수집 구조 설계
. created_at 및 updated_at 기준 이중 윈도우 수집 전략 적용
. Cursor 기반 동기화로 중복 적재 방지 및 장애 복구 대응
. 대량 Bulk 처리 및 batch concurrency 제어
■ Elasticsearch 설계·최적화
. 월별·일별 인덱스 파티셔닝 구조 설계
. Alias + write index 기반 무중단 운영 구조 구축
. 공통 Template 분리로 장기 운영 안정성 확보
. size=0 기반 aggregation API로 대용량 데이터 성능 최적화
■ 분석·집계 로직 구현
. 사용자·메뉴·기간별 투자 수익 이익 집계 API 개발
. Stake Bet Cart 구조 정규화 및 분석 지표 설계
. 고수익 사용자 이상 출금 패턴 등 리스크 탐지 로직 구현
■ 프론트엔드 분석 대시보드
. React 기반 운영자용 데이터 분석 대시보드 개발
. 차트와 테이블 결합 UI로 데이터 탐색 효율 개선
. 일 주 월 단위 시계열 데이터 시각화 구현
■ 커스텀 UI·상태 관리
. TxDropdown TxCoolTable 등 분석 전용 UI 컴포넌트 직접 설계
. 대용량 데이터 대응 정렬 가상 스크롤 구조 구현
. URL Query 기반 상태 관리 시스템 설계
. 새로고침 공유 가능한 검색 상태 유지 구조
■ 운영 자동화·안정성
. node cron 기반 데이터 동기화 스케줄러 구축
. CLI 파라미터 기반 실행 환경 분리
. Graceful shutdown 에러 핸들링 로깅 구조 정비
■ 인프라·운영 환경 AWS
. AWS EC2 기반 백엔드 서비스 운영
. S3 기반 정적 프론트엔드 호스팅 및 버전 관리 배포
. 환경별 설정 분리(dev prod) 및 운영 환경 구성
. 로그 데이터 안정적 저장 및 대량 데이터 처리 환경 운영
. 실서비스 트래픽 기준 성능·안정성 고려한 운영 경험
. 다수 운영사 Provider의 사용자·투자·결제 로그를 수집·분석하는 데이터 분석 플랫폼
. Elasticsearch 기반 실시간에 가까운 통계 및 고급 집계 대시보드 제공
. 운영팀 및 기획자가 즉시 활용 가능한 분석 환경 구축
■ 데이터 수집·ETL 파이프라인
. MySQL 기반 다수 Provider DB 대상 증분 수집 구조 설계
. created_at 및 updated_at 기준 이중 윈도우 수집 전략 적용
. Cursor 기반 동기화로 중복 적재 방지 및 장애 복구 대응
. 대량 Bulk 처리 및 batch concurrency 제어
■ Elasticsearch 설계·최적화
. 월별·일별 인덱스 파티셔닝 구조 설계
. Alias + write index 기반 무중단 운영 구조 구축
. 공통 Template 분리로 장기 운영 안정성 확보
. size=0 기반 aggregation API로 대용량 데이터 성능 최적화
■ 분석·집계 로직 구현
. 사용자·메뉴·기간별 투자 수익 이익 집계 API 개발
. Stake Bet Cart 구조 정규화 및 분석 지표 설계
. 고수익 사용자 이상 출금 패턴 등 리스크 탐지 로직 구현
■ 프론트엔드 분석 대시보드
. React 기반 운영자용 데이터 분석 대시보드 개발
. 차트와 테이블 결합 UI로 데이터 탐색 효율 개선
. 일 주 월 단위 시계열 데이터 시각화 구현
■ 커스텀 UI·상태 관리
. TxDropdown TxCoolTable 등 분석 전용 UI 컴포넌트 직접 설계
. 대용량 데이터 대응 정렬 가상 스크롤 구조 구현
. URL Query 기반 상태 관리 시스템 설계
. 새로고침 공유 가능한 검색 상태 유지 구조
■ 운영 자동화·안정성
. node cron 기반 데이터 동기화 스케줄러 구축
. CLI 파라미터 기반 실행 환경 분리
. Graceful shutdown 에러 핸들링 로깅 구조 정비
■ 인프라·운영 환경 AWS
. AWS EC2 기반 백엔드 서비스 운영
. S3 기반 정적 프론트엔드 호스팅 및 버전 관리 배포
. 환경별 설정 분리(dev prod) 및 운영 환경 구성
. 로그 데이터 안정적 저장 및 대량 데이터 처리 환경 운영
. 실서비스 트래픽 기준 성능·안정성 고려한 운영 경험














