안녕하세요.
담당 매니저 김수민입니다.
기간제(상주) 프로젝트 희망 근무 시작일을
등록해 주시면, 파트너님의 일정에 맞는
적합한 프로젝트를 추천해 드려요.
플러스
대용량 운영 데이터를 분석하는 관리자·운영자 플랫폼
개발
관제ㆍ모니터링, 통계ㆍ대시보드, 데이터 분석ㆍBI
프로젝트 배경
1) 문제점
- 다수 운영사(Provider)의 사용자·투자·결제 데이터가 각각 분산되어 있어 통합 분석이 어려운 구조
- 기존 RDB 중심 분석 방식으로는 데이터 증가에 따른 성능 한계 발생
- 운영팀 및 기획자가 데이터 확인 시 개발자 의존도가 높은 환경
- 장애 및 이상 패턴 탐지가 늦어 운영 리스크가 누적

2) 목표
- 다수 Provider의 데이터를 안정적으로 수집·정제·분석할 수 있는 플랫폼 구축
- 대용량 데이터 환경에서도 성능 저하 없이 통계·집계 제공
- 운영팀과 기획자가 직접 활용 가능한 관리자 분석 환경 제공
- 실서비스 기준 장기 운영 가능한 구조 설계

3) 주안점
- 대용량 데이터 처리 전제를 고려한 ETL 및 분석 아키텍처 설계
- 데이터 중복·유실 방지를 위한 안정성 중심 설계
- 운영 중 장애 상황에서도 복구 가능한 구조
- 단기 구현보다 장기 유지보수성과 확장성 우선
프로젝트 성과
대용량 데이터 분석 환경 구축
1억 건 이상 데이터 처리 전제의 ETL 및 분석 시스템을 구축하여 데이터 증가에도 안정적인 성능을 유지
운영팀 데이터 활용도 개선
운영자·관리자 대시보드를 통해 개발자 개입 없이 통계·집계·분석 가능 환경 제공
운영 리스크 감소
고수익 사용자, 이상 출금 패턴 등 리스크 탐지 로직을 통해 문제 상황 조기 인지 가능
장기 운영 가능한 구조 확보
무중단 인덱스 운영, 공통 템플릿 분리 등으로 유지보수 비용 및 운영 부담 감소
핵심 기능
Mysql parser
다수 Provider DB 대상 증분 데이터 수집 ETL 파이프라인
created_at / updated_at 기준 이중 윈도우 수집 구조
Cursor 기반 동기화로 중복 적재 및 장애 복구 대응
Elasticsearch
Elasticsearch 기반 대용량 통계·집계 API
월별·일별 인덱스 파티셔닝 및 무중단 운영 구조
사용자·메뉴·기간별 투자·수익·이익 분석
Front
고수익 사용자 및 이상 출금 리스크 탐지 기능
React 기반 관리자·운영자 분석 대시보드
URL Query 기반 검색 상태 공유 및 유지
System
node-cron 기반 데이터 동기화 자동화
AWS 환경 기반 실서비스 운영 및 배포
진행 단계
요구사항 분석
2025.03.
Provider별 데이터 구조 및 업무 흐름 분석
운영팀·기획자의 분석 요구사항 정리
분석 대상 지표 및 범위 정의
시스템 설계
2025.03.
데이터 수집·분석 전체 아키텍처 설계
ETL 파이프라인 구조 및 데이터 흐름 정의
대용량 데이터 처리 전제의 시스템 구성 수립
상세 설계
2025.04.
증분 수집 전략(created_at / updated_at 이중 윈도우) 설계
Cursor 기반 동기화 및 중복 방지 로직 설계
Elasticsearch 인덱스 파티셔닝 및 Alias 운영 구조 설계
구현
2025.05.
MySQL 기반 ETL 파이프라인 개발
Elasticsearch 분석·집계 API 구현
관리자·운영자용 React 분석 대시보드 개발
커스텀 UI 컴포넌트 및 상태 관리 로직 구현
배포 및 운영
2025.10.
AWS 환경 배포 및 운영 환경 구성
node-cron 기반 데이터 동기화 자동화
로그 모니터링 및 장애 대응
운영 중 성능 개선 및 구조 보완
프로젝트 상세
■ 플랫폼 개요
. 다수 운영사 Provider의 사용자·투자·결제 로그를 수집·분석하는 데이터 분석 플랫폼
. Elasticsearch 기반 실시간에 가까운 통계 및 고급 집계 대시보드 제공
. 운영팀 및 기획자가 즉시 활용 가능한 분석 환경 구축

■ 데이터 수집·ETL 파이프라인
. MySQL 기반 다수 Provider DB 대상 증분 수집 구조 설계
. created_at 및 updated_at 기준 이중 윈도우 수집 전략 적용
. Cursor 기반 동기화로 중복 적재 방지 및 장애 복구 대응
. 대량 Bulk 처리 및 batch concurrency 제어

■ Elasticsearch 설계·최적화
. 월별·일별 인덱스 파티셔닝 구조 설계
. Alias + write index 기반 무중단 운영 구조 구축
. 공통 Template 분리로 장기 운영 안정성 확보
. size=0 기반 aggregation API로 대용량 데이터 성능 최적화

■ 분석·집계 로직 구현
. 사용자·메뉴·기간별 투자 수익 이익 집계 API 개발
. Stake Bet Cart 구조 정규화 및 분석 지표 설계
. 고수익 사용자 이상 출금 패턴 등 리스크 탐지 로직 구현

■ 프론트엔드 분석 대시보드
. React 기반 운영자용 데이터 분석 대시보드 개발
. 차트와 테이블 결합 UI로 데이터 탐색 효율 개선
. 일 주 월 단위 시계열 데이터 시각화 구현

■ 커스텀 UI·상태 관리
. TxDropdown TxCoolTable 등 분석 전용 UI 컴포넌트 직접 설계
. 대용량 데이터 대응 정렬 가상 스크롤 구조 구현
. URL Query 기반 상태 관리 시스템 설계
. 새로고침 공유 가능한 검색 상태 유지 구조

■ 운영 자동화·안정성
. node cron 기반 데이터 동기화 스케줄러 구축
. CLI 파라미터 기반 실행 환경 분리
. Graceful shutdown 에러 핸들링 로깅 구조 정비

■ 인프라·운영 환경 AWS
. AWS EC2 기반 백엔드 서비스 운영
. S3 기반 정적 프론트엔드 호스팅 및 버전 관리 배포
. 환경별 설정 분리(dev prod) 및 운영 환경 구성
. 로그 데이터 안정적 저장 및 대량 데이터 처리 환경 운영
. 실서비스 트래픽 기준 성능·안정성 고려한 운영 경험

비슷한 프로젝트를 준비 중이라면?
위시켓 매니저와 상담하세요.

참여 개발사와 미팅 연결

프로젝트 1:1 컨설팅 제공

무료로 프로젝트 등록하기

작업한 파트너 프로필 보기

co******
개발 · 개인

프로젝트 정보

참여 기간
2025.03. ~ 2026.01.
참여율
참여율이 100%인 프로젝트는 해당 파트너님이 온전히 작업한 결과물입니다.
외부 공동 작업의 경우 기여도에 따라 참여율이 달라지며 역할, 프로젝트 설명을 통해 업무 분야 및 참여 범위를 확인할 수 있습니다.
100%
역할
관련 기술
TypeScript
Node.js
Webpack
MySQL
React
Elasticsearch