플러스프로젝트 배경
부서마다 예약·회원·정산·커머스 지표를 개별 추출하면서 기준이 달랐고, 운영 MongoDB에 반복적인 분석 쿼리를 실행할 위험도 있었습니다. 운영 DB 부하를 낮추면서 동일한 기준의 지표를 제공하기 위해 사전 집계·증분 적재·분석 테이블·모니터링으로 이어지는 데이터 파이프라인을 구축했습니다.
프로젝트 성과
월 GCP 운영 비용 $100 미만 유지
MongoDB 1차 집계로 적재 데이터를 약 90% 줄이고 BigQuery 쿼리를 최적화해 전사 BI 환경을 월 $100 미만으로 운영했습니다.
20개 전사 지표 자동 집계
예약·취소·정산·쿠폰·회원·커머스·공실률 등 20개 지표를 동일한 기준으로 정기 집계했습니다.
핵심 기능
20개 지표 사전 집계
MongoDB Aggregation으로 예약·정산·회원·커머스 지표를 생성하고 적재 데이터를 약 90% 축소
진행 단계
지표 정의·집계 모델 설계
2024.08
부서별 요구사항을 바탕으로 예약·정산·회원·커머스 등 20개 지표와 집계 기준 정의
프로젝트 상세
1. 전사 지표 집계 모델 구축 예약·취소·정산·쿠폰·회원·커머스·공실률 등 20개 MongoDB 집계 작업을 구현했습니다. 원천 데이터에서 필요한 지표만 1차 집계해 BigQuery 적재 대상 데이터를 약 90% 줄였습니다. 2. Dataflow 기반 증분 적재 MongoDB 집계 결과를 Dataflow를 통해 BigQuery staging 영역에 증분 적재하고, Scheduled Query로 JS
