1) 문제점
- 문제 a) 인프라 파편화 및 관리 복잡성: AWS, NCP, VMware(vSphere, NSX), OpenStack 등 다수의 이기종 클라우드를 개별 콘솔에서 관리함에 따라 전체 자원 현황 파악이 어렵고 운영 복잡도가 매우 높음
* 해결 방안: 이기종 클라우드 통합 모델링 및 실시간 동기화 엔진 구축
→ 표준 스키마 설계: 각 클라우드 벤더별로 상이한 자원 속성(Attribute)과 API 명세를 분석하여, 이를 아우를 수 있는 공통 자원 모델을 설계하고 매핑했습니다.
→ 실시간 수집 파이프라인: 단순한 배치(Batch) 수집을 넘어, CloudTrail → Kafka로 이어지는 이벤트 스트리밍 파이프라인을 구축하여 리소스의 생성/변경/삭제 이벤트를 초 단위로 감지하고 중앙 DB에 동기화함으로써 물리적 파편화를 논리적 통합 뷰로 전환했습니다.

- 문제 b) 데이터 수집 지연 및 유실 위험: 대규모 클라우드 환경에서 발생하는 방대한 이벤트 로그를 기존 순차 탐색 방식으로 처리 시 병목 현상이 발생하고, 트래픽 급증 시 데이터 유실 가능성 존재
* 해결 방안: 수집 파이프라인 최적화 및 안정적인 파이프라인 구축
→ 탐색 알고리즘 개선: 이벤트 핸들러 탐색 로직을 기존 순차 탐색에서 Map 기반 상수 시간(O(1)) 탐색으로 변경하고, 메타데이터를 경량화하여 데이터 동기화 속도를 획기적으로 단축했습니다.
→ 무중단 파이프라인 설계: Kafka 기반의 비동기 메시지 처리 구조를 도입하여, 대량의 트래픽이 유입되는 상황에서도 데이터 유실(Loss) 없이 안정적으로 처리될 수 있는 고가용성 파이프라인을 확보했습니다.

- 문제 c) 비용 통제 및 가시성 부재: 클라우드 벤더별로 상이한 과금 체계와 분산된 데이터로 인해 전체 IT 예산에 대한 통합 모니터링과 비용 최적화(FinOps)가 불가능
* 해결 방안: 멀티 클라우드 FinOps 데이터 통합 및 예측 시스템 개발
→ 과금 데이터 정규화: AWS CUR, NCP Billing API, Private Cloud 단가표 등 서로 다른 형식을 가진 비용 데이터를 수집하여, 통일된 화폐 단위와 과금 기준으로 변환하는 정규화(Normalization) 로직을 개발했습니다.
→ 예측 및 알림 자동화: 수집된 과거 데이터를 기반으로 이번 달 예상 비용(Forecast)을 산출하는 알고리즘을 적용하고, 부서별로 설정한 예산 임계치(Budget Threshold) 도달 시 자동으로 경고 알림을 발송하여 능동적인 비용 통제가 가능하도록 했습니다.

2) 프로젝트 목표
- One-Platform 통합 관리: 멀티/하이브리드 클라우드 환경을 단일 플랫폼에서 제어하고 모니터링할 수 있는 중앙 집중형 관리 체계 구축
- 이기종 데이터 표준화 및 고성능 파이프라인: AWS, NCP, vSphere 등 벤더별로 상이한 API 규격을 단일 표준 모델로 통합하고, 대규모 이벤트 로그를 실시간으로 처리/적재하는 견고한 백엔드 시스템 구축
- 멀티 클라우드 FinOps 정산 시스템 구현: 벤더별로 상이한 과금 정책과 환율 데이터를 표준화된 로직으로 통합 처리하여, 실시간 비용 집계 및 예산 관리가 가능한 백엔드 정산 시스템 개발

3) 주안점
- 수집 엔진 성능 최적화: 대규모 이벤트 로그 탐색 로직을 상수 시간(O(1))으로 개선하고 메타데이터를 경량화하여 실시간 데이터 동기화 속도 획기적 단축
- 이기종 데이터 표준화 설계: 벤더별로 상이한 API와 자원 속성을 단일 표준 스키마로 추상화하여 향후 신규 클라우드 확장 시 유연하게 대응 가능한 아키텍처 수립
- 무중단/무손실 파이프라인: Kafka 기반의 비동기 메시지 처리 구조를 도입하여 대량의 트래픽 유입 시에도 데이터 유실 없이 안정적으로 처리되는 고가용성 파이프라인 확보

1) 포트폴리오 소개
- 서비스 카테고리: 엔터프라이즈 클라우드 통합 관리 플랫폼 (CMP - Cloud Management Platform)
- 메인 타깃: 대규모 멀티/하이브리드 클라우드 자원을 운영하는 공공기관(주요 고객사: 국방부, 건강보험공단 등) 및 대기업 IT 운영팀(신한은행, 하나은행 등)
- 소개: AWS, NCP, vSphere, OpenStack 등 복잡한 이기종 클라우드 환경을 단일 플랫폼에서 통합 제어하고, 자원 수집부터 비용 분석(FinOps)까지 전 과정을 자동화하는 백엔드 시스템 개발

2) 작업 범위
- 개발 참여 범위: Core Backend API 개발, 대용량 데이터 수집 파이프라인(ETL) 설계 및 구축, 관리자 페이지(Admin Console) 백엔드 로직 구현
- 지원 환경: 관리자 웹(PC)

3) 주요 업무
- 멀티 클라우드 자원 수집 엔진: AWS, NCP, vSphere, NSX 등의 자원(VM, Network, Storage)을 실시간 동기화하고 표준 스키마로 통합
- 이벤트 로그 파이프라인 구축: CloudTrail → S3 → Kafka를 연동하여 대규모 리소스 변경 이벤트를 실시간으로 추적 및 적재
- 인프라 제어 및 자동화: 클라우드 리소스 조작, NSX 로드밸런서 설정, IP Pool 관리 등 핵심 인프라 제어 기능 구현
- FinOps 비용 관리: 국가/벤더별 상이한 과금 체계를 통합 계산하고, 예산 초과 시 알림을 제공하는 비용 최적화 로직 구성

4) 주안점
- 대규모 데이터 처리 성능 최적화: 수집된 방대한 메타데이터 중 핵심 정보 위주로 경량화하고, 탐색 로직을 상수 시간(O(1)) 탐색으로 설계하여 수집 속도를 획기적으로 단축
- 이기종 클라우드 데이터 표준화: AWS, NCP, vSphere, NSX 등 클라우드 벤더별로 완전히 다른 API 규격과 자원 구조를 단일 표준 스키마로 추상화하여, 향후 신규 벤더(GCP, Azure 등) 추가 시에도 유연하게 확장 가능한 아키텍처 설계
- 데이터 파이프라인 안정성 확보: Kafka 기반의 비동기 메시지 처리 구조를 도입하여 대량의 로그 유입 시에도 시스템 부하를 분산시키고, 장애 발생 시에도 데이터 유실 없이 재처리가 가능한 신뢰성 있는 파이프라인 구축