플러스프로젝트 배경
1) 예상 리스크 및 대응 계획 - 쿠팡·네이버쇼핑·11번가 각 플랫폼의 DOM 구조와 JavaScript 렌더링 방식이 달라 Playwright 실행 타이밍과 셀렉터를 플랫폼별로 별도 설계할 계획입니다 - 이커머스 사이트의 bot 탐지 정책 대응을 위해 User-Agent·헤더 로테이션 및 요청 간격 지터 로직을 크롤러 레이어에 구현할 계획입니다 - 상품별 독립 스케줄러가 동시에 실행될 때 MongoD
프로젝트 성과
3개 플랫폼 크롤러 어댑터 패턴 설계
쿠팡·네이버쇼핑·11번가의 DOM 파싱 로직을 공통 인터페이스로 추상화하여 신규 플랫폼 추가 시 어댑터 클래스만 추가하면 되는 확장 구조 구축
Strategy 패턴 알림 조건 판정 엔진 구현
하락률·절대가·최저가 3가지 조건 타입을 Strategy 클래스로 분리하여 기존 로직 수정 없이 신규 조건 확장이 가능한 구조 설계
MongoDB Aggregation 기반 가격 집계 쿼리 설계
$group·$bucket을 활용한 기간별 최저·최고·평균 가격 집계 파이프라인을 설계하여 서버 집계 후 최소 데이터만 전송하는 구조 구현
FastAPI WebSocket + React Query 실시간 연동
크롤링 완료 이벤트를 WebSocket으로 푸시하고 React Query 캐시를 즉시 무효화하는 연동 구조를 설계하여 대시보드 실시간 갱신 구현
22개 API 엔드포인트 OpenAPI 문서화
FastAPI 자동 OpenAPI 스펙 생성을 활용하여 REST + WebSocket 엔드포인트 22개의 요청·응답 스키마를 Swagger UI로 문서화
핵심 기능
가격 모니터링 대시보드
등록 상품의 플랫폼별 현재 가격, 최근 가격 변동 추이, 알림 발생 현황을 한 화면에서 확인하는 메인 대시보드
진행 단계
플랫폼별 크롤러 어댑터 프로토타입
2026.03.
쿠팡·네이버쇼핑·11번가 상품 페이지 DOM 구조 분석 및 BeautifulSoup+Playwright 기반 파싱 어댑터 클래스 프로토타입 구현
프로젝트 상세
1) 포트폴리오 소개 쿠팡·네이버쇼핑·11번가 등 복수의 이커머스 플랫폼에서 대상 상품의 가격 변동을 자동 수집하고 경쟁사 가격 흐름을 분석하는 웹 기반 모니터링 시스템 구현 데모입니다. Python FastAPI 크롤링 엔진과 MongoDB를 결합하여 조건 기반 알림, 가격 이력 시각화, 상품 그룹 관리 기능을 풀스택으로 설계 및 구현합니다. 본 프로젝트 착수 시 이 데모를 기반으로 빠르게 개발을 진행할
