플러스프로젝트 배경
다수의 해외 데이터 소스에 분산된 정보를 사용자가 직접 여러 사이트를 돌며 확인해야 하는 불편함이 있었습니다. 데이터 형식도 사이트마다 달라 비교·분석이 어렵고, 국내 사용자에게는 언어 장벽까지 존재했습니다. 이러한 문제를 해결하기 위해, 분산된 해외 데이터를 자동으로 수집·표준화하여 한국어 기반의 직관적인 UI로 통합 제공하는 정보 플랫폼 구축을 목표로 프로젝트를 진행했습니다.
프로젝트 성과
28개 외부 데이터 소스 통합 수집 자동화 파이프라인 구축
- 일일 50,000건+ 데이터 자동 수집, 에러율 0.1% 미만 달성
- Redis 캐싱 적용으로 API 평균 응답 속도 0.24초 달성
- 페이지 로딩 속도 1.2초 이내
- Redis 캐싱 적용으로 API 평균 응답 속도 0.24초 달성
- 페이지 로딩 속도 1.2초 이내
핵심 기능
하이브리드 데이터 수집 엔진
공식 API 연동과 Scrapy 웹 스크래핑을 병행하는 이중 수집 구조. 28개 외부 소스에서 15초 간격 자동 수집, 일일 5만건 처리, 에러율 0.1% 미만
진행 단계
기획 및 요구사항 정의
2025.01.
데이터 소스 28개 사이트 분석, 요구사항 정의서·화면 설계서·DB 스키마 설계 완료. 클라이언트와 주 2회 미팅으로 요구사항 확정
프로젝트 상세
■ 프로젝트 개요 여러 외부 데이터 소스에 분산된 정보를 실시간으로 수집·통합하여, 사용자에게 직관적이고 세련된 UI로 제공하는 정보 플랫폼을 구축하였습니다. ■ 주요 기능 1) 데이터 수집 파이프라인 - 공식 REST API 연동을 통한 구조화 데이터 실시간 수집 (15초 간격 갱신) - Scrapy + BeautifulSoup 기반 웹 스크래핑으로 비정형 데이터 수집 - Celery 비동기
