플러스프로젝트 배경
다수 외부 API에서 데이터를 수집하여 DB에 적재하고, 가공된 정보를 실시간으로 제공하는 자동화 시스템이 필요했습니다. 1) 문제점 - API마다 인증 방식, 호출 제한, 데이터 포맷이 달라 통합 관리가 어려움 - 수작업 수집 시 누락, 지연, 중복 발생 - 대량 호출 시 차단 위험 (Rate Limit, IP 차단) 2) 프로젝트 목표 - API별 인증·호출·파싱을 통합하는 범용 수집 파
프로젝트 성과
8개 API 파이프라인 무인 운영
증권사·정부·YouTube·IoT 등 8개 API 자동 수집 파이프라인 구축, 24시간 무인 운영 달성
핵심 기능
범용 API 수집 엔진
API별 인증·호출·파싱을 통합 처리, 키 로테이션·Rate Limit 자동 회피
진행 단계
설계
2024.01.
API 인증 방식 조사, 데이터 흐름 설계, Raw/Processed 분리 구조 확정
프로젝트 상세
다수 외부 API를 연동하여 데이터를 수집하고, DB에 적재·가공한 뒤 맞춤 정보를 제공하는 자동화 파이프라인을 설계·구축·운영한 경험입니다. [주요 프로젝트] - 증권사 API 다수 연동 → 실시간 시세 수집 → DB 적재 → 스코어링/모니터링 - 정부 공공 API 5개 통합 → 공간 데이터 처리 → 서버리스 SaaS 서비스 - YouTube Data API → 메타데이터 관리 → 할당량 자동 추
