플러스프로젝트 배경
담당자가 매일 오전을 데이터 수집과 정리에 쓰고 있었고, 사람이 하다 보니 누락과 오타가 반복됐습니다. 수집·정리·보고를 사람 손에서 떼어내는 것이 목표였습니다.
프로젝트 성과
수기 수집 업무 제거
매일 반복하던 수집·정리 작업을 정해진 시각에 자동 실행되도록 바꿔, 담당자가 결과만 확인하면 되는 상태로 만들었습니다. 수집 건수가 평소보다 급감하면 알림이 오도록 해 조용한 실패도 잡아냅니다.
핵심 기능
스케줄 기반 무인 수집·적재
정적·동적 페이지를 모두 수집하고 사이트별 규칙을 설정으로 분리해, 대상 사이트 구조가 바뀌어도 코드 수정 없이 대응합니다. 실패 시 재시도와 수집 이력 로그를 남기고 결과는 엑셀과 DB에 자동 적재합니다.
프로젝트 상세
사람이 매일 여러 사이트를 돌며 복사·붙여넣기 하던 수집 업무를 자동화했습니다. 정해진 시각에 데이터를 모아 정리하고, 결과를 엑셀과 DB에 남기며 이상이 있으면 알림을 보내는 시스템입니다. [담당 범위] 어떤 데이터를 무슨 주기로 모을지 정의하는 단계부터 크롤러 개발, 서버 스케줄링, 운영 안정화까지 전담했습니다. [주요 구현] · 정적 페이지(HTML 파싱)와 동적 페이지(브라우저 자동화)
