플러스프로젝트 배경
시장 데이터 수집은 많이 긁는 것보다, 원본 보존과 사람이 검토할 큐를 분리하는 것이 중요합니다. 이 프로젝트는 전체 데이터는 JSON/CSV로 보존하고, ClickUp에는 요약과 후보만 올리는 구조로 정리했습니다.
프로젝트 성과
4,952페이지 / 49,517건 수집
Wishket 외주 프로젝트 전체 시장 데이터를 수집해 중복 제거, 요약, 검토 큐까지 연결했습니다.
핵심 기능
대량 수집 결과 검증
수집 페이지 수, 고유 프로젝트 수, 에러 수, ClickUp 생성 수를 별도로 확인해 운영자가 결과를 검토할 수 있게 했습니다.
진행 단계
수집-요약-검토 큐 분리
2026.07.
페이지 수집, 정규화, CSV/JSON 저장, ClickUp 검토 태스크 생성을 나누어 재실행과 검증이 가능하게 만들었습니다.
프로젝트 상세
1) 포트폴리오 소개 Wishket 외주 시장 데이터를 검색 조건 확인부터 JSON 수집, 중복 제거, CSV/요약 생성, ClickUp 검토 큐 생성까지 연결한 데이터 수집 프로젝트입니다. 총 4,952페이지와 49,517건의 공고 행을 로컬 JSON/CSV로 보존하고, 실제 검토가 필요한 항목만 ClickUp에 정리했습니다. 2) 작업 범위 Python 수집기 설계, 페이지 단위 수집, 중복 제거
