플러스프로젝트 배경
차단이 있는 수집 프로젝트는 단순히 계속 재시도하는 방식으로는 운영 품질이 떨어집니다. 수집 큐, 실패 원인, 재시도 정책, 사람 검토 게이트가 분리되어야 확장과 유지보수가 가능합니다.
프로젝트 성과
약 2,000페이지 수집 운영 구조
Apify dataset, n8n 후처리, 서버 실행 로그를 연결해 수집 결과와 실패 원인을 분리해서 확인할 수 있게 했습니다.
핵심 기능
Apify + n8n 운영 연동
수집 결과를 dataset/export로 보존하고 n8n webhook을 통해 후처리, 알림, 저장 흐름으로 넘기는 구조입니다.
진행 단계
차단 감지와 재시도 정책 설계
2026.07.
차단/오류/빈 결과를 분류하고, 자동 재시도와 사람 검토가 필요한 케이스를 나누었습니다.
프로젝트 상세
1) 포트폴리오 소개 약 2,000페이지 규모의 웹 데이터 수집을 URL 큐, Apify 수집, 차단 화면 감지, n8n 후처리, 서버 실행 로그로 나눈 파이프라인 사례입니다. 핵심은 무리한 우회가 아니라 차단/실패 상황을 감지하고, 재시도 또는 사람 검토로 넘길 수 있게 만드는 운영 구조입니다. 2) 작업 범위 수집 큐 설계, Apify dataset/export 구조, n8n webhook 후처리
