자동 크롤링 서버 구축

비밀 댓글입니다.

비밀 댓글입니다.

draconids

안녕하세요~
최근 프로젝트에서 네이버 쇼핑 키워드 검색 후 지정한 매장의 상위 노출 순위를 확인하는 크롤링 기능을 개발을 하였습니다.
우선 개발은 두가지 방식으로 진행을 했습니다.
둘다 모두 소스 안정화를 완료 했지만 최종적으로 비용이 적게 나오는 방식으로 선택하여 개발을 완료 했습니다.
1번방식은 GCP의 PubSub와 Cloud Fucntions을 이용하여 크롤링 하는 방식이였습니다.
nodejs의 puppeteer를 이용하여 개발을 했기떄문에 리소스가 많이 필요해서 수집속도가 빠르지만 비용이 좀 많이 나오는 문제가 있었습니다.
2번방식 저렴한 가상서버를 여러대 구축하여 Queue방식으로 각서버마다 분산처리방식으로 구축을 하였습니다.
이 방식은 서버를 24시간 지속적으로 사용해도 비용이 고정적이라는 장점이 있습니다.
제가 개발한 환경은 Nodejs를 기반으로 Typescript를 사용하여 개발을 해서 요청하신 개발 환경과는 다르지만
혹시라도 상관이 없으시다면 지원을 하도록 하겠습니다.
DDOS 공격 의심에 따른 IP 차단은 염려가 되었지만 제가 수집하는 방식으로는 한번도 발생이 되지 않아서 IP우회 기능은
개발이 되지 않았습니다.
다만 GCP의 Cloud Functions 같은 경우는 불특정 다수의 서버를 사용하기 때문에 다수의 아이피를 고루 사용을 하게 됩니다.
가상서버 구축 방식 같은 경우는 아이피가 막힌다면 해당 서버를 새로운 가상서버로 교체를 하거나 서버에 새로운 아이피를 할당 받아서 아이피를 교체하는 방법이 있습니다.
요구하신 개발 환경이 다르지만 관심이 있으시다면 답변을 부탁드리겠습니다.

비밀 댓글입니다.