플러스프로젝트 배경
1) 문제점 - 의뢰사(국내 자동차 OEM의 POI 데이터 운영 협력 조직)는 사내 POI DB의 정보 취득율 향상이 단기 과제였으나, 내부에 개발 인력이 없었음 - 파일럿 사업 계약 갱신 여부가 한 달 안에 결정되는 상황으로 빠른 PoC가 필요 - 네이버 지도가 첫 페이지에서만 50건을 일괄 노출하는 구조라, 그 이상의 수집이 불가능했음 - 외부에서 받은 엑셀 시트의 매장 정보가 시간이 지나면서 폐업
프로젝트 성과
수집 한도 6배 확장 (50 → 300건)
검색어당 50건 한도를 300건으로 확장. 페이지네이션 6회와 컨테이너 스크롤로 POI ID를 누적 수집한 뒤 entry 페이지에 개별 진입해 누락된 좌표·세부값까지 확보.
SLOW 엔진 건당 약 2초, FAST 엔진 건당 0.07초 처리
SLOW 엔진은 996건을 2,158초(건당 2.17초), FAST 엔진은 217건을 15.83초(건당 0.07초)에 처리. 진입 전략 분기로 첫 50건의 속도 저하 없이 300건 확장 달성.
1년 7개월 무중단 운영, 단독으로 11회+ 후속 대응
2023년 4월 1차 개발 시작 이후 2024년 11월까지 정기·비정기 요청에 11회 이상 단독 대응. 배포 1주 후 운영팀 보고에서 "문제 없이 잘 동작하고 있음"으로 자리잡음.
DOM 변경 내성 확보 — 좌표 누락 케이스 0건
window.__APOLLO_STATE__ JSON 파싱 방식 도입으로 클래스명 변경(2024-06, Fc1rA→GHAhO)에도 FAST 경로 무중단 동작. 리팩토링 후 좌표(x·y) 누락 케이스 0건 달성.
핵심 기능
FAST 엔진 — APOLLO_STATE 직접 파싱 (50건 일괄)
첫 페이지의 window.__APOLLO_STATE__ JSON을 execute_script로 추출 후 정규식 분리·파싱. 네트워크 왕복 1회로 50건을 건당 0.07초에 수집.
진행 단계
1차 개발 — PoC 및 기본 기능 구축
2023.04.
검색명 입력 → 명칭·주소·전화·업종 추출, MySQL 자동 적재 + 중복 제거, 야간 예약 실행, 진행률·상태 표시 UI 일체를 2주 만에 구현·배포.
프로젝트 상세
[프로젝트 개요] Archimedes는 국내 자동차 OEM의 POI(Point Of Interest) 데이터베이스 운영을 위해 설계한 네이버 지도 전용 웹 스크래핑 데스크톱 애플리케이션입니다. 의뢰사(OEM 측 데이터 운영 협력사)에는 자체 개발 인력이 없었고, 본인이 기술 고문(Technical Advisor) 자격으로 합류해 요구사항 분석부터 UI·엔진·DB 스키마 설계, 단일 EXE 배포까지 전 과정을
