플러스프로젝트 배경
### 1) 문제점 - 사이트 구조가 바뀌면 수집이 조용히 멈추고, 알림이 끊긴 걸 사람이 뒤늦게 알아챔 - 해당 사이트를 아는 개발자만 고칠 수 있어 장애 대응이 한 사람에게 집중 - 크롤러 프로세스 70여 개가 멈춰도 자동 복구가 없어 일일이 수동 재기동 ### 2) 프로젝트 목표 - 수집 실패를 시스템이 스스로 감지하고 복구까지 시작하는 구조 - AI 에이전트가 사이트를 다시 분석해
프로젝트 성과
장애 감지 2~3분 자동화
"알림이 안 온다"고 사람이 알아채던 장애를 시스템이 수집 실패 패턴으로 먼저 잡아냅니다. 감지부터 운영 채널 경고, 복구 시작까지 2~3분이면 충분합니다.
사이트 변경 대응 주체 전환 (사람→AI)
개발자가 도맡던 분석과 수정을 AI 에이전트가 대신합니다. 사이트 재분석부터 설정 수정, 테스트, PR 생성까지 자동이고 사람은 승인만 합니다.
크롤러 70여 개, 확장성 무제한, 무중단 운영
서버 3대에 나눠 돌아가는 크롤러 70여 개가 멈추면 시스템이 먼저 되살립니다. 서버나 사이트를 늘릴 때도 설정 변경이면 충분합니다.
신규 사이트 온보딩 자동화
사이트 주소만 건네면 AI가 수집 설정과 테스트, 문서, 검토 요청까지 차려 두고 사람의 최종 승인을 기다립니다.
핵심 기능
장애 자가 감지·자동 경고, AI 자동 수리 + PR-only 배포
- 수집 결과가 연속으로 비면 시스템이 고장으로 판정합니다. 2~3분 안에 운영 채널로 경고를 보내고 곧장 복구 절차
- AI가 사이트를 직접 다시 분석해 수집 설정을 고치고, 테스트를 통과한 수정안만 PR
- AI가 사이트를 직접 다시 분석해 수집 설정을 고치고, 테스트를 통과한 수정안만 PR
진행 단계
분석 및 설계
2026.03.
기존 크롤러 70여 개의 운영 병목을 분석하고, 자가복구 아키텍처와 AI 가드레일을 설계했습니다.
프로젝트 상세
## 프로젝트 상세 국내외 커머스 수십 곳을 24시간 지켜보며 한정판 신상품과 재입고 정보를 모으는 시스템을 운영하던 고객사였습니다. 스크래퍼&크롤러 자체는 문제없이 돌아갔습니다. 그런데 사이트 구조가 바뀌면 수집이 조용히 멈췄고, 담당 개발자가 원인을 찾아 고치기 전까지는 복구되지 않았습니다. 서버 3대에서 크롤러 프로세스만 약 70개가 도는 규모라, "사람이 붙어 있어야 돌아가는 시스템"을 "스스로
