플러스프로젝트 배경
1) 예상 리스크 및 대응 계획 - 여러 크롤링 작업이 동시 실행될 때 대상 서버 차단(rate limit)을 피하기 위한 동시성 제어 정책 설계가 필요합니다 - 부적절한 콘텐츠를 빠르게 식별하기 위한 필터링 규칙과 관리자 검수 우선순위 큐 설계가 필요합니다 - 회원 차단·복구 이력을 추적 가능하게 기록하는 감사 로그 스키마 설계가 필요합니다 - 크롤링 대상 페이지 구조가 변경될 경우 이를 조기에 감지
프로젝트 성과
크롤링 파이프라인 상태 모니터링 대시보드 구축
작업별 성공/실패 카운트와 최근 에러 로그를 실시간 집계하는 모니터링 테이블과 상태 배지 UI를 구현합니다
콘텐츠 필터링 규칙 엔진 설계
금칙어·신고 임계치 기반 자동 플래깅 규칙과 관리자 수동 처리 큐를 결합한 구조를 설계합니다
회원 권한·차단 관리 체계 구축
역할 기반 권한 3단계와 차단 사유 이력 테이블을 설계해 회원 관리 감사 추적이 가능한 구조를 구현합니다
크롤링 스케줄 동적 설정 인터페이스 구현
대상 URL·주기·딜레이 값을 관리자가 직접 조정 가능한 설정 폼과 Bull Queue 작업 재등록 로직을 구현합니다
핵심 기능
크롤링 대시보드
관리자가 접속 시 각 크롤링 작업의 최근 실행 상태(성공/실패), 대기 중인 작업 수, 최근 에러 로그를 한눈에 확인하는 대시보드를 봅니다
진행 단계
관리자 백오피스 요구사항 분석 및 스키마 확장
2026.07
크롤링 로그·콘텐츠 신고·회원 차단 이력 테이블 설계, 기존 스키마 확장 매핑
프로젝트 상세
1) 포트폴리오 소개 MVP 이후 운영 단계에서 필요한 크롤링 상태 모니터링, 콘텐츠·회원 관리, 수집 스케줄 설정을 통합한 관리자 백오피스를 구현합니다. 크롤링 자동화 파이프라인의 안정적 운영과 커뮤니티 콘텐츠 품질 관리를 함께 지원하는 구조를 설계합니다. 2) 작업 범위 - 크롤링 대시보드: 관리자가 접속 시 각 크롤링 작업의 최근 실행 상태(성공/실패), 대기 중인 작업 수, 최근 에러 로그를
