안녕하세요.
담당 매니저 김수민입니다.
기간제(상주) 프로젝트 희망 근무 시작일을
등록해 주시면, 파트너님의 일정에 맞는
적합한 프로젝트를 추천해 드려요.
플러스
[데모] 외부 콘텐츠 수집 컴플라이언스 콘솔 — robots 준수 로그·아웃링크 커뮤니티
개발 · 기획
커뮤니티ㆍSNS, 스크래핑ㆍAPI, 퍼블리싱ㆍ반응형
프로젝트 배경
[문제점] 외부 커뮤니티 콘텐츠 수집 프로젝트는 크롤러를 돌리는 것보다 "합법적인 선"을 어디에 긋는지가 어렵다. 1시간 주기 자동 수집은 반복적·체계적 수집에 해당하고, 링크아웃과 요약은 위험도가 서로 다르며, robots.txt는 지킬 의무가 없는 대신 지킨 기록이 나중에 설명의 재료가 된다. 그런데 이 판단들은 보통 코드 안에 흩어져 있어 발주자도 개발자도 나중에 확인할 수 없다. [목표] 수집 정책(
프로젝트 성과
단일 데이터 엔진
원본 24 · 회원 14 · 사용자 글 12 전량을 엔진 하나에서 파생(화면별 목데이터 0건)
초기 배치 · forum-a
요청 9 · 적재 6 · robots 차단 3건 미요청 · 평균 간격 2,061 ms · 준수율 100%
초기 배치 · board-b
robots.txt 404 · 요청 12 · 적재 9 · 준수율 "판정 불가" · 두 타겟 합산 피드 27건
위험 조합 전환
요청 16 · 429 4건 · 백오프 1,000→8,000 ms · 준수율 75%(금지 경로 3건 요청)
자체 검증
111건 통과(엔진 51 + 렌더 43 + 디자인 17) · 360/768/1280 가로 오버플로 0
핵심 기능
타겟 컴플라이언스 프로파일
robots 원문 파싱·경로별 허용/차단 판정, 정책을 코드가 아닌 데이터로 분리
진행 단계
기획
2026.07.
공고 요구 36건을 커버리지 매트릭스로 판정하고 4화면으로 수렴, 시그니처를 "설정이 로그를 바꾼다"로 확정
프로젝트 상세
본 프로젝트는 역량 증명을 위해 자체 기획·개발한 데모입니다. 클라이언트 수주·납품 실적이 아닙니다. 수집 대상으로 등장하는 사이트는 실존하지 않는 가상 코드네임(forum-a·board-b)이며 robots.txt도 이 데모를 위해 창작한 것입니다. 실제 커뮤니티를 수집한 결과가 아닙니다. 본 데모는 정적 단일 페이지 (HTML + 단일 데이터 모듈)이며 실제 구축 스택(크롤러 프로세스·API 서버·D

비슷한 프로젝트를 준비 중이라면?
위시켓 매니저와 상담하세요.

참여 개발사와 미팅 연결

프로젝트 1:1 컨설팅 제공

무료로 프로젝트 등록하기

작업한 파트너 프로필 보기

su******
개발 · 개인사업자

프로젝트 정보

참여 기간
2026.07. ~ 2026.07.
참여율
참여율이 100%인 프로젝트는 해당 파트너님이 온전히 작업한 결과물입니다.
외부 공동 작업의 경우 기여도에 따라 참여율이 달라지며 역할, 프로젝트 설명을 통해 업무 분야 및 참여 범위를 확인할 수 있습니다.
100%
고객사
자체 프로젝트
역할
기획·개발 주도
관련 기술
JavaScript
CSS
HTML
Node.js