프로젝트 배경
문제점 정보가 필요한 다양한 분야(여행, 부동산, 금융, 채용 등)에서 수동 검색과 정보 분산이 사용자 불편을 유발 각 플랫폼에 흩어진 데이터를 실시간으로 수집·가공·제공할 수 있는 통합형 시스템이 부족 수집한 데이터를 기반으로 맞춤형 분석 및 추천 기능과 연결되는 구조가 미흡함 프로젝트 목표 웹 크롤링 기술을 활용해 여러 산업에서 공통적으로 활용 가능한 자동화 데이터 수집 구조 설계 분야별로
프로젝트 성과
분야별 자동화 크롤링 필드 평균 34종 확보
여행(항공권, 숙소, 리뷰 등), 부동산(시세, 매물), 금융(시세, 뉴스), 채용(조건, 연봉 등)
AI 연계 챗봇 정확도 93% 달성
크롤링 데이터를 기반으로 FAQ/맞춤추천 챗봇 설계 시 응답 일치율 93% 측정
비교 탐색 시간 60~70% 단축 기대
통합형 데이터 제공으로 사용자가 개별 탐색에 소요하던 시간 대폭 절감
크롤링 구조 변경 대응 성공률 95% 이상 유지
파서 예외처리 및 다중 조건 대응 구조 도입으로 주요 크롤링 대상 변경 시 자동 복구
핵심 기능
진행 단계
주제 및 활용 분야 선정
2024.10.
실시간 데이터 수요가 높은 4대 분야(여행, 부동산, 금융, 채용) 선정
사용자 행동 흐름과 데이터 유형 도출
사용자 행동 흐름과 데이터 유형 도출
프로젝트 상세
특징 : 웹 크롤링 기능을 활용해 개발 가능한 여러 분야의 활용 사례 소개 여행 분야 활용 사례 - 여행분야에서는 크롤러를 활용시 여러 웹 사이트의 항공권 정보를 동시에 수집 가능 - 동시에 수집된 항공권 정보는 사용자에게 동일한 목적지라도, 다양한 옵션과 금액대의 항공권을 제시 가능 - 이 때, 항공권 뿐 아니라, 호텔, 렌터카, 맛집 등 여행에 필요한 모든 요소를 함께 제시







