플러스프로젝트 배경
1) 문제점 - 글로벌 SNS(YouTube, Reddit, Xiaohongshu, Douyin, Weibo 등)의 데이터 구조가 서로 달라 통합 분석이 어려움 - 일부 플랫폼은 API 미제공·Anti-Bot 정책·동적 로딩으로 안정적 데이터 수집이 어려움 - 마케팅·브랜드사에서 필요로 하는 트렌드 분석, 인플루언서 검증, 키워드 인사이트를 빠르게 얻기 어려움 - 중국권 SNS는 공식 지표 부족으로
프로젝트 성과
글로벌 SNS 통합 크롤링 엔진 구축
여러 플랫폼(YouTube, Baidu, Xiaohongshu, Douyin, Weibo)의 상이한 구조를 하나의 표준 프로세스로 통합하여 안정적으로 데이터를 수집할 수 있는 크롤링 엔진을 개발하였다.
표준화된 데이터 스키마 설계
플랫폼마다 서로 다른 게시물·댓글·조회수 구조를 하나의 통합 스키마로 정리하여 트렌드 분석·키워드 비교·인플루언서 분석이 가능하도록 했다. 향후 새로운 SNS를 추가하기 쉬운 확장성도 확보했다.
실시간 스케줄링 및 ETL 파이프라인 구축
크롤링·정제·저장·분석 과정을 자동으로 실행하는 ETL(Extract–Transform–Load) 파이프라인을 구현하였다. 정해진 주기 또는 조건에 따라 데이터가 자동 수집·갱신되어 지속적인 운영이 가능해졌다.
관리자 페이지 및 데이터 대시보드 구현
크롤링 상태 모니터링, 플랫폼 관리, 오류 확인, 데이터 시각화 등을웹 기반 관리자 페이지로 제공하여 실무 운영 효율을 극대화하였다. 또한 마케터·브랜드사가 바로 사용할 수 있는 트렌드 대시보드와 인플루언서 분석
중국 SNS 중심의 안정적 데이터 수집 성공
중국 플랫폼 특유의 강력한 Anti-Bot 정책을 우회하며샤오홍슈, 도우인, 웨이보의 데이터를 안정적으로 확보할 수 있는 기반을 마련했다.
핵심 기능
통합 SNS 크롤링 엔진
주요 기능: YouTube·Baidu·Xiaohongshu·Douyin·Weibo 데이터 수집
특징: 플랫폼 구조를 통합한 표준 크롤링, 동적 로딩 대응
특징: 플랫폼 구조를 통합한 표준 크롤링, 동적 로딩 대응
진행 단계
기획 및 요구 사항 정의
2025.08.
대상 SNS/커뮤니티 선정
수집 데이터 범위 및 분석 목적 설정
전체 아키텍처 및 기능 기획
수집 데이터 범위 및 분석 목적 설정
전체 아키텍처 및 기능 기획
프로젝트 상세
1) 포트폴리오 소개 (서비스 메인 타깃·카테고리 중심) 다양한 글로벌 SNS·커뮤니티 채널(YouTube, Reddit, Baidu, Xiaohongshu, Douyin, Weibo)의 방대한 데이터를 실시간으로 수집하고 분석하는 마케팅·트렌드 인사이트 분석 플랫폼입니다. 메인 타깃, 브랜드 마케터, 글로벌 커머스 및 크리에이터 에이전시, 중국·중앙아시아 SNS 시장을 분석하려는 기업 데이터
