1) 문제점

- 글로벌 SNS(YouTube, Reddit, Xiaohongshu, Douyin, Weibo 등)의 데이터 구조가 서로 달라 통합 분석이 어려움
- 일부 플랫폼은 API 미제공·Anti-Bot 정책·동적 로딩으로 안정적 데이터 수집이 어려움
- 마케팅·브랜드사에서 필요로 하는 트렌드 분석, 인플루언서 검증, 키워드 인사이트를 빠르게 얻기 어려움
- 중국권 SNS는 공식 지표 부족으로 영향력 판단의 객관성이 떨어짐

2) 프로젝트 목표

- 여러 SNS/커뮤니티 데이터를 하나의 시스템에서 통합 수집
- 키워드/언급량/감성 분석 등 자동화된 트렌드 분석 기능 구축
- Anti-Bot 대응 및 안정적 크롤링 아키텍처 확립
- 실무자(마케터·에이전시)가 바로 활용할 수 있는 대시보드 기반 분석 환경 제공

3) 주안점

- 플랫폼별 차단 정책을 고려한 안정적 크롤링 구조 설계
- 서로 다른 데이터를 통합하기 위한 표준 스키마 설계
- 대량 데이터 처리·자동화된 ETL 구성
- 실무 친화적인 UX/UI, 즉시 활용 가능한 인사이트 제공

1) 포트폴리오 소개 (서비스 메인 타깃·카테고리 중심)

다양한 글로벌 SNS·커뮤니티 채널(YouTube, Reddit, Baidu, Xiaohongshu, Douyin, Weibo)의
방대한 데이터를 실시간으로 수집하고 분석하는 마케팅·트렌드 인사이트 분석 플랫폼입니다.

메인 타깃, 브랜드 마케터, 글로벌 커머스 및 크리에이터 에이전시, 중국·중앙아시아 SNS 시장을 분석하려는 기업
데이터 기반 의사결정이 필요한 스타트업 및 컨설팅 조직, 카테고리, 데이터 크롤링 / 웹 스크래핑, 소셜 빅데이터 분석, 트렌드 리포트 자동화, 인플루언서 분석

2) 작업 범위 (Design/Dev/Infra 포함)

기능 정의 및 전체 시스템 설계, SNS/커뮤니티별 크롤러 개발, YouTube API + Playwright 기반 스크래핑, reddit 공식 API, Baidu·Weibo·Douyin·Xiaohongshu 비공식 API & 헤드리스 브라우저 기반 크롤링,
데이터 파이프라인 & ETL 개발, 데이터베이스 스키마 설계 (PostgreSQL, MongoDB 혼합), 데이터 분석·대시보드 설계 (웹 기반 대시보드), 실시간 모니터링·스케줄러 개발 (Airflow/PM2/cron 등), 반응형 웹 UI 제작(필요 시), 관리자 페이지 개발, 계정 관리, 채널 관리, 크롤링 작업 상태 모니터링

지원 환경 : Web / Admin Web, Back-end API (Node.js / Python), 크롤러 엔진(Headless Chromium, Playwright, Puppeteer)

3) 주요 업무 (핵심 기능·핵심 페이지)
✔ 데이터 크롤링 기능: YouTube 키워드 기반 영상/댓글/채널 데이터 수집, Xiaohongshu 인기 게시물·키워드 태그·쇼핑 정보 크롤링, Douyin·Weibo 트렌딩 피드 크롤링, Baidu 검색 트렌드 기반 콘텐츠 수집

✔ 데이터 분석 기능: 키워드별 언급량·감성 분석(Sentiment Analysis), 플랫폼별 트렌드 비교 리포트, 인플루언서 영향력 지수 분석, 관심도 상승 패턴 탐지 알고리즘 적용

✔ 관리자 페이지: 크롤링 설정/주기 조정, 크롤링 상태 실시간 모니터, 수집 데이터 통계 페이지, 플랫폼별 API 관리

✔ 데이터 시각화 대시보드: 플랫폼별 키워드 트렌드 그래프, 인플루언서 랭킹, 기간별 성장 추이 대시보드

4) 주안점 (기획·개발 시 중점 사항)

✔ 1. 다양한 플랫폼의 기술적 제약 해결 : 중국 SNS(샤오홍슈, 도우인, 웨이보)의 IP 차단, Anti-Bot 탐지 우회,
헤드리스 브라우저 + 프록시 회전 + User-Agent 스위칭 적용

✔ 2. 안정적 데이터 수집 구조 : 크롤링 오류 감지 후 자동 재시도, 대량 데이터 처리 가능한 비동기 파이프라인 구성, 스케줄링(정시/조건부) 기반의 안정적 크롤링

✔ 3. 데이터 품질 관리(QA) : 중복 제거, 비정상 패턴 필터링, 스팸·광고 데이터 자동 필터링, 플랫폼별 HTML 구조 변화에 대응하는 유지보수 구조 설계

✔ 4. 활용 가능한 분석 결과 중심 UX: 마케팅·브랜딩 실무자가 쉽게 사용할 수 있는 대시보드, 비교형 차트, 키워드 네트워크 그래프, 감성 변화 분석 제공

✔ 5. 확장성 고려

새로운 SNS 채널 추가 시 최소 변경만으로 확장 가능: 워크플로우 기반 ETL 구조로 유지보수 편의성 강화