플러스프로젝트 배경
1) 문제점 - 비표준화된 검증: 팀·분석가마다 실험 리포트 포맷과 검증 수준이 제각각이며, SRM·가드레일 같은 핵심 검증 단계가 자주 누락됨 - 의사결정 지연과 편향: 테스트 종료 후 p-value 해석이 분석가마다 달라 Go/No-go 결론이 지연되거나, 가드레일 악화를 간과한 채 출시하는 위험이 반복됨 2) 프로젝트 목표 실험 실행 플랫폼(Hackle, Statsig 등)을 대체하
프로젝트 성과
End-to-End 자동화 달성
실험 설계 → SRM 검증 → 통계 분석 → 판정 → Memo 생성까지
수작업 개입 없이 단일 파이프라인으로 처리.
수작업 개입 없이 단일 파이프라인으로 처리.
통계 검증 신뢰성 확보
248개 유닛 테스트 + 38개 API 통합 테스트로 의사결정 로직 안정성 확보.
의사결정 회귀 전용 테스트 파일 2개로 핵심 로직 변경 방지.
의사결정 회귀 전용 테스트 파일 2개로 핵심 로직 변경 방지.
Sequential Testing 검증 완료
O'Brien-Fleming alpha spending 구현 후 60,000회 Monte Carlo 시뮬레이션으로
Type I Error 0.033(목표 <0.05), Power 0.998 달성.
Type I Error 0.033(목표 <0.05), Power 0.998 달성.
실데이터 케이스 스터디 6종 구현
- 패션 추천 A/B: 전환율 +18.7%, Power Shopper 세그먼트 +25.3%
- 마케팅 A/B(588K 유저): 광고 고노출 구간 증분 매출 $217K 식별
- 코호트 리텐션, 퍼널 분석
- 마케팅 A/B(588K 유저): 광고 고노출 구간 증분 매출 $217K 식별
- 코호트 리텐션, 퍼널 분석
핵심 기능
Go/No-go 자동 판정 엔진
사전 정의된 의사결정 매트릭스로 통계적 유의성·실용적 유의성(MDE)·가드레일 3중 검증 후 Launch/Hold/Rollback을 자동 결정.
분석가마다 달랐던 판단 기준을 표준화하고 의사결정 지연을 제거
분석가마다 달랐던 판단 기준을 표준화하고 의사결정 지연을 제거
진행 단계
기획 및 설계
2026.01.
의사결정 매트릭스 설계, 통계 검정 방법 선택 로직 설계,
Microsoft ExP 기준 + 학술 참고문헌 7편 기반 임계값 정의.
FastAPI + React 분리 아키텍처 및 7개 API 엔드포인트 설계
Microsoft ExP 기준 + 학술 참고문헌 7편 기반 임계값 정의.
FastAPI + React 분리 아키텍처 및 7개 API 엔드포인트 설계
프로젝트 상세
1) 포트폴리오 소개 A/B 테스트 결과 검증 및 의사결정 자동화 플랫폼입니다. 데이터 분석가·PM이 실험 종료 후 반복하던 SRM 검증, 유의성 판단, 가드레일 체크, Go/No-go 결정을 단일 파이프라인으로 자동화했습니다. CSV 업로드 한 번으로 실험 설계 → 통계 검증 → Launch/Hold/Rollback 판정 → Decision Memo 생성까지 End-to-End로 처리합니다.
