프로젝트 배경
1) 문제점 - 개선 실험(A/B·자동 최적화)을 붙이려는데, 판단 근거가 될 지표를 신뢰할 수 있는지 확인된 적이 없었음 - 지표가 여러 곳에 흩어져 있어 완료율·공유율·유입을 한 화면에서 볼 수 없었음 - 계측이 조용히 죽어도 알 방법이 없었음 (0이 나와도 "성과 부진"으로 읽힘) 2) 프로젝트 목표 - 핵심 지표를 한 번에 보는 읽기 전용 리포트 만들기 - 수집 자체가 살아 있는지 확인하
프로젝트 성과
끊겨 있던 계측 3건 발견·복구
호출자 없는 죽은 계측, 외부 앱 전환 시 유실되던 추적, 화면 표시 전 실행되던 유령 집계를 찾아 고쳤습니다.
자동 최적화 진입 불가를 정량으로 확정
표본 게이트를 적용하자 운영 중인 퀴즈 69개 중 판정 가능한 것이 1개뿐임이 드러났습니다. 병목이 알고리즘이 아니라 표본임을 확인했습니다.
운영 중단 없이 배포
읽기 전용 설계와 기존 식별자 재사용으로 마이그레이션 없이 반영했습니다. 실제 배포 중단 시간은 4초였습니다.
핵심 기능
진행 단계
지표 정의 · 계산 기준 확정
2026.07.
완료율·공유율·공유 클릭률·바이럴 계수의 분자와 분모를 확정했습니다. 코호트 기준을 맞춰 완료율이 100%를 넘지 않도록 했습니다.
프로젝트 상세
1) 소개 직접 운영 중인 심리테스트 플랫폼(심심테스트, 퀴즈 69종·주 9,700명 시작)에 A/B 테스트와 자동 최적화를 붙이려던 것이 출발점이었습니다. 그런데 붙이기 전에 한 가지를 먼저 확인해야 했습니다. 판단의 근거가 될 숫자가 정말 맞는 숫자인가. 그래서 최적화 로직보다 계기판을 먼저 만들었습니다. 완료율·공유율·공유 클릭률·바이럴 계수를 한 번에 보는 리포트와, 수집 자체가 살아 있는지 확







