[알라미의 A/B 테스팅 일지 #1]를 읽고

링크

https://medium.com/delightroom/%EC%95%8C%EB%9D%BC%EB%AF%B8%EC%9D%98-a-b-%ED%85%8C%EC%8A%A4%ED%8C%85-%EC%9D%BC%EC%A7%80-1-eb811fe72a17

알라미의 A/B 테스팅 일지 #1

 

요약

• 앱 등록정보 A/B 테스팅 1
  • 그래픽 이미지
  • 대상: 일본
  • 가설: 슬로건을 강조하면 다운로드율이 증가할 것이다
  • 결과: 기존 대비 다운로드 +6.2% ~ +26.4% 증가

기존 버전(좌), 슬로건이 강조된 새로운 버전(우)

• 앱 등록정보 A/B 테스팅 2
  • 대표 설명 문구 수정
  • 대상: 한국
  • 가설: 대상 고객 정의를 적어두면 '이건 바로 나!'라고 생각하고 다운로드율이 증가할 것
  • 결과: 기존 대비 +0.6% ~ +20.1% 개선
  • 타깃 고객 구체화: '기존 알람으로 잘 일어나지 못하는 사람'

기존 버전(좌), 대상 고객 정의를 적어둔 새로운 버전(우)

• 알라미 A/B 테스팅 결과
  • 스토어 획득률 50% 유지

• 보상일 수 변경 A/B 테스트
  • 보상: '30일의 프로버전 사용'
  • 가설: 보상이 늘어나면 클릭이 늘어난다.
  • 결과: 30일 보상: 6% | 60일 보상: 14% | 100일 보상: 10%
  • 해석: 100일의 경우 보상이 너무 커 희소성이 60일에 비해 낮다고 느껴졌기 때문

추가로 이야기하면, 추천앱 리스트가 5개인 것보다 3개인 것이 효율이 높았으며 (선택지가 많아지면 구매력이 떨어지는 
선택의 역설), 단가가 가장 높은것을 첫 번째에 배치하고 ‘좋아요’ 배지를 다는 것으로도 효율을 높일 수 있었다.

 

 

주요 포인트

• 타국 언어로 낯설게 하여 이목을 끌었다고 추정
• 타깃 고객을 명확하게 하여 공감대 형성. 고객이 실사용시 무엇이 좋을지 생각
• 희소성 있는 보상이 고객의 이목을 끌 수 있음
• 선택지가 많을수록 구매력이 떨어질 수 있다. 대표 상품 3가지를 강조 

A/B 테스트의 주요 개념

• 1. 대조군과 실험군
  • 대조군(A안): 기존 버전 또는 변경되지 않은 상태로 유지되는 버전
  • 실험군(B안): 변경된 요소가 포함된 버전으로, 대조군과 비교하여 성과를 측정
• 2. 무작위 배정
  • A/B 테스트는 무작위로 사용자를 두 그룹(대조군과 실험군)으로 나누어 각각 다른 버전을 노출. 이를 통해 외부 요인의 영향을 최소화하고, 실험 결과의 신뢰성을 높임
• 3. 성과 측정
  • A/B 테스트에서 주로 측정하는 성과 지표는 클릭률(CTR), 전환율(CVR), 매출 증가율 등. 이러한 지표를 기준으로 두 그룹의 성능 차이를 분석
• A/B 테스트의 장점
  • 데이터 기반 의사결정: 주관적인 판단이 아닌 실제 데이터를 바탕으로 최적의 선택.
  • 리스크 최소화: 변경 사항이 실제로 긍정적인 영향을 미치는지 확인한 후에 적용할 수 있어 비즈니스 리스크를 줄일 수 있다
  • 사용자 경험 개선: 웹사이트나 앱에서 사용자 경험을 개선하여 이탈률을 줄이고 전환율을 높일 수 있다

용어 정리

• 획득률 50%: (칼럼에서) 스토어 등록정보를 보는 사람 2명 중 1명을 알라미를 내려받는다
• CPI(Cost per Install): 설치 당 비용으로, 광고로 인해 사용자가 특정 앱을 설치했을 때 광고비가 소진되며 설치 1회당 비용으로 책정
• CPI: 소비자물가지수 Consumer Price Index 미국 노동부 산하 노동통계국에서 발표하는 물가에 대한 경제 지표로 도시 소비자의 지출을 바탕으로 상품 및 서비스 물가 변동 상황을 알려주는 역할