[A/B 검정] 유의성 검정

A/B 검정이란?

• 두 버전(A와 B) 중 어느 것이 더 효과적인지 평가하기 위해 사용되는 검정 방법
• 마케팅, 웹사이트 디자인 등에서 많이 사용
• 사용자를 두 그룹으로 나누고, 각 그룹에 다른 버전을 제공한 후 반응을 비교
• 일반적으로 전환율, 클릭률, 구매수, 방문 기간, 방문한 페이지 수, 특정 페이지 방문 여부, 매출 등의 지표를 비교

import numpy as np
import scipy.stats as stats

# 가정된 전환율 데이터
group_a = np.random.binomial(1, 0.30, 100)  # 30% 전환율
group_b = np.random.binomial(1, 0.45, 100)  # 45% 전환율

# t-test를 이용한 비교
t_stat, p_val = stats.ttest_ind(group_a, group_b)
print(f"T-Statistic: {t_stat}, P-value: {p_val}")

 

stats.ttest_ind

• scipy.stats.ttest_ind 함수는 독립표본 t-검정(Independent Samples t-test)을 수행하여 두 개의 독립된 집단 간 평균의 차이가 유의미한지 평가합니다.
• 이 함수는 두 집단의 데이터 배열을 입력으로 받아서 t-통계량과 p-값을 반환합니다.
  • t-통계량 (statistic)
    • t-검정 통계량입니다. 두 집단 간 평균 차이의 크기와 방향을 나타냅니다.
  • p-값 (pvalue)
    • p-값은 귀무 가설이 참일 때, 현재 데이터보다 극단적인 결과가 나올 확률입니다.
    • 이 값이 유의수준(α) 보다 작으면 귀무 가설을 기각하고 이 값이 유의수준(α) 보다 크면 귀무 가설을 기각하지 않습니다.

사례

https://medium.com/delightroom/%EC%95%8C%EB%9D%BC%EB%AF%B8%EC%9D%98-a-b-%ED%85%8C%EC%8A%A4%ED%8C%85-%EC%9D%BC%EC%A7%80-1-eb811fe72a17

알라미의 A/B 테스팅 일지 #1

 

https://medium.com/daangn/%EA%B1%B0%EB%9E%98-%ED%9B%84%EA%B8%B0-%EC%8B%A4%ED%97%98%EC%9D%84-%ED%86%B5%ED%95%B4-%EB%94%B0%EB%9C%BB%ED%95%9C-%EA%B1%B0%EB%9E%98-%EA%B2%BD%ED%97%98-%EB%A7%8C%EB%93%A4%EA%B8%B0-3d7ac18d8e3

거래 후기 실험을 통해 따뜻한 거래 경험 만들기