A/B 검정과 실험 설계¶

import warnings
warnings.filterwarnings("ignore")

import numpy as np

rng = np.random.default_rng(16001)
B = 4_000
p0, N = 0.05, 6_000      # 두 군의 참 전환율이 같고, 군당 최대 표본 6000
checks = {
    "1회 (끝에만)": [N],
    "5회": [N // 5 * i for i in range(1, 6)],
    "20회": [N // 20 * i for i in range(1, 21)],
    "매일(14회)": [N // 14 * i for i in range(1, 15)],
}
print("A 와 B 의 참 전환율이 같을 때, '유의하면 중단'의 실제 오류율")
print(f"{'중간 확인 횟수':>16s} {'오류율':>8s}")
for lab, cs in checks.items():
    hit = 0
    for _ in range(B):
        a = rng.binomial(1, p0, N)
        b = rng.binomial(1, p0, N)
        for c in cs:
            x1, x2 = a[:c].sum(), b[:c].sum()
            ph = (x1 + x2) / (2 * c)
            se = np.sqrt(2 * ph * (1 - ph) / c) if ph > 0 else 1
            z = (x1 - x2) / c / se if se > 0 else 0
            if abs(z) > 1.96:
                hit += 1
                break
    print(f"{lab:>16s} {hit / B:8.4f}")

A 와 B 의 참 전환율이 같을 때, '유의하면 중단'의 실제 오류율
        중간 확인 횟수      오류율
        1회 (끝에만)   0.0483
              5회   0.1330
             20회   0.2495
         매일(14회)   0.2067

import numpy as np
from scipy import stats

def n_prop(p1, lift, alpha=0.05, power=0.8):
    """상대 개선 lift 를 탐지하는 데 필요한 군당 표본."""
    p2 = p1 * (1 + lift)
    z1 = stats.norm.ppf(1 - alpha / 2)
    z2 = stats.norm.ppf(power)
    pbar = (p1 + p2) / 2
    num = (z1 * np.sqrt(2 * pbar * (1 - pbar))
           + z2 * np.sqrt(p1 * (1 - p1) + p2 * (1 - p2)))**2
    return int(np.ceil(num / (p2 - p1)**2))

lifts = [0.05, 0.10, 0.20, 0.50]
print("군당 필요한 표본 (α=0.05 양측, 검정력 0.80)")
print(f"{'기준 전환율':>10s} "
      + " ".join(f"{'+' + str(int(l * 100)) + '%':>10s}" for l in lifts))
for p1 in [0.01, 0.02, 0.05, 0.10, 0.20]:
    print(f"{p1:10.2%} " + " ".join(f"{n_prop(p1, l):10,d}" for l in lifts))

군당 필요한 표본 (α=0.05 양측, 검정력 0.80)
    기준 전환율        +5%       +10%       +20%       +50%
     1.00%    637,010    163,095     42,693      7,750
     2.00%    315,206     80,682     21,109      3,826
     5.00%    122,124     31,234      8,158      1,471
    10.00%     57,763     14,751      3,841        686
    20.00%     25,583      6,510      1,683        294

import warnings
warnings.filterwarnings("ignore")

import numpy as np
from scipy import stats

def chi2_p(xs, ns):
    obs = np.array([xs, np.array(ns) - np.array(xs)], float)
    if (obs.sum(1) == 0).any():
        return 1.0
    return stats.chi2_contingency(obs)[1]

rng = np.random.default_rng(16002)
B = 6_000
print("0/1 자료에 두 검정을 적용한 기각률 (명목 0.05)")
print(f"{'상황':>28s} {'분산분석 F':>10s} {'카이제곱':>9s}")
for lab, ps, ns in [("귀무 p=5%, n=3000 씩", [0.05] * 3, [3000] * 3),
                    ("귀무 p=1%, n=1000 씩", [0.01] * 3, [1000] * 3),
                    ("귀무 p=0.2%, n=500 씩", [0.002] * 3, [500] * 3),
                    ("대립 p=(5.0,5.8,6.1)%", [0.050, 0.058, 0.061],
                     [3000] * 3)]:
    a = b = 0
    for _ in range(B):
        xs = [rng.binomial(n, p) for n, p in zip(ns, ps)]
        gs = [np.concatenate([np.ones(x), np.zeros(n - x)])
              for x, n in zip(xs, ns)]
        a += stats.f_oneway(*gs).pvalue < 0.05
        b += chi2_p(xs, ns) < 0.05
    print(f"{lab:>28s} {a / B:10.4f} {b / B:9.4f}")

0/1 자료에 두 검정을 적용한 기각률 (명목 0.05)
                          상황     분산분석 F      카이제곱
           귀무 p=5%, n=3000 씩     0.0488    0.0488
           귀무 p=1%, n=1000 씩     0.0462    0.0462
          귀무 p=0.2%, n=500 씩     0.0377    0.0377
         대립 p=(5.0,5.8,6.1)%     0.3778    0.3778

rng = np.random.default_rng(5)
ns = [3000, 3000, 3000]
xs = [rng.binomial(n, p) for n, p in zip(ns, [0.050, 0.058, 0.061])]
gs = [np.concatenate([np.ones(x), np.zeros(n - x)]) for x, n in zip(xs, ns)]
r = stats.f_oneway(*gs)
c = stats.chi2_contingency(np.array([xs, np.array(ns) - np.array(xs)], float),
                           correction=False)
N, k = sum(ns), 3
print(f"전환 수 = {xs},  n = {ns}")
print(f"분산분석  F = {r.statistic:.6f},  p = {r.pvalue:.6f}")
print(f"카이제곱  X² = {c[0]:.6f},  p = {c[1]:.6f}")
print(f"관계식 (N-1)(k-1)F / [(N-k)+(k-1)F] = "
      f"{(N - 1) * (k - 1) * r.statistic / ((N - k) + (k - 1) * r.statistic):.6f}")

전환 수 = [162, 167, 198],  n = [3000, 3000, 3000]
분산분석  F = 2.300157,  p = 0.100302
카이제곱  X² = 4.599497,  p = 0.100284
관계식 (N-1)(k-1)F / [(N-k)+(k-1)F] = 4.598986

import numpy as np

rng = np.random.default_rng(16003)
B = 20_000
print("참 전환율 A=5.00%, B=5.25% (참 상대 개선 +5.0%)")
print(f"{'군당 n':>8s} {'검정력':>8s} {'유의한 것만의 평균 개선':>20s} "
      f"{'과대추정 배수':>12s}")
for n in [2_000, 5_000, 10_000, 30_000, 100_000]:
    lifts, cnt = [], 0
    for _ in range(B):
        xa = rng.binomial(n, 0.0500)
        xb = rng.binomial(n, 0.0525)
        pa, pb = xa / n, xb / n
        ph = (xa + xb) / (2 * n)
        se = np.sqrt(2 * ph * (1 - ph) / n)
        if se > 0 and abs(pb - pa) / se > 1.96:
            cnt += 1
            if pa > 0:
                lifts.append((pb - pa) / pa)
    m = np.mean(lifts) if lifts else float("nan")
    print(f"{n:8,d} {cnt / B:8.4f} {m:20.2%} {m / 0.05:12.2f}")

참 전환율 A=5.00%, B=5.25% (참 상대 개선 +5.0%)
    군당 n      검정력        유의한 것만의 평균 개선      과대추정 배수
   2,000   0.0639               28.41%         5.68
   5,000   0.0874               20.12%         4.02
  10,000   0.1257               15.39%         3.08
  30,000   0.2861                9.49%         1.90
 100,000   0.7145                5.97%         1.19

검정 결과: p = 0.04,  추정 개선 +0.3%p

제기해야 할 고려사항 여섯

1. 효과크기의 과대추정
   이 실험의 검정력이 낮다면 실제 개선은 0.3%p 보다 작을 가능성이
   높습니다. 신뢰구간을 보아야 합니다.

2. 신뢰구간
   p=0.04 는 구간의 한쪽 끝이 0 에 매우 가깝다는 뜻입니다.
   "개선이 0 에 가까울 수도 있다"를 배제하지 못합니다.

3. 1주일이라는 기간
   요일 효과, 신규성 효과(novelty effect)가 섞여 있을 수 있습니다.
   최소 2주(완전한 주 단위)를 권합니다.

4. 중간에 몇 번 확인했는가
   사전에 정한 표본까지 기다렸다면 p=0.04 가 유효합니다.
   매일 확인했다면 실제 오류율이 0.2 수준입니다.

5. 다른 지표의 변화
   전환율이 올라도 객단가·재방문·이탈이 나빠졌을 수 있습니다.

6. 구현·운영 비용
   0.3%p 개선의 연간 수익 증가와 유지보수 비용을 비교해야 합니다.

import numpy as np
from scipy import stats

def srm_check(counts, expected_ratio=None):
    """표본 비율 불일치 검정 (카이제곱 적합도)."""
    counts = np.asarray(counts, float)
    k = len(counts)
    if expected_ratio is None:
        expected_ratio = np.ones(k) / k
    exp = counts.sum() * np.asarray(expected_ratio)
    chi2 = ((counts - exp)**2 / exp).sum()
    return chi2, stats.chi2.sf(chi2, k - 1)

cases = [
    ("정상 (50.1:49.9)", [50_100, 49_900]),
    ("약간 어긋남 (50.5:49.5)", [50_500, 49_500]),
    ("SRM 의심 (51:49)", [51_000, 49_000]),
    ("3군 (33.4:33.3:33.3)", [33_400, 33_300, 33_300]),
    ("3군 SRM (34.5:33:32.5)", [34_500, 33_000, 32_500]),
]
print(f"{'상황':>26s} {'관측 수':>26s} {'χ²':>9s} {'p':>10s} {'판정':>6s}")
for lab, c in cases:
    chi2, p = srm_check(c)
    print(f"{lab:>26s} {str(c):>26s} {chi2:9.3f} {p:10.6f} "
          f"{'이상' if p < 0.0005 else '정상':>6s}")

                        상황                       관측 수        χ²          p     판정
            정상 (50.1:49.9)             [50100, 49900]     0.400   0.527089     정상
        약간 어긋남 (50.5:49.5)             [50500, 49500]    10.000   0.001565     정상
            SRM 의심 (51:49)             [51000, 49000]    40.000   0.000000     이상
       3군 (33.4:33.3:33.3)      [33400, 33300, 33300]     0.200   0.904837     정상
     3군 SRM (34.5:33:32.5)      [34500, 33000, 32500]    65.000   0.000000     이상

1. SRM 검정          →  이상이면 여기서 중단
2. 처치 전 지표 비교   →  무작위화가 작동했는가
3. 세그먼트별 일관성   →  방향이 뒤집히는 곳이 있는가
4. 시간에 따른 추이   →  첫날 효과인가 지속되는가
5. 그 다음에야 결과 해석

□ 주요 평가지표를 하나 정한다 (여러 개면 다중성 보정)
□ 최소 관심 효과크기(MDE)를 정한다  — 비즈니스 기준
□ 표본 크기를 계산한다 (연습문제 6)
□ 실험 기간을 정한다 (최소 완전한 1~2주)
□ 중단 규칙을 정한다 (고정 표본 또는 군집 순차)
□ 분석 계획을 문서화한다 (사전 등록)

□ SRM 검정 (매일)
□ 시스템 오류 모니터링
□ 결과를 보지 않는다 (사전 규칙이 없다면)

□ SRM 최종 확인
□ 처치 전 지표의 균형 확인
□ 주요 지표 분석 (카이제곱 또는 로지스틱 회귀)
□ 신뢰구간을 계산 — p 만 보지 않는다
□ 여러 변형이면 다중비교 보정 (더넷 또는 튜키)
□ 보조 지표와 방어 지표(guardrail) 확인
□ 세그먼트별 일관성 확인 (교호작용)

□ 효과크기와 구간을 함께
□ 검정력이 낮았다면 과대추정 가능성을 명시
□ 실질적 유의성(수익 영향)을 계산
□ 구현·운영 비용과 비교
□ 단계적 출시 계획

구간이 0 을 포함하지 않고, 하한도 MDE 를 넘는가?
    │
    ├─ 예 ──────────→ 출시
    │
    ├─ 구간이 0 을 포함하지만 폭이 좁고
    │  전 구간이 무시할 수준인가?
    │      └─→ "차이 없음"으로 결론, 더 단순한 쪽을 선택
    │
    └─ 구간이 넓어 판단 불가
           └─→ 실험을 계속하거나 표본을 늘린다