콘텐츠로 이동

재표집 (신발 판매 A/B 검정) (코드)

개요

들어가는 이야기 — 「효과가 없다」와 「판별할 수 없다」는 다르다

한 전자상거래 회사가 신발 가격을 바꾸고 \(12\) 주치 판매량을 견준다. 주당 평균이 \(23.75\) 켤레에서 \(26.00\) 켤레로 \(2.25\) 켤레 올랐다. 그런데 두 기간의 주간 표준편차가 \(5.56\) 과 \(4.61\) 이니 그 \(2.25\) 는 변동의 절반에도 못 미친다. 가격 변경의 효과인가, \(12\) 주가 그만큼 출렁인 것인가.

이름표를 섞어 세어 보면 \(p\) 값이 \(0.153\) 이다. 드물지 않다. 그런데 그 수만 적고 끝내면 보고가 절반이다. 같은 \(2.25\) 켤레를 기준값 \(23.75\) 에 견주면 \(9.5\%\) 상승이고, 이익률과 최적화 비용에 따라 사업적으로 결코 작지 않은 크기일 수 있다. 유의하지 않다고 해서 그 값이 사라지지는 않는다.

폭을 함께 적으면 그림이 또 달라진다. 두 집단에서 따로 복원추출해 만든 평균차의 구간이 \([-1.83,\ 5.92]\) 다. \(0\) 을 품으니 검정과 어긋나지 않지만, 상한 \(5.92\) 는 상당한 개선의 가능성도 배제하지 않는다. 그래서 이 실험의 결론은 「효과가 없다」가 아니라 「\(12\) 주로는 이 크기의 효과를 판별할 수 없다」다. 참 차이가 \(2\) 라면 열두 주의 검정력이 \(0.232\) 에 그친다.

그러면 한 사례에서 유의성과 실질적 중요성을 어떻게 갈라 읽어야 하는가. 이 쪽이 같은 열두 주 자료에 순열검정(permutation test)과 효과크기(effect size)와 부트스트랩(bootstrap) 구간 셋을 차례로 걸고 — 같은 주를 전후로 재었으니 짝 구조를 쓸 수 있다는 점까지 짚은 뒤 — 셋이 함께 만드는 그림으로 닫는다.

두 칸짜리 그림. 왼쪽은 평균차의 부트스트랩 구간과 사업적으로 뜻이 있는 크기의 영역, 오른쪽은 열두 주로 잡을 수 있는 크기의 곡선

왼쪽. 단측 순열 \(p\) 가 \(0.153\) 이라 기각하지 못한다. 그런데 \(95\%\) 구간이 \([-1.92,\ 5.92]\) 다. \(0\) 을 품으니 검정과 어긋나지 않지만 상한 \(5.92\) 는 상당한 개선의 가능성도 배제하지 않는다. 관측된 \(+2.25\) 켤레는 기준값 \(23.75\) 에 견주면 \(9.5\%\) 상승이라 사업적으로 작지 않을 수 있다. 오른쪽. 참 차이가 \(2\) 켤레라도 열두 주의 검정력이 \(0.237\) 에 그친다. 그러니 이 실험의 결론은 「효과가 없다」가 아니라 「\(12\) 주로는 이 크기의 효과를 판별할 수 없다」다.

이 페이지는 실무적인 A/B 검정 상황에 세 가지 재표집 기법을 적용한다. 한 전자상거래 회사가 신발 가격을 최적화했고 주간 판매가 개선되었는지 알고자 한다. 순열검정으로 통계적 유의성을 평가하고, 실질적 중요성을 위해 효과크기를 계산하며, 평균차에 대한 부트스트랩 신뢰구간을 구성한다. 이 비모수(nonparametric) 방법들은 분포 가정을 요구하지 않아 작은 표본 비교에 적합하다.


1. 자료

가격 최적화 전후 \(12\)주간의 주간 신발 판매량(켤레)이다.

\[ \text{전}: \quad 23, 21, 19, 24, 35, 17, 18, 24, 33, 27, 21, 23 \]
\[ \text{후}: \quad 31, 28, 19, 24, 32, 27, 16, 28, 29, 26, 25, 27 \]

관측된 평균차는

\[ \bar{x}_{\text{후}} - \bar{x}_{\text{전}} = 26.00 - 23.75 = 2.25 \text{ 켤레} \]

이다.

보기 1. 판매량 자료. 같은 \(12\)주를 전후로 측정했으므로 이 자료는 대응자료다. 그 구조를 쓰는 것과 쓰지 않는 것의 값을 미리 재어 둔다.

(1) 주별 차이 \(d_i\)의 표본분산(sample variance)이 \(s_d^2 = s_1^2 + s_2^2 - 2 r s_1 s_2\)임을 보이시오(\(r\)은 전후 상관). 이것으로 대응 표준오차와 비대응 표준오차의 비를 \(r\), \(s_1\), \(s_2\)로 적으시오.

(2) 두 수를 계산해 비를 구하시오. 상관이 \(0\)이면 비가 얼마가 되는가.

풀이

(1) 해석적으로. \(d_i = x_{2i} - x_{1i}\)이므로 분산의 성질에서 바로 나온다. 표본분산으로 적으면

\[ s_d^2 = \frac{1}{n-1}\sum_i \big((x_{2i} - \bar x_2) - (x_{1i} - \bar x_1)\big)^2 = s_1^2 + s_2^2 - 2 s_{12} \]

이고 \(s_{12} = r s_1 s_2\)이므로

\[ s_d^2 = s_1^2 + s_2^2 - 2 r s_1 s_2 \]

다. 대응 \(t\) 검정이 쓰는 표준오차는 \(s_d/\sqrt n\)이고, 짝을 무시한 이표본 쪽은 \(\sqrt{(s_1^2+s_2^2)/n}\)이다. 따라서 비가

\[ \frac{\operatorname{SE}_{\text{대응}}}{\operatorname{SE}_{\text{비대응}}} = \sqrt{\frac{s_1^2 + s_2^2 - 2rs_1s_2}{s_1^2 + s_2^2}} = \sqrt{1 - \frac{2 r s_1 s_2}{s_1^2 + s_2^2}} \]

이다. \(r > 0\)이면 언제나 \(1\)보다 작다. 짝지은 두 측정이 같은 방향으로 움직이는 몫 \(2rs_1s_2\)가 차이를 취할 때 상쇄되기 때문이다. \(r = 0\)이면 비가 \(1\)이 되어 짝을 지어도 얻는 것이 없고, \(r \to 1\)이고 \(s_1 = s_2\)이면 비가 \(0\)으로 간다.

(2) 수치적으로.

import numpy as np

# 가격 최적화 전후 12주치 신발 판매량. 평균이 2.25 올랐는데, 이것이 가격
# 변경의 효과인지 그저 주마다의 들쭉날쭉인지를 아래에서 가린다.
BEFORE = np.array([23, 21, 19, 24, 35, 17, 18, 24, 33, 27, 21, 23])
AFTER  = np.array([31, 28, 19, 24, 32, 27, 16, 28, 29, 26, 25, 27])

print(f"Before mean: {BEFORE.mean():.2f}")   # 23.75
print(f"After  mean: {AFTER.mean():.2f}")    # 26.00
print(f"Difference:  {AFTER.mean() - BEFORE.mean():.2f}")   # 2.25

출력:

Before mean: 23.75
After  mean: 26.00
Difference:  2.25

(1)의 두 식을 잰다. 위 블록의 변수를 그대로 이어 쓴다.

n = len(BEFORE)
s1, s2 = BEFORE.std(ddof=1), AFTER.std(ddof=1)
r = np.corrcoef(BEFORE, AFTER)[0, 1]
d = AFTER - BEFORE
print(f"s_전 = {s1:.6f},  s_후 = {s2:.6f},  r = {r:.6f}")
print(f"s_d^2 직접 = {d.var(ddof=1):.6f},  공식 = {s1 ** 2 + s2 ** 2 - 2 * r * s1 * s2:.6f}")

se_paired = d.std(ddof=1) / np.sqrt(n)
se_unpaired = np.sqrt((s1 ** 2 + s2 ** 2) / n)
print(f"대응 SE = {se_paired:.6f},  비대응 SE = {se_unpaired:.6f}")
print(f"비 = {se_paired / se_unpaired:.6f},"
      f"  공식 = {np.sqrt(1 - 2 * r * s1 * s2 / (s1 ** 2 + s2 ** 2)):.6f}")

# 재표집 귀무분포의 표준편차로 견주어도 같은 이야기다.
z = np.concatenate([BEFORE, AFTER])
print(f"섞기 귀무 SD       = {z.std(ddof=1) * np.sqrt(2 / n):.6f}")
print(f"부호뒤집기 귀무 SD = {np.sqrt((d ** 2).sum()) / n:.6f}")

출력:

s_전 = 5.561638,  s_후 = 4.612237,  r = 0.609567
s_d^2 직접 = 20.931818,  공식 = 20.931818
대응 SE = 1.320726,  비대응 SE = 2.085756
비 = 0.633212,  공식 = 0.633212
섞기 귀무 SD       = 2.093165
부호뒤집기 귀무 SD = 1.421560

공식이 맞는다. \(s_d^2\)을 차이에서 직접 구한 \(20.931818\)과 \(s_1^2 + s_2^2 - 2rs_1s_2\)가 여섯 자리까지 같고, 표준오차의 비도 \(0.633212\)로 일치한다. 전후 상관이 \(r = 0.610\)이라 짝을 지으면 표준오차가 \(37\%\) 줄어든다. \(r = 0\)이었다면 비가 \(1\)이어서 아무것도 얻지 못했을 것이다.

재표집 쪽 척도도 같은 방향을 가리킨다. \(24\)개를 통째로 섞은 귀무분포의 표준편차가 \(2.093165\)인데 주별 차이의 부호만 뒤집은 쪽은 \(1.421560\)으로 \(32\%\) 좁다. 두 축소율이 꼭 같지는 않다. 앞의 것은 \(t\) 검정의 척도이고 뒤의 것은 순열검정의 척도라 \(n-1\)과 \(n\), 그리고 관측된 효과를 품는 방식이 조금씩 다르기 때문이다. 그러나 결론은 하나다. 이 자료에서 짝을 버리면 척도를 삼분의 일쯤 손해 본다.

아래 분석은 그 손해를 감수한 비대응 판본이며, 둘을 견주려는 뜻이다.

이 자료는 사실 대응자료이다

같은 \(12\)주를 전후로 측정했으므로 주별로 짝지어져 있다. 아래의 비대응 순열검정은 이 구조를 무시한다.

실제로 전후 판매량의 상관은 \(r = 0.610\)으로 상당히 높다. 대응 구조를 이용하면 검정력이 크게 오른다(연습문제 2). 비대응 분석을 먼저 제시하는 것은 두 접근의 차이를 보이기 위해서이다.


2. 순열검정

순열검정은 관측된 차이가 우연으로 생길 수 있었는지 평가한다. 귀무가설(null hypothesis) \(H_0\colon F_{\text{전}} = F_{\text{후}}\) 아래에서 "전/후" 라벨은 교환 가능하다.

절차는 이렇다.

  1. \(n_1 + n_2 = 24\)개 관측을 모두 합친다.
  2. 무작위로 \(12\)개를 "전"에, \(12\)개를 "후"에 배정한다.
  3. 순열된 평균차를 계산한다.
  4. \(B\)번 반복하고 \(p\) 값을 계산한다.
\[ p = \frac{\#\bigl\{b : \Delta^{(\pi_b)} \ge \Delta_{\text{obs}}\bigr\} + 1}{B + 1} \]

최적화가 판매를 늘릴 것으로(줄이는 것이 아니라) 기대하므로 단측검정이다.

보기 2. 순열검정. 아래 풀이의 함수 permutation_test는 \(B = 199{,}999\)번 섞어 단측 \(p\) 값을 구한다. 그런데 이 설계는 \(\binom{24}{12} = 2{,}704{,}156\)가지뿐이라 몬테카를로(Monte Carlo) 없이 다 셀 수 있다.

(1) 순열된 평균차 \(\Delta^{(\pi)}\)가 "후"로 간 \(12\)개의 합 \(S_a\) 하나로 정해짐을 보이고, \(\Delta^{(\pi)} \ge 2.25\)가 \(S_a\)에 대한 어떤 조건인지 적으시오. 관측된 \(S_a\)는 얼마인가.

(2) 합이 그 값 이상인 \(12\)-부분집합의 수를 동적계획으로 세어 정확 단측 \(p\) 값을 구하고, 함수의 몬테카를로값·웰치 \(t\) 검정과 견주시오.

풀이

(1) 해석적으로. \(24\)개 값의 총합 \(T = 597\)은 순열이 바뀌어도 그대로다. "후"로 간 \(12\)개의 합을 \(S_a\)라 하면 "전"의 합이 \(T - S_a\)이므로

\[ \Delta^{(\pi)} = \frac{S_a}{12} - \frac{T - S_a}{12} = \frac{2S_a - T}{12} \]

이다. 합 하나가 모든 것을 정한다. 관측된 "후"의 합은 \(S_a = 312\)이고 실제로 \((2 \times 312 - 597)/12 = 27/12 = 2.25\)다. 따라서

\[ \Delta^{(\pi)} \ge 2.25 \iff 2S_a - T \ge 27 \iff S_a \ge 312 \]

이다. 남은 일은 \(24\)개에서 \(12\)개를 골라 합이 \(312\) 이상인 경우의 수를 세는 것뿐이다. \(\binom{24}{12} = 2{,}704{,}156\)가지를 하나하나 만들지 않고도, 합마다 몇 가지인지를 세는 표를 값 하나씩 갱신해 가며 만들면 된다(\(k\)개를 골랐을 때 합이 \(s\)인 가짓수 \(N_k(s)\)에 대해 \(N_{k}(s) \leftarrow N_k(s) + N_{k-1}(s - v)\)).

(2) 수치적으로. 함수는 이렇다.

def permutation_test(before, after, n_perm=199_999, rng=None):
    """평균이 올랐는지에 대한 단측 순열검정.

    "올랐는가"만 묻는 것이므로 오른쪽 꼬리만 본다. 양측으로 하면 p 값이
    두 배가 되는데, 어느 쪽으로 할지는 자료를 보기 전에 정해야 한다.
    """
    rng = rng or np.random.default_rng(42)
    observed_diff = after.mean() - before.mean()
    combined = np.concatenate([before, after])
    n_before = len(before)

    P = np.array([rng.permutation(combined) for _ in range(n_perm)])
    perm_diffs = P[:, n_before:].mean(axis=1) - P[:, :n_before].mean(axis=1)
    p_value = ((perm_diffs >= observed_diff - 1e-12).sum() + 1) / (n_perm + 1)
    return observed_diff, perm_diffs, p_value

돌린 뒤 정확값을 따로 센다.

from collections import defaultdict
from scipy import stats

obs_diff, perm_diffs, p_value = permutation_test(BEFORE, AFTER)
print(f"관측 차이 = {obs_diff:.2f},  순열 단측 p (B=199999) = {p_value:.5f}")
print(f"순열 귀무 SD 모의 = {perm_diffs.std(ddof=1):.6f}")

zi = np.concatenate([BEFORE, AFTER]).astype(int)
total = int(zi.sum())
# k 개를 골랐을 때 합이 s 인 가짓수를 값 하나씩 갱신해 가며 센다.
dp = [defaultdict(int) for _ in range(n + 1)]
dp[0][0] = 1
for v in zi:
    for k in range(n - 1, -1, -1):
        for s, c in list(dp[k].items()):
            dp[k + 1][s + v] += c
counts = dp[n]
n_subsets = sum(counts.values())
hit = sum(c for s, c in counts.items() if s >= AFTER.sum())
lo_ = sum(c for s, c in counts.items() if s <= total - AFTER.sum())

print(f"24개 중 12개를 고르는 방법 = {n_subsets:,}")
print(f"관측된 '후'의 합 = {AFTER.sum()},  전체 합 = {total}")
print(f"합이 {AFTER.sum()} 이상인 배정 = {hit:,}  ->  정확 단측 p = {hit / n_subsets:.6f}")
print(f"정확 양측 p = {(hit + lo_) / n_subsets:.6f}")
print(f"Welch t 검정 (양측) = {stats.ttest_ind(AFTER, BEFORE, equal_var=False).pvalue:.6f}")

출력:

관측 차이 = 2.25,  순열 단측 p (B=199999) = 0.15329
순열 귀무 SD 모의 = 2.094198
24개 중 12개를 고르는 방법 = 2,704,156
관측된 '후'의 합 = 312,  전체 합 = 597
합이 312 이상인 배정 = 417,216  ->  정확 단측 p = 0.154287
정확 양측 p = 0.308574
Welch t 검정 (양측) = 0.292782

셈이 맞는다. \(12\)-부분집합의 총수가 \(\binom{24}{12} = 2{,}704{,}156\)으로 나오고, 그중 합이 \(312\) 이상인 것이 \(417{,}216\)가지라 정확 단측 \(p = 0.154287\)이다. 몬테카를로값 \(0.15329\)는 거기서 \(-0.001\) 떨어져 있는데, \(B = 199{,}999\)에서 \(\hat p\)의 표준편차가 \(\sqrt{0.1543 \times 0.8457/199999} = 0.00081\)이므로 \(-1.2\)배다. \(20\)만 번을 돌려 얻은 것이 세 자리짜리 근사이고, 표를 한 번 만들어 얻은 것이 정확한 값이다.

검정 \(p\) 값
순열검정(단측, 정확) 0.154287
순열검정(단측, \(B = 199{,}999\)) 0.153290
순열검정(양측, 정확) 0.308574
웰치 \(t\) 검정(양측) 0.292782

어느 쪽이든 기각하지 못한다. \(2.25\)켤레의 증가는 우연으로 충분히 설명된다. 이 자료의 주간 변동이 크기 때문이다(표준편차 \(5.56\)과 \(4.61\)). 정확 양측값이 정확 단측값의 꼭 두 배인 것은 귀무분포가 \(0\)에 대해 대칭이기 때문이며, 섞기에서 "전"과 "후"를 맞바꾸면 \(\Delta\)의 부호가 뒤집혀 모든 배정이 짝을 이룬다.

위 경고에서 말한 대로 이 자료는 대응자료이다. 짝을 무시한 대가가 얼마인지 그림으로 확인해 보자.

주별 전후 연결선과 두 가지 귀무분포

(a)가 자료의 실제 구조다. 선 하나가 한 주이며, 열두 주 중 여덟 주에서 판매가 늘고 네 주에서 줄었다. 눈에 띄는 것은 선들이 대체로 평행하다는 점이다. 원래 잘 팔리던 주는 후에도 잘 팔리고 부진하던 주는 계속 부진하다. 전후 상관이 \(r = 0.610\)인 것이 이 공통 요인의 크기이며, 계절성이나 판촉처럼 그 주 전체에 걸친 영향이 여기에 들어 있다.

(b)가 그 구조를 쓰느냐 마느냐의 차이다. 회색은 \(24\)개 값을 통째로 섞은 비대응 귀무분포로 표준편차가 \(2.09\)이고, 초록은 주별 차이의 부호만 뒤집은 대응 귀무분포로 표준편차가 \(1.42\)이다. \(32\%\) 좁아졌다. 섞기는 주 사이의 공통 변동까지 귀무분포에 집어넣지만, 차이를 취하면 그 공통 변동이 상쇄되어 남지 않기 때문이다.

결과적으로 같은 관측값 \(+2.25\)가 더 좁은 분포의 더 바깥에 놓이고, 단측 \(p\) 값이 \(0.153\)에서 \(0.0654\)로 절반 이하가 된다. 게다가 \(n = 12\)이므로 \(2^{12} = 4096\)가지 부호 배정을 모두 열거할 수 있어 이 \(0.0654\)에는 몬테카를로 오차조차 없다. 자료를 한 줄도 더 모으지 않고 얻은 개선이며, 같은 효과를 표본으로 사려면 주 수를 대략 \(2.4\)배로 늘려야 한다. 물론 그래도 \(\alpha = 0.05\)는 넘지 못한다. 분석을 고쳐서 얻을 수 있는 것과 없는 것의 경계가 여기에 있다.

AI로 보는 통계학 1. 섞다가 멈춰도 되는가

§2 의 함수는 \(B = 199{,}999\) 번 섞는다. 왜 그만큼인가. 답은 「\(p\) 값을 소수 다섯째 자리까지 보려면」인데, 이 자료의 \(p\) 값은 \(0.153\) 이다. \(0.153\) 이라고 말하려고 \(20\) 만 번을 섞은 셈이다. 기각할 생각이 없는 \(p\) 값을 그렇게까지 정밀하게 잴 까닭이 없다.

\(p\) 값 하나면 아깝지 않다. 그런데 오늘 A/B 플랫폼은 하루에 검정을 수천 개 돌리고, 유전체 연구는 유전자마다 하나씩 수만 개를 돌린다. 그 가운데 거의 전부가 귀무다. 고정 \(B\) 는 귀무인 검정에도 똑같이 \(B\) 번을 쓴다.

멈출 수 있다. 섞어 가면서 초과 횟수를 세고, 그것이 \(h\) 에 닿으면 그 자리에서 끊는 것이다. \(h\) 번째 초과가 \(K\) 번째 섞기에서 나왔으면

\[ p = \frac{h}{K} \]

로 적고, \(B_{\max}\) 번을 다 섞어도 \(h\) 번을 못 봤으면 보통 식 \((1 + \text{초과})/(1 + B_{\max})\) 를 쓴다. 귀무라면 초과가 절반쯤의 비율로 쌓이니 \(K \approx 2h\) 에서 끝나고, 참으로 작은 \(p\) 값이면 초과가 좀처럼 안 나와 상한까지 간다. 비용이 자동으로 애매한 검정 쪽으로 옮겨 간다. 수준을 지키는지, 얼마나 아끼는지 함께 센다.

import numpy as np
rgq = np.random.default_rng(11)
NQ, HQ, BMAXQ, MQ, CHQ = 12, 10, 9999, 5000, 40   # 집단 크기, 멈춤 기준, 상한, 표본 벌수, 그룹

def gap(grp):                                     # 단측 통계량: 후 - 전
    return grp[..., NQ:].mean(-1) - grp[..., :NQ].mean(-1)

def shuffled(grp, kk):                            # 라벨을 kk 벌 섞는다
    return grp[np.argsort(rgq.random((kk, 2 * NQ)), axis=1)]

def seq_p(grp):
    """h 번째 초과가 나오면 멈춘다. p = h / K, 끝까지 못 보면 보통 식."""
    t0, cnt, drawn = gap(grp), 0, 0
    while drawn < BMAXQ:
        kk = min(CHQ, BMAXQ - drawn)
        cs = cnt + np.cumsum(gap(shuffled(grp, kk)) >= t0)
        if cs[-1] >= HQ:
            j = int(np.argmax(cs >= HQ))
            return HQ / (drawn + j + 1), drawn + j + 1
        cnt, drawn = int(cs[-1]), drawn + kk
    return (1 + cnt) / (1 + BMAXQ), BMAXQ

for lab, shift in (("효과 없음 (H0 가 참)", 0.0), ("효과 있음 (0.8 시그마)", 0.8)):
    rej_s = rej_f = 0
    cost = []
    for _ in range(MQ):
        grp = rgq.normal(0, 1, 2 * NQ)
        grp[NQ:] += shift
        ps, kk = seq_p(grp)
        rej_s += ps <= 0.05
        cost.append(kk)
        exc = (gap(shuffled(grp, BMAXQ)) >= gap(grp)).sum()   # 고정 B 로 따로 한 번
        rej_f += (1 + exc) / (1 + BMAXQ) <= 0.05
    print(f"  {lab}")
    print(f"    고정 B = {BMAXQ:,}       기각률 {rej_f / MQ:.4f}   섞은 횟수 {BMAXQ:,}")
    print(f"    조기 중단 (h = {HQ})    기각률 {rej_s / MQ:.4f}   섞은 횟수 평균 "
          f"{np.mean(cost):,.0f} · 중앙값 {int(np.median(cost)):,}")

출력:

  효과 없음 (H0 가 참)
    고정 B = 9,999       기각률 0.0450   섞은 횟수 9,999
    조기 중단 (h = 10)    기각률 0.0462   섞은 횟수 평균 81 · 중앙값 20
  효과 있음 (0.8 시그마)
    고정 B = 9,999       기각률 0.6006   섞은 횟수 9,999
    조기 중단 (h = 10)    기각률 0.5906   섞은 횟수 평균 1,808 · 중앙값 323

귀무 아래 제1종 오류율이 \(0.0450\) 대 \(0.0462\) 로 둘 다 약속을 지키는데, 조기 중단은 중앙값 \(20\) 번만 섞었다. \(9{,}999\) 의 \(500\) 분의 \(1\) 이다. 놀랄 일이 아니다 --- 귀무라면 초과가 섞을 때마다 절반꼴로 나오므로 열 번째 초과가 스무 번쯤에서 나온다.

효과가 있을 때는 아끼는 폭이 줄어 평균 \(1{,}808\) 번이고, 그러면서 검정력이 \(0.6006\) 에서 \(0.5906\) 으로 \(1\) 퍼센트포인트 깎인다. 공짜가 아니다. \(h = 10\) 으로 끊으면 \(p\) 값이 \(h/K\) 꼴의 값만 가질 수 있어 \(0.05\) 경계 근처에서 눈금이 듬성해지고, 거기서 갈려야 할 자료가 더러 반대쪽으로 넘어간다. \(h\) 를 키우면 눈금이 촘촘해지는 대신 아끼는 폭이 줄어든다 --- \(h\) 가 그 트레이드오프(trade-off)의 손잡이다.

이것은 「엿보기」가 아니다. 같은 절의 A/B 검정 순열검정이 경고한 엿보기는 자료를 더 모으면서 중간에 판정하는 것이고, 그때는 거짓양성률이 \(0.049\) 에서 \(0.319\) 까지 치솟는다. 여기서 멈추는 것은 자료가 아니라 이미 가진 자료를 섞는 횟수다. 자료는 처음부터 다 모여 있고 귀무분포만 덜 그린 것이므로, 위 표가 보이듯 수준이 지켜진다. 멈추는 대상이 무엇인지가 둘을 가른다.

확인한 곳 --- Besag 과 Clifford 가 1991 년 Biometrika 78권 2호 301-304쪽에 실은 「Sequential Monte Carlo p-values」가 이 멈춤 규칙이 나온 자리다. 그림과 표의 수는 모두 직접 계산한 값이다


3. 효과크기

통계적 유의성만으로는 효과가 실질적으로 의미 있는지 알 수 없다. 절대 차이와 백분율 변화가 맥락을 제공한다.

\[ \text{절대 차이} = \bar{x}_{\text{후}} - \bar{x}_{\text{전}} = 2.25 \]
\[ \text{백분율 변화} = \frac{\bar{x}_{\text{후}} - \bar{x}_{\text{전}}}{\bar{x}_{\text{전}}} \times 100\% = 9.47\% \]

\(23.75\)를 기준으로 한 \(2.25\)켤레 증가는 약 \(9.5\)%의 상승이며, 이익률과 최적화 비용에 따라 경제적으로 의미가 있을 수도 없을 수도 있다.

유의하지 않다고 효과가 없는 것은 아니다

\(p = 0.153\)이지만 점추정값 \(+9.5\)%는 사업적으로 결코 무시할 크기가 아니다. 이 실험의 결론은 "효과가 없다"가 아니라 "\(12\)주로는 이 크기의 효과를 판별할 수 없다"이다.

검정력 계산이 이를 확인해 준다. \(\sigma = 5\), 참 차이 \(2\)일 때 \(n = 12\)의 검정력은 \(0.232\)에 불과하다(연습문제 4).


4. 부트스트랩 신뢰구간

부트스트랩은 정규성(normality)을 가정하지 않고 참 평균차의 신뢰구간을 제공한다. 각 집단에서 독립적으로 복원추출한다.

  1. "전"에서 \(n_1\)개를 복원추출한다.
  2. "후"에서 \(n_2\)개를 복원추출한다.
  3. \(\Delta^{(b)} = \bar{x}_{\text{후}}^{(b)} - \bar{x}_{\text{전}}^{(b)}\)를 계산한다.
  4. \(B\)번 반복하고 백분위수를 취한다.
\[ \text{CI}_{1-\alpha} = \left[q_{\alpha/2},\;\; q_{1-\alpha/2}\right] \]

보기 3. 부트스트랩 신뢰구간. 두 집단에서 따로 복원추출해 평균차의 백분위수 구간을 구한다.

(1) 부트스트랩 표준오차가 \(B \to \infty\)에서 무엇으로 수렴하는지 적고, 고전적 \(\sqrt{(s_1^2+s_2^2)/n}\)과의 비를 구하시오. (부트스트랩 표준오차 보기 1이 일표본에서 유도한 것을 그대로 쓴다.)

(2) 실행해 (1)을 확인하시오. 그리고 표준오차는 안정한데 신뢰구간의 끝점은 그렇지 않다. 씨앗을 바꾸어 가며 그 차이를 수로 보이고 까닭을 밝히시오.

풀이

(1) 해석적으로. 부트스트랩 표본은 각 집단의 경험분포에서 독립으로 뽑힌다. 한 집단의 경험분포는 관측값마다 질량 \(1/n\)을 주므로 그 분산이

\[ \hat\sigma^2 = \frac1n\sum_{i=1}^n (x_i - \bar x)^2 \]

이고(\(n-1\)이 아니라 \(n\)으로 나눈다), 독립인 \(n\)개의 평균이므로 \(\operatorname{Var}_*(\bar X^*) = \hat\sigma^2/n\)이다. 여기까지가 부트스트랩 표준오차 보기 1의 결과다. 두 집단을 따로 재표집하면 두 평균이 독립이므로 분산이 더해져

\[ \widehat{\operatorname{SE}}_{\text{boot}} \xrightarrow[B \to \infty]{} \sqrt{\frac{\hat\sigma_1^2 + \hat\sigma_2^2}{n}} \]

이다. \(\hat\sigma^2 = \frac{n-1}{n}s^2\)이므로 고전적 값과의 비가

\[ \frac{\sqrt{(\hat\sigma_1^2+\hat\sigma_2^2)/n}}{\sqrt{(s_1^2+s_2^2)/n}} = \sqrt{\frac{n-1}{n}} = \sqrt{\frac{11}{12}} = 0.957427 \]

로 부트스트랩 쪽이 체계적으로 \(4.3\%\) 작다. \(B\)를 아무리 키워도 남는 차이다.

(2) 수치적으로. 함수는 이렇다.

def bootstrap_ci(before, after, n_boot=100_000, ci=95, rng=None):
    """평균 차이에 대한 백분위수 부트스트랩 신뢰구간.

    검정은 "효과가 있다/없다"까지만 말한다. 바꾼 가격을 유지할지 정하려면
    효과가 얼마나 되는지를 알아야 하고, 그것은 구간이 말해 준다.
    """
    rng = rng or np.random.default_rng(42)
    b = before[rng.integers(0, len(before), (n_boot, len(before)))].mean(axis=1)
    a = after[rng.integers(0, len(after), (n_boot, len(after)))].mean(axis=1)
    diffs = a - b
    lo = (100 - ci) / 2
    return diffs, np.percentile(diffs, [lo, 100 - lo])

극한값을 확인하고, 씨앗을 \(10\)개 바꾸어 표준오차와 끝점의 변동을 나란히 잰다.

sig1, sig2 = BEFORE.std(ddof=0), AFTER.std(ddof=0)
print(f"부트스트랩 SE 의 극한 = {np.sqrt((sig1 ** 2 + sig2 ** 2) / n):.6f}")
print(f"고전 SE             = {se_unpaired:.6f}")
print(f"비 = sqrt((n-1)/n) = {np.sqrt((n - 1) / n):.6f}")

ups, los, ses = [], [], []
for s in range(10):
    diffs_s, ci_s = bootstrap_ci(BEFORE, AFTER, rng=np.random.default_rng(s))
    los.append(ci_s[0]); ups.append(ci_s[1]); ses.append(diffs_s.std(ddof=1))
print(f"\n씨앗 10 개에서")
print(f"  부트스트랩 SE : {min(ses):.4f} ~ {max(ses):.4f}")
print(f"  95% 하한    : {sorted(set(round(v, 4) for v in los))}")
print(f"  95% 상한    : {sorted(set(round(v, 4) for v in ups))}   (격자 간격 {1 / n:.4f})")

diffs, ci95 = bootstrap_ci(BEFORE, AFTER)
_, ci90 = bootstrap_ci(BEFORE, AFTER, ci=90)
print(f"\n기본 씨앗: 90% = [{ci90[0]:.4f}, {ci90[1]:.4f}],"
      f"  95% = [{ci95[0]:.4f}, {ci95[1]:.4f}],  SE = {diffs.std(ddof=1):.6f}")

출력:

부트스트랩 SE 의 극한 = 1.996959
고전 SE             = 2.085756
비 = sqrt((n-1)/n) = 0.957427

씨앗 10 개에서
  부트스트랩 SE : 1.9943 ~ 2.0050
  95% 하한    : [-1.8333]
  95% 상한    : [5.9167, 6.0]   (격자 간격 0.0833)

기본 씨앗: 90% = [-1.1667, 5.4167],  95% = [-1.8333, 6.0000],  SE = 1.997389

(1)이 맞는다. 극한 \(\sqrt{(\hat\sigma_1^2+\hat\sigma_2^2)/12} = 1.996959\)에 대해 \(B = 100{,}000\)에서 나온 \(1.997389\)가 소수 셋째 자리까지 같고, 씨앗을 열 번 바꾸어도 \(1.9943\)–\(2.0050\) 안에 머문다. 폭이 \(0.5\%\)다. 고전적 \(2.085756\)과의 \(4.3\%\) 차이는 \(B\)를 키워도 사라지지 않는 체계적인 몫이고, 씨앗에 따른 \(0.5\%\)는 몬테카를로 요동이다.

끝점은 사정이 다르다. 같은 열 번의 실행에서 \(95\%\) 상한이 \(5.9167\)과 \(6.0000\) 두 값 사이를 오간다. 하한은 \(-1.8333\)으로 붙박이다. 까닭은 부트스트랩 평균차가 이산이기 때문이다. 자료가 정수이고 \(n = 12\)이므로 재표본평균의 차는 \(1/12 = 0.0833\) 간격의 격자에만 놓인다. \(97.5\)번째 백분위수가 두 격자점 \(5.9167\)과 \(6.0000\)의 경계 바로 위에 있어, 복제값 몇 개가 움직이면 어느 쪽으로든 넘어간다.

그래서 이 쪽의 표가 \(95\%\) 상한을 \(5.92\)로 적는 것도, 위 실행이 \(6.00\)을 내는 것도 모두 같은 분포에서 나온 결과다. \(B\)를 키워 없어지는 것은 표준오차의 요동이고, 격자의 거침은 \(B\)가 아니라 \(n\)이 정한다. 백분위수 구간을 소수 둘째 자리까지 보고하려면 \(n\)이 더 커야 한다.

신뢰수준 구간 폭
90% \([-1.17,\ 5.42]\) 6.59
95% \([-1.83,\ 5.92]\) 또는 \([-1.83,\ 6.00]\) 7.75--7.83

두 구간 모두 \(0\)을 포함한다. 순열검정이 기각하지 못한 것과 일관된다.


5. 2.25 켤레 증가는 드문 일이 아니다

  • 순열검정 \(p\) 값은 관측된 \(2.25\)켤레 증가가 무작위 재라벨링 아래에서 얼마나 드문지를 알려준다. 여기서는 \(p = 0.153\)으로 드물지 않다.
  • 효과크기 약 \(9.5\)%는 변화의 실질적 크기를 정량화한다. 유의하지 않다고 해서 이 값이 사라지는 것은 아니다.
  • 부트스트랩 신뢰구간 \([-1.83, 5.92]\)는 참 평균차의 그럴듯한 범위를 알려준다. \(0\)을 포함하므로 순열검정과 일관되지만, 상한 \(5.92\)는 상당한 개선의 가능성도 배제하지 않음을 보여준다.
  • 세 분석이 함께 완전한 그림을 준다. 유의성, 크기, 불확실성이다. 재표집 접근은 정규성을 가정하지 않으므로 집단당 \(n = 12\)인 상황에서 중요하다.

연습문제

연습문제 1. 위의 단측 순열검정을 양측검정(two-sided test)으로 바꾸어라. 신발 판매 자료에서 다시 실행하고 단측 버전과 \(p\) 값을 비교하라.

풀이
def permutation_test_two_sided(before, after, n_perm=199_999, rng=None):
    rng = rng or np.random.default_rng(42)
    obs = after.mean() - before.mean()
    combined = np.concatenate([before, after])
    n_b = len(before)
    P = np.array([rng.permutation(combined) for _ in range(n_perm)])
    d = P[:, n_b:].mean(axis=1) - P[:, :n_b].mean(axis=1)
    return obs, ((np.abs(d) >= abs(obs) - 1e-12).sum() + 1) / (n_perm + 1)
검정 \(p\) 값
단측 0.153
양측 0.308
비 2.01

양측 \(p\) 값이 단측의 정확히 두 배이다. 순열분포가 \(0\)에 대해 거의 완벽히 대칭이기 때문이다. 두 집단의 크기가 같으므로(\(n_1 = n_2 = 12\)) 모든 순열에 대해 라벨을 뒤집은 순열이 존재하며, 그 차이는 부호만 반대이다.

집단 크기가 다르면 이 관계가 깨진다. 그때 순열분포는 대칭이 아니며 양측 \(p\) 값이 단측의 두 배가 아니다.

단측검정은 자료를 보기 전에 정해야 한다

여기서 단측검정을 정당화한 것은 "최적화가 판매를 늘릴 것으로 기대한다"는 사전 가설이다. 이 결정은 자료를 보기 전에 내려져야 한다.

자료를 본 뒤 "차이가 양수네, 단측으로 하자"고 정하면 실제 제1종 오류율이 \(0.05\)가 아니라 \(0.10\)이 된다. 이는 \(p\)-해킹의 한 형태이다.

보수적인 실무 관행은 사전 방향 가설이 등록된 경우가 아니면 항상 양측을 보고하는 것이다.

연습문제 2. 자료는 대응자료이다(같은 주의 전후). 주별 차이 \(d_i = x_i^{\text{후}} - x_i^{\text{전}}\)의 부호를 무작위로 뒤집는 대응 순열검정을 구현하라. 비대응 검정과 \(p\) 값을 비교하라.

풀이

\(n = 12\)이므로 \(2^{12} = 4096\)가지 부호 배정을 전부 열거할 수 있다.

import numpy as np, itertools
from scipy import stats

d = AFTER - BEFORE
print(d)          # [ 8  7  0  0 -3 10 -2  4 -4 -1  4  4]
print(d.mean(), d.std(ddof=1))     # 2.25  4.575

S = np.array(list(itertools.product([1, -1], repeat=12)))
m = (S * d).mean(axis=1)
p_one = (m >= d.mean() - 1e-12).sum() / 4096
p_two = (np.abs(m) >= abs(d.mean()) - 1e-12).sum() / 4096
print(p_one, p_two)                # 0.06543  0.13086

출력:

[ 8  7  0  0 -3 10 -2  4 -4 -1  4  4]
2.25 4.575130400526108
0.0654296875 0.130859375
검정 단측 \(p\) 양측 \(p\)
비대응 순열 0.153 0.308
대응 순열(정확) 0.0654 0.1309
대응 \(t\) 검정 0.0583 0.1165
윌콕슨 부호순위(정확) 0.0503 0.1007

대응 분석이 \(p\) 값을 절반 이상 줄인다(\(0.153 \to 0.065\)). 그럼에도 \(\alpha = 0.05\)를 넘지 못한다.

왜 개선되는가. 전후 판매량의 상관이 \(r = 0.610\)이다. 주간 판매량에는 계절성·프로모션 같은 공통 요인이 있어 전후가 함께 움직인다. 차이를 취하면 이 공통 변동이 상쇄된다.

접근 관련 표준편차 평균차의 표준오차
비대응 \(s_{\text{전}} = 5.562\), \(s_{\text{후}} = 4.612\) 2.084
대응 \(s_d = 4.575\) 1.321

표준오차가 \(37\)% 줄어든다. 이론적으로 \(\text{sd}(d) = \sigma\sqrt{2(1-\rho)}\)이므로 \(\rho = 0.61\)이면 \(\sqrt{2 \times 0.39} = 0.883\)배가 되고, 대응 설계가 관측 단위의 수 \(n\)을 \(24\)에서 \(12\)로 줄이는 손실을 이 감소가 상쇄하고도 남는다.

부트스트랩으로도 확인된다. 대응 부트스트랩 \(95\)% 신뢰구간은 \([-0.17, 4.75]\)로 비대응의 \([-1.83, 5.92]\)보다 훨씬 좁다. 하한이 \(0\)에 아슬아슬하게 못 미친다.

설계가 분석보다 중요하다

비대응 분석에서 대응 분석으로 바꾸는 것만으로 \(p\) 값이 \(0.153\)에서 \(0.065\)로 떨어졌다. 자료를 하나도 더 모으지 않고 얻은 개선이다.

같은 개선을 표본을 늘려 얻으려면 \(n\)을 대략 \(2.4\)배로 해야 한다. 올바른 분석 방법을 고르는 것이 자료를 더 모으는 것보다 값싸다.

반대로, 대응 구조가 있는데 비대응 검정을 쓰면 검정력을 그냥 버리는 것이다. 이는 흔한 실수이며, 자료가 "before/after" 두 열로 주어졌을 때 특히 놓치기 쉽다.

연습문제 3. 위의 부트스트랩 신뢰구간은 백분위수법을 쓴다. 기본 부트스트랩 신뢰구간(추축법)을 구현하고 백분위수 구간과 비교하라.

\[ \text{CI} = \bigl(2\hat\theta - q_{1-\alpha/2},\;\; 2\hat\theta - q_{\alpha/2}\bigr) \]
풀이
theta_hat = AFTER.mean() - BEFORE.mean()      # 2.25
boot_diffs, _ = bootstrap_ci(BEFORE, AFTER, n_boot=100_000)
q_lo, q_hi = np.percentile(boot_diffs, [2.5, 97.5])

print(f"Percentile: [{q_lo:.2f}, {q_hi:.2f}]")
print(f"Basic:      [{2*theta_hat - q_hi:.2f}, {2*theta_hat - q_lo:.2f}]")

출력:

Percentile: [-1.83, 6.00]
Basic:      [-1.50, 6.33]
방법 \(95\)% 구간 폭 중심
백분위수 \([-1.83,\ 5.92]\) 7.75 2.05
기본 \([-1.42,\ 6.33]\) 7.75 2.46

폭이 정확히 같다(\(7.75\)). 이는 항상 성립한다. 기본법은 구간을 \(\hat\theta\)에 대해 반사할 뿐 폭을 바꾸지 않는다.

중심이 \(0.41\)만큼 다르다. 부트스트랩 분포의 중심 \(2.05\)가 \(\hat\theta = 2.25\)보다 작기 때문이다(즉 부트스트랩 편향이 \(-0.20\)). 기본법은 이를 반대 방향으로 보정하여 구간을 오른쪽으로 옮긴다.

부트스트랩 분포의 왜도(skewness)는 \(-0.191\)로 약간 왼쪽으로 치우쳐 있다. 표본에 \(35\)와 \(33\)이라는 큰 값이 "전" 집단에 있어, 재표집에서 이들이 빠질 때 차이가 커지는 비대칭이 생긴다.

어느 쪽을 쓸 것인가. 이 자료에서는 결론이 같으므로(\(0\)을 포함) 중요하지 않다. 일반적으로는

  • 부트스트랩 분포가 대칭이면 둘이 거의 같다.
  • 치우쳐 있으면 백분위수법이 대개 낫다. 변환 불변성 때문이다(백분위수법 연습문제 4 참조).
  • 편향이 크면 BCa가 둘 다보다 낫다.

연습문제 4. 회사가 주당 최소 \(2\)켤레의 상승을 \(80\)% 검정력으로 탐지하고자 한다. 모의실험으로 순열검정에 필요한 표본크기(집단당 주 수)를 \(\alpha = 0.05\)에서 추정하라.

풀이
import numpy as np
rng = np.random.default_rng(42)

def power_estimate(n, true_diff=2.0, sd=5.0, M=800, B=999):
    r = 0
    for _ in range(M):
        b = rng.normal(24, sd, n); a = rng.normal(24 + true_diff, sd, n)
        obs = a.mean() - b.mean()
        z = np.concatenate([b, a])
        P = np.array([rng.permutation(z) for _ in range(B)])
        d = P[:, n:].mean(1) - P[:, :n].mean(1)
        r += ((d >= obs - 1e-12).sum() + 1)/(B+1) < 0.05
    return r / M

비대응 설계 (단측 \(\alpha = 0.05\), \(\sigma = 5\), 참 차이 \(= 2\))

집단당 \(n\) 순열검정 검정력 이론값
12 0.232 0.253
30 0.456 0.462
50 0.656 0.639
80 0.806 0.812
100 0.879 0.882

답: 집단당 약 \(80\)주가 필요하다. 이론값도 같은 답을 준다.

\[ n = \frac{2\sigma^2(z_{0.95} + z_{0.80})^2}{\delta^2} = \frac{2 \times 25 \times (1.645 + 0.842)^2}{4} = 77.3 \]

\(80\)주는 \(1.5\)년이다. 실무적으로 받아들이기 어렵다. 가격 최적화의 효과를 그렇게 오래 기다릴 수 없고, 그 사이에 계절성·경쟁사·경기 변화가 개입한다.

대응 설계가 이 문제를 크게 완화한다. 전후 상관이 \(\rho = 0.6\)이면 차이의 표준편차가 \(\sigma\sqrt{2(1-\rho)} = 5\sqrt{0.8} = 4.47\)이다.

대응 \(n\) 검정력
12 0.434
20 0.596
30 0.780
40 0.844

대응 설계에서는 \(30\)--\(35\)주면 충분하다. 비대응의 \(80\)주에서 절반 이하로 줄어든다.

검정력을 올리는 세 가지 방법

표본을 늘리는 것만이 답은 아니다. 필요한 \(n\)은 \(\sigma^2/\delta^2\)에 비례하므로

  1. \(\sigma\)를 줄인다. 대응 설계, 공변량 보정(회귀), 층화(stratification)가 모두 여기 해당한다. 위에서 본 것처럼 효과가 가장 크다.
  2. \(\delta\)를 키운다. 더 과감한 개입을 시험한다. \(10\)%가 아니라 \(20\)% 가격 변화를 시험하면 필요한 \(n\)이 \(1/4\)이 된다.
  3. \(n\)을 늘린다. 가장 비싸고 느린 방법이다. 여러 매장이나 여러 상품군에서 동시에 실험하면 시간이 아니라 단위 수로 \(n\)을 늘릴 수 있다.

연습문제 5. 교환가능성이라는 귀무가설이 성립할 때 순열검정이 제1종 오류(type I error)를 통제함을 증명하라. 즉 모든 \(\alpha \in (0,1)\)에 대해 \(P(p \le \alpha \mid H_0) \le \alpha\)임을 보여라.

풀이

\(H_0\) 아래에서 "전"과 "후" 라벨은 교환 가능하다. \(\binom{n_1+n_2}{n_1}\)가지 라벨 배정이 모두 동등하게 가능하다. \(T_0\)을 관측된 검정통계량(test statistic), \(T_1, \ldots, T_B\)를 \(B\)개의 무작위 순열에서 얻은 통계량이라 하자.

교환가능성에 의해 확장된 집합 \(\{T_0, T_1, \ldots, T_B\}\)는 \(B+1\)개의 교환 가능한 확률변수로 이루어진다.

\(p\) 값을 \(+1\) 보정을 포함해 정의해야 한다.

\[ p = \frac{\#\{b : T_b \ge T_0\} + 1}{B + 1} \]

\(R\)을 \(\{T_0, T_1, \ldots, T_B\}\) 중 \(T_0\)의 내림차순 순위라 하자(\(T_0\)이 최대이면 \(R = 1\)). 교환가능성에 의해 \(R\)은 \(\{1, \ldots, B+1\}\) 위에서 균등분포이다.

동점이 없으면 \(\#\{b : T_b \ge T_0\} = R - 1\)이므로 \(p = R/(B+1)\)이고

\[ P(p \le \alpha) = P\!\left(R \le \alpha(B+1)\right) = \frac{\lfloor \alpha(B+1) \rfloor}{B+1} \le \alpha \]

이다. 동점이 있으면 \(p\)가 커지므로 부등식이 유지된다. \(\square\)

\((B+1)\alpha\)가 정수이면 등호가 성립한다. 이 페이지에서 \(B = 199{,}999\)를 쓴 이유이며, \((B+1) \times 0.05 = 10{,}000\)이 정수이다.

\(+1\) 없이는 증명이 성립하지 않는다

\(p = \#\{b : T_b \ge T_0\}/B\)로 정의하면 \(R = 1\)일 때 \(p = 0\)이 되어, \(\alpha < 1/(B+1)\)인 모든 \(\alpha\)에서

\[ P(p \le \alpha) \ge P(R = 1) = \frac{1}{B+1} > \alpha \]

가 되어 통제가 깨진다. 검정이 보수적이 아니라 반보수적이 된다.

대응 순열검정 연습문제 3에서 \(B = 199\), \(\alpha = 0.05\)일 때 보정 없는 정의의 제1종 오류율이 \(0.0512\), 보정한 정의가 \(0.0458\)임을 수치로 확인했다.

모든 순열을 열거하는 정확 순열검정에서는 \(B+1\)이 가능한 배열의 총수가 되고 \(R\)이 정확히 균등하므로 위 부등식이 그대로 성립한다. 이것이 연습문제 2에서 \(2^{12} = 4096\)가지를 전부 열거한 대응검정의 \(p\) 값이 몬테카를로 오차 없이 정확한 이유이다.

연습문제 6. 연습문제 2의 대응 순열검정은 \(2^{12} = 4096\)가지 부호 배정을 전부 열거해 단측 \(p = 0.0654296875\)를 얻었다. 그런데 차이 벡터

\[ d = (8,\ 7,\ 0,\ 0,\ -3,\ 10,\ -2,\ 4,\ -4,\ -1,\ 4,\ 4) \]

에는 \(0\)이 둘 있다. 이것이 검정의 분해능에 무엇을 하는지 끝까지 센다.

(1) \(T = \sum_{i=1}^{12} \varepsilon_i d_i\)(\(\varepsilon_i \in \{+1, -1\}\))라 하자. \(T\)가 \([-47,\ 47]\)의 홀수 정수 \(48\)개를 하나도 빠짐없이 취함을 보이고, 부호를 뒤집은 평균이 \(T/12\)임을 확인하시오.

(2) \(0\)이 둘이므로 모든 꼬리 개수가 \(4\)의 배수임을 보이고, 따라서 단측 \(p\) 값이 반드시 \(1/1024\)의 배수임을 결론하시오. 관측값 \(0.0654296875\)를 그 꼴로 적고, 이 검정이 낼 수 있는 가장 작은 \(p\) 값을 구하시오.

(3) \(\alpha = 0.05\)에서 이 검정의 실제 크기 \(P(p \le 0.05 \mid H_0)\)가 \(0.05\)에 미치지 못함을 보이고 상한을 구하시오.

풀이

(1) \(T\)가 가는 곳. 부호 하나를 뒤집으면 \(T\)가 \(2d_i\)만큼 바뀌므로 변화량이 늘 짝수다. 따라서 모든 부호 배정에서

\[ T \equiv \sum_{i} d_i = 2.25 \times 12 = 27 \equiv 1 \pmod 2 \]

로 \(T\)는 언제나 홀수다. 또 \(\lvert T \rvert \le \sum_i \lvert d_i \rvert = 47\)이다. 모든 부호가 \(d_i\)의 부호와 맞는 배정에서 출발해 집합 \(A\)의 부호만 뒤집으면

\[ T = 47 - 2\sum_{i \in A} \lvert d_i \rvert \]

이므로, \(T\)가 취하는 값은 \(\lvert d_i \rvert\)의 영 아닌 값 열 개 \(\{1, 2, 3, 4, 4, 4, 4, 7, 8, 10\}\)의 부분집합합 \(K\)가 얼마나 촘촘한지로 정해진다. 작은 것부터 더해 가며 보면 \(1\)로 \(0\)–\(1\), \(+2\)로 \(0\)–\(3\), \(+3\)로 \(0\)–\(6\), 네 개의 \(4\)를 차례로 더해 \(0\)–\(10\), \(0\)–\(14\), \(0\)–\(18\), \(0\)–\(22\), \(+7\)로 \(0\)–\(29\), \(+8\)로 \(0\)–\(37\), \(+10\)로 \(0\)–\(47\)이 된다(다음 수가 그때까지의 상한 \(+1\)을 넘지 않으므로 구멍이 생기지 않는다). 즉 \(K\)는 \(0\)부터 \(47\)까지 모든 정수를 취하고, \(T = 47 - 2K\)는 \(-47\)부터 \(47\)까지 홀수 \(48\)개를 전부 취한다. 부호를 뒤집은 평균은 \(\frac1{12}\sum \varepsilon_i d_i = T/12\)이므로 관측값은 \(T = 27\), 평균 \(27/12 = 2.25\)다.

(2) 분모는 \(4096\)이 아니라 \(1024\)다. \(d_3 = d_4 = 0\)이므로 \(\varepsilon_3, \varepsilon_4\)를 어떻게 바꾸어도 \(T\)가 변하지 않는다. 따라서 \(4096\)가지 부호 배정은 \(T\)값이 같은 네 개짜리 그룹 \(1024\)개로 쪼개지고, 꼬리 집합 \(\{\varepsilon : T(\varepsilon) \ge t\}\)는 그런 그룹들의 합집합이므로 그 크기가 언제나 \(4\)의 배수다. 그러므로

\[ p = \frac{\#\{\varepsilon : T(\varepsilon) \ge T_{\text{obs}}\}}{4096} \in \left\{\frac{4k}{4096}\right\} = \left\{\frac{k}{1024}\right\} \]

다. 관측값을 이 꼴로 되돌리면 \(0.0654296875 \times 4096 = 268 = 4 \times 67\)이므로

\[ p_{\text{obs}} = \frac{268}{4096} = \frac{67}{1024} \]

이다. 가장 작은 \(p\) 값은 꼬리가 가장 짧을 때이고, \(T\)의 최댓값 \(47\)은 영 아닌 좌표의 부호를 하나라도 뒤집으면 반드시 작아지므로 \(T = 47\)을 주는 배정은 \(\varepsilon_3, \varepsilon_4\)의 네 가지뿐이다. 따라서

\[ p_{\min} = \frac{4}{4096} = \frac{1}{1024} = 0.0009765625 \]

다. \(4096\)가지를 다 열거해도 얻는 분해능은 \(1/4096\)이 아니라 \(1/1024\)다. \(0\)이 둘이면 열두 번의 동전던지기 가운데 두 번은 검정통계량을 건드리지 못하므로, 쓸 수 있는 무작위화(randomization)가 \(2^{12}\)에서 \(2^{10}\)으로 줄어든 것이다.

(3) 실제 크기. \(p\)는 \(T\)의 감소함수이므로 \(\{p \le \alpha\}\)는 어떤 \(c\)에 대해 \(\{T \ge c\}\) 꼴이고, 그 확률은 바로 \(p(c)\)다. 즉

\[ P(p \le \alpha \mid H_0) = \max\{\,p : p \text{ 가 도달 가능하고 } p \le \alpha \,\} \]

이다. (2)에서 도달 가능한 \(p\)는 모두 \(1/1024\)의 배수이고 \(0.05 \times 1024 = 51.2\)이므로

\[ P(p \le 0.05 \mid H_0) \le \frac{51}{1024} = 0.0498046875 < 0.05 \]

다. 실제로 연습문제 2의 열거에 꼬리 개수를 한 줄 더 세어 보면 \(0.05\) 이하인 가장 큰 도달 가능 값이 \(41/1024 = 0.0400390625\)여서, 이 검정의 참 크기는 \(0.040\)이다. 명목 \(0.05\)의 \(80\%\)밖에 쓰지 못한다.

이산성이 공짜가 아니다. 연습문제 5는 순열검정이 \(P(p \le \alpha) \le \alpha\)를 지킨다고 했는데, 지금 본 것은 그 부등식이 등호에서 꽤 멀어질 수 있다는 것이다. 이 손해는 몬테카를로 오차가 아니므로 \(B\)를 키워 없앨 수 없다. 줄이는 길은 \(n\)을 키우는 것뿐이고, 표의 윌콕슨 부호순위가 \(d_i = 0\)인 두 주를 버려 \(n = 10\)으로 가는 것은 같은 값을 다른 방식으로 치르는 것이다(\(2^{10} = 1024\)가지로 출발하니 분해능은 똑같고, 대신 정보 두 개를 버린다).

연습문제 7. 보기 3은 두 집단에서 따로 복원추출했다. 주를 쌍으로 뽑는 쌍 부트스트랩(주 번호 \(12\)개를 복원추출하고 그 주의 \((x_i, y_i)\)를 통째로 가져가기)과 견주어 본다.

(1) 두 방식의 \(\widehat{\operatorname{SE}}\)가 \(B \to \infty\)에서 각각 무엇으로 가는지 적고, 두 분산의 차를 \(\hat\sigma_{12} = \frac1n\sum_i (x_i - \bar x)(y_i - \bar y)\)로 표현하시오.

(2) 신발 자료에서 \(\hat\sigma_1^2\), \(\hat\sigma_2^2\), \(\hat\sigma_{12}\)를 구해 두 극한값과 그 차를 소수 여섯 자리까지 적으시오. 집단별 부트스트랩은 표준오차를 몇 배로 틀리게 보는가.

(3) "재표집에서 자료의 구조를 흩으면 표준오차를 과소평가한다"는 말을 블록 부트스트랩에서 흔히 듣는다. 그런데 (2)는 반대다. 통계량을 차 \(\bar y - \bar x\)에서 합 \(\bar y + \bar x\)로 바꾸면 어떻게 되는지 같은 자료로 계산하고, 부호를 정하는 것이 무엇인지 한 문장으로 적으시오.

풀이

(1) 두 극한. 쌍 부트스트랩은 쌍 \((x_i, y_i)\)마다 질량 \(1/n\)을 주는 경험분포에서 \(n\)개를 독립으로 뽑는다. 그러면

\[ \Delta^* = \bar y^* - \bar x^* = \frac1n \sum_{j=1}^n \bigl(y^*_j - x^*_j\bigr) \]

이고 뽑힌 쌍마다 \(y^* - x^*\)가 \(d_i\) 중 하나이므로, 이것은 \(d\)에 대한 일표본 부트스트랩이다. 보기 3의 (1)을 \(d\)에 그대로 적용하면

\[ \operatorname{Var}_*(\Delta^*) = \frac{\hat\sigma_d^2}{n}, \qquad \hat\sigma_d^2 = \frac1n\sum_{i=1}^n (d_i - \bar d)^2 \]

이다. 집단별 부트스트랩은 보기 3에서 본 대로 \((\hat\sigma_1^2 + \hat\sigma_2^2)/n\)으로 간다. 그리고 \(\hat\sigma_d^2 = \hat\sigma_1^2 + \hat\sigma_2^2 - 2\hat\sigma_{12}\)이므로

\[ \underbrace{\frac{\hat\sigma_1^2 + \hat\sigma_2^2}{n}}_{\text{집단별}} - \underbrace{\frac{\hat\sigma_d^2}{n}}_{\text{쌍}} = \frac{2\hat\sigma_{12}}{n} \]

다. 쌍을 흩는 것은 공분산 항을 지우는 것이다. 그 항이 차의 분산에는 \(-2\hat\sigma_{12}/n\)로 들어와 있었으므로, 지우면 \(\hat\sigma_{12} > 0\)일 때 분산이 커진다.

(2) 수치. 편차제곱합이 \(\sum(x_i - \bar x)^2 = 340.25\), \(\sum(y_i - \bar y)^2 = 234\), \(\sum(x_i - \bar x)(y_i - \bar y) = 172\)이므로 \(n = 12\)로 나누어

\[ \hat\sigma_1^2 = 28.354167, \qquad \hat\sigma_2^2 = 19.500000, \qquad \hat\sigma_{12} = 14.333333 \]

이고 \(\hat\sigma_d^2 = 28.354167 + 19.5 - 2 \times 14.333333 = 19.187500\)이다. 따라서

재표집 방식 극한 분산 극한 \(\widehat{\operatorname{SE}}\)
쌍(주 번호를 뽑기) 1.598958 1.264499
집단별(보기 3) 3.987847 1.996959
차 \(2\hat\sigma_{12}/n\) 2.388889 —

집단별 부트스트랩은 표준오차를 \(1.996959 / 1.264499 = 1.579249\)배, 즉 \(58\%\) 크게 본다. 이 값은 보기 1이 고전적 공식에서 얻은 비 \(0.633212\)의 역수와 정확히 같다. 부트스트랩이 \(n\)으로, 고전적 공식이 \(n-1\)로 나누는 차이가 분자와 분모에서 똑같이 약분되기 때문이다.

(3) 합으로 바꾸면 부호가 뒤집힌다. 쌍 부트스트랩에서는

\[ \operatorname{Var}_*(\bar y^* + \bar x^*) = \frac{\hat\sigma_1^2 + \hat\sigma_2^2 + 2\hat\sigma_{12}}{n} = \frac{76.520833}{12} = 6.376736 \]

로 \(\widehat{\operatorname{SE}} = 2.525220\)이다. 집단별 부트스트랩은 공분산을 모르므로 차에서나 합에서나 똑같이 \(1.996959\)를 내놓는다. 이번에는 \(1.996959 / 2.525220 = 0.790806\)배로 \(21\%\) 과소평가다.

한 문장으로: 부호를 정하는 것은 의존의 부호가 아니라 의존의 부호와, 통계량이 두 측정에 주는 가중의 부호의 곱이다. 차에는 \(-2\hat\sigma_{12}\), 합에는 \(+2\hat\sigma_{12}\)가 들어가므로 같은 양의 상관이 한쪽에서는 과대평가를, 다른 쪽에서는 과소평가를 낳는다.

블록 부트스트랩에서 "흩으면 과소평가"가 통념이 된 것은 거기서 재는 것이 거의 언제나 합(또는 평균)이고 시계열의 의존이 거의 언제나 양이기 때문이다. 규칙은 "구조를 지켜라"이지 "흩으면 작아진다"가 아니다. 틀리는 방향까지 외우려 하면 대응자료에서 바로 반대 답을 얻는다.

연습문제 8. 보기 1은 섞기 귀무분포의 표준편차를 \(s_z\sqrt{2/n} = 2.093165\)로 계산했다. 같은 귀무가설을 부트스트랩으로 흉내 내는 다른 길이 있다. \(24\)개를 합친 뒤 거기서 복원추출로 \(12\)개짜리 두 집단을 만들어 \(\Delta^*\)를 모으는 것이다(풀링 부트스트랩 검정).

(1) 일반적인 \(n_1, n_2\)에 대해 순열 귀무분포의 분산이 \(s_z^2(1/n_1 + 1/n_2)\)임을 보이시오. 힌트: \(n_1 \bar Z_1 + n_2 \bar Z_2 = N\bar z\)가 고정이므로 \(\Delta^\pi\)는 \(\bar Z_1\) 하나의 함수이고, 비복원추출의 분산이 \(\operatorname{Var}(\bar Z_1) = \frac{s_z^2}{n_1}\cdot\frac{N - n_1}{N}\)이다.

(2) 풀링 부트스트랩 귀무분포의 분산을 구하고, 두 표준편차의 비가 \(n_1\), \(n_2\)와 자료값에 무관하게 \(\sqrt{(N-1)/N}\)임을 보이시오. 신발 자료에서 두 수를 적으시오.

(3) 연습문제 5의 증명이 풀링 부트스트랩에는 적용되지 않는 까닭을 적고, (2)의 불일치가 관측된 \(\Delta_{\text{obs}} = 2.25\)의 단측 \(p\) 값을 어느 쪽으로 얼마나 움직이는지 정규근사로 근사하시오.

풀이

(1) 순열 귀무분포. 합친 값 \(z_1, \dots, z_N\)은 순열이 바뀌어도 그대로이고 \(\bar z\)도 고정이다. 제약 \(n_1\bar Z_1 + n_2 \bar Z_2 = N \bar z\)에서 \(\bar Z_2 = (N\bar z - n_1 \bar Z_1)/n_2\)이므로

\[ \Delta^\pi = \bar Z_2 - \bar Z_1 = \frac{N\bar z - n_1 \bar Z_1}{n_2} - \bar Z_1 = \frac{N}{n_2}\bigl(\bar z - \bar Z_1\bigr) \]

이다. 힌트의 공식을 넣으면

\[ \operatorname{Var}(\Delta^\pi) = \frac{N^2}{n_2^2}\cdot \frac{s_z^2}{n_1}\cdot\frac{N - n_1}{N} = \frac{N^2}{n_2^2}\cdot\frac{s_z^2}{n_1}\cdot\frac{n_2}{N} = \frac{N s_z^2}{n_1 n_2} = s_z^2\left(\frac1{n_1} + \frac1{n_2}\right) \]

이고, \(n_1 = n_2 = n\)이면 \(2s_z^2/n\)이라 표준편차가 \(s_z\sqrt{2/n}\)이다. 보기 1이 쓴 바로 그 식이다.

(2) 풀링 부트스트랩 귀무분포. 복원추출이면 \(24\)개 모두가 합친 경험분포에서 독립으로 뽑히고 두 집단도 서로 독립이므로, 제약이 사라진다. 각 집단의 평균이 \(\operatorname{Var}_*(\bar Z_1^*) = \hat\sigma_z^2/n_1\)이고 독립이므로

\[ \operatorname{Var}_*(\Delta^*) = \hat\sigma_z^2\left(\frac1{n_1} + \frac1{n_2}\right), \qquad \hat\sigma_z^2 = \frac1N\sum_{i=1}^N (z_i - \bar z)^2 \]

다. 두 분산의 비는 \((1/n_1 + 1/n_2)\)가 약분되어

\[ \frac{\operatorname{SD}_*(\Delta^*)}{\operatorname{SD}(\Delta^\pi)} = \frac{\hat\sigma_z}{s_z} = \sqrt{\frac{N-1}{N}} \]

이고, \(n_1\), \(n_2\)도 자료값도 들어가지 않는다. 신발 자료는 \(\sum(z_i - \bar z)^2 = 604.625\)이므로 \(s_z^2 = 604.625/23 = 26.288043\), \(\hat\sigma_z^2 = 604.625/24 = 25.192708\)이고

귀무분포 표준편차
순열(비복원) 2.093165
풀링 부트스트랩(복원) 2.049094
비 \(\sqrt{23/24}\) 0.978945

로 풀링 부트스트랩 쪽이 \(2.1\%\) 좁다.

(3) 왜 증명이 안 넘어가는가. 연습문제 5의 논증은 확장된 집합 \(\{T_0, T_1, \dots, T_B\}\)가 교환가능해서 \(T_0\)의 순위 \(R\)이 \(\{1, \dots, B+1\}\) 위에서 균등해진다는 데에 전부 걸려 있다. 순열검정에서는 관측된 배치 자체가 \(\binom{N}{n_1}\)가지 동등한 배치 중 하나이므로 \(T_0\)가 \(T_b\)들과 같은 메커니즘에서 나온 한 장이고, 그래서 교환가능하다. 풀링 부트스트랩에서는 \(T_b\)가 복원추출로 만들어진다. 관측된 \(24\)개 값의 다중집합은 복제표본에 거의 나오지 않으므로(\(24\)개가 모두 한 번씩 뽑힐 확률이 \(24!/24^{24} \approx 10^{-9}\)) \(T_0\)와 \(T_b\)는 같은 분포가 아니다. \(R\)이 균등하지 않으니 \(P(p \le \alpha) \le \alpha\)가 보장되지 않는다. 순열검정은 정확하고 부트스트랩 검정은 근사인 것이 바로 이 자리에서 갈린다.

(2)는 그 불일치의 크기를 수로 준다. 귀무분포가 체계적으로 좁으므로 \(p\) 값이 작아지고 검정이 반보수적이다. 정규근사로 단측 \(p\) 값을 근사하면

\[ 1 - \Phi\!\left(\frac{2.25}{2.093165}\right) = 1 - \Phi(1.074927) = 0.141204, \qquad 1 - \Phi\!\left(\frac{2.25}{2.049094}\right) = 1 - \Phi(1.098046) = 0.136092 \]

로 \(0.005112\)만큼, 상대적으로 \(3.6\%\) 작다. 이 자료에서는 결론을 바꿀 크기가 아니지만 부호가 늘 한쪽이라는 점이 문제다. 그리고 \(N \to \infty\)에서 \(\sqrt{(N-1)/N} \to 1\)이므로 이것은 유한 \(N\)의 결함이다. 고치는 가장 싼 길은 검정에는 복원추출을 쓰지 않는 것이고, 굳이 쓰려면 복제값에 \(\sqrt{N/(N-1)}\)을 곱해 척도를 맞추어야 한다.

두 근사값이 모두 정확 순열 \(p = 0.154287\)보다 작은 것은 별개의 오차다. 귀무분포가 격자 위의 이산분포이고 그 꼬리가 정규보다 두꺼워서 정규근사 자체가 치우친 것이며, 그쪽은 \(N\)이 커지면 줄어든다. 같은 방향으로 보이는 두 오차를 섞어 읽지 않도록 조심해야 한다. 하나는 재표집 방식이 틀려서 생긴 것이고 다른 하나는 정규근사를 끼워 넣어서 생긴 것이다.

연습문제 9. 연습문제 5는 교환가능성 아래에서 순열검정이 정확함을 증명했다. 그런데 귀무가설을 "두 평균이 같다"로만 두면 분산이 다를 때 라벨은 교환가능하지 않다. 그 대가를 재어 본다.

(1) 평균이 같고 분산이 다른 두 정규모집단에서 양측 순열검정(\(\alpha = 0.05\), \(B = 199\))의 실제 기각률을 \(M = 20{,}000\)회로 재라. 통계량은 (가) 평균차 \(\Delta\)와 (나) 스튜던트화한 웰치 \(t\) 두 가지로 하고, 설계는 \((n_1, n_2) = (12, 12)\)와 \((5, 25)\), \((\sigma_1, \sigma_2) = (4, 1)\)과 \((1, 4)\), 그리고 대조군으로 \((5, 25)\)에 \((2, 2)\)를 쓰라.

(2) \(n_1 = n_2\)인 행에서 두 통계량의 기각률이 소수 넷째 자리까지 같다. 우연이 아님을 증명하라.

(3) \((5, 25)\)의 두 행이 왜 그렇게 되는지, 순열 귀무분포의 척도를 \(\Delta\)의 참 척도와 견주어 설명하라.

풀이

(1) 모의. 반복 \(20{,}000\)회와 순열 \(199\)회의 이중 루프를 파이썬으로 돌면 \(400\)만 번이 된다. 덩이로 끊어 한꺼번에 섞는다.

import numpy as np

def perm_sizes(n1, n2, sd1, sd2, M=20_000, B=199, chunk=1000, seed=0):
    """평균이 같고 분산이 다른 두 정규모집단에서 양측 순열검정의 실제 크기."""
    rng = np.random.default_rng(seed)
    N = n1 + n2
    rej = np.zeros(2, dtype=int)

    def two_stats(g1, g2):
        m1, m2 = g1.mean(-1), g2.mean(-1)
        v1, v2 = g1.var(-1, ddof=1), g2.var(-1, ddof=1)
        return m2 - m1, (m2 - m1) / np.sqrt(v1 / n1 + v2 / n2)

    for start in range(0, M, chunk):
        c = min(chunk, M - start)
        x1 = rng.normal(0.0, sd1, (c, n1))
        x2 = rng.normal(0.0, sd2, (c, n2))
        z = np.concatenate([x1, x2], axis=1)
        obs = two_stats(x1, x2)
        # (덩이, 순열, N) 을 한꺼번에 — 줄마다 따로 섞인다.
        zp = rng.permuted(np.broadcast_to(z[:, None, :], (c, B, N)), axis=2)
        per = two_stats(zp[:, :, :n1], zp[:, :, n1:])
        for k in range(2):
            cnt = (np.abs(per[k]) >= np.abs(obs[k])[:, None] - 1e-12).sum(axis=1)
            rej[k] += ((cnt + 1) / (B + 1) <= 0.05).sum()
    return rej / M

print("설계                 평균차   스튜던트화")
for n1, n2, s1, s2 in [(12, 12, 4.0, 1.0), (5, 25, 4.0, 1.0),
                       (5, 25, 1.0, 4.0), (5, 25, 2.0, 2.0)]:
    r = perm_sizes(n1, n2, s1, s2)
    print(f"n=({n1:2d},{n2:2d})  sd=({s1:.0f},{s2:.0f})    {r[0]:.4f}     {r[1]:.4f}")

출력:

설계                 평균차   스튜던트화
n=(12,12)  sd=(4,1)    0.0607     0.0607
n=( 5,25)  sd=(4,1)    0.3369     0.0800
n=( 5,25)  sd=(1,4)    0.0003     0.0260
n=( 5,25)  sd=(2,2)    0.0503     0.0507

기각률의 몬테카를로 표준오차는 \(0.05\) 근처에서 \(\sqrt{0.05 \times 0.95/20000} = 0.0015\)다. 분산이 같은 마지막 행은 \(0.0503\), \(0.0507\)로 명목값과 구별되지 않는다. 교환가능성이 참이면 순열검정은 정확하다. 분산이 다른 행들은 그렇지 않다. 작은 집단이 분산이 크면 평균차 검정이 \(0.3369\)로 명목의 일곱 배를 기각하고, 뒤집으면 \(0.0003\)으로 거의 아무것도 기각하지 않는다.

(2) \(n_1 = n_2\)이면 두 검정은 같은 검정이다. \(n_1 = n_2 = n\)이라 하고 합친 표본의 편차제곱합을 두 집단으로 쪼개자. 집단별 평균 \(m_1, m_2\)와 전체 평균 \(\bar z = (m_1 + m_2)/2\)에 대해 \((m_1 - \bar z)^2 = (m_2 - \bar z)^2 = \Delta^2/4\)이므로

\[ \sum_{i=1}^{2n}(z_i - \bar z)^2 = (n-1)(v_1 + v_2) + n(m_1 - \bar z)^2 + n(m_2 - \bar z)^2 = (n-1)(v_1 + v_2) + \frac{n\Delta^2}{2} \]

이다. 좌변은 라벨을 어떻게 바꾸어도 같은 수이므로

\[ v_1 + v_2 = \frac{1}{n-1}\left(\sum_i (z_i - \bar z)^2 - \frac{n\Delta^2}{2}\right) \]

로 \(v_1 + v_2\)는 \(\lvert \Delta \rvert\)의 감소함수다. 그러면

\[ \lvert t \rvert = \frac{\lvert \Delta \rvert}{\sqrt{(v_1+v_2)/n}} \]

의 분자는 커지고 분모는 작아지므로 \(\lvert t \rvert\)는 \(\lvert \Delta \rvert\)의 순증가함수다. 두 통계량이 같은 순서를 주므로 꼬리 개수 \(\#\{b : \lvert T_b \rvert \ge \lvert T_0 \rvert\}\)가 둘에서 똑같고, \(p\) 값이 모든 표본에서 글자 그대로 같다. 소수 넷째 자리까지 같은 것이 아니라 완전히 같다. 이 항등식은 \(n_1 \ne n_2\)이면 깨진다(\((m_1-\bar z)^2 \ne (m_2 - \bar z)^2\)이라 \(\Delta^2\)의 계수에 \(n_1, n_2\)가 따로 남는다).

(3) 척도가 어긋난다. \(\Delta\)의 참 표준편차는 \(\sqrt{\sigma_1^2/n_1 + \sigma_2^2/n_2}\)다. 한편 (1)의 순열 귀무분포는 연습문제 8에서 본 대로 표준편차가 \(s_z\sqrt{1/n_1 + 1/n_2}\)이고, 평균이 같을 때 \(E[s_z^2] = \bar\sigma^2 := (n_1\sigma_1^2 + n_2\sigma_2^2)/N\)이므로 척도가 대략 \(\sqrt{\bar\sigma^2(1/n_1+1/n_2)}\)다. 두 수는 \(n_1 = n_2\)이거나 \(\sigma_1 = \sigma_2\)일 때만 같다.

설계 참 척도 순열 귀무 척도 비 예측 기각률 실측
\((12,12)\), \((4,1)\) 1.190238 1.190238 1.0000 0.0500 0.0607
\((5,25)\), \((4,1)\) 1.800000 0.916515 1.9640 0.3183 0.3369
\((5,25)\), \((1,4)\) 0.916515 1.800000 0.5092 0.000118 0.0003
\((5,25)\), \((2,2)\) 0.979796 0.979796 1.0000 0.0500 0.0503

예측 기각률은 \(2\bigl(1 - \Phi(1.96 \times \text{귀무 척도}/\text{참 척도})\bigr)\)로, \(0.3183\) 대 \(0.3369\), \(0.000118\) 대 \(0.0003\)으로 자릿수가 맞는다. 두 \((5,25)\) 행이 \(1.800000\)과 \(0.916515\)를 서로 맞바꾼 꼴인 것도 우연이 아니다. 큰 쪽 분산이 작은 집단에 있으면 참 척도가 커지고 귀무 척도는 평균을 내므로 작아져, 관측값이 너무 커 보인다. 뒤집으면 그대로 반대가 된다.

스튜던트화가 이를 많이 고친다(\(0.3369 \to 0.0800\), \(0.0003 \to 0.0260\)). 웰치 \(t\)는 각 집단의 분산을 제 몫으로 나누므로 순열로 라벨을 바꾸어도 척도가 함께 따라오고, \(n_1, n_2 \to \infty\)에서 점근적으로 정확하다. 그러나 \(n_1 = 5\)로는 아직 멀다. \((12,12)\) 행의 \(0.0607\)은 척도가 정확히 맞는데도 남은 것이므로 척도의 탈이 아니라 귀무분포의 모양(분산이 다른 값들을 섞어 생기는 두꺼운 꼬리)에서 온다.

이 쪽의 분석은 \(n_1 = n_2 = 12\)다. 두 집단의 표준편차가 \(5.56\)과 \(4.61\)로 다르지만 (2)와 (3)이 말하는 대로 크기가 같으면 불일치가 작고, 스튜던트화해도 같은 \(p\) 값이 나온다. 크기를 맞춘 설계가 순열검정의 가정 하나를 공짜로 사 준다.

연습문제 10. 연습문제 7은 쌍을 흩으면 부트스트랩 표준오차가 \(2\hat\sigma_{12}/n\)만큼 틀린다고 했다. 그 대가를 신뢰구간의 포함률로 재어 본다.

(1) \(n = 12\)쌍, 각 측정의 표준편차 \(5\), 참 평균차 \(\delta = 2\), 전후 상관 \(\rho \in \{0.6,\ 0,\ -0.6\}\)인 이변량정규 자료를 만들고, 쌍 부트스트랩과 집단별 부트스트랩의 \(95\%\) 백분위수 구간(\(B = 999\))의 포함률과 평균 폭을 \(M = 20{,}000\)회로 재라.

(2) 쌍 부트스트랩의 평균 폭이 \(\rho\)에 따라 어떤 비로 변해야 하는지 이론값을 적고 (1)과 맞추어 보시오. 집단별 부트스트랩의 폭은 왜 \(\rho\)에 거의 무관한가.

(3) 이 표에 섞여 있는 세 가지 불일치를 가려 적으시오. \(B\)가 주는 것, \(n\)이 주는 것, 재표집 구조를 틀리게 고른 것이 주는 것. 어느 것이 \(B\)를 키워 없어지는가.

풀이

(1) 모의. 쌍 부트스트랩은 주 번호를 뽑아 \(d_i\)를 모으고, 집단별 부트스트랩은 "전"과 "후"에서 번호를 따로 뽑는다.

import numpy as np

def ci_coverage(rho, n=12, sd=5.0, delta=2.0, M=20_000, B=999, chunk=500, seed=7):
    """쌍 부트스트랩과 집단별 부트스트랩의 95% 백분위수 구간: 포함률과 평균 폭."""
    rng = np.random.default_rng(seed)
    hit, wid = np.zeros(2, dtype=int), np.zeros(2)
    for start in range(0, M, chunk):
        c = min(chunk, M - start)
        e = rng.normal(size=(c, n, 2))
        x = sd * e[:, :, 0]                                       # 전
        y = delta + sd * (rho * e[:, :, 0]
                          + np.sqrt(1 - rho ** 2) * e[:, :, 1])   # 후
        i = rng.integers(0, n, (c, B, n))
        rep_pair = np.take_along_axis((y - x)[:, None, :], i, 2).mean(2)
        ix, iy = rng.integers(0, n, (c, B, n)), rng.integers(0, n, (c, B, n))
        rep_grp = (np.take_along_axis(y[:, None, :], iy, 2).mean(2)
                   - np.take_along_axis(x[:, None, :], ix, 2).mean(2))
        for k, rep in enumerate((rep_pair, rep_grp)):
            lo, hi = np.percentile(rep, [2.5, 97.5], axis=1)
            hit[k] += ((lo <= delta) & (delta <= hi)).sum()
            wid[k] += (hi - lo).sum()
    return hit / M, wid / M

print("  rho    쌍 포함률  쌍 폭    집단별 포함률  집단별 폭")
for rho in (0.6, 0.0, -0.6):
    cov, w = ci_coverage(rho)
    print(f" {rho:+.1f}      {cov[0]:.4f}   {w[0]:.3f}        {cov[1]:.4f}      {w[1]:.3f}")

출력:

  rho    쌍 포함률  쌍 폭    집단별 포함률  집단별 폭
 +0.6      0.9095   4.686        0.9913      7.493
 +0.0      0.9077   7.413        0.9236      7.515
 -0.6      0.9093   9.387        0.8410      7.487

쌍 부트스트랩의 포함률은 \(\rho\)가 바뀌어도 \(0.909\) 근처에 붙박이고, 집단별 부트스트랩은 \(0.9913\)에서 \(0.8410\)까지 흔들린다. \(\rho > 0\)에서는 구간이 쓸데없이 넓어 과포함, \(\rho < 0\)에서는 좁아 과소포함이다. 연습문제 7이 예고한 부호 그대로다.

(2) 폭의 이론값. 쌍 부트스트랩은 \(d\)에 대한 일표본 부트스트랩이므로 폭이 \(\hat\sigma_d/\sqrt n\)에 비례하고, 모집단에서 \(\sigma_d = \sigma\sqrt{2(1-\rho)}\)다. 따라서 \(\rho = 0\)을 기준으로 한 폭의 비가 \(\sqrt{1-\rho}\)여야 한다.

\(\rho\) 쌍 폭 \(\rho = 0\) 대비 실측 비 이론 \(\sqrt{1-\rho}\)
\(+0.6\) 4.686 0.6321 0.6325
\(0\) 7.413 1.0000 1.0000
\(-0.6\) 9.387 1.2663 1.2649

셋째 자리까지 맞는다. 집단별 부트스트랩은 두 주변분포만 쓴다. 주변 표준편차는 \(\rho\)와 무관하게 \(5\)이므로 극한 폭이 \(\sqrt{(\hat\sigma_1^2 + \hat\sigma_2^2)/n}\)에 비례해 \(\rho\)를 전혀 보지 못하고, 실측도 \(7.493\), \(7.515\), \(7.487\)로 몬테카를로 요동 범위 안에서 같다. 쌍을 흩는 순간 \(\rho\)에 담긴 정보가 자료에서 사라진다. \(\rho = 0.6\)에서 집단별 구간이 쌍 구간보다 \(7.493/4.686 = 1.599\)배 넓은데, 이는 연습문제 7이 예측한 \(1/\sqrt{1-\rho} = 1.5811\)과 맞는다.

(3) 세 가지 불일치.

출처 표에서 보이는 자리 \(B\)를 키우면
\(B\)와 \(M\)의 몬테카를로 오차 포함률의 \(\pm 0.002\)(\(\sqrt{0.91 \times 0.09/20000}\)), 집단별 폭의 \(7.487\)–\(7.515\) 변동 사라진다
\(n = 12\)에서 백분위수법의 결함 쌍 포함률 \(0.909 \ne 0.95\), 세 \(\rho\)에서 똑같이 사라지지 않는다
재표집 구조를 틀리게 고른 것 집단별 포함률 \(0.9913\) / \(0.9236\) / \(0.8410\) 사라지지 않는다

첫 줄만 계산으로 사는 것이다. 둘째 줄은 자료의 몫이다. 백분위수 구간은 표준오차를 \(n-1\)이 아니라 \(n\)으로 나눈 \(\hat\sigma\)로 재고 \(t\) 분위수(quantile) 대신 정규 분위수를 쓰는 셈이라 작은 \(n\)에서 체계적으로 좁으며, \(B \to \infty\)에서도 \(0.909\)에 머문다. 없애려면 \(n\)을 키우거나 \(t\) 부트스트랩·BCa로 바꾸어야 한다.

셋째 줄이 가장 고약하다. \(B\)로도 \(n\)으로도 없어지지 않는다. 겨누는 표준오차 자체가 틀렸기 때문이다. \(n\)을 키우면 백분위수법의 결함(둘째 줄)은 사라지지만 척도의 불일치는 그대로 남아, \(\rho = -0.6\)의 포함률은 \(0.95\)가 아니라

\[ 2\Phi\!\left(\frac{1.96}{\sqrt{1-\rho}}\right) - 1 = 2\Phi(1.549516) - 1 = 0.878742 \]

로 수렴한다(\(n = 200\)에서 재어 보면 쌍 쪽은 \(0.9495\)로 올라가지만 집단별 쪽은 \(0.888\)에 머문다). 자료를 더 모으는 것은 틀린 값을 더 확실하게 맞히는 일일 뿐이다.

한 가지 덧붙일 것이 있다. \(\rho = 0\) 행에서 집단별 쪽의 포함률 \(0.9236\)이 쌍 쪽의 \(0.9077\)보다 높다. 두 방식이 같은 표준오차를 겨누는 자리인데, 집단별은 \(12\)개가 아니라 \(24\)개 관측에서 뽑으므로 복제분포가 덜 거칠어 백분위수가 덜 흔들린다. 쌍 구조가 정말로 없을 때만 쓸 수 있는 이점이며, \(\rho\)를 모르는 상태에서 이것을 노리는 것은 밑지는 도박이다.

정리하면 \(B\)는 계산을 사는 돈이고 \(n\)은 정보를 사는 돈이다. 무엇을 고정하고 무엇을 다시 뽑을지 잘못 고른 것은 어느 돈으로도 살 수 없다.


정리하며

실제 A/B 상황에 세 도구를 함께 적용했다.

  • 순열검정으로 유의성을, 효과크기로 실질적 중요성을, 부트스트랩 구간으로 불확실성을 본다. 셋이 서로 다른 물음에 답한다.
  • \(p\) 값만으로는 부족하다. "차이가 있는가"에만 답하고 "얼마나"에는 답하지 않으므로, 효과크기와 구간이 함께 있어야 의사결정이 가능하다.
  • 작은 표본에서 특히 재표집이 유용하다. 주간 판매처럼 관측이 몇 개뿐이면 분포 가정을 할 근거가 없다.
  • 가격 변경 외의 요인을 배제할 수 있는지 확인해야 한다. 계절성이나 추세가 있으면 전후 비교가 교란되며, 1장의 문제가 그대로 나타난다.
  • 결론을 쓸 때 세 결과를 함께 적는다. 유의성·크기·범위가 한 문장에 들어가야 한다.

다음 절 비교로 넘어간다.