붓스트랩과 순열검정의 비교¶

동기¶

붓스트랩과 순열 방법은 둘 다 재표집을 써서 모수적 분포 가정 없이 추론한다. 그러나 근본적으로 다른 질문에 답하며 다른 메커니즘으로 작동한다. 이 차이를 이해하는 것이 주어진 문제에 맞는 도구를 고르는 데 필수적이다.

이 절에서는 각 방법이 무엇을 추정하는지, 언제 적절한지, 서로 어떻게 관련되는지를 명확히 한다.

근본적 구별¶

붓스트랩과 순열검정은 서로 다른 분포를 근사한다.

• 붓스트랩: 참(알려지지 않은) 자료생성과정 아래에서 통계량의 표집분포를 근사한다.
• 순열검정: 특정 귀무가설(보통 교환가능성 또는 독립성) 아래에서 검정통계량의 귀무분포를 근사한다.

이 구별은 두 방법의 사용법과 해석에 광범위한 영향을 미친다.

나란히 비교¶

붓스트랩이 근사하는 것¶

붓스트랩은 관측된 자료(또는 적합된 모형)에서 복원추출로 표본을 뽑는다. 각 붓스트랩 표본은 원래 자료와 같은 크기 \(n\)이지만 일부 관측은 반복되고 일부는 빠진다. \(\hat{\theta}^*\)의 붓스트랩 분포는 \(\hat{\theta}\)의 표집분포, 즉 모집단에서 반복 표집했을 때 \(\hat{\theta}\)가 갖는 변동을 근사한다.

붓스트랩은 어떤 귀무가설도 강제하지 않으므로 다음에 자연스럽게 적합하다.

• 표준오차 추정
• 신뢰구간 구성
• 편향 추정
• 표집분포의 모양 평가

가설검정에 쓰려면 \(H_0\) 아래의 표본을 만들도록 수정해야 한다(중심화나 합치기).

순열검정이 근사하는 것¶

순열검정은 집단 라벨을 섞거나 짝을 끊어 \(H_0\) 아래에서 검정통계량의 분포를 생성한다. 각 순열된 자료는 정확히 같은 관측들을 쓰며 라벨만 재배정된다. 어떤 관측도 중복되거나 빠지지 않는다.

순열분포는 귀무가설 아래에서 관측된 자료가 주어졌을 때 검정통계량의 정확 조건부 분포이다. 따라서 순열 \(p\)값은 \(H_0\) 검정에 대해 (합쳐진 자료의 충분통계량에 조건부로) 정확하다.

순열검정은 다음에 자연스럽게 적합하다.

• 집단 차이에 대한 가설검정(이표본, 다표본)
• 독립성이나 연관성 검정
• 귀무가설이 교환가능성을 함의하는 상황

한 자료로 두 방법을 동시에¶

말로만 보면 두 방법이 비슷해 보인다. 같은 자료(\(m = n = 12\))에 둘 다 적용해 재표본의 생김새와 결과를 나란히 놓으면 차이가 분명해진다.

(a)의 세 줄을 한 칸씩 짚어 보자. 맨 윗줄이 원자료이고 파랑이 집단 X, 주황이 집단 Y이다. 가운데 줄인 순열 재표본에는 똑같은 24개 숫자가 모두 한 번씩 들어 있다. 달라진 것은 어느 칸이 파랑이고 어느 칸이 주황인가뿐이며, 이것이 "라벨을 섞는다"는 말의 전부이다. 맨 아랫줄인 붓스트랩 재표본은 다르다. 61과 52처럼 여러 번 나오는 값이 있고, 이 재표본에서는 원래 관측 중 7개가 아예 빠졌다. 평균적으로 \(36.8\%\)가 빠진다는 앞 절의 계산이 여기서 눈에 보인다.

(b)가 그 차이의 귀결이다. 초록 분포는 라벨을 섞어 만든 것이므로 \(0\)에 중심을 둔다. 자료가 무엇이든 이 분포는 \(0\) 근처에 놓인다. 관측된 차이 \(7.33\)이 그 꼬리 바깥에 떨어져 \(p = 0.002\)가 나온다. 파랑 분포는 각 집단을 따로 복원추출한 것이라 관측값 \(7.33\) 주위에 놓이고, \(95\%\) 구간 \([3.50,\ 11.17]\)을 준다.

두 분포는 위치만 다른 것이 아니라 답하는 질문이 다르다. 초록은 "차이가 없다면 이런 값이 나올 수 있는가"를, 파랑은 "차이가 얼마쯤인가"를 말한다. 붓스트랩 구간이 \(0\)을 포함하지 않는다는 사실과 순열 \(p\)값이 작다는 사실은 대개 같은 방향을 가리키지만, 그것은 결론이 겹치는 것이지 계산이 같은 것이 아니다. 실제로 초록 분포에서 신뢰구간을 읽을 수는 없고, 파랑 분포에서 \(p\)값을 읽으면 귀무가설과 무관한 숫자가 나온다.

붓스트랩을 선택하는 경우¶

• 신뢰구간이 주된 목표일 때(\(p\)값만이 아니라)
• 복잡한 통계량의 표준오차 추정이 필요할 때
• 귀무가설이 교환가능성을 함의하지 않을 때(예: \(\rho = 0\)이 아니라 \(\rho = 0.5\)의 검정)
• 관심 모수가 단순한 집단 비교가 아닐 때(예: 회귀계수, 분산비, Sharpe 비율)
• 편향 추정이나 분포 모양 평가가 필요할 때

순열검정을 선택하는 경우¶

• 교환가능성을 함의하는 날카로운 귀무가설을 검정할 때(예: \(H_0: F_X = F_Y\))
• 정확한 제1종 오류 통제가 중요할 때(규제·확증적 상황)
• 표본이 작아 붓스트랩 분포를 신뢰하기 어려울 때
• 검정통계량은 복잡하지만 귀무가설은 단순할 때(교환가능성)
• 모수모형을 가정하지 않고 분포무관 검정을 원할 때

가설검정을 위한 붓스트랩¶

붓스트랩을 가설검정에 쓰려면 \(H_0\)을 만족하는 표본을 생성해야 한다. 두 가지 주요 접근이 있다.

중심화. \(H_0\)이 성립하도록 자료를 이동시킨 뒤 복원추출한다. 예를 들어 \(H_0: \mu = \mu_0\)을 검정하려면 \(\tilde{x}_i = x_i - \bar{x} + \mu_0\)으로 옮기고 \(\{\tilde{x}_1, \ldots, \tilde{x}_n\}\)에서 재표집한다.

합치기. \(H_0\) 아래에서 집단들을 합치고 합쳐진 표본에서 재표집한다. 예를 들어 \(H_0: \mu_X = \mu_Y\)를 검정하려면 모든 관측을 합쳐 크기 \(m\)과 \(n\)의 붓스트랩 표본을 뽑는다.

두 접근 모두 순열검정의 정확한 조건부 추론을 넘어서는 근사를 도입한다. 붓스트랩 가설검정은 일치하지만 정확하지는 않다.

혼합 접근¶

실무에서는 두 방법을 함께 쓰는 경우가 많다.

1. 순열검정으로 \(H_0\)에 대한 정확한 \(p\)값을 얻는다.
2. 붓스트랩으로 효과크기의 신뢰구간을 만든다.
3. 둘 다 보고한다. 순열 \(p\)값은 \(H_0\)에 반하는 증거를 정량화하고, 붓스트랩 신뢰구간은 효과의 크기와 불확실성을 정량화한다.

흔한 오해¶

"붓스트랩이 귀무가설을 검정한다." 수정 없이(중심화나 합치기 없이) 쓰는 표준 붓스트랩은 귀무분포를 생성하지 않는다. 참 모수값 아래의 표집분포를 근사한다.

"순열검정이 신뢰구간을 준다." 순열 \(p\)값을 역변환하여 신뢰구간을 만들 수 있지만 계산이 비싸고 실무에서 거의 하지 않는다. 구간추정에는 붓스트랩이 훨씬 자연스럽다.

"두 방법이 같은 답을 준다." \(H_0: \mu_X = \mu_Y\)의 검정에서 합치기 붓스트랩과 순열검정은 비슷한 \(p\)값을 내는 경우가 많지만, 집단의 분산이 다르거나 표본이 작으면 어긋날 수 있다.

연습문제¶

import numpy as np
rng = np.random.default_rng(2024)
n = 252
r1 = 0.0008 + 0.012 * rng.standard_t(5, n) / np.sqrt(5/3)
r2 = 0.0004 + 0.018 * rng.standard_t(5, n) / np.sqrt(5/3)

shp = lambda r: r.mean() / r.std(ddof=1)          # 일별
sh  = lambda r: shp(r) * np.sqrt(252)             # 연율
print(r1.mean(), r1.std(ddof=1), sh(r1))   # 0.001635  0.01225  2.1186
print(r2.mean(), r2.std(ddof=1), sh(r2))   # 0.000034  0.01955  0.0279

0.0016353864175491166 0.012253559738919955 2.118645936617846
3.4399630853266775e-05 0.019546757887612322 0.02793697111924046

obs = r1.mean() - r2.mean()
z = np.concatenate([r1, r2]); B = 9999
P = np.array([rng.permutation(z) for _ in range(B)])
d = P[:, :n].mean(1) - P[:, n:].mean(1)
p = ((np.abs(d) >= abs(obs)).sum() + 1) / (B + 1)

def boot_sr(r, Bb=10000):
    s = r[rng.integers(0, len(r), (Bb, len(r)))]
    return s.mean(1) / s.std(axis=1, ddof=1) * np.sqrt(252)

A, Bm = P[:, :n], P[:, n:]
ds = (A.mean(1)/A.std(axis=1, ddof=1)
      - Bm.mean(1)/Bm.std(axis=1, ddof=1)) * np.sqrt(252)
p = ((np.abs(ds) >= abs(sh(r1) - sh(r2))).sum() + 1) / (B + 1)

def pooled_boot_p(x, y, B=9999):
    obs = abs(x.mean() - y.mean())
    z = np.concatenate([x, y]); m, k = len(x), len(x) + len(y)
    idx = rng.integers(0, k, (B, k))
    s = z[idx]
    d = np.abs(s[:, :m].mean(1) - s[:, m:].mean(1))
    return ((d >= obs).sum() + 1) / (B + 1)

정리하며¶

붓스트랩은 표집분포를 근사하며 신뢰구간, 표준오차, 편향 추정에 가장 적합하다. 순열검정은 교환가능성 아래의 귀무분포를 근사하며 정확한 가설검정에 가장 적합하다. 강한 귀무가설(\(F_X = F_Y\)) 아래의 이표본 비교에서는 두 방법 모두 타당하고 순열검정이 정확한 제1종 오류 통제를 제공한다. 신뢰구간, 교환가능하지 않은 귀무가설의 검정, 분포 성질의 추정 등 더 일반적인 추론에는 붓스트랩이 적절한 도구이다.