비모수 붓스트랩¶

동기¶

비모수 붓스트랩은 가장 널리 쓰이는 붓스트랩 형태이다. 밑에 깔린 모집단 분포 \(F\)에 대해 아무 가정도 하지 않으며 사실상 모든 통계량에 적용된다. 관측된 표본이 주어지면 복원추출을 반복하여 근사 표본분포를 생성한다.

이 절에서는 알고리즘을 상세히 다루고, 그것이 산출하는 핵심 양(표준오차, 편향 추정값, 붓스트랩 분포)을 유도하며, 이 방법이 언제 왜 작동하는지 밝힌다.

알고리즘¶

관측된 i.i.d. 표본 \(x_1, x_2, \ldots, x_n\)과 통계량 \(\hat{\theta} = g(x_1, \ldots, x_n)\)이 주어졌을 때:

1. 붓스트랩 복제 횟수 \(B\)를 정한다(보통 \(B = 1{,}000\)에서 \(10{,}000\)).
2. \(b = 1, 2, \ldots, B\)에 대해:
   • \(\{x_1, \ldots, x_n\}\)에서 \(n\)개를 복원추출하여 붓스트랩 표본 \(x_1^*, x_2^*, \ldots, x_n^*\)을 뽑는다.
   • 붓스트랩 복제값 \(\hat{\theta}^{*(b)} = g(x_1^*, \ldots, x_n^*)\)을 계산한다.
3. 붓스트랩 분포 \(\{\hat{\theta}^{*(1)}, \hat{\theta}^{*(2)}, \ldots, \hat{\theta}^{*(B)}\}\)를 모은다.

\(B\)개 붓스트랩 복제값의 모임이 \(\hat{\theta}^*\)의 붓스트랩 분포를 이루며, 이것이 \(\hat{\theta}\)의 참 표본분포의 근사가 된다.

붓스트랩 표준오차¶

\(\hat{\theta}\)의 표준오차에 대한 붓스트랩 추정값은 붓스트랩 복제값의 표본표준편차이다.

여기서 \(\bar{\hat{\theta}}^* = \frac{1}{B}\sum_{b=1}^{B}\hat{\theta}^{*(b)}\)은 붓스트랩 분포의 평균이다.

이 공식은 평균, 중앙값, 상관계수, 회귀모수 등 자료의 임의의 함수에 그대로 적용된다.

붓스트랩 편향 추정¶

붓스트랩은 \(\theta\)의 추정량으로서 \(\hat{\theta}\)가 갖는 편향의 추정값도 제공한다.

논리는 이렇다. 현실 세계에서 편향은 \(E_F[\hat{\theta}] - \theta\)이다. 붓스트랩 세계에서는 \(\hat{\theta}\)가 참 모수 역할을, \(\hat{\theta}^*\)가 추정량 역할을 하므로 붓스트랩 편향은 \(E^*[\hat{\theta}^*] - \hat{\theta}\)이고, 이를 \(\bar{\hat{\theta}}^* - \hat{\theta}\)로 추정한다.

편향보정 추정량은 다음과 같이 만들 수 있다.

붓스트랩 분포¶

\(\{\hat{\theta}^{*(1)}, \ldots, \hat{\theta}^{*(B)}\}\)의 히스토그램은 \(\hat{\theta}\)의 표본분포를 시각적으로 근사한다. 이 분포에서 읽을 수 있는 주요 특징은 다음과 같다.

• 중심: \(\bar{\hat{\theta}}^*\)가 \(E[\hat{\theta}]\)를 근사한다.
• 산포: \(\widehat{\text{SE}}_{\text{boot}}\)가 \(\text{SE}(\hat{\theta})\)를 근사한다.
• 모양: 표본분포의 치우침, 다봉성, 두꺼운 꼬리.
• 분위수: 신뢰구간 구성에 직접 쓴다.

모양 정보가 특히 값지다. 정규이론 근사가 부적절한 경우를 드러내 주기 때문이다.

붓스트랩 표본의 성질¶

각 붓스트랩 표본이 \(n\)개 자료점에서 \(n\)개를 복원추출하므로, 어떤 관측값은 여러 번 뽑히고 어떤 것은 아예 빠진다.

관측값 \(x_i\)가 한 붓스트랩 표본에 나타나는 횟수는 \(\text{Binomial}(n, 1/n)\)을 따르며, \(n\)이 크면 근사적으로 \(\text{Poisson}(1)\)이다. \(x_i\)가 전혀 나타나지 않을 확률은

이다. 평균적으로 각 붓스트랩 표본은 원래 고유 관측값의 약 \(63.2\%\)를 담는다.

이론적 정당화¶

비모수 붓스트랩은 넓은 부류의 통계량에 대해 일치한다. \(\hat{\theta}_n = T(\hat{F}_n)\)이 경험적 분포의 매끄러운 범함수이면 정칙조건 아래에서

이다. 여기서 \(P^*\)는 붓스트랩 재표집 아래의 확률이다. 이 결과는 Glivenko-Cantelli 정리(\(\hat{F}_n \to F\) 균등수렴 보장)와 범함수 델타법(매끄러운 통계량이 이 수렴을 물려받음을 보장)의 결합에서 나온다.

표본평균의 경우 붓스트랩은 중심극한정리와 같은 \(O(n^{-1/2})\)의 근사 속도를 달성한다. 붓스트랩-\(t\) 같은 더 정교한 방법에서는 \(O(n^{-1})\)의 2차 정확도에 도달할 수 있다.

무엇을 재표집 단위로 삼는가¶

알고리즘에서 정해야 할 것이 하나 더 있다. "복원추출로 \(n\)개를 뽑는다"고 할 때 무엇을 하나로 세는가이다. 관측값이 쌍 \((x_i, y_i)\)일 때 이 선택이 결과를 통째로 바꾼다.

\(n = 40\)인 자료에서 \(r = 0.642\)를 얻었다. (a)는 행 번호를 뽑는 방식이다. \(i\)가 뽑히면 \(x_i\)와 \(y_i\)가 함께 따라오므로, 겹친 점이 있을 뿐 오른쪽 위로 올라가는 배치는 그대로 남는다. 이 한 번의 재표집에서 \(r^* = 0.718\)이 나왔다. (b)는 \(x\)의 번호와 \(y\)의 번호를 따로 뽑는다. 값 자체는 모두 원자료에서 왔지만 어느 \(x\)와 어느 \(y\)가 짝이었는지는 잊었고, 점구름이 둥글게 퍼지면서 \(r^* = -0.182\)가 되었다.

(c)에서 이 차이가 두 개의 완전히 다른 분포로 굳는다. 쌍 재표집은 평균 \(0.644\), 표준편차 \(0.076\)으로 관측값 \(0.642\) 주위에 모인다. 이것이 \(\hat\theta\)의 표본분포를 흉내 낸 것이며 \(\widehat{\text{SE}}_{\text{boot}} = 0.076\)이 바로 여기서 나온다. 따로 재표집한 쪽은 평균 \(-0.001\), 표준편차 \(0.160\)으로 \(0\) 주위에 모인다. 쌍을 깨는 순간 \(x\)와 \(y\)가 독립이라는 조건을 강제한 것이므로, 이 분포는 추정이 아니라 \(H_0: \rho = 0\) 아래의 귀무분포이다.

두 분포의 표준편차가 \(0.076\)과 \(0.160\)으로 두 배 넘게 차이 난다는 점도 눈여겨볼 만하다. 잘못된 쪽을 쓰면 신뢰구간이 두 배로 부풀 뿐 아니라 중심까지 틀린다. 재표집 도구는 하나인데 무엇을 하나의 관측 단위로 묶느냐가 그 계산을 추정으로도, 검정으로도 만든다. 목적을 먼저 정하고 재표집 단위를 거기에 맞추어야 하는 이유이며, 이 원리는 상관계수만이 아니라 회귀, 군집자료, 대응표본에서도 똑같이 작동한다.

복제 횟수의 선택¶

붓스트랩 복제 횟수 \(B\)는 붓스트랩 근사의 몬테카를로 오차를 좌우한다. \(B\)가 크면 붓스트랩 추정값의 잡음이 줄지만 계산시간이 늘어난다.

• 표준오차: \(B = 1{,}000\)이면 대개 충분하다.
• 신뢰구간: 분위수 추정이 안정되려면 \(B = 5{,}000\)에서 \(10{,}000\).
• 가설검정: 정밀한 \(p\)값을 위해 \(B = 10{,}000\) 이상.

붓스트랩 표준오차의 몬테카를로 표준오차는 대략 \(\widehat{\text{SE}}_{\text{boot}} / \sqrt{2B}\)이므로, \(B\)를 두 배로 하면 몬테카를로 오차가 \(\sqrt{2}\)배 줄어든다.

연습문제¶

import numpy as np
rng = np.random.default_rng(0)
for n in (10, 50, 200):
    frac = [len(np.unique(rng.integers(0, n, n))) / n for _ in range(20000)]
    print(n, round(np.mean(frac), 4), round(1 - (1 - 1/n) ** n, 4))

10 0.6524 0.6513
50 0.6358 0.6358
200 0.633 0.633

import numpy as np
rng = np.random.default_rng(0)
x = rng.normal(0, 1, 50)          # 자료는 한 번만 생성해 고정

for B in (200, 1000, 5000):
    ses = []
    for _ in range(400):
        idx = rng.integers(0, 50, (B, 50))
        ses.append(x[idx].mean(axis=1).std(ddof=1))
    ses = np.array(ses)
    print(B, round(ses.mean(), 5), round(ses.std(ddof=1), 5),
          round(ses.mean() / np.sqrt(2 * B), 5))

200 0.12881 0.00649 0.00644
1000 0.12859 0.00296 0.00288
5000 0.12883 0.00128 0.00129

for B in (200, 1000, 5000):
    q = []
    for _ in range(400):
        idx = rng.integers(0, 50, (B, 50))
        q.append(np.percentile(x[idx].mean(axis=1), 2.5))
    print(B, round(np.std(q, ddof=1), 5))
# 200 0.02238 | 1000 0.01060 | 5000 0.00497

200 0.02238
1000 0.0106
5000 0.00497

import numpy as np
rng = np.random.default_rng(3)
n, B, M = 20, 500, 2000
true = 1.0
raw, corr = [], []
for _ in range(M):
    x = rng.normal(0, 1, n)
    th = x.var(ddof=0)
    idx = rng.integers(0, n, (B, n))
    bs = x[idx].var(axis=1, ddof=0)
    raw.append(th)
    corr.append(2 * th - bs.mean())
raw, corr = np.array(raw), np.array(corr)
for name, v in (("raw", raw), ("corrected", corr)):
    print(name, "bias=%.4f var=%.4f mse=%.4f"
          % (v.mean() - true, v.var(), ((v - true) ** 2).mean()))

raw bias=-0.0577 var=0.0917 mse=0.0950
corrected bias=-0.0105 var=0.1012 mse=0.1013

import numpy as np
from scipy import stats
rng = np.random.default_rng(5)
n = 40
x = rng.normal(0, 1, n)
y = 0.7 * x + rng.normal(0, 0.7, n)
r_obs = stats.pearsonr(x, y).statistic
print("관측 r =", round(r_obs, 4))          # 0.6422

B = 10000
# (1) 쌍 전체를 재표집 -- 올바른 방법
idx = rng.integers(0, n, (B, n))
r_pair = np.array([stats.pearsonr(x[i], y[i]).statistic for i in idx])

# (2) x 와 y 를 따로 재표집 -- 연관성을 파괴한다
r_indep = np.array([stats.pearsonr(rng.choice(x, n), rng.choice(y, n)).statistic
                    for _ in range(B)])

print("쌍 재표집: 평균 %.4f, sd %.4f" % (r_pair.mean(), r_pair.std()))
print("독립 재표집: 평균 %.4f, sd %.4f" % (r_indep.mean(), r_indep.std()))

관측 r = 0.6422
쌍 재표집: 평균 0.6449, sd 0.0764
독립 재표집: 평균 -0.0027, sd 0.1601

정리하며¶

비모수 붓스트랩은 알려지지 않은 모집단 분포를 경험적 분포로 대체하고 반복 재표집으로 임의의 통계량의 표본분포를 근사한다. 분포 가정이 전혀 필요 없으며, 대부분의 통계량에서 해석적으로 다루기 어려운 표준오차, 편향, 분포 모양의 추정값을 제공한다. 정칙조건 아래에서 일치하며, 이어지는 절에서 전개할 붓스트랩 신뢰구간과 가설검정의 토대가 된다.