붓스트랩-t 방법¶

동기¶

고전적인 \(t\) 구간 \(\hat{\theta} \pm t_{\alpha/2} \cdot \hat{\text{se}}\)는 추축량 \((\hat{\theta} - \theta)/\hat{\text{se}}\)가 알려진 분포(스튜던트 \(t\) 또는 표준정규)를 따른다고 가정한다. 붓스트랩-\(t\) 방법(스튜던트화 붓스트랩이라고도 한다)은 붓스트랩으로 추축량 자체의 분포를 추정하여 이 가정을 피한다. 그 결과 2차 정확도를 갖는 신뢰구간을 얻는다. 포함확률의 정밀도는 BCa 방법과 맞먹지만, 변환 불변성은 갖지 않는다.

핵심 발상은 통계량 \(\hat{\theta}\)만이 아니라 분모를 포함한 \(t\) 통계량 전체를 붓스트랩한다는 것이다.

스튜던트화 붓스트랩 통계량¶

각 붓스트랩 표본에서 추정값과 그 추정 표준오차를 함께 계산한다.

여기서 \(\hat{\theta}^{*(b)}\)는 \(b\)번째 붓스트랩 표본에서 계산한 통계량이고, \(\hat{\text{se}}^{*(b)}\)는 같은 붓스트랩 표본에서 계산한 \(\hat{\theta}\)의 추정 표준오차이다.

\(t^{*(b)}\)는 추축량 \((\hat{\theta} - \theta)/\hat{\text{se}}\)의 붓스트랩 판본이다. 붓스트랩 표본에 걸친 그 분포가 추축량의 참 분포를 근사한다.

알고리즘¶

1. 원표본에서 관측 통계량 \(\hat{\theta}\)와 그 추정 표준오차 \(\hat{\text{se}}\)를 계산한다.
2. \(b = 1, \ldots, B\)에 대해:
   • 크기 \(n\)인 붓스트랩 표본을 복원추출한다.
   • 붓스트랩 표본에서 \(\hat{\theta}^{*(b)}\)를 계산한다.
   • 붓스트랩 표본에서 \(\hat{\text{se}}^{*(b)}\)를 계산한다(아래 참고).
   • \(t^{*(b)} = (\hat{\theta}^{*(b)} - \hat{\theta}) / \hat{\text{se}}^{*(b)}\)를 계산한다.
3. \(\{t^{*(1)}, \ldots, t^{*(B)}\}\)의 \(q\)번째 분위수를 \(t^*_{(q)}\)라 하자.
4. \(100(1-\alpha)\%\) 붓스트랩-\(t\) 신뢰구간은

분위수가 뒤바뀐 것에 주목하라. \(t^*\)의 상위 분위수가 구간의 하한에 쓰이고 그 반대도 마찬가지이다. 이는 추축량 부등식 \(t^*_{(\alpha/2)} \le (\hat{\theta} - \theta)/\hat{\text{se}} \le t^*_{(1-\alpha/2)}\)을 \(\theta\)에 대해 풀면 나온다.

내부 표준오차의 추정¶

붓스트랩-\(t\)에서 가장 결정적이고 계산이 무거운 부분은 각 붓스트랩 표본마다 \(\hat{\text{se}}^{*(b)}\)를 계산하는 일이다. 흔한 세 가지 접근이 있다.

공식 기반. \(\hat{\text{se}}\)의 닫힌 공식이 있으면(예: 평균의 \(s/\sqrt{n}\)) 각 붓스트랩 표본에 같은 공식을 적용한다. 빠르고 수치적으로 안정적이다.

붓스트랩 안의 잭나이프. 각 붓스트랩 표본에서 관측값을 하나씩 빼며 잭나이프 표준오차를 계산한다. 붓스트랩 복제마다 \(n\)번의 추가 계산이 필요하다.

중첩 붓스트랩(이중 붓스트랩). 각 붓스트랩 표본에서 \(B_2\)개의 2단계 재표본을 뽑아 \(\hat{\text{se}}^{*(b)}\)를 추정한다. 총 \(B \times B_2\)번의 계산이 들어 대개 감당하기 어렵다.

2차 정확도를 달성하는 이유¶

붓스트랩-\(t\) 구간의 포함확률 오차는 백분위수 구간의 \(O(n^{-1/2})\)에 비해 \(O(n^{-1})\)이다. 이유는 스튜던트화된 통계량 \(t^* = (\hat{\theta}^* - \hat{\theta})/\hat{\text{se}}^*\)이 \((\hat{\theta} - \theta)/\hat{\text{se}}\)의 분포를 근사하는 정확도가, 스튜던트화하지 않은 \(\hat{\theta}^* - \hat{\theta}\)가 \(\hat{\theta} - \theta\)를 근사하는 정확도보다 한 차수 높기 때문이다.

스튜던트화는 분산이 일정하지 않은 데서 오는 선행 효과를 흡수한다. \(\text{Var}(\hat{\theta})\)가 \(\theta\)에 의존하면 스튜던트화하지 않은 붓스트랩 분포는 산포가 틀리는데, 스튜던트화 판본은 \(\hat{\text{se}}^*\)로 나누어 스스로를 보정한다.

\(t^*\) 분포는 무엇을 학습하는가¶

말로 하면 추상적이니, 추축량의 참 분포와 그것을 근사하는 두 후보를 한 자리에 놓고 보자.

위 칸의 파란 히스토그램은 \(\text{Exp}(1)\) 모집단에서 \(n = 15\)를 20만 번 새로 뽑아 계산한 \(T = (\bar{x} - \mu)/\widehat{\text{se}}\)의 참 분포이다. 현실에서는 결코 그릴 수 없는 그림이며, 여기서는 정답지로만 쓴다. 이 분포는 왼쪽으로 심하게 치우쳐 있다. 붉은 파선인 \(t(14)\) 밀도는 대칭이라 이 모양을 전혀 담지 못한다.

주황 계단이 표본 하나에서 얻은 붓스트랩 \(t^*\)이다. 놀라운 것은 그것이 20만 번 표집한 정답지를 거의 따라간다는 점이다. 축 아래 삼각형이 각자의 \(2.5\) 백분위수로, 참값이 \(-3.46\)인데 \(t^*\)가 \(-3.68\)을 내놓았다. 반면 \(t(14)\)는 \(-2.15\)로 왼쪽 꼬리의 길이를 절반 가까이 과소평가한다. 스튜던트화를 하지 않고 \(\hat\theta^* - \hat\theta\)만 보면 자료의 척도가 그대로 남아 이만한 정확도가 나오지 않는다. \(\widehat{\text{se}}^*\)로 나누는 순간 척도가 빠지고 모양만 남기 때문에 표본 하나로도 참 분포의 꼬리를 배울 수 있다.

아래 칸이 그 차이가 구간에 미치는 영향이다. 세 구간 모두 같은 표본(\(\bar{x} = 1.182\))에서 나왔다. 고전 \(t\) 구간 \([0.449,\ 1.915]\)와 백분위수 구간 \([0.617,\ 1.899]\)는 위쪽 한계가 \(1.9\) 언저리인데, 붓스트랩-\(t\)는 상한을 \(2.439\)까지 늘린다. 분위수 반전 때문에 \(t^*\)의 긴 왼쪽 꼬리가 구간의 오른쪽 끝을 만들기 때문이다. \(\bar{x}\)가 참값을 아래로 크게 빗나가는 일이 흔하다면, 구간은 위쪽으로 길어야 그 경우를 덮는다. 연습문제 1의 포함확률 \(0.944\) 대 \(0.896\)의 차이가 바로 이 길어진 오른쪽 끝에서 나온다.

장점¶

• 2차 정확도: 포함확률 오차가 \(O(n^{-1})\)이다.
• 추축량 기반 추론에 자연스럽다: 고전적 \(t\) 통계량 접근의 직접적 확장이다.
• 잭나이프가 필요 없다(\(\hat{\text{se}}\)의 공식이 있는 경우). BCa와 대비된다.

한계¶

계산비용. 닫힌 공식이 없으면 붓스트랩 루프 안에서 \(\hat{\text{se}}^{*(b)}\)를 계산하는 것이 비쌀 수 있다.

변환 불변이 아니다. \(\phi = m(\theta)\)의 붓스트랩-\(t\) 구간이 일반적으로 \([m(L), m(U)]\)가 아니다. 변환 불변성이 중요하면 BCa가 낫다.

꼬리가 불안정하다. \(\hat{\text{se}}^{*(b)}\)가 이따금 매우 작으면(소표본에서 그렇다) \(t^{*(b)}\)가 극단적으로 커져 분위수 추정이 요동친다. 극단적인 \(t^*\) 값을 윈저화하거나 절사하면 도움이 된다.

연습문제¶

import numpy as np
rng = np.random.default_rng(2)

for n in (15, 30, 100):
    M, B = 2000, 1000
    ct = cp = cn = 0
    wt, wp = [], []
    for _ in range(M):
        x = rng.exponential(1, n)
        th = x.mean(); se = x.std(ddof=1) / np.sqrt(n)
        idx = rng.integers(0, n, (B, n)); xb = x[idx]
        bs = xb.mean(axis=1)
        seb = xb.std(axis=1, ddof=1) / np.sqrt(n)
        t = (bs - th) / seb

        tl, tu = np.percentile(t, [2.5, 97.5])
        lo, hi = th - tu*se, th - tl*se
        ct += lo <= 1 <= hi; wt.append(hi - lo)

        lo2, hi2 = np.percentile(bs, [2.5, 97.5])
        cp += lo2 <= 1 <= hi2; wp.append(hi2 - lo2)

        cn += th - 1.96*se <= 1 <= th + 1.96*se
    print(n, round(ct/M, 3), round(cp/M, 3), round(cn/M, 3),
          round(np.mean(wt), 3), round(np.mean(wp), 3))

15 0.944 0.896 0.903 1.314 0.918
30 0.953 0.924 0.926 0.799 0.673
100 0.94 0.934 0.936 0.404 0.384

import numpy as np
rng = np.random.default_rng(11)
n = 8
x = rng.exponential(1, n)
th = x.mean(); se = x.std(ddof=1) / np.sqrt(n)

B = 20000
idx = rng.integers(0, n, (B, n)); xb = x[idx]
bs = xb.mean(axis=1)
seb = xb.std(axis=1, ddof=1) / np.sqrt(n)
t = (bs - th) / seb

print("최소 se*  :", round(seb.min(), 5))          # 0.01019
print("최대 |t*| :", round(np.abs(t).max(), 1))     # 66.0
print(np.round(np.percentile(t, [0.5, 2.5, 50, 97.5, 99.5]), 3))
# [-30.537 -11.302  -0.089   1.502   2.054]

최소 se*  : 0.01019
최대 |t*| : 66.0
[-30.537 -11.302  -0.089   1.502   2.054]

# 극단 1%를 절사한다
m = np.abs(t) < np.percentile(np.abs(t), 99)
tl, tu = np.percentile(t[m], [2.5, 97.5])
print("절사 후 폭:", round((tu - tl) * se, 4))   # 5.4318 (원래 5.7699)

절사 후 폭: 5.4318

import numpy as np
rng = np.random.default_rng(2)
for n in (15, 30, 100):
    M, B = 2000, 1000
    ct = cb = 0
    for _ in range(M):
        x = rng.exponential(1, n)
        th = x.mean(); se = x.std(ddof=1) / np.sqrt(n)
        idx = rng.integers(0, n, (B, n)); xb = x[idx]
        bs = xb.mean(axis=1)
        seb = xb.std(axis=1, ddof=1) / np.sqrt(n)
        t = (bs - th) / seb
        tl, tu = np.percentile(t, [2.5, 97.5])
        ct += th - tu*se <= 1 <= th - tl*se
        lo, hi = np.percentile(bs, [2.5, 97.5])
        cb += 2*th - hi <= 1 <= 2*th - lo
    print(n, round(ct/M, 3), round(cb/M, 3))

15 0.944 0.878
30 0.953 0.906
100 0.94 0.927

정리하며¶

붓스트랩-\(t\) 방법은 붓스트랩 재표집으로 스튜던트화된 추축량 \((\hat{\theta} - \theta)/\hat{\text{se}}\)의 분포를 추정한다. 각 붓스트랩 복제에 표준오차 추정값을 포함시킴으로써 2차 정확도의 포함확률을 달성한다. 주된 난점은 내부 표준오차 \(\hat{\text{se}}^{*(b)}\)를 효율적으로 계산하는 일이다. 표준오차의 공식이 있으면 붓스트랩-\(t\)가 직관적이고 매우 효과적이며, 그렇지 않으면 BCa가 더 실용적일 수 있다.