콘텐츠로 이동

일표본 평균에 대한 부트스트랩 검정

1. 물음 — 모평균이 μ₀ 인가

다음을 검정한다.

\[ H_0: \mu = \mu_0 \quad \text{대} \quad H_a: \mu \neq \mu_0 \]

(양측이며, 단측은 \(p\) 값 계산만 바꾸면 된다.)

관측 검정통계량(test statistic)은

\[ t_{\text{obs}} = \bar{x} - \mu_0 \]

또는 스튜던트화한 형태로

\[ t_{\text{obs}} = \frac{\bar{x} - \mu_0}{s / \sqrt{n}} \]

이다.

치우친 모집단에서는 t 의 가정이 서지 않는다

들어가는 이야기 — 한 줄을 빼먹으면 아무것도 기각하지 못한다

어느 음식점은 평균 배달시간이 \(30\) 분이라고 말한다. \(12\) 번 재어 보니 \(\bar x = 34.2\) 분, \(s = 8.7\) 분이었다. \(t\) 검정은 \(p = 0.1226\) 을 주어 기각하지 못한다. 그런데 그 수는 평균의 표집분포(sampling distribution)가 종 모양이라는 가정에서 나온 것이고, 배달시간은 오른쪽으로 길게 늘어지는 자료다.

가정을 쓰지 않는 길이 있다. 「평균이 정말 \(30\) 분이라면 자료가 어떻게 보일까」를 재표집으로 만들어 보면 된다. 관측값 전체를 평균이 \(30\) 이 되도록 통째로 옮겨 놓고 거기서 다시 뽑으면, 산포와 모양은 그대로이면서 귀무가설(null hypothesis)을 만족하는 세계가 생긴다. 그 세계에서 읽은 \(p\) 값이 \(0.0832\) 다.

옮겨 놓는 그 한 줄이 전부다. 빼먹으면 원자료의 평균 \(34.2\) 둘레에서 뽑게 되는데, 그것은 귀무가설이 아니라 관측값을 중심에 둔 분포다. 보기 1 이 그 한 줄을 빼먹었을 때 \(p\) 값이 \(0.0032\) 에서 \(0.4741\) 로 올라가는 것을 재어 둔다(그 보기는 다른 자료를 쓴다). 방향이 한쪽이라서, 이 한 줄이 빠진 검정은 귀무가설이 참이든 거짓이든 \(p\) 가 커지는 쪽으로만 틀리고 결국 아무것도 기각하지 못한다.

그러면 재표집으로 귀무분포를 만든다는 것은 정확히 어떤 절차이고, 통계량을 표준오차로 나눌지 말지는 무엇이 정하는가. 이 쪽이 가설과 통계량을 적고 중심을 옮기는 까닭을 밝힌 뒤, 나누지 않는 판본과 나누는 판본을 따로 세우고 단측검정과 신뢰구간의 관계로 닫는다.

두 칸짜리 그림. 귀무가설이 참인 자료에서 p 값의 분포 둘. 왼쪽은 옮기는 한 줄을 넣은 검정, 오른쪽은 그 줄을 빼먹은 검정으로 가운데에 몰려 있다

참 평균이 \(1\) 인 자료 \(4{,}000\) 벌에서 \(p\) 값의 분포를 그렸다 — \(n = 12\) 로 쪽의 배달시간 자료와 같은 크기다. 왼쪽. 관측값을 평균이 \(1\) 이 되도록 옮긴 뒤 뽑으면 \(p\) 가 거의 고르게 깔리고 \(0.05\) 아래가 \(0.0665\) 다(작은 \(n\) 이라 왼쪽이 조금 두텁다). 오른쪽. 그 한 줄을 빼먹으면 \(p\) 가 한가운데로 몰려 \(0.05\) 아래가 \(0.0000\) 이다. 방향이 한쪽이라서 귀무가설이 참이든 거짓이든 \(p\) 가 커지는 쪽으로만 틀리고, 결국 아무것도 기각하지 못한다.

일표본 \(t\) 검정은 \(\bar{X}\)의 표집분포가 근사적으로 정규라고 가정한다. 모집단이 심하게 치우쳤거나 꼬리가 두껍거나 표본크기가 작으면 이 가정이 성립하지 않을 수 있다. 일표본 평균에 대한 부트스트랩(bootstrap) 검정은 정규성(normality)에 기대지 않는 대안을 제공한다. 재표집으로 검정통계량의 귀무분포를 추정하므로, \(t\) 분포가 나쁜 근사일 때에도 타당한 추론이 가능하다.


2. 통계량 — 평균이 가설값에서 얼마나 떨어졌는가

두 판본이 쓰는 통계량을 먼저 적어 둔다.

\[ t_{\text{obs}} = \bar{x} - \mu_0, \qquad t^{\text{stud}}_{\text{obs}} = \frac{\bar{x} - \mu_0}{s/\sqrt{n}} \]

앞은 평균이 가설값에서 얼마나 떨어졌는지를 그대로 보는 것이고, 뒤는 그 거리를 표본표준오차로 나눈 것이다. 어느 쪽을 쓰든 재표집하는 방식은 같고 나뉘는 것은 거리를 무엇으로 재느냐뿐인데, 뒤의 것이 작은 표본에서 왜 더 잘 맞는지는 아래 스튜던트화 판본이 적는다.


3. 표집분포 — 자료를 옮겨 놓아야 귀무분포가 된다

부트스트랩 가설검정에서 결정적인 단계는 귀무가설을 만족하는 부트스트랩 표본을 생성하는 것이다. \(H_0: \mu = \mu_0\) 아래에서는 \(\mu_0\)에 중심을 둔 부트스트랩 표본이 필요한데, 원자료는 \(\bar{x}\)에 중심을 두고 있다.

해법은 재표집 전에 자료를 이동시키는 것이다.

\[ \tilde{x}_i = x_i - \bar{x} + \mu_0, \quad i = 1, \ldots, n \]

이동된 표본 \(\{\tilde{x}_1, \ldots, \tilde{x}_n\}\)은 평균이 \(\mu_0\)이면서 원래의 산포와 모양을 그대로 보존한다. 여기서 뽑은 부트스트랩 표본은 "\(H_0\)이 참이라면 자료가 어떻게 보일까"를 나타낸다.

왜 중심화가 필요한가

중심화하지 않으면 \(\bar{x}\)에 중심을 둔 자료에서 재표집하게 되고, 이는 참 모수값 아래의 표집분포를 근사한다. 가설검정에는 귀무분포 --- \(H_0\)이 참이라는 가정 아래 검정통계량의 분포 --- 가 필요하다. \(\mu_0\)으로 중심화해야 부트스트랩이 이 귀무분포를 생성한다.

이 단계를 빠뜨리면 \(H_0\)이 참이든 거짓이든 \(p\) 값이 언제나 크게 나온다 — 아래 보기 1 이 재듯이 \(0.5\) 근처나 그 위에 머문다. 15.6절 부트스트랩 분산 검정 절 \(8\) 에서 같은 함정을 보았다.

중심이동을 빼먹으면

절 \(3\) 이 말한 중심이동을 코드로 옮긴다. 그 한 줄을 빼먹으면 어떻게 되는지도 함께 본다.

보기 1. 일표본 부트스트랩 검정. 중심이동이 무엇을 바꾸고 무엇을 바꾸지 않는지 따진다.

(1) 중심화한 자료 \(x_i^0 = x_i - \bar x + \mu_0\)에서 재표집할 때 \(\bar X^{*}\)의 평균·표준편차·왜도(skewness)를 적으시오. 셋 가운데 중심이동이 바꾸는 것은 하나뿐이다. 그것으로 정규근사 \(p\) 값을 예측하시오.

(2) \(2\) 만큼 옮긴 지수 자료 \(n = 50\), \(\mu_0 = 5\) 로 확인하시오. 중심이동을 빼먹으면 \(p\) 값이 얼마가 되는지도 보이시오.

풀이

(1) 해석적으로. 평행이동은 분포의 모양을 전혀 건드리지 않는다. 중심화한 경험분포의 중심적률이

\[ \text{평균} = \mu_0, \qquad \hat\sigma^2 = \frac1n\sum_i (x_i - \bar x)^2, \qquad \hat\gamma_1 = \frac{\hat\mu_3}{\hat\mu_2^{3/2}} \]

로, 둘째와 셋째는 원자료의 것과 같다. 거기서 독립으로 \(n\)개 뽑아 평균을 내므로

\[ E_*[\bar X^{*}] = \mu_0, \qquad \operatorname{SD}_*(\bar X^{*}) = \frac{\hat\sigma}{\sqrt n}, \qquad \gamma_1(\bar X^{*}) = \frac{\hat\gamma_1}{\sqrt n} \]

이다. 중심이동이 바꾸는 것은 중심 하나뿐이고, 폭과 왜도는 그대로다. 바로 그래서 이 한 줄이 "귀무가설만 참인 세계"를 만든다.

귀무분포가 정규라면 \(p \approx 2\Phi(-|z|)\), \(z = \dfrac{\bar x - \mu_0}{\hat\sigma/\sqrt n}\)이다. 다만 왜도가 \(\hat\gamma_1/\sqrt n\)만큼 남아 있으므로 오른쪽 꼬리가 정규보다 두껍고, 실제 \(p\) 값은 정규근사보다 클 것이다.

(2) 수치적으로. 함수는 이렇다.

import numpy as np

def bootstrap_mean_test(data, mu_0=0, n_boot=10_000, rng=None):
    """H0: 평균 = mu_0 에 대한 부트스트랩 검정. 양측 p 값을 돌려준다.

    검정을 하려면 귀무가설이 참인 상태에서 뽑아야 한다. 그래서 자료의
    중심을 mu_0 으로 옮긴 뒤 재표집한다. 이 중심 이동 한 줄이 신뢰구간을
    만들 때와 검정을 할 때를 가르는 핵심이다.
    """
    rng = rng or np.random.default_rng(0)
    n = len(data)
    # 자료를 통째로 옮겨 평균이 정확히 mu_0 이 되게 한다. 산포와 모양은
    # 그대로 남으므로, 귀무가설만 참인 세계를 흉내 낸 셈이다.
    centered = data - data.mean() + mu_0
    boot_means = centered[rng.integers(0, n, (n_boot, n))].mean(axis=1)
    obs_mean = data.mean()
    # 분자와 분모에 1 을 더한다. 이래야 p 값이 0 이 되는 일을 막을 수 있다.
    # 관측된 자료 자체도 하나의 가능한 재표본으로 세는 셈이다.
    p_value = ((np.abs(boot_means - mu_0) >= abs(obs_mean - mu_0)).sum() + 1) \
              / (n_boot + 1)
    return obs_mean, p_value, boot_means

\(2\) 만큼 옮긴 지수 자료 \(n = 50\) 으로 돌려 본다.

from scipy import stats

rng_data = np.random.default_rng(1)
rng = np.random.default_rng(7)
data = rng_data.exponential(scale=5, size=50) + 2
obs, p, boots = bootstrap_mean_test(data, mu_0=5.0, rng=rng)

n = len(data)
sig = data.std(ddof=0)
print(f"sigma-hat = {sig:.4f},  예측 귀무 SD = {sig/np.sqrt(n):.4f}"
      f"   (모의 {boots.std(ddof=1):.4f},  몬테카를로 오차 {sig/np.sqrt(n)/np.sqrt(2*10000):.4f})")
print(f"귀무분포 평균 = {boots.mean():.4f}  (예측 mu_0 = 5)")
print(f"귀무분포 왜도 = {stats.skew(boots):.4f}  (예측 g1/sqrt(n) = {stats.skew(data)/np.sqrt(n):.4f})")
z = (obs - 5) / (sig / np.sqrt(n))
print(f"z = {z:.4f},  정규근사 양측 p = {2*stats.norm.sf(z):.4f}")
print(f"부트스트랩 p = {p:.4f},   t 검정 p = {stats.ttest_1samp(data, 5.0).pvalue:.4f}")

rng9 = np.random.default_rng(7)
bm_nc = data[rng9.integers(0, n, (10000, n))].mean(axis=1)
print(f"중심이동을 빼먹으면 p = {((np.abs(bm_nc-5)>=abs(obs-5)).sum()+1)/10001:.4f}")

출력:

sigma-hat = 7.2062,  예측 귀무 SD = 1.0191   (모의 1.0270,  몬테카를로 오차 0.0072)
귀무분포 평균 = 5.0088  (예측 mu_0 = 5)
귀무분포 왜도 = 0.3969  (예측 g1/sqrt(n) = 0.4257)
z = 3.1190,  정규근사 양측 p = 0.0018
부트스트랩 p = 0.0032,   t 검정 p = 0.0033
중심이동을 빼먹으면 p = 0.4741

세 적률이 모두 예측대로다. 귀무분포의 평균이 \(5.0088\)로 \(\mu_0 = 5\)에 붙고(평균의 몬테카를로(Monte Carlo) 오차 \(0.0103\)), 표준편차 \(1.0270\)이 예측 \(1.0191\)에서 \(1.1\) 몬테카를로 오차 떨어져 있으며, 왜도 \(0.3969\)도 예측 \(0.4257\) 근처다(\(\sqrt{6/B} = 0.0245\)의 \(1.2\)배).

정규근사보다 부트스트랩 \(p\)가 크다. \(0.0018\) 대 \(0.0032\)로 거의 두 배다. (1)에서 예상한 대로 귀무분포의 오른쪽 꼬리가 정규보다 두껍기 때문이며, \(t\) 검정의 \(0.0033\)과는 오히려 잘 맞는다. \(t\) 분포도 정규보다 꼬리가 두껍다는 점에서 같은 방향의 보정을 하고 있는 셈이다.

중심이동을 빼먹으면 \(p = 0.4741\)이 된다. 옮기지 않은 부트스트랩 분포는 \(\bar x = 8.179\)에 중심을 두므로 \(\mu_0 = 5\)에서 잰 거리가 복제값들의 거리와 비슷해지고, \(p\) 값이 \(0.5\) 근처에 머문다. 어떤 자료를 넣어도 기각하지 못한다. 오류 없이 조용히 실패하는 종류의 버그다.

\(+1\) 보정

분자와 분모의 \(+1\)은 관측된 자료 자신을 하나의 재표본으로 세는 것이다. 이 보정이 없으면 \(p\) 값이 정확히 \(0\)이 될 수 있고, 검정의 크기가 명목수준을 미세하게 넘는다(대응 순열검정 연습문제 4 참조).

귀무분포는 어떻게 생기는가

이 쪽의 일표본 검정과 다음 쪽의 이표본 검정은 귀무분포를 만드는 코드 한 줄만 다르다. 하나는 자료를 옮기고, 다른 하나는 두 표본을 합친다. 둘 다 같은 목적을 갖는다. 재표집을 시작하기 전에 귀무가설이 참인 세계를 만드는 것이다.

자료를 옮겨 만든 일표본 귀무분포와 합쳐서 만든 이표본 귀무분포

(a)가 일표본 검정이다. 축 아래 두 줄의 눈금이 핵심이다. 위쪽 검은 눈금이 원자료이고 아래쪽 파란 눈금은 그것을 통째로 \(-3.179\)만큼 옮긴 것으로, 간격과 모양은 그대로이고 중심만 \(\mu_0 = 5\)로 바뀌었다. 파란 히스토그램은 옮긴 자료에서 재표집한 평균들이며 이것이 귀무분포다. 관측된 \(\bar{x} = 8.179\)는 이 분포의 오른쪽 끝에 놓이고, 양쪽 꼬리의 붉은 면적을 세면 \(p = 0.0032\)가 된다. 자유도 \(49\)인 \(t\) 검정의 \(p = 0.0033\)과 사실상 같은데, \(n = 50\)이면 정규근사가 이미 잘 통하기 때문이다.

회색 곡선이 옮기지 않고 재표집했을 때의 분포다. \(\bar{x} = 8.179\) 주위에 중심을 두므로 관측값이 한가운데에 앉고, 그보다 극단적인 복제값의 비율은 \(0.5\) 근처를 맴돈다. 이 분포로 검정하면 무엇을 넣어도 기각하지 못한다. 중심 이동 한 줄을 빠뜨리면 정확히 이런 일이 벌어지며, 오류 메시지 없이 조용히 실패한다는 것이 이 함정의 성질이다.

(b)는 이표본 검정이다. 여기서는 옮길 필요가 없다. \(H_0\) 아래에서 두 집단이 같은 모집단에서 왔다면 어느 관측이 어느 집단인지가 무의미하므로, 80개를 한 웅덩이에 붓고 다시 40개씩 뽑으면 그것이 귀무분포다. 분포가 \(0\)에 중심을 두는 것은 강제한 것이 아니라 라벨을 지운 결과이다. 관측된 차이 \(4.151\)이 오른쪽 꼬리에 겨우 걸쳐 \(p = 0.0518\)이고, 웰치 \(t\) 검정의 \(0.0504\)와 마찬가지로 \(\alpha = 0.05\)를 간발의 차로 넘지 못한다.


4. 검정 — 두 판본으로 꼬리를 센다

스튜던트화하지 않은 판본

  1. \(t_{\text{obs}} = \bar{x} - \mu_0\)을 계산한다.
  2. 중심화된 자료 \(\tilde{x}_i = x_i - \bar{x} + \mu_0\)을 만든다.
  3. \(b = 1, \ldots, B\)에 대해 다음을 되풀이한다.
    • \(\{\tilde{x}_1, \ldots, \tilde{x}_n\}\)에서 복원추출로 \(\tilde{x}_1^*, \ldots, \tilde{x}_n^*\)을 뽑는다.
    • \(t^{*(b)} = \bar{\tilde{x}}^{*(b)} - \mu_0\)을 계산한다.
  4. 양측 \(p\) 값은 다음과 같다.
\[ p = \frac{1}{B}\sum_{b=1}^{B} \mathbf{1}\!\left(|t^{*(b)}| \ge |t_{\text{obs}}|\right) \]

스튜던트화 판본

스튜던트화 판본은 \(t\) 통계량을 쓰며 대체로 검정력이 더 좋다.

  1. \(t_{\text{obs}} = (\bar{x} - \mu_0) / (s / \sqrt{n})\)을 계산한다.
  2. 중심화된 자료 \(\tilde{x}_i = x_i - \bar{x} + \mu_0\)을 만든다.
  3. \(b = 1, \ldots, B\)에 대해 다음을 되풀이한다.
    • \(\{\tilde{x}_1, \ldots, \tilde{x}_n\}\)에서 복원추출로 뽑는다.
    • \(t^{*(b)} = (\bar{\tilde{x}}^{*(b)} - \mu_0) / (s^{*(b)} / \sqrt{n})\)을 계산한다(\(s^{*(b)}\) 는 그 재표본의 표준편차다).
  4. 양측 \(p\) 값은 다음과 같다.
\[ p = \frac{1}{B}\sum_{b=1}^{B} \mathbf{1}\!\left(|t^{*(b)}| \ge |t_{\text{obs}}|\right) \]

스튜던트화 대 비스튜던트화

스튜던트화 판본이 선호된다. 부트스트랩 표본마다 표준오차가 달라지는 변동을 반영하기 때문이다. 그 결과 검정이 이분산에 더 로버스트해지고 대체로 더 정확한 \(p\) 값을 낸다. 연습문제 1에서 이 차이가 얼마나 큰지 확인한다.

이 권고의 근거는 "귀무분포가 표본마다 얼마나 달라지는가"에 있다. \(\text{Exp}(1)\)에서 \(n = 10\)짜리 표본을 여럿 뽑아, \(s\)가 유난히 작은 것(\(s = 0.46\))과 큰 것(\(s = 1.73\))을 하나씩 골라 각자의 귀무분포를 그려 보았다.

두 표본에서 만든 비스튜던트화 귀무분포와 스튜던트화 귀무분포, 그리고 실제 제1종 오류율

(a)의 두 분포는 폭이 4배 가까이 다르다. 표준편차가 \(0.138\)과 \(0.517\)이다. 귀무가설은 양쪽 모두 \(\mu = 1\)로 같은데, 기각의 기준이 되는 분포가 어느 표본을 얻었느냐에 따라 이만큼 달라진다는 뜻이다. 문제는 여기서 그치지 않는다. 지수분포에서는 \(\bar{x}\)와 \(s\)가 강한 양의 상관을 가지므로, \(s\)가 작은 표본은 \(\bar{x}\)도 작아 \(|t_{\text{obs}}|\)가 크게 나오는데 동시에 귀무분포까지 좁아진다. 두 효과가 같은 방향으로 겹쳐 과도한 기각을 만든다.

(b)는 같은 두 표본의 스튜던트화 귀무분포다. 이번에는 거의 포개진다. \(2.5\)/\(97.5\) 백분위수가 \((-2.76,\ 2.04)\)와 \((-3.01,\ 1.98)\)로, 왼쪽 꼬리가 길다는 공통된 모양까지 같다. \(s^*\)로 나누는 순간 자료의 척도가 빠져나가고 모양만 남기 때문이며, 이것이 "\(t^*\)가 근사 추축량(pivotal quantity)" — 분포가 미지의 모수에 달려 있지 않은 양 — 이라는 말의 실제 내용이다.

(c)가 그 대가와 보상이다. 비스튜던트화 부트스트랩은 \(n = 10\)에서 제1종 오류율이 \(0.143\)으로 명목값의 세 배에 이르러 고전 \(t\) 검정(\(0.104\))보다도 나쁘다. 스튜던트화 부트스트랩은 \(0.073\)으로 셋 중 가장 낫다. 다만 \(n = 10\)에서는 그것도 명목값보다 \(46\%\) 크다는 점을 함께 보아야 한다. 부트스트랩이 정규성 가정을 없애 주지만 표본이 작다는 사실까지 없애 주지는 않는다.


그림으로 보는 통계학 1. 두 줄짜리 지침

\(3\) 절은 자료를 옮기라 하고 \(4\) 절은 스튜던트화하라 한다. 이 둘은 따로 생겨난 요령이 아니라 한 논문이 나란히 적은 두 줄이다.

\(1991\) 년, 피터 홀과 수전 윌슨이 『Biometrics』에 「부트스트랩 가설검정의 두 지침」이라는 여섯 쪽짜리 글을 실었다. 제목 그대로 지침은 둘뿐이다.

  1. 귀무가설을 반영하도록 재표집하라. 참 모수가 귀무가설에서 아무리 멀리 있어도 그렇게 하라고 못 박았다. 이 쪽의 중심이동이 그것이다.
  2. 신뢰구간에서 좋다고 알려진 방법을 가져다 쓰라. 구체적으로는 \((\hat\theta^* - \hat\theta)/\hat\sigma^*\), 곧 스튜던트화한 통계량의 부트스트랩 분포를 쓰라는 것이다.

두 줄이 각각 무엇을 지켜 주는지 재어 보았다. 자료는 지수분포(exponential distribution, 왜도 \(2\)), 귀무가설은 \(H_0: \mu = 1\), 부트스트랩은 매번 \(499\) 번이다.

지침 1 을 어겼을 때 검정력이 사라지는 모습과, 지침 2 가 왜도 큰 자료에서 검정의 크기를 바로잡는 모습

지침 1 이 지켜 주는 것은 검정력이다. 왼쪽 판에서 지침대로 한 검정은 참 평균이 \(1\) 에서 \(2.8\) 로 멀어질 때 기각률이 \(0.066 \to 0.722\) 로 오른다. 중심이동을 빼먹은 검정은 참 평균이 얼마든 기각률이 \(0\) 이다. 틀린 쪽이 너무 자주 기각해서 위험한 것이 아니라 아무것도 못 잡아서 위험하다. 홀과 윌슨이 적은 것도 그것이다 — 첫 지침을 어기면 검정력이 심각하게 깎인다.

지침 2 가 지켜 주는 것은 크기다. 오른쪽 판은 귀무가설이 참일 때의 기각률이다. 스튜던트화하지 않으면 \(n = 10\) 에서 \(0.151\) — 약속한 \(0.05\) 의 세 배다. 스튜던트화하면 \(0.073\) 으로 내려간다. \(n\) 이 \(100\) 이 되어야 둘이 \(0.063\) 과 \(0.052\) 로 가까워진다. 작은 표본과 치우친 자료에서 그 한 줄이 가장 비싸다.

왼쪽 판이 \(\mu = 1.2\) 에서 한 번 내려앉는 까닭

지침대로 한 검정도 \(\mu = 1.0\) 에서 \(0.066\), \(\mu = 1.2\) 에서 \(0.042\) 로 오히려 내려간다. 기각을 두 꼬리로 나누어 보면 이유가 보인다. \(\mu = 1.0\) 에서는 기각 \(0.066\) 가운데 왼쪽 꼬리가 \(0.062\) 이고 오른쪽은 \(0.005\) 뿐이다. 치우친 자료에서 \(\bar x\) 가 왼쪽으로 쏠리기 때문이다. \(\mu\) 가 커지면 그 왼쪽 기각이 \(0.014 \to 0.002\) 로 먼저 사라지고 오른쪽이 \(0.028 \to 0.099\) 로 뒤늦게 자라, 그 사이에 골짜기가 생긴다. 두 꼬리를 쓰는 검정은 귀무가설 바로 옆에서 기각률이 수준보다 낮아질 수 있다.

지침 하나는 검정력을, 다른 하나는 크기를 맡는다. 둘 다 코드로는 한 줄이고, 빠뜨려도 오류 메시지가 뜨지 않는다.

확인한 곳 — 홀·윌슨 「Two guidelines for bootstrap hypothesis testing」(『Biometrics』 제\(47\) 권 \(757\)–\(762\) 쪽, \(1991\), doi:10.2307/2532163)의 서지와 두 지침의 내용 — 「참 가설이 귀무가설에서 멀리 있을 때에도 귀무가설을 반영하도록 재표집하라」, 「첫 지침을 어기면 검정력이 심각하게 깎일 수 있다」, 「둘째 지침은 신뢰구간 구성에서 좋다고 알려진 방법을 쓰라는 것이며 스튜던트화한 통계량 \((\hat\theta^*-\hat\theta)/\hat\sigma^*\) 의 부트스트랩 분포에 근거한다」 — 는 그 논문을 소개한 글들에서 읽었다. 논문 본문은 읽지 못했다 · 기각률·크기·두 꼬리 분해는 모두 직접 모의실험해 얻은 값이다

단측검정

\(H_a: \mu > \mu_0\)이면 양의 방향으로 극단적인 복제값을 센다.

\[ p = \frac{1}{B}\sum_{b=1}^{B} \mathbf{1}\!\left(t^{*(b)} \ge t_{\text{obs}}\right) \]

\(H_a: \mu < \mu_0\)이면

\[ p = \frac{1}{B}\sum_{b=1}^{B} \mathbf{1}\!\left(t^{*(b)} \le t_{\text{obs}}\right) \]

보기 2. 배달시간 평균의 부트스트랩 검정. 어느 음식점의 배달시간(분) \(n = 12\)개 표본에서 \(\bar{x} = 34.2\), \(s = 8.7\)이었다. 음식점은 평균 배달시간이 30분이라고 주장한다. \(H_0: \mu = 30\) 대 \(H_a: \mu \neq 30\)을 검정한다.

풀이

1단계. \(t_{\text{obs}} = (34.2 - 30) / (8.7/\sqrt{12}) = 1.672\)

2단계. 자료를 이동한다: \(\tilde{x}_i = x_i - 34.2 + 30 = x_i - 4.2\)

3단계. 이동된 자료에서 스튜던트화 통계량의 부트스트랩 복제값 \(B = 10{,}000\)개를 생성한다.

4단계. \(10{,}000\)개 중 \(832\)개가 \(|t^{*(b)}| \ge 1.672\)를 만족했다고 하자.

부트스트랩 \(p\) 값은 \(832/10{,}000 = 0.0832\)이다.

비교를 위해 고전적 \(t\) 검정은 \(t_{11}\) 분포로 \(p = 0.1226\)을 준다. 차이가 나는 것은 부트스트랩이 정규성을 가정하지 않기 때문이다. 배달시간이 오른쪽으로 치우쳐 있다면 부트스트랩 \(p\) 값이 더 믿을 만하다.


5. 신뢰구간과의 관계

부트스트랩 검정과 부트스트랩 신뢰구간 사이에는 직접적인 쌍대성(duality)이 있다. 부트스트랩 검정이 수준 \(\alpha\)에서 \(H_0: \mu = \mu_0\)을 기각하는 것은 \(\mu_0\)이 대응하는 \(100(1-\alpha)\%\) 부트스트랩 신뢰구간 바깥에 있는 것과 같다.

따라서 부트스트랩 검정을 따로 돌리는 대신 부트스트랩 신뢰구간을 만들고 \(\mu_0\)이 그 안에 있는지 확인해도 된다.

쌍대성은 짝이 맞는 방법 사이에서만 정확하다

이 쌍대성은 검정통계량과 구간의 구성 방식이 대응할 때에만 정확하다.

  • 스튜던트화하지 않은 부트스트랩 검정 ↔ 기본(추축) 구간
  • 스튜던트화 부트스트랩 검정 ↔ 부트스트랩-\(t\) 구간

백분위수 구간이나 BCa 구간은 여기에 정확히 대응하지 않는다. 스튜던트화 부트스트랩 검정의 \(p\) 값이 \(0.03\)인데 백분위수 구간이 \(\mu_0\)을 포함하는 일이 얼마든지 가능하다. 검정과 구간을 함께 보고할 때는 짝을 맞추어야 한다.

p 값의 몬테카를로 변동

부트스트랩 \(p\) 값은 모의실험으로 추정되므로 몬테카를로 오차를 갖는다. \(B = 10{,}000\)에서 참 \(p\) 값이 \(0.05\)이면 몬테카를로 표준오차가 약 \(\sqrt{0.05 \times 0.95 / 10{,}000} \approx 0.002\)이다. \(p\) 값이 유의수준에 가까우면 \(B\)를 늘려 잘못된 결정의 확률을 줄여야 한다.


연습문제

연습문제 1. 부트스트랩 검정이 정말로 \(t\) 검정보다 나은지 확인하라. \(\text{Exp}(1)\) 자료에서 \(H_0: \mu = 1\)을 검정할 때 세 방법(고전 \(t\), 스튜던트화 부트스트랩, 비스튜던트화 부트스트랩)의 제1종 오류율을 비교하라.

풀이
import numpy as np
from scipy import stats
rng = np.random.default_rng(0)

for n in (10, 20, 50, 200):
    M, B = 2000, 999
    s_t = s_stud = s_unstud = 0
    for _ in range(M):
        x = rng.exponential(1, n)
        s_t += stats.ttest_1samp(x, 1).pvalue < 0.05

        xs = x - x.mean() + 1.0          # 중심화
        xb = xs[rng.integers(0, n, (B, n))]

        tobs = (x.mean() - 1) / (x.std(ddof=1) / np.sqrt(n))
        tb = (xb.mean(axis=1) - 1) / (xb.std(axis=1, ddof=1) / np.sqrt(n))
        s_stud += (np.abs(tb) >= abs(tobs)).mean() < 0.05

        uobs = x.mean() - 1
        ub = xb.mean(axis=1) - 1
        s_unstud += (np.abs(ub) >= abs(uobs)).mean() < 0.05
    print(n, round(s_t/M, 3), round(s_stud/M, 3), round(s_unstud/M, 3))

출력:

10 0.104 0.074 0.143
20 0.07 0.056 0.091
50 0.069 0.06 0.074
200 0.053 0.048 0.054
\(n\) 고전 \(t\) 스튜던트화 부트스트랩 비스튜던트화 부트스트랩
10 0.104 0.074 0.143
20 0.070 0.056 0.091
50 0.069 0.060 0.074
200 0.053 0.048 0.054

스튜던트화 부트스트랩이 모든 표본크기에서 가장 낫다. \(n = 10\)에서 \(0.074\)로 \(t\) 검정의 \(0.104\)보다 명목값에 훨씬 가깝다.

비스튜던트화 부트스트랩은 \(t\) 검정보다도 나쁘다. \(n = 10\)에서 \(0.143\)으로 명목값의 거의 세 배이다. 이것이 "스튜던트화 판본이 선호된다"는 권고의 구체적 근거이다.

왜 스튜던트화가 이렇게 중요한가. 비스튜던트화 통계량 \(\bar{X}^* - \mu_0\)의 부트스트랩 분포는 산포가 관측된 \(s\)에 의존한다. 우연히 \(s\)가 작은 표본을 얻으면 부트스트랩 분포가 좁아지고, 좁은 귀무분포에 비해 관측값이 극단적으로 보여 기각을 많이 하게 된다.

지수분포에서는 16장 연습문제 2에서 본 대로 \(\bar{X}\)와 \(s\)가 강한 양의 상관을 갖는다. \(\bar{X}\)가 작으면 \(s\)도 작아 이 문제가 증폭된다.

한계도 정직하게 보아야 한다. \(n = 10\)에서 스튜던트화 부트스트랩도 \(0.074\)로 명목값보다 48% 크다. 부트스트랩이 정규성 가정을 없애 주지만, 표본이 작으면 여전히 부정확하다.

연습문제 2. 중심화를 빠뜨리면 어떻게 되는가? 중심화 없이 \(\hat\theta^{*}\)를 \(\mu_0\)과 직접 비교하는 잘못된 구현을 만들어 \(p\) 값 분포를 확인하라.

풀이
import numpy as np
rng = np.random.default_rng(5)
n, B, M = 30, 999, 2000
mu0 = 1.0

p_right, p_wrong = [], []
for _ in range(M):
    x = rng.exponential(1, n)          # H0 가 참이다
    tobs = x.mean() - mu0

    # 올바른 구현: 중심화 후 재표집
    xs = x - x.mean() + mu0
    tb = xs[rng.integers(0, n, (B, n))].mean(axis=1) - mu0
    p_right.append((np.abs(tb) >= abs(tobs)).mean())

    # 잘못된 구현: 중심화 없이 재표집
    bb = x[rng.integers(0, n, (B, n))].mean(axis=1) - mu0
    p_wrong.append((np.abs(bb) >= abs(tobs)).mean())

p_right, p_wrong = np.array(p_right), np.array(p_wrong)
print("올바름: 크기 %.3f, p 중앙값 %.3f" % ((p_right < .05).mean(),
                                            np.median(p_right)))
print("잘못됨: 크기 %.3f, p 중앙값 %.3f" % ((p_wrong < .05).mean(),
                                            np.median(p_wrong)))

출력:

올바름: 크기 0.079, p 중앙값 0.453
잘못됨: 크기 0.000, p 중앙값 0.571
구현 제1종 오류율 \(p\) 값의 중앙값 \(p\) 값의 5백분위수
올바름 (중심화) 0.079 0.453 0.022
잘못됨 (중심화 없음) 0.000 0.571 0.479

잘못된 구현의 제1종 오류율이 정확히 \(0\)이다. \(2000\)번의 모의실험에서 한 번도 귀무가설을 기각하지 않았다. \(p\) 값의 5백분위수가 \(0.479\)이므로, 이 검정은 어떤 자료를 주어도 \(p < 0.48\)을 낼 수 없다.

이유는 명확하다. 중심화하지 않으면 부트스트랩 분포 \(\bar{X}^* - \mu_0\)이 \(\bar{x} - \mu_0 = t_{\text{obs}}\) 주위에 중심을 둔다. 즉 관측된 통계량이 부트스트랩 분포의 한가운데에 놓인다. 그보다 극단적인 복제값의 비율은 \(0.5\) 아래로 내려가기 어렵다.

올바른 구현에서 \(p\) 값의 분포는 대략 균등해야 한다. 중앙값 \(0.453\), 5백분위수 \(0.022\)로 균등분포에 가깝다(완벽하지 않은 것은 \(n = 30\)의 유한표본 효과이다).

이 오류는 조용히 실패한다

중심화를 빠뜨린 검정은 오류를 내지 않고 그럴듯한 \(p\) 값을 반환한다. 다만 그 값이 언제나 크다. 분석자는 "효과가 없다"고 결론짓고 넘어가게 된다.

자기 점검 방법: 귀무가설이 참인 자료를 여러 번 생성하여 \(p\) 값의 히스토그램을 그려 보라. 균등분포가 아니면 구현에 문제가 있다.

연습문제 3. 부트스트랩 검정과 신뢰구간의 쌍대성이 어느 조합에서 가장 잘 맞는지 수치로 확인하라.

풀이

각 표본에서 두 검정의 기각 여부와 세 구간의 \(\mu_0\) 제외 여부를 계산하여 일치율을 센다.

import numpy as np
rng = np.random.default_rng(17)
n, B, M = 25, 4000, 1500
mu0 = 1.0
agree = {k: 0 for k in ("unstud~basic", "stud~boott", "stud~pct",
                        "unstud~pct", "stud~basic")}

for _ in range(M):
    x = rng.exponential(1, n)
    th = x.mean(); se = x.std(ddof=1) / np.sqrt(n)
    idx = rng.integers(0, n, (B, n))

    # 두 검정 (중심화된 자료에서)
    xsb = (x - th + mu0)[idx]
    p_un = (np.abs(xsb.mean(axis=1) - mu0) >= abs(th - mu0)).mean()
    tbs = (xsb.mean(axis=1) - mu0) / (xsb.std(axis=1, ddof=1) / np.sqrt(n))
    p_st = (np.abs(tbs) >= abs((th - mu0)/se)).mean()

    # 세 구간 (원자료에서)
    xb = x[idx]; bs = xb.mean(axis=1)
    lo, hi = np.percentile(bs, [2.5, 97.5])
    basic = (2*th - hi, 2*th - lo)
    tt = (bs - th) / (xb.std(axis=1, ddof=1) / np.sqrt(n))
    tl, tu = np.percentile(tt, [2.5, 97.5])
    bt = (th - tu*se, th - tl*se)

    r_un, r_st = p_un < 0.05, p_st < 0.05
    o_b = not (basic[0] <= mu0 <= basic[1])
    o_t = not (bt[0] <= mu0 <= bt[1])
    o_p = not (lo <= mu0 <= hi)

    agree["unstud~basic"] += r_un == o_b
    agree["stud~boott"]   += r_st == o_t
    agree["stud~pct"]     += r_st == o_p
    agree["unstud~pct"]   += r_un == o_p
    agree["stud~basic"]   += r_st == o_b

for k, v in agree.items():
    print(k, round(v/M, 4))

출력:

unstud~basic 0.9853
stud~boott 0.972
stud~pct 0.9707
unstud~pct 0.982
stud~basic 0.954
조합 결정 일치율 짝이 맞는가
비스튜던트화 검정 ↔ 기본 구간 0.985 ✓
비스튜던트화 검정 ↔ 백분위수 구간 0.982 ✗
스튜던트화 검정 ↔ 부트스트랩-\(t\) 구간 0.972 ✓
스튜던트화 검정 ↔ 백분위수 구간 0.971 ✗
스튜던트화 검정 ↔ 기본 구간 0.954 ✗

짝이 맞는 조합이 각각 자기 그룹에서 가장 높다. 비스튜던트화 검정은 기본 구간과(\(0.985\)), 스튜던트화 검정은 부트스트랩-\(t\) 구간과(\(0.972\)) 가장 잘 일치한다.

왜 일치율이 \(1.0\)이 아닌가

이론적 쌍대성은 같은 부트스트랩 복제값을 쓸 때 정확하다. 위 코드는 검정에 중심화된 자료를, 구간에 원자료를 써서 재표집하므로 재표본이 다르다. 이 몬테카를로 차이가 \(1\)--\(3\%\)의 불일치를 만든다.

또 짝이 맞지 않는 조합의 일치율도 \(0.95\) 이상으로 높다. 대부분의 표본에서 다섯 방법이 모두 "기각하지 않음"으로 같은 결정을 내리기 때문이다. 결정이 갈리는 것은 \(p\) 값이 \(0.05\) 근처인 소수의 경우뿐이다.

실무적 함의: 검정과 구간을 함께 보고할 때 짝을 맞추면 모순이 생기지 않는다. 짝이 맞지 않으면 "\(p = 0.03\)으로 유의하지만 95% 신뢰구간이 귀무값을 포함한다"는 혼란스러운 보고가 나올 수 있다. 위 표에서 스튜던트화 검정과 기본 구간의 조합이 \(4.6\%\)의 확률로 그런 모순을 낸다.

연습문제 4. 부트스트랩 검정의 검정력은 \(t\) 검정과 비교해 어떤가? 크기를 맞춘 뒤 비교하라.

풀이

크기가 다른 검정의 기각률을 비교하는 것은 무의미하므로, 먼저 각 검정의 임계 \(p\) 값을 조정하여 실제 크기를 \(0.05\)로 맞춘다.

import numpy as np
from scipy import stats
rng = np.random.default_rng(13)
n, B, M = 20, 999, 2500

def pvals(shift, one_sided=False):
    pt, pb = [], []
    alt = 'greater' if one_sided else 'two-sided'
    for _ in range(M):
        x = rng.exponential(1, n) * shift      # 참 평균 = shift
        pt.append(stats.ttest_1samp(x, 1, alternative=alt).pvalue)
        xs = x - x.mean() + 1.0
        xb = xs[rng.integers(0, n, (B, n))]
        tobs = (x.mean() - 1) / (x.std(ddof=1) / np.sqrt(n))
        tb = (xb.mean(axis=1) - 1) / (xb.std(axis=1, ddof=1) / np.sqrt(n))
        pb.append((tb >= tobs).mean() if one_sided
                  else (np.abs(tb) >= abs(tobs)).mean())
    return np.array(pt), np.array(pb)

p0t, p0b = pvals(1.0)
ct, cb = np.percentile(p0t, 5), np.percentile(p0b, 5)   # 크기 보정 임계값
for shift in (2.0, 3.0, 5.0):
    p1t, p1b = pvals(shift)
    print(shift, round((p1t < ct).mean(), 3), round((p1b < cb).mean(), 3))

출력:

2.0 0.334 0.318
3.0 0.788 0.652
5.0 0.962 0.82

보정 전 크기는 \(t\) 검정 \(0.087\), 부트스트랩 \(0.071\)이다. 크기를 \(0.05\)로 맞추는 임계 \(p\) 값은 각각 \(0.0186\), \(0.0340\)이다.

양측검정(two-sided test) (참 평균 = shift, \(H_0: \mu = 1\)):

참 평균 크기 보정 \(t\) 크기 보정 부트스트랩 보정 전 \(t\) 보정 전 부트스트랩
2.0 0.334 0.318 0.605 0.434
3.0 0.788 0.652 0.940 0.766
5.0 0.962 0.820 0.995 0.892

뜻밖의 결과: 크기를 맞추면 \(t\) 검정이 부트스트랩보다 강력하다. 참 평균이 \(3\)일 때 \(0.788\) 대 \(0.652\)로 차이가 크다.

왜 그런가. 부트스트랩-\(t\) 연습문제 2에서 본 \(t^*\) 분포의 극단적 비대칭이 원인이다. 지수 자료에서 \(t^*\)의 왼쪽 꼬리가 \(-30\)까지 뻗는다. 양측검정은 \(|t^*| \ge |t_{\text{obs}}|\)를 세므로, 관측값이 오른쪽으로 크게 벗어나도 왼쪽 꼬리의 극단값들이 모두 세어져 \(p\) 값이 부풀려진다.

단측검정으로 바꾸면 문제가 사라진다.

참 평균 크기 보정 \(t\) 크기 보정 부트스트랩
2.0 0.896 0.909
3.0 0.994 0.996
5.0 1.000 1.000

단측에서는 부트스트랩이 오히려 근소하게 낫다.

실무적 교훈 셋.

  1. "부트스트랩을 쓰면 더 강력하다"는 기대는 틀렸다. 부트스트랩의 이점은 검정력이 아니라 크기의 정확성이다. 보정 전 부트스트랩의 검정력이 \(t\) 검정보다 낮아 보이는 것도 상당 부분 크기가 작기 때문이다(\(0.071\) 대 \(0.087\)).

  2. 치우친 자료의 양측 부트스트랩 검정에서 \(|t^*|\)를 쓰는 것은 위험하다. 대안은 (a) 대립가설(alternative hypothesis)의 방향이 분명하면 단측검정을 쓰거나, (b) 양쪽 꼬리를 따로 세는 "동등꼬리(equal-tailed)" \(p\) 값을 쓰는 것이다.

  3. 크기 보정 비교가 필수이다. 보정 전 표만 보면 \(t\) 검정이 압도적으로 좋아 보이지만(\(0.940\) 대 \(0.766\)), 그중 상당 부분이 부풀려진 제1종 오류(type I error)의 부산물이다.

연습문제 5. §5의 경고 상자는 \(B = 10{,}000\)에서 참 \(p\) 값이 \(0.05\)이면 몬테카를로 표준오차가 약 \(0.002\)라고 했다. 이 오차와 "자료가 달라져서 생기는 오차"를 가려 보자.

(가) 몬테카를로 표준오차를 \(0.001\) 이하로 줄이려면 \(B\)가 얼마여야 하는가?

(나) 어떤 자료의 이상적 부트스트랩 \(p\) 값(가능한 모든 재표본을 다 쓴 값)이 정확히 \(0.04\)라고 하자. 몬테카를로 오차만으로 \(\hat p \ge 0.05\)가 되어 \(\alpha = 0.05\)에서의 결정이 뒤집힐 확률을 \(B = 999\)와 \(B = 10{,}000\)에서 정규근사로 구하라.

(다) \(B \to \infty\)로 보내도 없어지지 않는 오차는 무엇인가? 귀무가설 아래에서 이상적 \(p\) 값이 근사적으로 \(\text{U}(0,1)\)이라는 사실을 써서 그 크기를 (나)의 몬테카를로 오차와 견주고, 연습문제 1의 \(n = 10\) 결과가 이 오차의 어떤 면을 보여 주는지 한 줄로 말하라.

풀이

(가) 세어지는 복제값의 개수를 \(K\)라 하면 \(K \sim \text{Bin}(B, p)\)이고 \(\hat p = K/B\)이므로

\[ \text{sd}(\hat p) = \sqrt{\frac{p(1-p)}{B}} \]

이다. \(p = 0.05\)에서 \(\sqrt{0.05 \times 0.95 / B} \le 0.001\)은 \(B \ge 0.0475 / 10^{-6} = 47{,}500\)과 같다. 표준오차를 절반 이하로 줄이는 데 복제값을 \(4.75\)배로 늘려야 한다. 몬테카를로 정확도는 \(B^{-1/2}\)로만 좋아진다.

(나) \(p = 0.04\)에서 \(\hat p\)의 표준오차는 \(\sqrt{0.04 \times 0.96 / B}\)이다.

\(B\) \(\text{sd}(\hat p)\) \(z = (0.05 - 0.04)/\text{sd}\) \(\Pr(\hat p \ge 0.05)\)
999 0.00620 1.613 0.053
10,000 0.00196 5.103 \(1.7 \times 10^{-7}\)

\(B = 999\)로는 스무 번에 한 번 결정이 뒤집힌다(정확한 이항확률은 \(0.065\)로 이산성 때문에 정규근사보다 조금 더 크다). \(B = 10{,}000\)이면 실질적으로 뒤집히지 않는다. \(p\) 값이 유의수준에 가까울 때 \(B\)를 늘리라는 권고가 이 계산이다.

(다) 이상적 \(p\) 값 자체가 자료 한 벌의 함수이므로 새 표본을 얻으면 달라진다. 이 변동은 \(B\)와 무관하고 \(n\)이 정한다. \(H_0\) 아래에서 이상적 \(p\) 값이 \(\text{U}(0,1)\)이면 그 표준편차는

\[ \frac{1}{\sqrt{12}} = 0.2887 \]

로, (나)의 \(B = 10{,}000\)짜리 몬테카를로 표준오차 \(0.002\)의 약 \(130\)배이다(\(0.2887/0.00218 = 132\)). 같은 자료에서 \(\hat p\)가 흔들리는 폭은 자료가 바뀔 때 흔들리는 폭에 비하면 무시할 만하다.

연습문제 1의 \(n = 10\)에서 스튜던트화 부트스트랩의 크기가 \(0.074\)였던 것은 \(B\)를 아무리 키워도 고쳐지지 않는다. 그것은 몬테카를로 오차가 아니라 "이상적 부트스트랩 검정 자체가 작은 표본에서 치우쳐 있다"는 뜻이기 때문이다.

한 줄로: \(B\)는 같은 자료에서 답이 흔들리는 폭을, \(n\)은 그 답이 겨누는 과녁이 얼마나 비뚤어져 있는지를 정한다. 둘을 섞어 적으면 "\(B\)를 늘렸으니 더 정확하다"는 잘못된 안심을 하게 된다.

연습문제 6. 수리시간(분)을 세 번 재어 \(x = (2,\, 4,\, 12)\)를 얻었다. §4의 비스튜던트화 부트스트랩 검정으로 \(H_0: \mu = 3\) 대 \(H_a: \mu \neq 3\)을 검정한다. \(n = 3\)이므로 부트스트랩 표본은 \(3^3 = 27\)가지가 전부이고 모두 같은 확률을 가진다.

(가) 중심화된 자료를 적고, \(27\)개 재표본을 모두 열거하여 이상적 부트스트랩 \(p\) 값(몬테카를로 오차가 없는 값)을 분수로 구하라.

(나) 같은 자료에 §4의 스튜던트화 판본을 쓰면 \(27\)개 중 몇 개의 재표본에서 \(t^{*}\)가 정의되지 않는가? 왜 그런가? 그 비율은 \(n\)이 커지면 어떻게 되는가?

(다) 이 자료에서 얻을 수 있는 \(p\) 값은 어떤 수들뿐인가? 수준 \(0.05\)에서 기각이 가능한가?

풀이

(가) \(\bar{x} = 6\)이므로 \(t_{\text{obs}} = 6 - 3 = 3\)이고, 중심화된 자료는

\[ \tilde{x} = (2, 4, 12) - 6 + 3 = (-1,\, 1,\, 9) \]

이다(평균이 \(\mu_0 = 3\)임을 확인하라). 재표본의 값 그룹별로 \(t^{*} = \bar{\tilde{x}}^{*} - 3\)을 계산한다. 순서를 구별하면 같은 그룹이 다항계수만큼 나온다.

재표본의 값 그룹 \(\bar{\tilde{x}}^{*}\) \(t^{*}\) 가짓수 \(\lvert t^{*} \rvert \ge 3\)
\((-1,-1,-1)\) \(-1\) \(-4\) 1 ✓
\((-1,-1,1)\) \(-1/3\) \(-10/3\) 3 ✓
\((-1,1,1)\) \(1/3\) \(-8/3\) 3 ✗
\((1,1,1)\) \(1\) \(-2\) 1 ✗
\((-1,-1,9)\) \(7/3\) \(-2/3\) 3 ✗
\((-1,1,9)\) \(3\) \(0\) 6 ✗
\((1,1,9)\) \(11/3\) \(2/3\) 3 ✗
\((-1,9,9)\) \(17/3\) \(8/3\) 3 ✗
\((1,9,9)\) \(19/3\) \(10/3\) 3 ✓
\((9,9,9)\) \(9\) \(6\) 1 ✓

가짓수의 합은 \(1+3+3+1+3+6+3+3+3+1 = 27\)로 맞다. \(\lvert t^{*} \rvert \ge 3\)인 것은 \(1 + 3 + 3 + 1 = 8\)개이므로

\[ p = \frac{8}{27} = 0.2963 \]

이다. 기각하지 않는다. \(\bar{x} - \mu_0 = 3\)이 커 보이지만 \(s = 5.29\)에 비하면 크지 않다. \(12\)라는 한 점이 \(\bar{x}\)를 끌어올린 것이어서, 그 점이 재표본에 몇 번 들어가느냐에 따라 \(\bar{\tilde{x}}^{*}\)가 \(-1\)에서 \(9\)까지 널뛴다.

(나) 세 값이 모두 같은 재표본 \((-1,-1,-1)\), \((1,1,1)\), \((9,9,9)\)에서 \(s^{*} = 0\)이므로 \(t^{*} = (\bar{\tilde{x}}^{*} - 3)/(0/\sqrt{3})\)이 정의되지 않는다. 세 재표본 모두 분자가 각각 \(-4\), \(-2\), \(6\)으로 \(0\)이 아니어서 \(t^{*}\)는 \(\mp\infty\)로 발산한다. \(27\)개 중 \(3\)개, 곧 확률 \(1/9\)이다.

모두 같은 값이 뽑힐 확률은 \(n \cdot n^{-n} = n^{1-n}\)이므로 \(n = 10\)에서 \(10^{-9}\), \(n = 20\)에서 \(20^{-19}\)로 급히 사라진다. 스튜던트화 판본의 이 고장은 \(n\)이 아주 작을 때만 실제로 일어나지만, 그런 \(n\)에서는 애초에 \(s^{*}\)가 거의 \(0\)에 가까운 재표본들이 \(t^{*}\)를 터무니없이 크게 만들어 귀무분포의 꼬리를 오염시킨다.

(다) 세어지는 개수가 \(0, 1, \ldots, 27\)이므로 가능한 \(p\) 값은 분모가 \(27\)인 분수뿐이다. \(0.05\)보다 작은 것은 \(0\)과 \(1/27 = 0.0370\) 둘뿐이므로, \(27\)개 재표본 중 극단적인 것이 하나 이하일 때만 기각할 수 있다.

이상적 부트스트랩 검정조차 \(n = 3\)에서는 유의수준 \(0.05\)를 가를 해상도가 거의 없다. \(B\)를 \(10^6\)으로 키워도 달라지지 않는다. 가능한 재표본이 \(27\)가지뿐이라는 것은 자료의 한계이고, 이것이 연습문제 5 (다)에서 말한 "\(B\)로 고칠 수 없는 오차"의 가장 극단적인 모습이다.

연습문제 7. 4절의 두 판본이 쓰는 \(p\) 값 식은 \(p = \frac{1}{B}\sum_b \mathbf{1}(\cdot)\)이다. 이 식은 \(\hat p = 0\)을 낼 수 있다.

(가) 어떤 자료의 이상적 \(p\) 값이 \(p\)라고 하자. 복제값 \(B\)개로 얻은 \(\hat p\)가 정확히 \(0\)이 될 확률을 \(p\)와 \(B\)로 적고, \(p = 0.001\), \(B = 999\)에서 값을 구하라.

(나) 흔히 쓰는 수정식 \(\hat p_{+} = (1 + \#\{\cdot\})/(B+1)\)의 최솟값을 적고, \(\mathbb{E}[\hat p_{+}]\)를 계산하여 그것이 언제나 \(p\)보다 크다는 것을 보여라. 두 식의 차이는 \(B\)가 커지면 어떻게 되는가?

(다) 그렇다면 부트스트랩 검정의 이상적 \(p\) 값은 정확히 \(0\)이 될 수 있는가? \(n = 3\), \(x = (9,\, 10,\, 11)\), \(\mu_0 = 0\)으로 답하고, 관측통계량이 귀무분포에 자동으로 포함되지 않는 까닭을 밝혀라.

풀이

(가) 복제값은 중심화된 자료에서 독립으로 뽑히고 각각 확률 \(p\)로 "관측값만큼 극단"이다. 세어지는 개수를 \(K\)라 하면 \(K \sim \text{Bin}(B, p)\)이고

\[ \Pr(\hat p = 0) = \Pr(K = 0) = (1-p)^{B} \]

이다. \(p = 0.001\), \(B = 999\)에서 \(0.999^{999} = 0.368\)이다. 이상적 \(p\) 값이 \(0.001\)인 — 즉 증거가 분명한 — 자료에서도 세 번에 한 번은 \(\hat p = 0\)이 찍힌다. \(p = 0.003\)이면 \(0.997^{999} = 0.0497\)로 스무 번에 한 번이다.

(나) \(K \ge 0\)이므로

\[ \hat p_{+} \ge \frac{1}{B+1} = 0.001 \quad (B = 999) \]

이고 \(0\)이 될 수 없다. \(\mathbb{E}[K] = Bp\)이므로 \(\mathbb{E}[\hat p_{+}] = (1 + Bp)/(B+1)\)이고

\[ \mathbb{E}[\hat p_{+}] - p = \frac{1 + Bp - p(B+1)}{B+1} = \frac{1-p}{B+1} > 0 \]

이다. \(p < 1\)이면 언제나 양수이므로 수정식은 평균적으로 이상적 \(p\) 값보다 크다 — 보수적이다. 편향은 \((1-p)/(B+1)\)로 \(B\)와 함께 사라진다. \(p = 0.05\), \(B = 999\)에서 \(0.00095\), \(B = 10{,}000\)에서 \(0.000095\)이다. 결정을 바꿀 크기가 아니다. \(0\)을 찍지 않게 되는 이득에 비해 치르는 값이 싸다.

(다) 될 수 있다. \(\bar{x} = 10\)이므로 \(t_{\text{obs}} = 10 - 0 = 10\)이고 중심화된 자료는 \(\tilde{x} = (9,10,11) - 10 + 0 = (-1,\, 0,\, 1)\)이다. \(27\)개 재표본의 \(\bar{\tilde{x}}^{*}\)는 \(-1\)과 \(1\) 사이이므로 모든 재표본에서

\[ \lvert t^{*} \rvert = \lvert \bar{\tilde{x}}^{*} - 0 \rvert \le 1 < 10 = \lvert t_{\text{obs}} \rvert \]

이다. 세어지는 재표본이 하나도 없으므로 이상적 \(p\) 값이 정확히 \(0\)이다.

까닭은 중심화의 성질에 있다. 원표본을 그대로 다시 뽑은 재표본은 \(\bar{\tilde{x}}^{*} = \mu_0\), 즉 \(t^{*} = 0\)을 준다 — 귀무분포에서 가장 극단적이지 않은 값이다. 관측통계량 \(t_{\text{obs}} = \bar{x} - \mu_0\)은 귀무분포를 이루는 어떤 재표본에도 들어 있지 않다. 순열검정에서는 관측된 배치 자신이 늘 하나로 세어지므로 참 \(p\) 값이 \(1/(\text{배치 수})\) 아래로 내려갈 수 없는데, 부트스트랩 검정에는 그런 보호 장치가 없다.

그러므로 부트스트랩에서 \(+1\) 수정은 정확성을 만들어 주는 장치가 아니다. 몬테카를로 오차가 "\(p = 0\)"이라는, 자료에 없는 확실성을 보고하게 만드는 것을 막아 주는 장치일 뿐이다. 복제값 \(B\)개로는 \(1/B\)보다 작은 \(p\) 값을 분해할 수 없으므로 보고는 "\(p = 0\)"이 아니라 "\(p < 1/B\)"여야 한다.

연습문제 8. 연습문제 3의 주석은 "이론적 쌍대성은 같은 부트스트랩 복제값을 쓸 때 정확하다"고 했지만, 거기서는 검정과 구간이 서로 다른 재표본을 썼다. 이번에는 같은 재표본으로 쌍대성을 정확히 맞춰 보자.

(가) 같은 지표 \((i_1, \ldots, i_n)\)으로 뽑을 때, 중심화된 자료에서 얻는 \(t^{*} = \bar{\tilde{x}}^{*} - \mu_0\)이 원자료에서 얻는 \(\bar{x}^{*} - \bar{x}\)와 정확히 같음을 보여라. (중심화 단계가 난수를 하나도 더 쓰지 않는다는 뜻이다.)

(나) 양측 \(p\) 값을 \(\lvert t^{*} \rvert\)로 세는 대신 동등꼬리로, 즉

\[ p_{\text{et}} = \frac{2}{B}\min\left\{\#\{t^{*} \le t_{\text{obs}}\},\ \#\{t^{*} \ge t_{\text{obs}}\}\right\} \]

로 세면 "\(p_{\text{et}} < \alpha\)"와 "\(\mu_0\)이 기본 구간 바깥"이 동치임을 보여라.

(다) \(n = 25\)인 \(\text{Exp}(1)\) 자료 \(20{,}000\)벌에서 결정 일치율을 재어 (나)를 확인하고, \(\lvert t^{*} \rvert\) 판본은 왜 일치율이 \(1\)이 아닌지 설명하라. 경험분위수의 규약이 결과에 어떻게 끼어드는지도 보라.

풀이

(가) \(\tilde{x}_i = x_i - \bar{x} + \mu_0\)이므로 같은 지표로 뽑으면

\[ \bar{\tilde{x}}^{*} = \frac{1}{n}\sum_{j=1}^{n} \tilde{x}_{i_j} = \frac{1}{n}\sum_{j=1}^{n}\left(x_{i_j} - \bar{x} + \mu_0\right) = \bar{x}^{*} - \bar{x} + \mu_0 \]

이고 따라서 \(t^{*} = \bar{\tilde{x}}^{*} - \mu_0 = \bar{x}^{*} - \bar{x}\)이다. \(\square\)

중심화는 부트스트랩 분포를 통째로 \(-(\bar{x} - \mu_0)\)만큼 평행이동하는 것일 뿐이고, 재표집 자체는 원자료에서 한 것과 똑같다. 그래서 검정과 구간을 같은 지표로 계산할 수 있다.

(나) \(d^{*} = \bar{x}^{*} - \bar{x}\), \(d_{\text{obs}} = \bar{x} - \mu_0\)이라 쓰면 (가)에 따라 \(t^{*} = d^{*}\)이고 \(t_{\text{obs}} = d_{\text{obs}}\)이다. 복제평균 \(\bar{x}^{*}\)의 경험분위수를 \(q_u\)라 하면 기본 구간은 \([\,2\bar{x} - q_{1-\alpha/2},\ 2\bar{x} - q_{\alpha/2}\,]\)이고, \(\mu_0\)이 그 아래로 벗어나는 것은

\[ \mu_0 < 2\bar{x} - q_{1-\alpha/2} \iff q_{1-\alpha/2} - \bar{x} < \bar{x} - \mu_0 \iff Q_{1-\alpha/2}(d^{*}) < d_{\text{obs}} \]

와 같다(\(Q_u\)는 \(d^{*}\)의 경험분위수). 이는 \(d_{\text{obs}}\)보다 큰 복제값이 \(\alpha/2\)보다 적다는 것, 곧 \(\#\{d^{*} \ge d_{\text{obs}}\}/B < \alpha/2\)이다. 위로 벗어나는 쪽도 같은 계산으로 \(\#\{d^{*} \le d_{\text{obs}}\}/B < \alpha/2\)가 된다. 둘을 합치면

\[ \mu_0 \notin \text{기본 구간} \iff \min\left\{\frac{\#\{d^{*} \le d_{\text{obs}}\}}{B},\ \frac{\#\{d^{*} \ge d_{\text{obs}}\}}{B}\right\} < \frac{\alpha}{2} \iff p_{\text{et}} < \alpha \]

이다. \(\square\)

자료가 연속이면 \(d^{*} = d_{\text{obs}}\)인 동점은 확률 \(0\)이다. 경험분위수를 \(Q_u = d^{*}_{(\lceil uB \rceil)}\)로 정의하면(numpy 의 method="inverted_cdf") 이 동치가 정수 수준에서 정확하다. \(B = 999\), \(\alpha = 0.05\)에서 \(\lceil 0.975 \times 999 \rceil = 975\)이므로 \(Q_{0.975} < d_{\text{obs}}\)는 \(\#\{d^{*} \ge d_{\text{obs}}\} \le 24\)와 같고, 한편 \(\#/999 < 0.025\)도 \(\# \le 24\)와 같다.

(다)

import numpy as np
rng = np.random.default_rng(2024)
n, B, M, mu0 = 25, 999, 20000, 1.0
agree = {"동등꼬리 ~ 기본(inverted_cdf)": 0,
         "동등꼬리 ~ 기본(linear)": 0,
         "|t*| ~ 기본(inverted_cdf)": 0}
checked = False

for _ in range(M):
    x = rng.exponential(1, n)
    th = x.mean()
    idx = rng.integers(0, n, (B, n))
    bs = x[idx].mean(axis=1)          # 원자료의 부트스트랩 평균
    d = bs - th                       # (가) 의 등식: 중심화 자료의 t* 와 같다
    dobs = th - mu0

    if not checked:                   # (가) 를 수치로 확인한다
        tb = (x - th + mu0)[idx].mean(axis=1) - mu0
        print("t* 두 방식의 최대 차이 < 1e-12:",
              bool(np.abs(tb - d).max() < 1e-12))
        checked = True

    p_et = 2 * min((d <= dobs).mean(), (d >= dobs).mean())
    p_abs = (np.abs(d) >= abs(dobs)).mean()

    for meth in ("inverted_cdf", "linear"):
        lo, hi = np.percentile(bs, [2.5, 97.5], method=meth)
        out = not (2 * th - hi <= mu0 <= 2 * th - lo)      # 기본 구간 바깥인가
        if meth == "inverted_cdf":
            agree["동등꼬리 ~ 기본(inverted_cdf)"] += (p_et < 0.05) == out
            agree["|t*| ~ 기본(inverted_cdf)"] += (p_abs < 0.05) == out
        else:
            agree["동등꼬리 ~ 기본(linear)"] += (p_et < 0.05) == out

for k, v in agree.items():
    print("%s  %.4f" % (k, v / M))

출력:

t* 두 방식의 최대 차이 < 1e-12: True
동등꼬리 ~ 기본(inverted_cdf)  1.0000
동등꼬리 ~ 기본(linear)  0.9982
|t*| ~ 기본(inverted_cdf)  0.9842
조합 결정 일치율 어긋난 표본 수
동등꼬리 검정 ↔ 기본 구간, inverted_cdf 1.0000 0 / 20,000
동등꼬리 검정 ↔ 기본 구간, linear 0.9982 36 / 20,000
\(\lvert t^{*} \rvert\) 검정 ↔ 기본 구간, inverted_cdf 0.9842 316 / 20,000

같은 재표본과 같은 분위수(quantile) 규약을 쓰면 쌍대성이 \(20{,}000\)벌 모두에서 정확히 성립한다. 연습문제 3에서 \(0.985\)에 머물렀던 것은 이론의 한계가 아니라 검정과 구간이 서로 다른 재표본을 썼기 때문이다.

분위수 규약이 바뀌면 \(36\)벌이 어긋난다. linear(numpy 의 기본값)은 인접한 두 순서통계량을 선형보간하므로 경계가 \(d^{*}_{(974)}\)와 \(d^{*}_{(975)}\) 사이에 놓이고, \(d_{\text{obs}}\)가 바로 그 사이에 떨어진 표본에서 구간과 검정의 결정이 갈린다. 쌍대성을 글자 그대로 쓰려면 분위수 정의까지 맞추어야 한다.

\(\lvert t^{*} \rvert\) 판본은 \(316\)벌에서 어긋난다. 양쪽 꼬리를 한데 묶어 세기 때문이다. 치우친 귀무분포에서는 관측값이 오른쪽으로 벗어나도 왼쪽 꼬리의 극단적인 복제값들이 함께 세어진다. 그것의 짝은 기본 구간이 아니라 \(\bar{x} \pm Q_{1-\alpha}(\lvert d^{*} \rvert)\) 꼴의 대칭 구간이다.

실무적으로는 양측 부트스트랩 검정에 \(\lvert t^{*} \rvert\)를 쓸 것인지 동등꼬리를 쓸 것인지가 "어느 구간과 짝을 지을 것인지"를 이미 정한다. 두 선택의 대가는 연습문제 9에서 잰다.

연습문제 9. 연습문제 4는 치우친 자료에서 양측 부트스트랩 검정이 크기 보정 후 \(t\) 검정보다 약하고, 그 원인이 \(\lvert t^{*} \rvert\)로 양쪽 꼬리를 묶어 세는 데 있다고 진단했다(교훈 2(b)). 연습문제 8의 동등꼬리 \(p\) 값으로 바꾸어 그 진단이 맞는지 확인하라.

\(\text{Exp}\) 자료, \(n = 20\), \(H_0: \mu = 1\), \(B = 999\)로 세 방법(고전 \(t\), \(\lvert t^{*} \rvert\) 스튜던트화 부트스트랩, 동등꼬리 스튜던트화 부트스트랩)의 실제 크기와 크기 보정 검정력을 참 평균 \(2\), \(3\)에서 비교하라. 귀무분포 \(t^{*}\)의 양쪽 임계값을 함께 재어, 차이가 어디서 오는지 설명하라.

풀이
import numpy as np
from scipy import stats
rng = np.random.default_rng(7)
n, B, mu0 = 20, 999, 1.0
rt = np.sqrt(n)

def three_p(scale, M, chunk=200):
    """양측 p 값 셋(고전 t, |t*| 부트스트랩, 동등꼬리 부트스트랩)을 M 개 표본에서."""
    pt, pa, pe = [], [], []
    for start in range(0, M, chunk):
        m = min(chunk, M - start)
        x = rng.exponential(scale, (m, n))              # 참 평균 = scale
        th = x.mean(axis=1)
        tobs = (th - mu0) / (x.std(axis=1, ddof=1) / rt)
        pt.append(stats.ttest_1samp(x, mu0, axis=1).pvalue)
        xs = x - th[:, None] + mu0                      # 중심화
        xb = xs[np.arange(m)[:, None, None], rng.integers(0, n, (m, B, n))]
        tb = (xb.mean(axis=2) - mu0) / (xb.std(axis=2, ddof=1) / rt)
        t0 = tobs[:, None]
        pa.append((np.abs(tb) >= np.abs(t0)).mean(axis=1))
        pe.append(np.minimum(2 * np.minimum((tb <= t0).mean(axis=1),
                                            (tb >= t0).mean(axis=1)), 1.0))
    return [np.concatenate(v) for v in (pt, pa, pe)]

p0 = three_p(1.0, 20000)                                # H0 가 참
print("실제 크기      t %.4f   |t*| %.4f   동등꼬리 %.4f"
      % tuple((p < .05).mean() for p in p0))
crit = [np.percentile(p, 5) for p in p0]                # 크기 보정 임계값
print("보정 임계 p    t %.4f   |t*| %.4f   동등꼬리 %.4f" % tuple(crit))
for scale in (2.0, 3.0):
    p1 = three_p(scale, 10000)
    print("참 평균 %.1f  보정 검정력  t %.3f   |t*| %.3f   동등꼬리 %.3f"
          % ((scale,) + tuple((p < c).mean() for p, c in zip(p1, crit))))

q = np.empty((2000, 2))                                 # 귀무분포의 양쪽 임계값
for i in range(2000):
    x = rng.exponential(1, n)
    xs = x - x.mean() + mu0
    xb = xs[rng.integers(0, n, (B, n))]
    tb = (xb.mean(axis=1) - mu0) / (xb.std(axis=1, ddof=1) / rt)
    q[i] = np.percentile(tb, [2.5, 97.5])
print("t* 의 2.5/97.5 백분위수 평균  %.2f  %.2f   (t_19 은 -2.09  2.09)"
      % tuple(q.mean(axis=0)))

출력:

실제 크기      t 0.0791   |t*| 0.0588   동등꼬리 0.0506
보정 임계 p    t 0.0238   |t*| 0.0410   동등꼬리 0.0480
참 평균 2.0  보정 검정력  t 0.414   |t*| 0.379   동등꼬리 0.805
참 평균 3.0  보정 검정력  t 0.828   |t*| 0.690   동등꼬리 0.988
t* 의 2.5/97.5 백분위수 평균  -3.07  1.73   (t_19 은 -2.09  2.09)
방법 실제 크기 보정 임계 \(p\) 보정 검정력 (평균 2) 보정 검정력 (평균 3)
고전 \(t\) 0.0791 0.0238 0.414 0.828
\(\lvert t^{*} \rvert\) 부트스트랩 0.0588 0.0410 0.379 0.690
동등꼬리 부트스트랩 0.0506 0.0480 0.805 0.988

진단이 맞았다. 세는 방식만 바꾸었는데 크기 보정 검정력이 참 평균 \(2\)에서 \(0.379\)에서 \(0.805\)로 두 배 넘게 올랐다. 게다가 크기도 가장 정확하다(\(0.0506\)으로 명목값과 사실상 같다). 크기가 이미 맞아서 보정 임계값도 \(0.048\)로 거의 손댈 것이 없다.

왜 그런가. 귀무분포 \(t^{*}\)의 \(2.5\)/\(97.5\) 백분위수가 평균적으로 \((-3.07,\ 1.73)\)이다. \(t_{19}\)의 \(\pm 2.09\)와 견주면 왼쪽은 훨씬 멀고 오른쪽은 훨씬 가깝다. 지수 자료에서 \(\bar{x}\)와 \(s\)가 함께 커지므로 \(t\)의 오른쪽 꼬리는 눌리고 왼쪽 꼬리는 길어지는데, 부트스트랩이 그 비대칭을 그대로 읽어 낸 것이다.

동등꼬리 검정은 오른쪽 기각을 \(t^{*} > 1.73\)에서 하므로 \(t\) 검정의 임계값 \(2.09\)보다 낮다. 그만큼 검정력이 높다. 그런데도 크기가 유지되는 것은 왼쪽 임계값을 \(-3.07\)까지 늘려 두 꼬리를 각각 \(2.5\%\)로 맞추기 때문이다. \(\lvert t^{*} \rvert\) 판본은 이 비대칭을 쓸 수 없다. \(\lvert t^{*} \rvert\)의 분포는 긴 왼쪽 꼬리에 끌려 올라가 하나뿐인 임계값이 \(3\) 근처가 되고, 오른쪽으로 벗어난 자료를 기각하기 어려워진다.

연습문제 4의 결론을 다시 읽어야 한다. "부트스트랩이 주는 것은 검정력이 아니라 크기의 정확성"이라는 진술은 \(\lvert t^{*} \rvert\) 판본에만 해당한다. 양쪽 꼬리를 따로 세면 치우친 자료에서 부트스트랩-\(t\)는 크기와 검정력 양쪽에서 고전 \(t\) 검정을 이긴다. 자료의 비대칭이라는 정보가 거기에 들어 있기 때문이다. 물론 이 이점은 자료가 실제로 치우쳐 있을 때의 이야기다. 대칭 자료에서는 귀무분포도 대칭이어서 두 판본이 거의 같아진다.

보고할 때

치우친 자료의 양측 부트스트랩 검정에서는 \(p\) 값과 함께 어느 꼬리에서 기각했는지를 적어야 한다. 동등꼬리 \(p\) 값은 \(2\min\{\cdot,\cdot\}\)이므로 어느 쪽 꼬리가 작았는지가 방향 정보를 그대로 담고 있다. 연습문제 8에 따라 이 검정의 짝은 기본(역백분위) 구간이므로, 구간도 그것으로 맞추어 보고한다.

연습문제 10. 일표본 부트스트랩 검정이 가장 많이 쓰이는 자리는 대응표본(paired samples)이다. 같은 피험자를 전후로 재어 차이 \(d_i = y_i - x_i\)를 만들고 \(H_0: \mu_d = 0\)을 검정한다. 어떤 분석자가 "자료가 두 열이니 두 열을 각각 재표집하자"며 \(x\)와 \(y\)를 독립으로 뽑아 \(\bar{y}^{*} - \bar{x}^{*}\)의 귀무분포를 만들었다.

피험자 효과 \(a_i \sim N(0, 3^2)\)와 측정오차 \(e_i, f_i \sim N(0, 1^2)\)로 \(x_i = a_i + e_i\), \(y_i = \pm a_i + \delta + f_i\) (\(n = 16\))를 만든다.

(가) 두 구현이 각각 겨누는 \(\bar{d}\)의 표준오차를 이론값으로 구하라(\(+a_i\)인 경우와 \(-a_i\)인 경우 모두). 쌍의 상관은 각각 얼마인가?

(나) \(\delta = 0\)에서 실제 크기, \(\delta = 1\)에서 검정력, 그리고 평균 추정 표준오차를 모의로 재어 (가)와 맞춰 보라.

(다) 쌍을 깨는 잘못이 언제 보수적이고 언제 반대인지 한 줄로 정리하라.

풀이

(가) \(\tau = 3\), \(\sigma = 1\)이라 쓴다. 쌍을 지키는 올바른 구현은 \(\bar{d}\)의 표준오차로 \(\sqrt{\operatorname{Var}(d)/n}\)을 겨눈다.

\(y = +a + \delta + f\)이면 \(d = \delta + f - e\)이므로 \(\operatorname{Var}(d) = 2\sigma^2 = 2\)이고

\[ \text{SE} = \sqrt{2/16} = 0.354, \qquad \rho = \operatorname{Corr}(X, Y) = \frac{\tau^2}{\tau^2 + \sigma^2} = 0.9 \]

이다. \(y = -a + \delta + f\)이면 \(d = \delta - 2a + f - e\)이므로 \(\operatorname{Var}(d) = 4\tau^2 + 2\sigma^2 = 38\)이고

\[ \text{SE} = \sqrt{38/16} = 1.541, \qquad \rho = -0.9 \]

이다. 한편 쌍을 깨는 구현은 \(X\)와 \(Y\)가 독립이라고 보므로 두 경우 모두

\[ \sqrt{\frac{\operatorname{Var}(X) + \operatorname{Var}(Y)}{n}} = \sqrt{\frac{2(\tau^2 + \sigma^2)}{16}} = \sqrt{\frac{20}{16}} = 1.118 \]

을 겨눈다. 일반적으로 쌍을 깨면 \(\operatorname{Var}(\bar{d})\)를 \(2\operatorname{Cov}(X,Y)/n\)만큼 틀리게 본다. 상관의 부호가 오차의 방향을 정한다.

(나)

import numpy as np
rng = np.random.default_rng(31)
n, B, tau, sig = 16, 499, 3.0, 1.0
rt = np.sqrt(n)

def run(sign, delta, M, chunk=200):
    """sign=+1 이면 쌍의 상관이 +0.9, -1 이면 -0.9. 두 구현의 기각률을 돌려준다."""
    r_ok = r_bad = 0
    se_ok = se_bad = 0.0
    for start in range(0, M, chunk):
        m = min(chunk, M - start)
        a = rng.normal(0, tau, (m, n))                  # 피험자 효과
        x = a + rng.normal(0, sig, (m, n))
        y = sign * a + delta + rng.normal(0, sig, (m, n))
        row = np.arange(m)[:, None, None]
        dbar = (y - x).mean(axis=1)

        # 올바름: 쌍의 차이에 일표본 부트스트랩 검정 (mu0 = 0 으로 중심화)
        d = y - x
        se_d = d.std(axis=1, ddof=1) / rt
        db = (d - dbar[:, None])[row, rng.integers(0, n, (m, B, n))]
        tb = db.mean(axis=2) / (db.std(axis=2, ddof=1) / rt)
        r_ok += ((np.abs(tb) >= np.abs(dbar / se_d)[:, None]).mean(axis=1)
                 < 0.05).sum()
        se_ok += se_d.sum()

        # 잘못됨: 두 열을 각각 독립으로 재표집한다 (쌍을 깬다)
        se_u = np.sqrt((x.var(axis=1, ddof=1) + y.var(axis=1, ddof=1)) / n)
        xb = x[row, rng.integers(0, n, (m, B, n))]
        yb = y[row, rng.integers(0, n, (m, B, n))]
        ub = ((yb.mean(axis=2) - xb.mean(axis=2)) - dbar[:, None]) / np.sqrt(
            (xb.var(axis=2, ddof=1) + yb.var(axis=2, ddof=1)) / n)
        r_bad += ((np.abs(ub) >= np.abs(dbar / se_u)[:, None]).mean(axis=1)
                  < 0.05).sum()
        se_bad += se_u.sum()
    return r_ok / M, r_bad / M, se_ok / M, se_bad / M

for sign, name in ((1, "쌍의 상관 +0.9"), (-1, "쌍의 상관 -0.9")):
    s_ok, s_bad, e_ok, e_bad = run(sign, 0.0, 20000)
    p_ok, p_bad, _, _ = run(sign, 1.0, 5000)
    print(name)
    print("  실제 크기      쌍 지킴 %.4f   쌍 깸 %.4f" % (s_ok, s_bad))
    print("  검정력 d=1     쌍 지킴 %.3f    쌍 깸 %.3f" % (p_ok, p_bad))
    print("  평균 추정 SE   쌍 지킴 %.3f    쌍 깸 %.3f" % (e_ok, e_bad))

출력:

쌍의 상관 +0.9
  실제 크기      쌍 지킴 0.0442   쌍 깸 0.0000
  검정력 d=1     쌍 지킴 0.738    쌍 깸 0.009
  평균 추정 SE   쌍 지킴 0.348    쌍 깸 1.103
쌍의 상관 -0.9
  실제 크기      쌍 지킴 0.0440   쌍 깸 0.1474
  검정력 d=1     쌍 지킴 0.089    쌍 깸 0.234
  평균 추정 SE   쌍 지킴 1.516    쌍 깸 1.102
쌍의 상관 구현 평균 추정 SE (이론값) 실제 크기 검정력 (\(\delta = 1\))
\(+0.9\) 쌍 지킴 0.348 (0.354) 0.0442 0.738
\(+0.9\) 쌍 깸 1.103 (1.118) 0.0000 0.009
\(-0.9\) 쌍 지킴 1.516 (1.541) 0.0440 0.089
\(-0.9\) 쌍 깸 1.102 (1.118) 0.1474 0.234

추정된 표준오차가 (가)의 이론값과 맞는다. 조금씩 작은 것은 \(n = 16\)에서 \(s\)가 \(\sigma\)를 약간 작게 추정하기 때문이다(\(\mathbb{E}[s]/\sigma = 0.984\)).

상관이 \(+0.9\)일 때 쌍을 깬 구현은 표준오차를 \(3.2\)배(\(1.118/0.354\))로 보므로 귀무분포가 그만큼 넓어진다. 실제 크기가 \(20{,}000\)번 중 한 번도 기각하지 않아 \(0.0000\)이고, 검정력은 \(0.738\)에서 \(0.009\)로 무너진다. 대응설계로 얻은 이득을 전부 버린 것이다.

상관이 \(-0.9\)일 때는 반대로 표준오차를 \(1.118/1.541 = 0.73\)배로 과소평가하여, 명목 \(0.05\)짜리 검정이 실제로는 \(0.1474\)로 세 배 기각한다. 이때 검정력이 \(0.089\)에서 \(0.234\)로 올라간 것은 검정력이 아니라 부풀려진 제1종 오류의 그림자다.

(다) 쌍을 깨면 \(\operatorname{Var}(\bar{d})\)를 \(2\operatorname{Cov}(X,Y)/n\)만큼 틀리게 본다. 상관이 양수면 표준오차를 과대평가해 지나치게 보수적이 되고(크기 \(0\), 검정력 붕괴), 음수면 과소평가해 명목수준을 크게 넘는다(크기 \(0.147\)).

되뽑아야 하는 단위는 관측값 하나하나가 아니라 관측의 독립 단위, 곧 피험자(쌍)다. 쌍을 지켜 뽑는 것은 차이 \(d_i\)에 일표본 부트스트랩 검정을 그대로 적용하는 것과 같다. 올바른 구현의 크기가 \(0.05\)보다 조금 작은 \(0.044\)인 것은 \(n = 16\)에서 스튜던트화 부트스트랩이 약간 보수적인 탓이며(연습문제 1에서는 치우친 지수 자료여서 반대로 조금 컸다), 쌍을 깬 구현의 \(0.0000\)이나 \(0.1474\)와는 차원이 다른 오차다.


연습문제 11. 표준정규분포에서 크기 \(n = 40\)인 표본을 뽑아라. \(H_0\colon \mu = 0\)에 대해 일표본 부트스트랩 검정을 수행하고, \(H_0\colon \mu = 0.5\)에 대해서도 반복하라. \(p\) 값을 보고하고 결과가 다른 이유를 설명하라.

풀이
import numpy as np
from scipy import stats
rng = np.random.default_rng(101)
data = np.random.default_rng(3).normal(0, 1, 40)
print(data.mean(), data.std(ddof=1))       # -0.0411  1.1751

_, p0, _ = bootstrap_mean_test(data, mu_0=0.0, rng=rng)
_, p05, _ = bootstrap_mean_test(data, mu_0=0.5, rng=rng)

출력:

-0.041112513627908596 1.1751281074452444
가설 부트스트랩 \(p\) 값 \(t\) 검정 \(p\) 값
\(H_0: \mu = 0\) 0.821 0.826
\(H_0: \mu = 0.5\) 0.0032 0.0059

참 평균이 \(0\)이므로 \(H_0\colon \mu = 0\)에서는 큰 \(p\) 값이 나와 기각하지 못한다. \(H_0\colon \mu = 0.5\)에서는 표본평균(sample mean) \(-0.041\)이 \(0.5\)에서 \(2.9\) 표준오차 떨어져 있어(\(\widehat{\text{se}} = 1.175/\sqrt{40} = 0.186\)) 강하게 기각한다.

중심화가 무엇을 하는지 정확히 보자. \(\mu_0 = 0.5\)일 때 중심화된 자료는 \(x_i - (-0.041) + 0.5 = x_i + 0.541\)이다. 이 자료의 평균은 정확히 \(0.5\)이고, 재표집된 평균들은 \(0.5\) 주위에 표준편차 \(0.186\)으로 흩어진다.

관측된 편차 \(|{-0.041} - 0.5| = 0.541\)은 이 분포에서 \(2.9\) 표준편차에 해당하므로 그만큼 극단적인 재표본이 거의 나오지 않는다.

부트스트랩 \(p\) 값이 \(t\) 검정의 절반이다(\(0.0032\) 대 \(0.0059\)). 이는 부트스트랩이 정규이론의 \(t\) 보정을 하지 않기 때문이다. \(n = 40\)에서 \(t_{39}\)의 꼬리가 정규분포보다 두꺼운 만큼 차이가 난다. 꼬리로 갈수록 이 차이가 커지므로, 작은 \(p\) 값을 부트스트랩으로 보고할 때는 주의해야 한다.

표본에 따라 결론이 달라진다

이 연습문제의 결과는 "참 평균이 \(0\)이면 \(H_0: \mu = 0\)이 기각되지 않는다"가 아니다. 그것은 \(95\)%의 표본에서만 참이다.

예를 들어 씨앗을 \(7\)로 바꾸면 표본평균이 \(-0.395\)가 되고 \(H_0: \mu = 0\)의 \(p\) 값이 \(0.0021\)로 기각된다. 이것이 바로 제1종 오류이며, 설계상 \(5\)%의 확률로 일어난다.


연습문제 12. 일표본 부트스트랩 검정이 일치성(consistency)을 가짐을 증명하라. 즉 \(\mu \neq \mu_0\)이면 \(n \to \infty\)에서 \(p\) 값이 \(0\)으로 수렴함을 보여라. (힌트: \(|\bar x - \mu_0|\)의 거동과 중심화된 자료에서의 \(|\bar x^* - \mu_0|\)의 부트스트랩 분포를 생각하라.)

풀이

대립가설 \(\mu \neq \mu_0\) 아래에서 큰수의 법칙에 의해 \(n \to \infty\)일 때 \(\bar x \to \mu\)이므로

\[ |\bar x - \mu_0| \to |\mu - \mu_0| > 0 \]

이다.

중심화된 자료 \(x_i^0 = x_i - \bar x + \mu_0\)의 표본평균은 정확히 \(\mu_0\)이다. 부트스트랩 중심극한정리(central limit theorem)에 의해 중심화된 자료에서 재표집한 평균 \(\bar x^{*(b)}\)는

\[ \sqrt{n}(\bar x^{*(b)} - \mu_0) \xrightarrow{d} N(0, \sigma^2) \]

를 만족한다. 여기서 \(\sigma^2\)은 모분산이다. 따라서 \(|\bar x^{*(b)} - \mu_0| = O_p(n^{-1/2})\)이고 이는 \(0\)으로 수렴한다.

한편 \(|\bar x - \mu_0| \to |\mu - \mu_0| > 0\)은 고정된 양의 상수이다. \(n\)이 크면 부트스트랩 반복이 \(|\bar x^{*(b)} - \mu_0| \ge |\bar x - \mu_0|\)를 만족할 확률이 무시할 수준이 된다.

\[ p = P^*\!\bigl(|\bar x^{*(b)} - \mu_0| \ge |\bar x - \mu_0|\bigr) \to 0 \]

따라서 검정은 일치한다. \(\square\)

수렴 속도. 더 정확히는, \(\bar{x}^* - \mu_0\)가 근사적으로 \(N(0, \sigma^2/n)\)이므로

\[ p \approx 2\Bigl[1 - \Phi\Bigl(\frac{\sqrt{n}\,|\mu - \mu_0|}{\sigma}\Bigr)\Bigr] \]

이고, 이는 \(n\)에 대해 지수적으로 \(0\)에 접근한다. \(|\mu - \mu_0|/\sigma = 0.5\)일 때

\(n\) 근사 \(p\) 값
10 0.114
40 0.0016
100 \(5.7\times10^{-7}\)
200 \(1.5\times10^{-12}\)

실용적 함의가 하나 있다. \(B\)가 유한하면 이 수렴을 관측할 수 없다. \(B = 10{,}000\)이면 부트스트랩이 낼 수 있는 최소 \(p\) 값이 \(1/10001 = 0.0001\)이다. \(n = 100\)의 참 \(p\) 값 \(5.7 \times 10^{-7}\)은 표현조차 되지 않는다.

작은 \(p\) 값을 정량적으로 보고해야 한다면 부트스트랩 대신 점근 근사를 쓰는 것이 옳다. 부트스트랩의 강점은 \(p\) 값의 정밀도가 아니라 가정으로부터의 자유이다.


연습문제 13. 자료가 세 점 \(x = (1, 2, 6)\)뿐일 때 \(H_0\colon \mu = 1\)을 양측으로 검정한다. \(n = 3\)이므로 부트스트랩 재표본이 \(3^3 = 27\)가지뿐이고 모두 확률이 같다. 몬테카를로를 쓰지 말고 끝까지 세어라.

(1) 비모수 부트스트랩 연습문제 5 (a)가 같은 자료에서 중심이동 없는 정확한 분포를 이미 구해 놓았다. 그 표를 중심화한 자료의 분포로 옮겨 적고, 재표집을 다시 하지 않고도 그럴 수 있는 까닭을 한 줄로 밝히시오. 두 적률이 보기 \(1\)의 예측 \(\mu_0\)와 \(\hat\sigma^2/n\)에 맞는지 확인하시오.

(2) 정확한 양측 \(p\) 값을 분수로 구하시오. \(B\)개를 뽑아 \(\hat p = (\#{} + 1)/(B+1)\)로 추정할 때 \(E[\hat p]\)는 얼마인가(\(B = 10{,}000\)). 이 자료에서 얻을 수 있는 \(p\) 값의 목록을 보고, 수준 \(0.05\)의 검정이 가능한지 말하시오.

(3) 중심화한 자료에서 재표본 평균이 \(\mu_0\)에서 떨어질 수 있는 거리의 최댓값은 \(\mu_0\)에 전혀 달려 있지 않음을 보이시오. 그로부터 \(+1\) 보정을 하지 않은 \(p\) 값이 정확히 \(0\)이 되는 \(\mu_0\)의 범위를 구하시오.

풀이

(1) 표를 옮겨 적는다. \(\bar x = 3\)이므로 중심화한 자료는

\[ x^0 = x - \bar x + \mu_0 = (1,\ 2,\ 6) - 3 + 1 = (-1,\ 0,\ 4) \]

으로 원자료를 통째로 \(\mu_0 - \bar x = -2\)만큼 평행이동한 것이다. 같은 지수(뽑힌 관측의 번호 \(i_1, \ldots, i_n\))를 뽑으면 재표본 평균도 똑같이 \(-2\)만큼 옮겨진다(연습문제 14 (1)이 이 등식을 일반적으로 적는다). 중복도는 어느 지수를 몇 번 뽑았는지로만 정해지므로 하나도 바뀌지 않는다. 그래서 \(27\)가지를 다시 셀 필요가 없다. \(a_1 = -1\), \(a_2 = 0\), \(a_3 = 4\)를 각각 \(k_1, k_2, k_3\)번 뽑은 재표본의 중복도는 다항계수 \(3!/(k_1!k_2!k_3!)\)이다.

\((k_1, k_2, k_3)\) \(\bar x^{*}\) (중심이동 없음) \(\bar x^{*0} = \bar x^{*} - 2\) 중복도
\((3,0,0)\) \(1\) \(-1\) \(1\)
\((2,1,0)\) \(4/3\) \(-2/3\) \(3\)
\((1,2,0)\) \(5/3\) \(-1/3\) \(3\)
\((0,3,0)\) \(2\) \(0\) \(1\)
\((2,0,1)\) \(8/3\) \(2/3\) \(3\)
\((1,1,1)\) \(3\) \(1\) \(6\)
\((0,2,1)\) \(10/3\) \(4/3\) \(3\)
\((1,0,2)\) \(13/3\) \(7/3\) \(3\)
\((0,1,2)\) \(14/3\) \(8/3\) \(3\)
\((0,0,3)\) \(6\) \(4\) \(1\)

중복도의 합이 \(1+3+3+1+3+6+3+3+3+1 = 27\)로 맞는다. 평행이동이므로 적률은 셀 것도 없다.

\[ E_*\!\left[\bar X^{*0}\right] = E_*\!\left[\bar X^{*}\right] - 2 = 3 - 2 = 1 = \mu_0, \qquad \operatorname{Var}_*\!\left(\bar X^{*0}\right) = \operatorname{Var}_*\!\left(\bar X^{*}\right) = \frac{14}{9} \]

직접 세어도 같다. \(\sum w\,\bar x^{*0} = -1-2-1+0+2+6+4+7+8+4 = 27\)에서 \(E_* = 27/27 = 1\)이고,

\[ \sum w\left(\bar x^{*0}\right)^2 = 1 + \frac43 + \frac13 + 0 + \frac43 + 6 + \frac{16}{3} + \frac{49}{3} + \frac{64}{3} + 16 = 23 + \frac{138}{3} = 69 \]

에서 \(\operatorname{Var}_* = \frac{69}{27} - 1 = \frac{14}{9} = 1.5556\), \(\operatorname{SD}_* = \frac{\sqrt{14}}{3} = 1.2472\)다. 한편 \(\hat\sigma^2 = \frac13[(1-3)^2+(2-3)^2+(6-3)^2] = \frac{14}{3}\)이므로 \(\hat\sigma^2/n = \frac{14}{9}\)로 정확히 같다.

보기 \(1\) (1)이 전수 열거로 확인되었다. 중심이동은 평균을 \(3\)에서 \(1\)로 옮겼을 뿐 분산(\(14/9\))과 중복도의 모양을 건드리지 않았다. 그 한 줄이 "귀무가설만 참인 세계"를 만든다는 말의 뜻이 \(27\)개의 수 위에서 눈에 보인다.

(2) 정확한 \(p\) 값은 \(2/27\)이다. 관측된 편차가 \(\lvert \bar x - \mu_0\rvert = \lvert 3-1\rvert = 2\)이므로 \(\lvert \bar x^{*0} - 1\rvert \ge 2\)인 재표본을 센다. 셋째 열에서 \(\bar x^{*0} \ge 3\)인 것은 \(4\) 하나(중복도 \(1\))이고, \(\bar x^{*0} \le -1\)인 것은 \(-1\) 하나(중복도 \(1\))다. 두 번째 것은 편차가 정확히 \(2\)로 관측값과 동점이며, 정의의 \(\ge\)가 이것을 센다. 따라서

\[ p = \frac{2}{27} = 0.074074 \]

이다. 유한한 \(B\)로 추정하면 이표본 순열검정 보기 \(2\)에서 본 대로 \(E[\hat p] = p + (1-p)/(B+1)\)이므로

\[ E[\hat p] = 0.074074 + \frac{0.925926}{10001} = 0.074167 \]

로 위쪽으로 \(0.000093\)만큼 치우친다. 이 편향은 몬테카를로 요동 \(\sqrt{p(1-p)/B} = 0.0026\)의 \(3.6\%\)에 지나지 않으므로 여기서는 무해하다.

수준 \(0.05\)의 검정은 없다. 전수 열거가 낼 수 있는 \(p\) 값은 \(27\)분모의 분수뿐, 곧 \(0,\ \frac1{27} = 0.0370,\ \frac2{27} = 0.0741,\ \ldots\)이다. \(0.05\)는 \(\frac1{27}\)과 \(\frac2{27}\) 사이에 있어 어느 쪽도 \(0.05\)를 채우지 못한다. \(n^n\)이 \(B\)보다 작으면 \(B\)를 아무리 키워도 격자가 촘촘해지지 않는다. 몬테카를로 오차와 격자의 거침은 다른 것이다.

(3) 최댓값은 \(\mu_0\)와 무관하다. 중심화의 정의에서

\[ x_i^0 - \mu_0 = (x_i - \bar x + \mu_0) - \mu_0 = x_i - \bar x = (-2,\ -1,\ 3) \]

으로 \(\mu_0\)가 깨끗이 지워진다. 재표본 평균의 편차 \(\bar x^{*0} - \mu_0\)는 \(\{-2,-1,3\}\)에서 세 개를 복원추출해 평균한 것이므로 그 절댓값의 최댓값은 한 점을 세 번 뽑은 경우의

\[ \max_i \lvert x_i - \bar x\rvert = 3 \]

이다. 관측된 편차는 \(\lvert 3 - \mu_0\rvert\)이므로, 보정을 하지 않은 \(p\) 값이 \(0\)이 되는 것은

\[ \lvert 3 - \mu_0\rvert > 3 \quad\Longleftrightarrow\quad \mu_0 < 0 \ \text{ 또는 } \ \mu_0 > 6 \]

일 때다(경계 \(\mu_0 = 0,\ 6\)에서는 동점이 하나 세어져 \(p = 1/27\)이다). 곧 \(\mu_0 \in [0, 6]\) 밖에서는 귀무분포가 관측값에 닿지도 못한다. 그래도 \(+1\) 보정은 \(p = 1/(B+1)\)을 돌려주므로 \(\mu_0 = 10^6\)이든 \(\mu_0 = 7\)이든 같은 \(p\) 값이 나온다. 부트스트랩 \(p\) 값은 아래로 \(1/(B+1)\)에서 잘린다는 연습문제 12의 결론이 여기서는 \(n = 3\) 탓에 훨씬 거칠게 나타난다.


연습문제 14. 4절의 검정을 구간으로 뒤집으면 어떤 구간이 나오는가. 아래에서 \(\bar x^{*}\)는 중심이동을 하지 않은 자료에서 재표집한 복제값이고 \(\bar x^{*}_{(q)}\)는 그 \(q\)분위수다.

(1) 같은 지수를 뽑았을 때 중심화한 자료의 복제값이 \(\bar x^{*0} = \bar x^{*} - \bar x + \mu_0\)임을 정확히 보이시오. 그로부터 4절의 \(p\) 값이 \(\mu_0\)를 전혀 담지 않은 양 \(\lvert \bar x^{*} - \bar x\rvert\)로만 적힘을 보이시오.

(2) 양쪽 꼬리를 따로 쓰는 판본(아래 \(\alpha/2\), 위 \(\alpha/2\))으로 기각하지 않는 \(\mu_0\)의 집합이 기본(역백분위) 구간

\[ \left[2\bar x - \bar x^{*}_{(1-\alpha/2)},\ 2\bar x - \bar x^{*}_{(\alpha/2)}\right] \]

와 정확히 같음을 보이시오. 4절의 절댓값 판본을 뒤집으면 어떤 구간이 되는가.

(3) 백분위 구간 \([\bar x^{*}_{(\alpha/2)},\ \bar x^{*}_{(1-\alpha/2)}]\)는 이 검정의 역이 아니다. 두 구간이 어긋나는 구역이 길이 \(\lvert \bar x^{*}_{(\alpha/2)} + \bar x^{*}_{(1-\alpha/2)} - 2\bar x\rvert\)인 두 토막임을 보이고, 보기 \(1\)의 자료에서 그 길이를 코니시–피셔 근사(Cornish–Fisher expansion — 정규분위수 \(z_q\) 에 왜도 보정항을 더해 분위수를 어림하는 식)

\[ \bar x^{*}_{(q)} \approx \bar x + \tau\left[z_q + \frac{\gamma}{6}\left(z_q^2 - 1\right)\right] \]

로 계산하시오(\(\tau = \hat\sigma/\sqrt n\), \(\gamma\)는 \(\bar X^{*}\)의 왜도). 이 불일치는 \(n\)과 함께 어떻게 줄어드는가.

풀이

(1) 중심이동은 복제값을 통째로 평행이동한다. 지수 집합 \(I = (i_1,\ldots,i_n)\)을 뽑았다 하자. 중심화한 자료의 그 재표본 평균은

\[ \bar x^{*0}(I) = \frac1n\sum_{t=1}^{n} x_{i_t}^0 = \frac1n\sum_{t=1}^{n}\bigl(x_{i_t} - \bar x + \mu_0\bigr) = \bar x^{*}(I) - \bar x + \mu_0 \]

으로 어떤 \(I\)에 대해서도 등식이다(근사가 아니다). 그러므로

\[ \lvert \bar x^{*0} - \mu_0\rvert = \lvert \bar x^{*} - \bar x\rvert \]

이고 4절의 \(p\) 값은

\[ p(\mu_0) = P_*\!\left(\lvert \bar x^{*} - \bar x\rvert \ge \lvert \bar x - \mu_0\rvert\right) \]

로 적힌다. 왼쪽(귀무분포)에는 \(\mu_0\)가 없고 오른쪽(관측값)에만 있다. 그래서 복제값 한 벌을 만들어 두면 모든 \(\mu_0\)에 대한 검정을 다시 재표집하지 않고 끝낼 수 있다. 연습문제 11처럼 \(\mu_0 = 0\)과 \(\mu_0 = 0.5\)를 따로 돌리는 것은 낭비다.

(2) 뒤집으면 기본 구간이 나온다. 꼬리를 따로 쓰는 판본은 관측값 \(\bar x\)가 귀무분포 \(\bar X^{*0}\)의 아래 \(\alpha/2\) 또는 위 \(\alpha/2\) 꼬리에 들면 기각한다. (1)에서 \(\bar X^{*0}\)의 \(q\)분위수가 \(\bar x^{*}_{(q)} - \bar x + \mu_0\)이므로 기각하지 않을 조건은

\[ \bar x^{*}_{(\alpha/2)} - \bar x + \mu_0 \ \le\ \bar x \ \le\ \bar x^{*}_{(1-\alpha/2)} - \bar x + \mu_0 \]

이다. 세 변에서 \(\mu_0\)를 풀면

\[ 2\bar x - \bar x^{*}_{(1-\alpha/2)} \ \le\ \mu_0 \ \le\ 2\bar x - \bar x^{*}_{(\alpha/2)} \]

로 기본(역백분위) 구간과 글자까지 같다(17.2절 기본법 (역백분위수법)). 절댓값 판본은 \(\lvert \bar x^{*} - \bar x\rvert\)의 \((1-\alpha)\)분위수를 \(q_{1-\alpha}\)라 할 때

\[ \lvert \bar x - \mu_0\rvert \le q_{1-\alpha} \quad\Longleftrightarrow\quad \mu_0 \in \left[\bar x - q_{1-\alpha},\ \bar x + q_{1-\alpha}\right] \]

로 \(\bar x\)에 대해 대칭인 구간을 준다. 절댓값을 씌운 탓에 양쪽 꼬리가 한 덩어리로 섞여 팔 길이가 하나로 줄어든 것이며, 왜도에 대한 정보를 버린 판본이다.

(3) 백분위 구간은 거울상이다. \(L = \bar x - \bar x^{*}_{(\alpha/2)}\), \(U = \bar x^{*}_{(1-\alpha/2)} - \bar x\)라 두면

\[ \text{백분위} = [\bar x - L,\ \bar x + U], \qquad \text{기본} = [\bar x - U,\ \bar x + L] \]

이다. 길이가 둘 다 \(L + U\)로 같고 서로 \(\bar x\)에 대한 거울반사다(신뢰수준의 시각화 연습문제 6). \(U > L\)이면 기본 구간만 \((\bar x - U,\ \bar x - L)\)을 품고 백분위 구간만 \((\bar x + L,\ \bar x + U)\)를 품으므로, 어긋나는 구역은 각각 길이

\[ U - L = \bar x^{*}_{(\alpha/2)} + \bar x^{*}_{(1-\alpha/2)} - 2\bar x \]

인 두 토막이다. 곧 백분위 구간의 두 끝점의 중점이 \(\bar x\)에서 벗어난 거리의 두 배가 불일치의 길이이고, 부트스트랩 분포가 \(\bar x\)에 대해 대칭일 때만 \(0\)이 된다.

보기 \(1\)의 자료. \(\tau = 7.2062/\sqrt{50} = 1.019104\), \(\gamma = \hat\gamma_1/\sqrt n = 0.425749\), \(\alpha = 0.05\)에서 \(z_{0.975} = 1.959964\)이므로 \(z_{0.975}^2 - 1 = 2.841459\)다. 코니시–피셔 근사에서 두 분위수의 왜도 항이 부호가 같게 더해지므로

\[ U - L \approx 2\tau\,\frac{\gamma}{6}\left(z_{0.975}^2 - 1\right) = 2 \times 1.019104 \times \frac{0.425749}{6} \times 2.841459 = 0.4110 \]

이다. 같은 근사로 두 구간을 적으면 \(\bar x = 8.1786\)에서

구간 하한 상한 왼팔 \(L\) 오른팔 \(U\)
백분위 \(6.3867\) \(10.3815\) \(1.7920\) \(2.2029\)
기본(검정의 역) \(5.9757\) \(9.9705\) \(2.2029\) \(1.7920\)

이다. 보기 \(1\)의 복제값 boots에 \(\bar x - \mu_0\)를 더해 백분위를 직접 재면 \([6.401,\ 10.381]\)로 \(U - L = 0.424\)이니, 근사 \(0.4110\)이 \(B = 10{,}000\)의 요동 안에서 맞는다.

\(\mu_0 \in (5.9757,\ 6.3867)\)이 두 방법이 갈리는 구역이다. 그 안의 \(\mu_0\)를 4절의 검정은 수준 \(0.05\)에서 기각하지 않는데 \(95\%\) 백분위 구간은 밖으로 내몬다. 길이가 \(0.411\)로 구간 폭 \(3.995\)의 \(10\%\)이니 작지 않다.

줄어드는 속도. \(\tau = \hat\sigma/\sqrt n\)이고 \(\gamma = \hat\gamma_1/\sqrt n\)이므로

\[ U - L \approx \frac{\hat\sigma\,\hat\gamma_1}{3n}\left(z_{1-\alpha/2}^2 - 1\right) = O\!\left(n^{-1}\right) \]

인데 구간의 폭 자체는 \(O(n^{-1/2})\)다. 곧 상대적인 불일치는 \(O(n^{-1/2})\)로 사라진다. 두 구간은 모두 1차로 올바르고 2차에서 갈라지는 셈이며, 어느 쪽이 더 나은지는 이 식만으로 정해지지 않는다. 왜도를 제대로 다루려면 2차로 올바른 구간, 곧 부트스트랩-\(t\)나 BCa로 가야 한다. 4절의 검정을 뒤집은 것이 기본 구간이라는 사실은 그 검정이 기본 구간의 2차 오차를 그대로 물려받는다는 뜻이기도 하다.

보기 \(1\)에서 \(\mu_0 = 5\)는 \(\bar x\)보다 아래에 있고, 기본 구간의 하한 \(5.9757\)이 백분위 구간의 하한 \(6.3867\)보다 \(5\)에 가깝다. 아래쪽에서는 검정의 역이 백분위보다 조심스럽다는 뜻이고, 부트스트랩 \(p = 0.0032\)가 정규근사 \(0.0018\)보다 컸던 것과 같은 방향이다.


연습문제 15. 보기 \(1\) (2)는 중심이동을 빼먹으면 \(p = 0.4741\)이 된다고 했고 본문의 「귀무분포는 어떻게 생기는가」가 "\(0.5\) 근처를 맴돈다"고 했다. 그 \(0.5\)가 어디서 오고 \(0.4741\)이 왜 \(0.5\)보다 작은지를 끝까지 따져라. 아래에서 \(\delta = \bar x - \mu_0 > 0\), \(\tau = \hat\sigma/\sqrt n\)이고 \(\gamma\)는 \(\bar X^{*}\)의 왜도 \(\hat\gamma_1/\sqrt n\)이다.

(1) 중심이동을 빼먹은 \(p\) 값이

\[ p_{\text{bug}} = P_*\!\left(\bar X^{*} \ge \bar x\right) + P_*\!\left(\bar X^{*} \le \bar x - 2\delta\right) \]

임을 보이시오. 이것이 \(\delta\)에 대해 감소함을 보이고 하한과 상한을 적으시오.

(2) \(\bar X^{*}\)를 표준화한 \(S\)에 에지워스 근사(Edgeworth expansion — 정규근사 \(\Phi(s)\) 에 왜도 보정항을 하나 더한 것)

\[ P_*(S \le s) \approx \Phi(s) + \phi(s)\,\frac{\gamma}{6}\,(1 - s^2) \]

를 써서 첫째 항을 \(\gamma\)로 적으시오. 보기 \(1\)의 수치를 넣어 \(p_{\text{bug}}\)를 예측하고 실제 \(0.4741\)과 견주시오.

(3) \(n \to \infty\)에서 \(p_{\text{bug}}\)는 어디로 가는가. "오류 없이 조용히 실패한다"는 「귀무분포는 어떻게 생기는가」의 말을 정량적인 문장으로 바꾸어 적으시오.

풀이

(1) 사건을 두 조각으로. 중심이동을 빼먹으면 재표집의 대상이 원자료이므로 \(E_*[\bar X^{*}] = \bar x\)다. 그런데 코드가 비교하는 것은 여전히 \(\lvert \bar X^{*} - \mu_0\rvert \ge \lvert \bar x - \mu_0\rvert = \delta\)다. \(\bar X^{*} - \mu_0 = (\bar X^{*} - \bar x) + \delta\)로 쪼개면 이 사건은

\[ (\bar X^{*} - \bar x) + \delta \ge \delta \qquad\text{또는}\qquad (\bar X^{*} - \bar x) + \delta \le -\delta \]

곧 \(\bar X^{*} \ge \bar x\) 또는 \(\bar X^{*} \le \bar x - 2\delta\)다. \(\delta > 0\)이므로 두 사건이 서로 배타이고, 확률이 더해져 주장한 꼴이 된다.

첫째 항은 \(\delta\)에 전혀 달려 있지 않고 둘째 항은 \(\delta\)가 커질수록 줄어든다. 그러므로 \(p_{\text{bug}}\)는 \(\delta\)의 감소함수이고

\[ P_*\!\left(\bar X^{*} \ge \bar x\right) \ \le\ p_{\text{bug}} \ \le\ 1 \]

로 갇힌다. 아래 끝은 \(\delta \to \infty\)(\(\mu_0\)를 아무리 멀리 보내도)에서 다가가고, 위 끝은 \(\delta \to 0^{+}\)(\(\mu_0\)를 \(\bar x\)에 붙일 때)에서 \(P_*(\bar X^{*} \ge \bar x) + P_*(\bar X^{*} < \bar x) = 1\)로 다가간다. \(\mu_0\)를 어디에 두어도 \(p_{\text{bug}}\)가 \(P_*(\bar X^{*} \ge \bar x)\) 아래로 내려갈 수 없다는 것이 요점이다.

(2) 하한은 \(1/2\)에서 왜도만큼 내려간 값이다. \(S = (\bar X^{*} - \bar x)/\tau\)라 두면 첫째 항이 \(P_*(S \ge 0)\)이고, 근사식을 \(s = 0\)에서 쓰면 \(\Phi(0) = 1/2\), \(\phi(0) = 0.398942\)이므로

\[ P_*(S \le 0) \approx \frac12 + \frac{\phi(0)}{6}\gamma = \frac12 + 0.066490\,\gamma, \qquad P_*(S \ge 0) \approx \frac12 - 0.066490\,\gamma \]

다. 오른쪽으로 치우친 분포(\(\gamma > 0\))에서는 중앙값이 평균보다 작으므로 평균 위로 갈 확률이 \(1/2\)보다 작다. 이것이 \(0.5\)가 \(0.4741\)로 내려앉은 까닭이다.

보기 \(1\)의 수치를 넣는다. 둘째 항은 \(z = \delta/\tau = 3.1190\)이므로

\[ P_*\!\left(\bar X^{*} \le \bar x - 2\delta\right) = P_*(S \le -2z) = P_*(S \le -6.238) \approx 2.2\times 10^{-10} \]

으로 완전히 무시된다. 남은 첫째 항에 복제값에서 잰 왜도 \(\gamma = 0.3969\)를 넣으면

\[ p_{\text{bug}} \approx \frac12 - 0.066490 \times 0.3969 = 0.5 - 0.02639 = 0.47361 \]

이다. 실제 값 \(0.47405\)와의 차이가 \(0.00044\)로, 몬테카를로 요동 \(\sqrt{0.474 \times 0.526/10^4} = 0.0050\)의 \(0.09\)배다. 에지워스 한 항으로 소수 셋째 자리까지 맞혔다. (왜도로 예측값 \(\hat\gamma_1/\sqrt n = 0.4257\)을 쓰면 \(0.47170\)이 되어 \(0.0024\) 빗나가는데, 이는 복제값의 왜도가 유한한 \(n\)에서 예측값보다 조금 작기 때문이다.)

(3) 버그의 극한은 \(1/2\)이다. \(\gamma = \hat\gamma_1/\sqrt n \to 0\)이므로 \(\delta > 0\)을 고정하면

\[ p_{\text{bug}} \longrightarrow \frac12 \]

이다. \(H_0\)이 얼마나 거짓이든 상관없다. 연습문제 12가 보인 올바른 검정의 \(p\) 값은 \(\mu\)가 \(\mu_0\)에서 떨어진 만큼 지수적으로 \(0\)으로 가는데, 중심이동을 빼먹은 쪽은 \(\mu\)가 무엇이든 \(1/2\)로 간다. 둘째 항이 \(\delta\)에 대해 감소하므로 \(p_{\text{bug}}\)는 \(\mu_0\)가 멀어질수록 커지지도 않고 \(1/2\)에 수렴할 뿐이다.

정량적으로 적으면 이렇다. \(p_{\text{bug}} \ge \frac12 - 0.0665\,\hat\gamma_1/\sqrt n\)이므로 \(n = 50\), \(\hat\gamma_1 = 3.01\)에서 \(p_{\text{bug}} \ge 0.472\)이고, 어떤 \(\alpha \le 0.4\)로도 결코 기각하지 않는다. 예외를 던지지도, 터무니없는 수를 찍지도 않고, "증거가 없다"처럼 보이는 수를 꾸준히 돌려준다. 게다가 \(\mu_0\)에 거의 달려 있지 않으므로 버그 난 \(p\) 값이 재고 있는 것은 가설이 아니라 자료의 왜도다.


정리하며

일표본 평균에 대한 부트스트랩 검정은 가설값 \(\mu_0\)으로 중심화한 자료에서 재표집하여 귀무분포를 생성한다. \(p\) 값은 관측된 통계량만큼 또는 그보다 극단적인 부트스트랩 통계량의 비율이다. 스튜던트화 판본이 검정력과 정확도 면에서 더 낫다. 이 접근은 고전적 \(t\) 검정의 정규성 가정을 피하므로, 중간 정도의 표본크기를 갖는 치우친 자료나 두꺼운 꼬리 자료에서 특히 값지다.

다음 쪽 두 평균에 대한 부트스트랩 검정으로 넘어간다. 일표본에서는 귀무가설을 맞추려고 자료를 옮겨 재표집했는데, 두 집단에서는 합쳐서 뽑을지 각자 뽑을지가 갈린다.