콘텐츠로 이동

부트스트랩 신뢰구간 방법의 비교

1. 셋 가운데 무엇을 고를 것인가

들어가는 이야기 — 포함확률이 가장 높은 구간을 고르면

같은 자료에서 같은 모수를 겨누는 구간 셋을 만들었는데 참값을 덮는 비율이 \(0.677\), \(0.736\), \(0.878\) 로 갈린다. 가장 높은 쪽을 고르면 되는가. 그 셋째 구간의 평균 폭이 \(14.15\) 다. 참값이 \(1\) 인 문제에서 폭 \(14\) 짜리 구간은 아무것도 말해 주지 않는다. 세로축만 보면 승자이고 두 축을 함께 보면 탈락이다.

폭이 그렇게 터지는 까닭은 분명하다. 재표본의 표준오차가 이따금 \(0\) 에 가까워지면서 비의 극단 분위수(quantile)가 폭발하는 것이다. 앞의 둘은 그보다 정직한 거래를 한다 — 폭을 \(1.59\) 에서 \(1.88\) 로 \(18\%\) 늘려 포함확률 \(6\) 퍼센트포인트를 산다.

그런데 세 점 모두 명목 \(0.95\) 에서 한참 아래에 있다. 방법을 바꾸어 점을 옮기는 일은 같은 그림 안의 이동일 뿐이고 그림 전체를 위로 올리지 못한다. 반대로 쉬운 문제에서는 고를 일이 아예 없다 — \(n = 100\) 의 평균에서는 다섯 방법의 포함확률이 \(0.934\) 와 \(0.947\) 사이, 평균 폭이 \(0.946\) 과 \(0.986\) 사이에 다 모인다.

그러면 셋을 가르는 것은 정확히 무엇인가. 정확도는 아니다 — 둘은 오차의 차수가 같고 분위수를 그대로 읽는 쪽만 한 차수 낮다. 가르는 것은 치르는 값이다. 이 쪽이 변환 불변성과 모수 경계, 표준오차 공식과 잭나이프 부담까지 열 가지를 한 표에 올리고, 잘 작동하는 문제와 무너지는 문제를 각각 모의실험한 뒤 고르는 규칙 넷으로 닫는다.

두 칸짜리 그림. 같은 평면에 세 방법의 포함확률과 폭을 찍었다. 왼쪽의 어려운 문제에서는 셋이 흩어지고 오른쪽의 쉬운 문제에서는 겹친다

왼쪽 — 어려운 문제(\(n = 15\), 분산). 포함확률이 \(0.664\) 에서 \(0.728\) 까지 흩어지고 폭도 \(1.625\) 와 \(1.903\) 으로 갈린다. 오른쪽 — 쉬운 문제(\(n = 100\), 평균). 셋이 \(0.940\) 과 \(0.948\) 사이에 모이고 폭도 \(0.383 \sim 0.391\) 로 거의 같다. 방법을 고르는 일은 문제가 어려울 때만 생긴다. 쉬운 자리에서 어느 구간이 나은지 따지는 것은 답이 이미 같은 물음을 묻는 일이다.


2. 정확도는 둘이 같고, 치르는 값이 셋을 가른다

성질 백분위수 BCa 부트스트랩-\(t\)
포함확률 정확도 1차 \(O(n^{-1/2})\) 2차 \(O(n^{-1})\) 2차 \(O(n^{-1})\)
편향보정 없음 있음 (\(\hat{z}_0\)) 암묵적 (추축량을 통해)
왜도 조정 없음 있음 (\(\hat{a}\)) \(t^*\) 분포를 통해
변환 불변 예 예 (근사적) 아니오
모수 경계 존중 예 예 보장 안 됨
SE 공식 필요 아니오 아니오 예 (또는 중첩 부트스트랩)
잭나이프 필요 아니오 예 (\(n\)번 계산) 아니오 (SE 공식이 있으면)
필요한 부트스트랩 복제 수 \(B \ge 5{,}000\) \(B \ge 5{,}000\) \(B \ge 5{,}000\)
계산비용 낮음 중간 낮음--높음
구현 난이도 매우 간단 중간 간단--복잡

3. 포함확률 정확도

가장 중요한 구별은 정확도의 차수이다. 명목 \(100(1-\alpha)\%\) 구간의 실제 포함확률은 다음을 만족한다.

  • 백분위수: \(P(\theta \in \text{CI}) = 1 - \alpha + O(n^{-1/2})\)
  • BCa: \(P(\theta \in \text{CI}) = 1 - \alpha + O(n^{-1})\)
  • 부트스트랩(bootstrap)-\(t\): \(P(\theta \in \text{CI}) = 1 - \alpha + O(n^{-1})\)

\(n = 20\)인 95% 구간에서 1차 오차는 수 퍼센트포인트(실제 포함확률 90--93%)일 수 있는 반면, 2차 오차는 보통 1퍼센트포인트 미만(실제 94--96%)이다.

정확도 차수가 언제 중요한가

표본이 크면(\(n > 100\)) 세 방법이 대체로 비슷한 포함확률을 준다. 차이는 중간 정도의 표본크기(\(n = 15\)에서 \(50\))와 표집분포(sampling distribution)가 치우쳤거나 꼬리가 두꺼운 통계량에서 가장 두드러진다.

모의실험으로 잰 포함확률

포함확률 모의실험은 명목 신뢰수준(confidence level)이 참 모수를 포함하는 구간의 실제 비율과 일치하는지 확인한다. \(N\)번의 모의실험 각각에서

  1. 알려진 모집단에서 새 표본을 뽑는다.
  2. 부트스트랩 신뢰구간을 만든다.
  3. 참 모수가 그 안에 들어가는지 확인한다.

경험적 포함확률은

\[ \widehat{\text{coverage}} = \frac{1}{N}\sum_{i=1}^{N}\mathbf{1}\!\bigl(\theta \in \text{CI}_i\bigr) \]

이다.

\(\text{Exp}(3)\)에서 \(n = 30\)을 뽑은 결과(\(M = 3{,}000\), \(B = 2{,}000\)):

방법 포함확률
정규 0.912
백분위수 0.913
기본 0.902
BCa 0.922
\(t\) 구간 0.925

네 부트스트랩 방법 모두 명목값에 못 미친다. \(t\) 구간도 \(0.925\)에 그친다. 지수분포(exponential distribution)의 왜도(skewness)가 \(2\)로 크기 때문이며, \(n = 30\)으로는 어떤 방법도 \(0.95\)를 달성하지 못한다.

그림으로 보는 통계학 1. 덮지 못하는 것보다, 한쪽으로만 빗나가는 것

위 표는 다섯 방법의 포함확률을 한 칸씩 적는다. \(0.902\) 에서 \(0.925\) 까지, 모두 \(0.95\) 에 못 미친다는 것이 그 표의 결론이다. 그런데 포함확률 하나로는 보이지 않는 것이 있다. 빗나갈 때 어느 쪽으로 빗나갔는가다.

\(95\%\) 구간은 두 가지 약속을 한다. 「스무 번에 열아홉 번 덮는다」가 하나이고, 「놓칠 때 위로 놓치는 일과 아래로 놓치는 일이 각각 \(2.5\%\)」가 다른 하나다. 둘째 약속이 깨지면 구간이 통째로 한 방향으로 밀려 있다는 뜻인데, 포함확률 \(0.90\) 이라는 수 하나는 그것을 숨긴다.

백분위 구간과 BCa 구간이 참값을 놓칠 때 어느 쪽으로 놓치는지, 그리고 BCa 가 부트스트랩 분포에서 읽는 자리의 분포

지수분포의 평균을 \(3{,}000\) 번 반복해 재었다(\(B = 999\), scipy.stats.bootstrap).

\(n\) 방법 구간이 참값 위 구간이 참값 아래 덮음
\(15\) 백분위 \(0.019\) \(0.098\) \(0.883\)
\(15\) BCa \(0.032\) \(0.073\) \(0.895\)
\(40\) 백분위 \(0.016\) \(0.060\) \(0.923\)
\(40\) BCa \(0.027\) \(0.042\) \(0.931\)
\(100\) 백분위 \(0.018\) \(0.047\) \(0.935\)
\(100\) BCa \(0.025\) \(0.035\) \(0.940\)

\(n = 15\) 의 백분위 구간을 보자. 포함확률은 \(0.883\) 으로 \(0.95\) 에 \(6.7\) 퍼센트포인트 모자란데, 그 부족분이 한쪽에 몰려 있다. 참값이 구간보다 아래에 있던 경우가 \(9.8\%\) 이고 위에 있던 경우는 \(1.9\%\) — 다섯 배 넘게 치우쳤다. 구간이 거의 언제나 참값보다 위로 잡힌다는 뜻이고, 그 구간으로 한쪽 꼬리를 읽으면 \(2.5\%\) 라 적어 놓고 실제로는 \(9.8\%\) 를 쓰는 셈이 된다.

BCa 는 같은 \(n = 15\) 에서 \(0.032\) 와 \(0.073\) 이다. 포함확률은 \(0.883 \to 0.895\) 로 \(1.2\) 퍼센트포인트밖에 오르지 않았지만, 쏠림은 \(5.2\) 배에서 \(2.3\) 배로 줄었다. \(n = 100\) 에서는 \(0.025\) 와 \(0.035\) 로 약속한 \(0.025\) 에 거의 닿는다. 포함확률만 보면 두 방법의 차이가 \(0.005\) 로 사소해 보이는 자리에서도, 방향으로 보면 한쪽이 \(0.047\) 이고 다른 쪽이 \(0.035\) 다.

오른쪽 판은 그 차이가 어디서 오는지 보여 준다. BCa 는 부트스트랩 복제값을 건드리지 않고 읽는 자리만 옮기는데(\(n = 15\) 에서 아래쪽은 \(2.5\%\) 가 아니라 중앙값 \(4.5\%\), 위쪽은 \(97.5\%\) 가 아니라 \(98.9\%\)), 두 자리가 모두 오른쪽으로 밀리는 것이 구간을 참값이 있는 쪽으로 되돌린다. 한 표본에서 그 이동을 따라가는 그림은 BCa 방법 \(8\) 절에 있다.

그래서 포함확률 표에 한 칸을 더 붙이는 것이 좋다. 덮었는가만이 아니라 놓칠 때 어느 쪽으로 놓쳤는가를 함께 적으면, 같은 \(0.90\) 이라도 「양쪽으로 \(5\%\) 씩」과 「한쪽으로 \(10\%\)」를 가를 수 있다. 앞의 것은 구간이 짧은 것이고 뒤의 것은 구간이 틀린 자리에 있는 것이다.

확인한 곳 — 표와 그림의 수는 모두 직접 모의실험해 얻은 값이다. ①은 scipy.stats.bootstrap (버전 \(1.13\), 기본 방법이 BCa 다) 으로 \(3{,}000\) 번, ②는 편향보정 \(z_0\) 와 가속 \(a\) 를 직접 계산해 \(2{,}000\) 번 반복했다


4. 변환 불변성

백분위수 구간과 BCa 구간은 변환 불변이다. \([L, U]\)가 \(\theta\)의 구간이면 임의의 단조증가 \(m\)에 대해 \([m(L), m(U)]\)가 \(\phi = m(\theta)\)의 구간이다. 부트스트랩-\(t\) 구간은 이 성질을 갖지 않는다.

변환 불변성이 중요한 경우는 다음과 같다.

  • 모수에 자연스러운 경계가 있을 때(예: \(\sigma^2 > 0\), \(0 < p < 1\))
  • 추론에 "옳은" 척도가 무엇인지 분명하지 않을 때
  • 분석자가 변환된 척도로 결과를 보고할 수 있을 때(예: 확률 대신 로그 오즈)

5. 계산 요구사항

백분위수: \(\hat{\theta}\)의 부트스트랩 복제값 \(B\)개만 있으면 된다. 가장 싸다.

BCa: 부트스트랩 복제값 \(B\)개에 더해 가속 \(\hat{a}\)를 위한 \(n\)번의 잭나이프 계산이 필요하다. 총 \(B + n\)번.

부트스트랩-\(t\): 각 부트스트랩 표본마다 \(\hat{\theta}^{*(b)}\)와 \(\hat{\text{se}}^{*(b)}\)를 모두 계산해야 한다. \(\hat{\text{se}}\)의 닫힌 공식이 있으면 비용이 백분위수와 비슷하다. 각 복제마다 잭나이프나 중첩 부트스트랩으로 표준오차를 추정해야 하면 비용이 \(B \times n\)(잭나이프) 또는 \(B \times B_2\)(중첩 부트스트랩)이다.

비용 비교

표본평균에서는 \(\hat{\text{se}}^{*(b)} = s^{*(b)}/\sqrt{n}\)이라는 간단한 공식이 있으므로 부트스트랩-\(t\)가 거의 공짜이다. 중앙값이나 이분산 오차가 있는 회귀계수에서는 부트스트랩 안의 잭나이프 때문에 부트스트랩-\(t\)가 BCa보다 10--50배 비싸질 수 있다.


6. 각 방법을 언제 쓰는가

백분위수법

  • 빠르고 근사적인 구간으로 충분할 때
  • 표본크기가 클 때(\(n > 100\))
  • 통계량의 표집분포가 거의 대칭임이 알려져 있을 때
  • 계산자원이나 구현 복잡도에 제약이 있을 때

BCa 방법

  • 2차 정확도가 필요할 때(중간 \(n\), 치우친 통계량)
  • 변환 불변성이 필요할 때
  • 통계량에 간단한 표준오차 공식이 없을 때
  • 잭나이프가 계산상 가능할 때(즉 \(n\)이 지나치게 크지 않을 때)

부트스트랩-t 방법

  • 닫힌 형태의 표준오차 공식이 있을 때(예: 평균)
  • 추축량 \((\hat{\theta} - \theta)/\hat{\text{se}}\)의 분포가 \(\theta\)에 거의 무관할 때
  • 변환 불변성이 필요 없을 때
  • \(\hat{\text{se}}^*\)의 분포가 안정적일 때(\(0\)에 가까운 값이 없을 때)

7. 실무 권고

입문 통계학의 대부분 응용에서 다음 결정 규칙이 합리적이다.

  1. 기본 선택: BCa --- 2차 정확도, 변환 불변, 폭넓게 적용 가능
  2. BCa를 쓸 수 없을 때: 백분위수 --- 단순하고 로버스트하며 큰 \(n\)에 충분
  3. 표본평균(sample mean)의 경우: 부트스트랩-\(t\) --- 추가 비용이 거의 없이 2차 정확도
  4. 계산이 매우 비싼 통계량: 백분위수 --- BCa의 잭나이프 부담을 피한다

보편적으로 최선인 방법은 없다

모든 부트스트랩 신뢰구간은 매끄럽지 않은 통계량(예: 동점이 있는 중앙값), 극단 분위수, 매우 작은 표본크기에서 실패할 수 있다. 어떤 구간이든 믿기 전에 부트스트랩 분포를 눈으로 확인해야 한다. 대략 종 모양인가? 극단적인 이상치(outlier)가 있는가?


8. 모의실험 보기 1: 잘 작동하는 경우

\(\chi^2_3\) 분포(오른쪽으로 치우쳐 있고 참 평균이 \(3\))에서 \(n = 100\)인 표본의 평균을 추정한다. 2000회 반복, \(B = 2000\).

방법 포함확률 평균 폭
정규 0.940 0.9494
백분위수 0.942 0.9458
기본 (추축) 0.934 0.9458
BCa 0.946 0.9573
부트스트랩-\(t\) 0.947 0.9856

\(n = 100\)이고 통계량이 평균이므로 다섯 방법이 사실상 구별되지 않는다. 포함확률이 \(0.934\)--\(0.947\), 폭이 \(0.946\)--\(0.986\) 범위에 모여 있다.

이 상황에서는 가장 싸고 간단한 백분위수법을 쓰면 된다. BCa의 잭나이프 \(100\)번이나 부트스트랩-\(t\)의 추가 계산이 아무 이득도 주지 않는다.


9. 모의실험 보기 2: 무너지는 경우

이제 어려운 문제로 바꾼다. \(\text{Exp}(1)\) 자료에서 \(n = 15\)로 모분산 \(\sigma^2 = 1\)을 추정한다. \(s^2\)의 표집분포는 오른쪽으로 심하게 치우쳐 있다.

3000회 반복, \(B = 1500\) 으로 재면 이렇게 된다.

방법 포함확률 평균 폭
백분위수 0.677 1.59
BCa 0.736 1.88
부트스트랩-\(t\) 0.878 14.15

세 방법 모두 명목 \(0.95\)에 크게 못 미친다. 어떤 부트스트랩 방법도 이 문제를 풀지 못한다.

부트스트랩-\(t\)의 폭 14.15를 어떻게 읽을 것인가

부트스트랩-\(t\)가 포함확률 \(0.878\)로 가장 높지만, 그 대가로 평균 구간 폭이 \(14.15\)이다. 참값이 \(1\)인데 구간의 폭이 \(14\)이면 사실상 아무것도 말해 주지 않는다.

원인은 부트스트랩-\(t\) 연습문제 2에서 본 꼬리 불안정성이다. \(n = 15\)에서 \(\hat{\text{se}}^{*}\)가 이따금 \(0\)에 가까워져 \(t^*\)의 극단 분위수가 폭발한다.

높은 포함확률이 좋은 구간을 뜻하지는 않는다. \((-\infty, \infty)\)는 포함확률 \(1\)이지만 쓸모가 없다. 포함확률과 폭을 반드시 함께 보아야 한다.

두 모의실험을 하나의 평면에 올려 놓으면 방법 선택이 언제 문제가 되는지가 한눈에 들어온다. 가로축에 평균 폭을, 세로축에 실제 포함확률을 두고 각 방법을 점 하나로 찍었다.

포함확률과 폭의 평면 위에 놓은 다섯 방법

왼쪽이 쉬운 문제다. 다섯 점이 포함확률 \(0.934\)--\(0.947\), 폭 \(0.946\)--\(0.986\)의 좁은 구역에 모여 있다. 가로축의 눈금이 \(0.94\)에서 \(0.99\)까지라는 점에 주의하라. 점들이 흩어져 보이지만 실제 차이는 폭에서 \(4\%\), 포함확률에서 \(1.3\)%p에 지나지 않으며, 2000회 반복의 몬테카를로(Monte Carlo) 표준오차 \(0.005\)의 두세 배 수준이다. 이 구역에서는 가장 싼 백분위수법을 쓰고 계산을 아끼는 것이 옳다.

오른쪽이 어려운 문제다. 가로축이 로그 척도로 바뀌었다는 사실 자체가 상황을 말해 준다. 백분위수 \((1.59,\ 0.677)\)에서 BCa \((1.88,\ 0.736)\)로 가는 이동은 폭을 \(18\%\) 늘려 포함확률을 \(6\)%p 사는 정직한 거래다. 그러나 부트스트랩-\(t\) \((14.15,\ 0.878)\)는 다르다. 포함확률이 가장 높지만 폭이 \(14\)이고, 참값이 \(1\)인 문제에서 폭 \(14\)짜리 구간은 아무것도 말해 주지 않는다. 세로축만 보면 승자이고, 두 축을 함께 보면 탈락이다.

그리고 오른쪽 그림에서 정작 눈에 띄는 것은 세 점이 모두 붉은 명목선 \(0.95\) 아래에 한참 떨어져 있다는 사실이다. 방법을 바꾸어 점을 옮기는 일은 이 그림 안에서의 이동일 뿐, 그림 전체를 위로 올리지는 못한다. 연습문제 2에서 확인하듯 통계량의 어려움이 표본크기보다 결정적이며, \(\text{Exp}(1)\)의 분산을 \(n = 15\)로 추정한다는 설정 자체가 명목수준을 포기하게 만든다.

이런 자료에서는 어떻게 해야 하는가.

  1. 변환한다. \(\log s^2\)의 척도에서 구간을 만들고 되돌리면 왜도가 크게 줄어든다.
  2. 모수적 방법을 쓴다. 지수분포임을 안다면 \(\sigma^2 = 1/\lambda^2\)의 정확 구간을 쓸 수 있다.
  3. 표본을 늘린다. \(n = 15\)로 4차 적률에 의존하는 양을 추정하는 것 자체가 무리이다.

10. 그 밖의 방법

문헌에 등장하는 다른 두 방법이 있다.

정규구간 (\(\hat{\theta} \pm z_{\alpha/2} \cdot \widehat{\text{SE}}_{\text{boot}}\)): 1차 정확도이며 표집분포의 대칭성을 가정한다. 백분위수법보다 간단하지만 변환 불변이 아니고 모수 경계를 존중하지 않는다.

기본(추축) 구간 (\([2\hat{\theta} - \hat{\theta}^*_{(1-\alpha/2)}, \; 2\hat{\theta} - \hat{\theta}^*_{(\alpha/2)}]\)): 부트스트랩 분포의 위치 편향을 보정하지만 여전히 1차 정확도이다. 변환 불변이 아니다.

이들은 덜 권장되지만 특정 맥락에서 유용할 수 있다.


11. 세 방법을 한 자료에서

요약표가 말한 차이를 한 자료에서 수로 본다. 고전적 구간이 믿을 만하지 않은 비정규 자료를 골랐다.

보기 1. 세 방법을 포아송 자료에. \(\lambda = 3.5\)인 포아송에서 \(n = 80\)을 뽑아 평균의 구간을 세 방법으로 구한다.

(1) 부트스트랩 복제값 \(\bar x^{*}\)가 놓이는 격자의 간격과 부트스트랩 표준오차의 \(B \to \infty\) 극한을 구하고, 그것으로 정규근사 구간을 예측하시오. BCa 보기 1 의 식으로 \(a\)와 \(z_0\)의 1차근사도 미리 구하시오.

(2) 실행해 (1)을 확인하시오. 코드가 내놓는 \(z_0\)이 예측과 부호가 반대인데 그 까닭을 밝히시오.

풀이

(1) 해석적으로. 자료가 정수이므로 크기 \(n\)짜리 재표본의 합도 정수이고, 따라서 \(\bar x^{*}\)는 간격 \(1/n = 0.0125\)인 격자에만 놓인다.

부트스트랩 표준오차의 극한은 부트스트랩 표준오차 보기 1의 결과 그대로다. 경험분포의 분산을 \(\hat\sigma^2 = \frac1n\sum_i(x_i-\bar x)^2\)이라 하면

\[ \widehat{\operatorname{SE}}_{\text{boot}} \xrightarrow[B\to\infty]{} \frac{\hat\sigma}{\sqrt n} \]

이고, 자료에서 \(\hat\sigma^2 = 3.169375\)이므로 \(0.199041\)이다. 참값은 포아송의 \(\sigma^2 = \lambda\)에서 \(\sqrt{3.5/80} = 0.209165\)다. 이것을 쓰면 정규근사 구간이

\[ \bar x \pm 1.959964 \times 0.199041 = [3.034887,\; 3.815113] \]

이다. 격자 간격이 \(0.0125\)이니 백분위수 구간의 끝점은 이 두 수에 가장 가까운 격자점이 될 것이다.

BCa 보기 1의 식에 \(\hat\gamma_1 = 0.674768\)과 \(n = 80\)을 넣으면

\[ a = \frac{\hat\gamma_1}{6\sqrt n} = \frac{0.674768}{53.666} = 0.012574, \qquad z_0 \approx a = +0.012574 \]

다. 둘 다 양수이고 아주 작다. 보정이 거의 없으리라 예상된다.

(2) 수치적으로.

import numpy as np
from scipy import stats
# 세 방법의 구현을 한자리에 둔다. 각각의 유래는 17.2절의 세 쪽에 있다 —
# 백분위수법·기본법·BCa. 여기서는 같은 자료에 셋을 모두 돌려 견준다.


def bootstrap_percentile_ci(data, statistic, n_boot=10_000, alpha=0.05, rng=None):
    """백분위수 부트스트랩 신뢰구간.

    부트스트랩 분포의 2.5·97.5 백분위점을 그대로 쓴다. 가장 간단하고
    직관적이지만, 통계량이 치우쳐 있거나 편향이 있으면 어긋난다.
    """
    rng = rng or np.random.default_rng(0)
    n = len(data)
    boot_stats = np.array([
        statistic(data[rng.integers(0, n, n)])
        for _ in range(n_boot)
    ])
    lo = np.percentile(boot_stats, 100 * alpha / 2)
    hi = np.percentile(boot_stats, 100 * (1 - alpha / 2))
    return lo, hi, boot_stats

def bootstrap_basic_ci(data, statistic, boot_stats, alpha=0.05):
    """기본(역백분위수) 부트스트랩 신뢰구간.

    백분위점을 추정값 둘레로 되비춘다. 부트스트랩 분포가 오른쪽으로 치우쳐
    있으면 구간은 왼쪽으로 늘어나는데, 이는 "추정값이 참값보다 크게 나오는
    경향이 있다면 구간을 아래쪽으로 넓혀야 한다"는 셈법에서 나온다.
    백분위수법과 정반대 방향으로 움직이는 것이 처음에는 어리둥절하다.
    """
    theta_hat = statistic(data)
    lo = 2 * theta_hat - np.percentile(boot_stats, 100 * (1 - alpha / 2))
    hi = 2 * theta_hat - np.percentile(boot_stats, 100 * alpha / 2)
    return lo, hi

def bootstrap_bca_ci(data, statistic, boot_stats, alpha=0.05):
    """BCa(편향보정 가속) 부트스트랩 신뢰구간.

    백분위점을 두 가지로 조정한다. z0 은 부트스트랩 분포가 추정값을 중심으로
    치우친 정도(편향)를, a 는 통계량의 분산이 참값에 따라 달라지는 정도
    (가속)를 잡는다. 셋 중 가장 정확하지만 계산이 가장 무겁다.
    """
    n = len(data)
    theta_hat = statistic(data)

    # 편향보정 z0: 부트스트랩 값 중 관측된 추정값보다 작은 것의 비율을
    # 정규 분위점으로 옮긴다. 비대칭이 없으면 절반이라 z0 이 0 이 된다.
    z0 = stats.norm.ppf(np.mean(boot_stats < theta_hat))

    # 가속 a: 잭나이프로 구한다. 관측값을 하나씩 빼 가며 통계량을 계산해,
    # 그 값들의 왜도에서 얻는다.
    jack = np.array([statistic(np.delete(data, i)) for i in range(n)])
    jack_mean = jack.mean()
    a_num = np.sum((jack_mean - jack) ** 3)
    a_den = 6 * np.sum((jack_mean - jack) ** 2) ** 1.5
    a = a_num / a_den if a_den != 0 else 0.0

    # 두 보정을 반영해 백분위점을 옮긴다. z0=0, a=0 이면 원래 백분위수법과
    # 정확히 같아진다.
    z_alpha = stats.norm.ppf(alpha / 2)
    z_1alpha = stats.norm.ppf(1 - alpha / 2)

    p_lo = stats.norm.cdf(z0 + (z0 + z_alpha) / (1 - a * (z0 + z_alpha)))
    p_hi = stats.norm.cdf(z0 + (z0 + z_1alpha) / (1 - a * (z0 + z_1alpha)))

    lo = np.percentile(boot_stats, 100 * p_lo)
    hi = np.percentile(boot_stats, 100 * p_hi)
    return lo, hi, z0, a


# 포아송 자료에 세 방법을 모두 적용해 구간을 견준다. 자료가 치우쳐
# 있으므로 세 구간이 조금씩 어긋난다.
rng = np.random.default_rng(0)
data = stats.poisson.rvs(3.5, size=80, random_state=42)
print(data.mean())          # 3.425

lo_p, hi_p, boots = bootstrap_percentile_ci(data, np.mean, rng=rng)
lo_b, hi_b = bootstrap_basic_ci(data, np.mean, boots)
lo_bca, hi_bca, z0, a = bootstrap_bca_ci(data, np.mean, boots)
print(z0, a)                # -0.0266  0.0126

for name, (lo, hi) in [("백분위수", (lo_p, hi_p)), ("기본", (lo_b, hi_b)),
                       ("BCa", (lo_bca, hi_bca))]:
    print(f"{name:>5}: [{lo:.4f}, {hi:.4f}]  폭 {hi - lo:.4f}")

출력:

3.425
-0.026573386823392654 0.012573560456423716
 백분위수: [3.0375, 3.8250]  폭 0.7875
   기본: [3.0250, 3.8125]  폭 0.7875
  BCa: [3.0375, 3.8250]  폭 0.7875

(1)의 네 수를 확인한다. 위 블록의 변수를 그대로 이어 쓴다.

n = len(data)
theta_hat = data.mean()
sig2 = data.var(ddof=0)                 # 경험분포의 분산
g1 = stats.skew(data)

print(f"격자 간격 = 1/n = {1 / n:.4f}")
print(f"부트스트랩 SE 극한 = {np.sqrt(sig2 / n):.6f}   (모의 {boots.std(ddof=1):.6f},"
      f"  몬테카를로 오차 {np.sqrt(sig2 / n) / np.sqrt(2 * 10000):.6f})")
print(f"참 SE = sqrt(3.5/80) = {np.sqrt(3.5 / n):.6f}")
lo_z = theta_hat - 1.959964 * np.sqrt(sig2 / n)
hi_z = theta_hat + 1.959964 * np.sqrt(sig2 / n)
print(f"정규근사 구간 = [{lo_z:.6f}, {hi_z:.6f}]")
print(f"백분위수 구간 = [{lo_p:.6f}, {hi_p:.6f}]"
      f"   -> 격자 눈금으로 {lo_p * n:.0f}/{n} 와 {hi_p * n:.0f}/{n}")

print(f"\n자료 왜도 g1 = {g1:.6f}")
print(f"a 의 닫힌 꼴 g1/(6 sqrt n) = {g1 / (6 * np.sqrt(n)):.8f}")
below = np.mean(boots < theta_hat)
eq = np.mean(np.isclose(boots, theta_hat))
print(f"P*(theta* < theta_hat) = {below:.4f},  P*(= ) = {eq:.4f},"
      f"  P*(>) = {np.mean(boots > theta_hat):.4f}")
print(f"z0 (코드, 강한 부등호) = {stats.norm.ppf(below):+.6f}")
print(f"z0 (동점을 반씩 세면)  = {stats.norm.ppf(below + eq / 2):+.6f}")
print(f"z0 의 1차근사 = a = {g1 / (6 * np.sqrt(n)):+.6f}"
      f"   (z0 의 몬테카를로 오차 {np.sqrt(0.25 / 10000) / stats.norm.pdf(0):.4f})")

출력:

격자 간격 = 1/n = 0.0125
부트스트랩 SE 극한 = 0.199041   (모의 0.199015,  몬테카를로 오차 0.001407)
참 SE = sqrt(3.5/80) = 0.209165
정규근사 구간 = [3.034887, 3.815113]
백분위수 구간 = [3.037500, 3.825000]   -> 격자 눈금으로 243/80 와 306/80

자료 왜도 g1 = 0.674768
a 의 닫힌 꼴 g1/(6 sqrt n) = 0.01257356
P*(theta* < theta_hat) = 0.4894,  P*(= ) = 0.0237,  P*(>) = 0.4869
z0 (코드, 강한 부등호) = -0.026573
z0 (동점을 반씩 세면)  = +0.003133
z0 의 1차근사 = a = +0.012574   (z0 의 몬테카를로 오차 0.0125)

예측한 것이 거의 다 맞는다. 부트스트랩 표준오차가 극한 \(0.199041\)에 대해 모의값 \(0.199015\)로 몬테카를로 오차 \(0.0014\) 안에 들고, 정규근사 구간 \([3.034887,\ 3.815113]\)의 양 끝이 격자점 \(243/80 = 3.0375\)와 \(306/80 = 3.825\) 바로 옆이다. 백분위수 구간의 끝점이 정확히 그 두 격자점이다. 가속 \(a\)도 닫힌 꼴 \(0.01257356\)으로 코드와 같다.

맞지 않은 것은 \(z_0\) 하나다. 예측은 \(+0.012574\)였는데 코드는 \(-0.026573\)을 준다. 부호가 반대다.

까닭은 이산자료의 동점이다. \(\hat\theta = 3.425 = 274/80\) 자신이 격자점이므로 복제값 가운데 \(2.37\%\)가 정확히 \(\hat\theta\)와 같다. 코드가 쓰는 boot_stats < theta_hat은 강한 부등호라 이들을 통째로 버리고, 그 결과 \(P^{*}(<) = 0.4894\)로 절반을 밑돌아 \(z_0\)이 음수가 된다. 동점을 양쪽에 반씩 나누어 \(P^{*}(<) + \tfrac12 P^{*}(=) = 0.5013\)으로 세면 \(z_0 = +0.003133\)으로 부호가 제자리로 돌아오고, 1차근사 \(+0.012574\)와의 차이 \(0.0094\)도 \(z_0\)의 몬테카를로 오차 \(0.0125\) 안이다.

연속자료에서는 이 문제가 없다. 복제값이 \(\hat\theta\)와 정확히 같아질 확률이 \(0\)이기 때문이다. 포아송·이항처럼 이산인 자료에서 BCa를 쓸 때만 조심하면 되고, 다행히 이 보기에서는 \(z_0\)이 워낙 작아 구간이 바뀌지 않았다.

방법 하한 상한 폭
백분위수 3.0375 3.8250 0.7875
기본 3.0250 3.8125 0.7875
BCa 3.0375 3.8250 0.7875

세 구간이 거의 같다. \(n = 80\)으로 표본이 어느 정도 크고 표본평균이 잘 행동하기 때문이다. \(z_0 = -0.027\)과 \(a = 0.013\)이 모두 \(0\)에 가까워 BCa 보정이 사실상 작동하지 않았다.

기본법이 백분위수법보다 정확히 \(0.0125\)만큼 왼쪽으로 옮겨져 있다. 이는 백분위수 구간의 중점 \(3.43125\)가 \(\hat\theta = 3.425\)보다 \(0.00625\) 크기 때문이다(\(2 \times 0.00625 = 0.0125\)). 두 구간의 폭은 항상 같다. 기본법은 위치만 반사할 뿐 폭을 바꾸지 않는다.

세 방법이 쓰는 폭과 중점 사이에는 자료와 무관한 항등식이 있다. 정규 구간을 넣어 셋으로 늘리면 그 관계가 더 분명해진다.

보기 2. 세 가지 부트스트랩 신뢰구간. 평균에 대해 정규·백분위수·기본 구간을 같은 복제값에서 읽는다.

(1) 세 구간의 폭과 중점 사이에 성립하는 항등식을 적으시오. 구체적으로 어느 둘의 폭이 늘 같은가. 세 중점은 \(\hat\theta\)와 어떤 관계인가. 정규 구간의 폭이 \(B \to \infty\)에서 무엇으로 수렴하는가.

(2) \(\text{Exp}(3)\)에서 \(n = 30\)을 뽑아 확인하시오.

풀이

(1) 해석적으로. \(\hat\theta^{*}_{q}\)를 부트스트랩 분위수라 하고 \(L = \hat\theta^{*}_{\alpha/2}\), \(U = \hat\theta^{*}_{1-\alpha/2}\)라 두자.

  • 백분위수 구간은 \([L,\ U]\), 기본 구간은 \([2\hat\theta - U,\ 2\hat\theta - L]\)이다. 두 폭이 똑같이 \(U - L\)이다. 기본 구간은 백분위수 구간을 \(\hat\theta\)에 대해 뒤집은 것일 뿐이라 길이가 보존된다.
  • 중점은 각각 \(\dfrac{L+U}{2}\)와 \(2\hat\theta - \dfrac{L+U}{2}\)이므로 두 중점의 합이 \(2\hat\theta\)다. \(\hat\theta\)를 가운데 두고 정확히 대칭으로 벌어진다는 뜻이고, 부트스트랩 분포가 오른쪽으로 치우쳐 \(L+U > 2\hat\theta\)이면 백분위수가 오른쪽, 기본이 왼쪽으로 간다.
  • 정규 구간 \([\hat\theta - z\widehat{\operatorname{SE}},\ \hat\theta + z\widehat{\operatorname{SE}}]\)의 중점은 언제나 \(\hat\theta\)다. 셋 가운데 유일하게 왜도를 반영하지 않는다.

식으로 적으면 이렇다.

\[ \text{mid}_{\text{백분위수}} + \text{mid}_{\text{기본}} = 2\hat\theta, \qquad \text{mid}_{\text{정규}} = \hat\theta \]

폭의 극한은 부트스트랩 표준오차 보기 1에서 \(\widehat{\operatorname{SE}} \to \hat\sigma/\sqrt n\)이므로

\[ \text{폭}_{\text{정규}} \xrightarrow[B\to\infty]{} 2 z_{1-\alpha/2}\,\frac{\hat\sigma}{\sqrt n} \]

다. 셋이 모두 같아지는 것은 부트스트랩 분포가 \(\hat\theta\)에 대해 대칭이고 정규일 때뿐이다.

(2) 수치적으로.

import numpy as np
from scipy import stats

def bootstrap_ci_demo(data, B=10_000, alpha=0.05, rng=None):
    """평균에 대한 세 가지 부트스트랩 신뢰구간을 함께 구한다.

    정규법은 부트스트랩으로 표준오차만 얻고 구간은 정규분포로 만든다.
    백분위수법은 부트스트랩 분포의 분위점을 그대로 쓴다. 기본법은 그
    분위점을 추정값 둘레로 되비춘다. 분포가 대칭이면 셋이 거의 같다.
    """
    rng = rng or np.random.default_rng(0)
    n = len(data)
    theta_hat = data.mean()
    z = stats.norm.ppf(1 - alpha / 2)

    boot_means = data[rng.integers(0, n, (B, n))].mean(axis=1)
    se_boot = boot_means.std(ddof=1)
    lo_q, hi_q = np.percentile(boot_means, [100*alpha/2, 100*(1 - alpha/2)])

    return {
        "normal":     (theta_hat - z*se_boot, theta_hat + z*se_boot),
        "percentile": (lo_q, hi_q),
        "basic":      (2*theta_hat - hi_q, 2*theta_hat - lo_q),
    }

\(\text{Exp}(3)\)에서 \(n = 30\)을 뽑아 확인한다.

d = np.random.default_rng(12).exponential(1/3, 30)
r = bootstrap_ci_demo(d)
th = d.mean()
for k, (a, b) in r.items():
    print(f"{k:>11}: [{a:.6f}, {b:.6f}]  폭 {b-a:.6f}  중점 {(a+b)/2:.6f}")
print(f"theta_hat = {th:.6f}")
print(f"중점 합 (기본+백분위수) = {(sum(r['basic'])/2 + sum(r['percentile'])/2):.6f}"
      f"  = 2*theta_hat = {2*th:.6f}")
print(f"정규 구간 폭 극한 = 2 z sigma-hat/sqrt(n) = "
      f"{2*1.959964*d.std(ddof=0)/np.sqrt(30):.6f}")

출력:

     normal: [0.257486, 0.511222]  폭 0.253736  중점 0.384354
 percentile: [0.261750, 0.516883]  폭 0.255133  중점 0.389317
      basic: [0.251825, 0.506958]  폭 0.255133  중점 0.379392
theta_hat = 0.384354
중점 합 (기본+백분위수) = 0.768708  = 2*theta_hat = 0.768708
정규 구간 폭 극한 = 2 z sigma-hat/sqrt(n) = 0.255376

세 항등식이 모두 확인된다. 백분위수와 기본의 폭이 \(0.255133\)으로 소수 여섯째 자리까지 같고, 두 중점의 합 \(0.768708\)이 \(2\hat\theta\)와 같으며, 정규 구간의 중점이 \(\hat\theta = 0.384354\)와 정확히 일치한다.

왜도가 보인다. 백분위수 중점이 \(\hat\theta\)보다 \(+0.0050\), 기본 중점이 \(-0.0050\) 옮겨져 있다. 지수분포 자료라 부트스트랩 분포가 오른쪽으로 치우친 결과이며, 두 방법이 정반대 방향으로 움직인다는 것이 핵심이다. 어느 쪽이 옳은지는 참 표집분포가 같은 방향으로 치우쳤는지에 달렸다.

정규 구간의 폭 \(0.253736\)도 극한 \(0.255376\)에 가깝다(차이 \(0.0016\)은 \(B = 10{,}000\)에서 \(\widehat{\operatorname{SE}}\)의 몬테카를로 요동이 폭으로 환산되어 \(0.0018\)인 범위 안).

위 절 \(3\) 의 포함확률 표가 보여 주듯 셋 다 \(n = 30\)에서는 명목값에 못 미친다. 폭과 중점의 산수는 정확해도, 그 구간이 참값을 \(95\%\) 담느냐는 별개의 물음이다.


12. 네 방법을 하나의 부트스트랩 분포에서

네 방법이 서로 다른 계산처럼 보이지만, 실제로는 하나의 부트스트랩 분포를 네 가지 방식으로 읽는 것이다.

하나의 부트스트랩 분포에서 읽어 낸 네 가지 신뢰구간

\(\text{Exp}(1)\)에서 \(n = 30\)을 뽑아 중앙값을 재었더니 \(\hat\theta = 0.842\)가 나왔다. 참값 \(\ln 2 = 0.693\)보다 위쪽에 앉은, 흔히 있는 표본이다. 여기서 \(B = 20000\)번 복원추출하여 얻은 것이 위 칸의 히스토그램이고, 아래 네 막대는 모두 이 히스토그램 하나에서 뽑아낸 것이다. 정규구간은 이 분포의 표준편차 \(\widehat{\text{SE}} = 0.176\)만 쓰고 모양은 버린다. 백분위수구간은 \(2.5\)와 \(97.5\) 백분위수를 그대로 읽는다. 기본구간은 그 두 값을 \(2\hat\theta\)에서 빼고, BCa는 읽어 내는 백분위수의 위치 자체를 옮긴다.

결과를 보면 무엇을 버리고 무엇을 취했는지가 드러난다. 분포의 왜도가 \(1.17\)이라 오른쪽 꼬리가 길고, 정규구간 \([0.498,\ 1.187]\)은 폭 \(0.689\)로 가장 좁다. 대칭을 강제했으니 짧아진 것이지 정밀해진 것이 아니다. 백분위수구간 \([0.527,\ 1.330]\)과 기본구간 \([0.355,\ 1.157]\)은 폭이 \(0.802\)로 정확히 같은데, 반사는 길이를 바꾸지 않고 위치만 바꾸기 때문이다. 두 구간의 차이는 오로지 어느 쪽으로 늘어나는가이고, 이것이 기본법 (역백분위수법) 절 \(3\) 이 「무엇을 뒤집는가」로 따진 상반된 작동이다.

그래서 이 그림에서 배울 것은 구간의 폭이 아니라 구간이 놓인 방향이다. 참 표집분포도 오른쪽으로 치우쳐 있으므로 여유는 오른쪽에 있어야 하는데, 기본구간만 왼쪽으로 늘어나 있다. 아래 연습문제 \(20\) 의 모의실험에서 포함확률이 정규 \(0.933\), 백분위수 \(0.943\), BCa \(0.945\)인 데 반해 기본구간만 \(0.821\)로 무너지는 이유가 그림에 그대로 보인다. BCa는 여기서 편향보정 \(\hat{z}_0 = -0.051\)만으로 하한을 \(0.527\)에서 \(0.442\)로 내렸다. 참고로 \(n\)이 짝수이면 잭나이프 중앙값이 두 값만 갖고 그 편차가 대칭이라 가속 \(\hat{a}\)가 정확히 \(0\)이 된다(17.1절 부트스트랩 원리 연습문제 12 가 증명한다). 이 표본에서 BCa가 한 일은 사실상 편향보정뿐이다.


연습문제

연습문제 1. \(\chi^2_3\) 분포(오른쪽으로 치우쳐 있고 참 평균이 \(3\))에서 관측값 100개를 생성하라.

(a) \(B = 10{,}000\)으로 네 방법(정규, 백분위수, 기본, BCa)의 평균에 대한 95% 부트스트랩 신뢰구간을 계산하라.

(b) 표준 \(t\) 구간과 비교하라.

(c) 어느 구간이 \(\bar{X}\)를 중심으로 대칭인가? 어느 것이 아닌가?

(d) 2000회 반복하여 각 방법의 포함확률을 추정하라.

풀이

(a)--(c) 한 표본에 대한 결과이다.

import numpy as np
from scipy import stats
rng = np.random.default_rng(7)
n, B = 100, 10000
x = rng.chisquare(3, n)
th = x.mean(); se = x.std(ddof=1) / np.sqrt(n)

idx = rng.integers(0, n, (B, n)); xb = x[idx]
bs = xb.mean(axis=1)

lo_p, hi_p = np.percentile(bs, [2.5, 97.5])
ci = {
    "normal":  (th - 1.96*bs.std(ddof=1), th + 1.96*bs.std(ddof=1)),
    "pct":     (lo_p, hi_p),
    "basic":   (2*th - hi_p, 2*th - lo_p),
    "t-int":   (th - stats.t.ppf(0.975, n-1)*se, th + stats.t.ppf(0.975, n-1)*se),
}
for k, (lo, hi) in ci.items():
    print(f"{k:7s} [{lo:.4f}, {hi:.4f}]  중심에서 {th-lo:.4f} / {hi-th:.4f}")

출력:

normal  [2.1442, 2.9287]  중심에서 0.3923 / 0.3923
pct     [2.1522, 2.9388]  중심에서 0.3842 / 0.4023
basic   [2.1341, 2.9207]  중심에서 0.4023 / 0.3842
t-int   [2.1373, 2.9356]  중심에서 0.3991 / 0.3991
방법 하한까지 거리 상한까지 거리 대칭인가
정규 (부트스트랩 SE) \(d\) \(d\) 대칭
표준 \(t\) 구간 \(d'\) \(d'\) 대칭
백분위수 \(d_1\) \(d_2 > d_1\) 비대칭 (오른쪽으로 김)
기본 (추축) \(d_2\) \(d_1\) 비대칭 (왼쪽으로 김)
BCa --- --- 비대칭

구조를 보면 명확하다.

  • 정규 구간과 \(t\) 구간은 \(\hat\theta \pm (\text{상수}) \times \text{SE}\) 꼴이므로 정의상 대칭이다.
  • 백분위수 구간은 부트스트랩 분포의 왜도를 그대로 물려받는다. \(\chi^2_3\)이 오른쪽으로 치우쳤으므로 구간도 오른쪽으로 길다.
  • 기본 구간은 그것을 반사하므로 정확히 거울상이다. 백분위수 구간의 두 거리 \((d_1, d_2)\)가 기본 구간에서 \((d_2, d_1)\)이 된다.
  • BCa는 \(\hat z_0\)과 \(\hat a\)가 결정하는 방식으로 비대칭이다.

\(n = 100\)에서는 비대칭이 미미하다

\(\chi^2_3\)의 왜도가 \(\sqrt{8/3} = 1.63\)으로 상당히 크지만, \(\bar X\)의 왜도는 중심극한정리(central limit theorem)에 의해 \(1.63/\sqrt{100} = 0.163\)으로 줄어든다. 따라서 이 보기에서 네 구간의 실제 수치 차이는 소수점 셋째 자리 수준이다.

(d) 2000회 반복(\(B = 2000\))한 포함확률은 이렇게 된다.

방법 포함확률 평균 폭
정규 0.940 0.9494
백분위수 0.942 0.9458
기본 (추축) 0.934 0.9458
BCa 0.946 0.9573
부트스트랩-\(t\) 0.947 0.9856

다섯 방법이 사실상 같다. 포함확률 차이가 \(0.013\)이고, 이는 2000회 반복의 몬테카를로 표준오차 \(\sqrt{0.95 \times 0.05/2000} = 0.0049\)의 2--3배 수준이다.

결론: \(n = 100\)이고 통계량이 평균이면 어떤 방법을 써도 무방하다. 이 문제에서 BCa나 부트스트랩-\(t\)를 쓰는 것은 계산을 낭비하는 것이다. 방법의 선택이 중요해지는 것은 \(n\)이 작거나 통계량이 어려울 때이다.

연습문제 2. 본문의 두 모의실험에서 방법 간 차이가 극적으로 달랐다. 어떤 요인이 그 차이를 만드는가? 표본크기와 통계량을 각각 바꾸어 확인하라.

풀이

두 요인을 분리해서 보자.

import numpy as np
from scipy import stats
rng = np.random.default_rng(21)

def coverage(gen, stat, target, n, M=800, B=600):
    cp = cb = 0
    for _ in range(M):
        x = gen(n); th = stat(x)
        idx = rng.integers(0, n, (B, n))
        bs = np.array([stat(x[i]) for i in idx])
        lo, hi = np.percentile(bs, [2.5, 97.5])
        cp += lo <= target <= hi
        z0 = stats.norm.ppf(np.clip((bs < th).mean(), 1e-6, 1-1e-6))
        jk = np.array([stat(np.delete(x, i)) for i in range(n)])
        d = jk.mean() - jk
        den = ((d**2).sum())**1.5
        a = (d**3).sum()/(6*den) if den > 0 else 0.0
        zl, zu = -1.959964, 1.959964
        a1 = stats.norm.cdf(z0 + (z0+zl)/(1 - a*(z0+zl)))
        a2 = stats.norm.cdf(z0 + (z0+zu)/(1 - a*(z0+zu)))
        lo, hi = np.percentile(bs, [100*a1, 100*a2])
        cb += lo <= target <= hi
    return cp/M, cb/M

ex = lambda n: rng.exponential(1, n)
for n in (15, 50, 200):
    print("mean", n, coverage(ex, np.mean, 1.0, n))
    print("var ", n, coverage(ex, lambda v: v.var(ddof=1), 1.0, n))

출력:

mean 15 (0.90375, 0.91125)
var  15 (0.6625, 0.7075)
mean 50 (0.93125, 0.9375)
var  50 (0.81, 0.85)
mean 200 (0.9475, 0.94625)
var  200 (0.87875, 0.9075)
통계량 \(n\) 백분위수 BCa BCa의 이득
평균 15 0.904 0.911 \(+0.007\)
평균 50 0.931 0.938 \(+0.007\)
평균 200 0.948 0.946 \(-0.002\)
분산 15 0.662 0.708 \(+0.046\)
분산 50 0.810 0.850 \(+0.040\)
분산 200 0.879 0.908 \(+0.029\)

두 요인이 각각 작용하지만 통계량의 어려움이 압도적으로 중요하다.

  1. 통계량의 어려움. 같은 \(n\)에서 분산이 평균보다 훨씬 나쁘다. \(n = 200\)의 분산(\(0.879\))이 \(n = 15\)의 평균(\(0.904\))보다도 낮다. 즉 분산을 추정하는 것은 평균을 추정하는 것보다 \(13\)배 넘게 큰 표본을 요구한다. 그리고 BCa의 이득도 분산에서만 뚜렷하다(\(+0.03\)--\(+0.05\) 대 \(+0.007\)).

  2. 표본크기. 평균에서는 \(n = 200\)에서 두 방법이 사실상 같아진다(\(-0.002\), 몬테카를로 오차 범위). 분산에서는 \(n = 200\)에서도 \(+0.029\)가 남는데, 두 방법 모두 아직 명목수준에서 멀기 때문이다.

(각 칸은 800회 반복이므로 몬테카를로 표준오차가 약 \(0.01\)이다. \(\pm 0.02\) 이내의 차이는 잡음으로 보아야 한다.)

왜 분산이 어려운가. \(s^2\)의 표집분포는 모집단의 4차 적률에 의존하는데, 4차 적률은 2차 적률보다 훨씬 추정하기 어렵다. 지수분포의 초과첨도가 \(6\)이므로 이 문제가 증폭된다.

실무 지침: "언제 BCa가 필요한가"를 묻기 전에 "이 통계량이 이 표본크기에서 애초에 추정 가능한가"를 물어야 한다. 포함확률이 \(0.68\)인 상황에서 \(0.73\)으로 올리는 것은 근본적 해결이 아니다.

연습문제 3. 부트스트랩-\(t\)가 본문 보기 2에서 폭 \(14.15\)를 낸 이유를 진단하라. 극단적인 \(t^*\)를 절사하면 문제가 해결되는가?

풀이

먼저 평균 폭과 중앙값 폭을 나누어 보자.

import numpy as np
rng = np.random.default_rng(31)

def run(n, M=1200, B=1200, trim=None):
    c, w = 0, []
    for _ in range(M):
        x = rng.exponential(1, n)
        xb = x[rng.integers(0, n, (B, n))]
        cc = xb - xb.mean(axis=1, keepdims=True)
        m2 = (cc**2).mean(axis=1); m4 = (cc**4).mean(axis=1)
        bs = xb.var(axis=1, ddof=1)
        seb = np.sqrt(np.maximum((m4 - m2**2)/n, 1e-12))
        co = x - x.mean(); th = x.var(ddof=1)
        se = np.sqrt(max(((co**4).mean() - ((co**2).mean())**2)/n, 1e-12))
        t = (bs - th) / seb
        if trim is not None:
            t = t[np.abs(t) < np.percentile(np.abs(t), 100 - trim)]
        tl, tu = np.percentile(t, [2.5, 97.5])
        lo, hi = th - tu*se, th - tl*se
        c += lo <= 1 <= hi; w.append(hi - lo)
    return round(c/M, 3), round(np.mean(w), 2), round(np.median(w), 2)

for n in (15, 50, 200):
    print(n, run(n))
print("trim 1%", run(15, trim=1))
print("trim 5%", run(15, trim=5))

출력:

15 (0.895, 14.83, 4.14)
50 (0.911, 2.74, 1.67)
200 (0.933, 0.96, 0.83)
trim 1% (0.84, 9.34, 2.93)
trim 5% (0.798, 8.25, 2.11)
설정 포함확률 평균 폭 중앙값 폭
\(n = 15\) 0.895 14.83 4.14
\(n = 50\) 0.911 2.74 1.67
\(n = 200\) 0.933 0.96 0.83
\(n = 15\), 상위 1% 절사 0.840 9.34 2.93
\(n = 15\), 상위 5% 절사 0.798 8.25 2.11

진단 1: 평균 폭이 중앙값 폭의 3.6배이다. \(14.83\)과 \(4.14\)의 차이가 문제의 성격을 말해 준다. 대부분의 표본에서는 구간이 \(4\) 정도로 (여전히 넓지만) 쓸 만하고, 소수의 표본에서 폭이 수백까지 폭발하여 평균을 끌어올린다. \(14.83\)이라는 값은 "전형적인 구간"이 아니라 소수의 재앙적 사례가 만든 것이다.

진단 2: 절사는 해결책이 아니다. 상위 1%를 절사하면 폭이 \(14.83 \to 9.34\)로 줄지만 포함확률이 \(0.895 \to 0.840\)으로 떨어진다. 5%를 절사하면 \(0.798\)까지 내려간다.

이는 당연한 결과이다. \(t^*\)의 극단 꼬리가 잡음이자 동시에 신호이기 때문이다. 절사하면 잡음과 함께 참 꼬리 정보도 잘려 나가 구간이 지나치게 좁아진다.

진단 3: 유일한 근본적 해결책은 \(n\)을 키우는 것이다. \(n = 200\)에서 평균 폭이 \(0.96\), 중앙값 폭이 \(0.83\)으로 둘의 차이가 사라진다. 폭발 사례가 없어졌다는 뜻이다.

왜 폭발하는가. \(s^2\)의 표준오차 추정에 4차 적률이 들어간다.

\[ \widehat{\text{se}}(s^2) = \sqrt{\frac{\hat\mu_4 - \hat\mu_2^2}{n}} \]

\(n = 15\)인 부트스트랩 표본이 우연히 큰 값을 하나도 뽑지 못하면 \(\hat\mu_4\)가 매우 작아지고 \(\widehat{\text{se}}^*\)가 \(0\)에 가까워진다. 그러면 \(t^*\)가 폭발한다. 지수분포처럼 꼬리가 있는 분포에서 \(n = 15\)면 이런 일이 드물지 않다.

실무 결론: 부트스트랩-\(t\)의 결과를 보고할 때는 평균 폭이 아니라 중앙값 폭과 폭의 분위수를 함께 확인하라. 평균 폭만 보면 방법이 완전히 쓸모없어 보이지만, 실제로는 소수 사례의 문제일 수 있다. 반대로 중앙값 폭만 보면 재앙적 사례를 놓친다.

연습문제 4. 본문의 요약표는 BCa를 "기본 선택"으로 권한다. 이 권고가 항상 옳은가? BCa를 쓰지 말아야 할 상황을 세 가지 들어라.

풀이

1. 통계량이 매끄럽지 않을 때.

BCa 연습문제 3에서 보았듯, 중앙값의 잭나이프 가속은 참값과 무관하게 언제나 \(\hat a \approx 0\)이 된다. 잭나이프를 \(n\)번 계산하는 비용을 치르고도 아무 조정을 얻지 못한다. 분위수, 최댓값, 절사평균의 절사 경계 근처 값들도 마찬가지이다.

→ 백분위수 구간을 쓴다.

2. \(n\)이 매우 클 때.

BCa는 \(n\)번의 잭나이프 계산을 요구한다. \(n = 10^6\)이고 통계량이 회귀계수(regression coefficient)라면 잭나이프만으로 백만 번의 회귀 적합이 필요하다.

동시에 \(n\)이 크면 BCa의 이득이 사라진다. 연습문제 2에서 평균은 \(n = 200\)일 때 이득이 \(-0.002\)로 잡음과 구별되지 않았다(분산은 \(+0.029\)가 남았지만 두 방법 모두 명목수준에서 멀었다).

→ 백분위수 구간을 쓴다. 또는 잭나이프 대신 영향함수로 \(\hat a\)를 근사하는 방법도 있다.

3. 부트스트랩 자체가 실패하는 상황.

BCa는 부트스트랩 복제값에서 분위수를 읽는 방법이므로, 부트스트랩 분포 자체가 참 표집분포를 흉내 내지 못하면 조정을 아무리 정교하게 해도 소용이 없다.

→ 부트스트랩이 아니라 다른 접근(모수적 방법, \(m\)-out-of-\(n\) 부트스트랩, subsampling)을 쓴다.

권고를 다시 쓰면

"BCa를 기본으로 쓰라"보다 정확한 지침은 이렇다.

  1. 먼저 부트스트랩 분포를 그려 본다. 종 모양이 아니거나 이산적이면 방법 선택 이전에 문제가 있다.
  2. \(\hat z_0\)과 \(\hat a\)를 계산한다. 둘 다 \(0.05\) 아래면 백분위수로 충분하다.
  3. 둘 중 하나라도 크면 BCa를 쓴다.
  4. 표준오차 공식이 있고 분산안정화 변환도 알면 그 척도에서 부트스트랩-\(t\)가 최선이다.

연습문제 5. 10절은 기본(추축) 구간을 \([2\hat\theta - \hat\theta^*_{(1-\alpha/2)},\ 2\hat\theta - \hat\theta^*_{(\alpha/2)}]\)로 적었고, 백분위수 구간은 \([\hat\theta^*_{(\alpha/2)},\ \hat\theta^*_{(1-\alpha/2)}]\)이다.

(a) 두 구간의 폭이 언제나 같음을 보이고, 두 중점이 \(\hat\theta\)에 대해 서로 대칭임을 보여라.

(b) \(\theta = \sigma^2\)을 추정하여 \(\hat\theta = 1.00\), \(\hat\theta^*_{(0.025)} = 0.30\), \(\hat\theta^*_{(0.975)} = 4.00\)을 얻었다. 두 구간을 적어라. 요약표의 "모수 경계 존중" 행에 기본 구간을 한 칸 더 넣는다면 무엇이라 적어야 하는가?

(c) 분산을 추정할 때 기본 구간의 하한이 음수가 되는 조건을 \(\hat\theta\)와 복제값 분위수로 적어라. 그 조건을 부트스트랩 분포의 모양으로 한 줄 해석하라.

풀이

(a) \(L = \hat\theta^*_{(\alpha/2)}\), \(U = \hat\theta^*_{(1-\alpha/2)}\)로 줄여 쓴다. 백분위수 구간의 폭은 \(U - L\)이고, 기본 구간의 폭은

\[ (2\hat\theta - L) - (2\hat\theta - U) = U - L \]

로 같다. 중점은 각각

\[ m_{\text{pct}} = \frac{L+U}{2}, \qquad m_{\text{basic}} = \frac{(2\hat\theta - U) + (2\hat\theta - L)}{2} = 2\hat\theta - m_{\text{pct}} \]

이므로 \(m_{\text{basic}} - \hat\theta = -(m_{\text{pct}} - \hat\theta)\)이다. 즉 \(x \mapsto 2\hat\theta - x\)는 \(\hat\theta\)을 중심으로 한 반사이고, 기본 구간은 백분위수 구간의 거울상이다. 연습문제 1 의 표에서 두 거리가 \((d_1, d_2) \to (d_2, d_1)\)로 맞바뀐 까닭이 이것이다. \(\square\)

(b) 백분위수 구간은 \([0.30,\ 4.00]\)이다. 기본 구간은

\[ [\,2(1.00) - 4.00,\ \ 2(1.00) - 0.30\,] = [-2.00,\ 1.70] \]

이다. 분산의 구간인데 하한이 \(-2.00\)으로 모수공간 밖이다. 백분위수 구간은 복제값 자체를 끝점으로 쓰므로 \(s^{2*} \ge 0\)인 한 음수가 될 수 없지만, 기본 구간은 복제값을 반사한 값을 끝점으로 쓰므로 그런 보호가 없다. 요약표의 그 행에 기본 구간은 "아니오"로 들어간다(정규구간과 같다).

또 하나 눈여겨볼 것은 상한이다. 백분위수 구간의 상한 \(4.00\)이 기본 구간에서는 \(1.70\)으로 줄었다. 반사는 긴 오른쪽 꼬리를 버리는 것이 아니라 왼쪽으로 옮기는 것이다.

(c) 하한이 음수라는 것은

\[ 2\hat\theta - \hat\theta^*_{(1-\alpha/2)} < 0 \quad \Longleftrightarrow \quad \hat\theta^*_{(1-\alpha/2)} > 2\hat\theta \quad \Longleftrightarrow \quad d_2 = \hat\theta^*_{(1-\alpha/2)} - \hat\theta > \hat\theta \]

이다. (b)에서 \(d_2 = 3.00 > 1.00 = \hat\theta\)이었다.

해석: 부트스트랩 분포의 오른쪽 거리가 추정값 자체보다 클 때, 즉 추정값이 자기 산포에 비해 경계 \(0\)에 가까이 있을 때 일어난다. 이는 10절이 기본 구간을 "변환 불변이 아니다"라고 적은 것과 같은 뿌리다. 반사는 왜도를 고치는 것이 아니라 뒤집는 것이므로, 왜도가 심하면 뒤집힌 꼬리가 경계를 뚫는다.

연습문제 6. 4절의 변환 불변성을 세 걸음으로 따져 본다.

(a) 복제값을 정렬하여 \(\hat\theta^*_{[1]} \le \cdots \le \hat\theta^*_{[B]}\)라 하자. 단조증가 \(m\)에 대해 \(\phi = m(\theta)\)의 복제값은 \(m(\hat\theta^{*(b)})\)이다. 백분위수 구간이 변환 불변임을 순서통계량으로 보여라. 그리고 이 등식이 정확히 성립하려면 \(B\)와 \(\alpha\)에 어떤 조건이 필요한가? np.percentile의 기본 규칙처럼 이웃한 두 순서통계량을 선형보간하면 무슨 일이 생기는가?

(b) \(\theta > 0\)이고 \(\hat\theta = 1.00\), \(\widehat{\text{SE}}_{\text{boot}} = 0.60\)이다. 정규구간을 (i) \(\theta\) 척도에서, (ii) \(\phi = \log\theta\) 척도에서 델타방법 \(\widehat{\text{SE}}_\phi = \widehat{\text{SE}}_{\text{boot}}/\hat\theta\)로 구한 뒤 \(\theta\) 척도로 되돌려서, 각각 적어라. 두 결과로 10절이 정규구간을 "모수 경계를 존중하지 않는다"고 적은 까닭을 보여라.

(c) 요약표는 BCa 의 변환 불변을 "예 (근사적)"으로 적었다. 두 보정계수 \(\hat z_0\)과 \(\hat a\) 가운데 어느 것이 단조변환 아래에서 정확히 불변이고 어느 것이 아닌가? 그래서 괄호 안의 "근사적"이 붙은 것인가?

풀이

(a) \(m\)이 단조증가이면 순서를 보존하므로 \(m(\hat\theta^{*(b)})\)들의 정렬 결과는 \(m(\hat\theta^*_{[1]}) \le \cdots \le m(\hat\theta^*_{[B]})\)이다. 즉 \(j\)번째 순서통계량이 \(j\)번째 순서통계량으로 간다. 백분위수법 2절의 정의대로 끝점을 순서통계량으로 읽으면 \(\phi\)의 구간은

\[ \left[m\!\left(\hat\theta^*_{[\lfloor B\alpha/2 \rfloor]}\right),\ m\!\left(\hat\theta^*_{[\lceil B(1-\alpha/2) \rceil]}\right)\right] = [m(L),\ m(U)] \]

로 정확히 원래 구간의 상이다. \(\square\)

정확성의 조건. 끝점이 하나의 순서통계량이어야 한다. np.percentile의 기본 규칙은 \(q\)번째 분위수를 색인 \(h = q(B-1)\)에서 읽고 \(h\)가 정수가 아니면 이웃한 두 순서통계량을 선형보간한다. 그러므로 \(q = \alpha/2\)와 \(q = 1-\alpha/2\) 모두에서

\[ q(B-1) \in \mathbb{Z} \]

이어야 한다. \(\alpha = 0.05\)이면 \(0.025(B-1) \in \mathbb{Z}\), 즉 \(B - 1\)이 \(40\)의 배수여야 한다(\(B = 41, 81, \ldots, 801, \ldots, 5001\)). 이것이 연습문제 7 에서 \(B = 801\), 연습문제 10 에서 \(B = 5{,}001\)로 둔 까닭이다.

보간이 들어가면 끝점이 가중평균 \((1-f)\hat\theta^*_{[i]} + f\hat\theta^*_{[i+1]}\)이 되는데, 비선형 \(m\)에 대해

\[ m\!\left((1-f)u + fv\right) \ne (1-f)m(u) + f\,m(v) \]

이므로 불변성이 깨진다. 다만 불일치는 이웃한 두 순서통계량의 간격만큼, 곧 \(O(1/B)\)이다. 불변성은 방법의 성질이지만 그 정확한 성립은 분위수를 어떻게 정의하느냐에 달려 있다.

(b) \(z_{0.975} = 1.959964\)이므로 \(1.959964 \times 0.60 = 1.1760\)이다.

(i) \(\theta\) 척도: \(1.00 \pm 1.1760 = [-0.1760,\ 2.1760]\).

(ii) \(\log\) 척도: \(\hat\phi = \log 1.00 = 0\), \(\widehat{\text{SE}}_\phi = 0.60/1.00 = 0.60\)이므로 \(\phi\)의 구간은 \([-1.1760,\ 1.1760]\)이고, 되돌리면

\[ [e^{-1.1760},\ e^{1.1760}] = [0.3085,\ 3.2413] \]

이다.

척도 구간 하한 폭
\(\theta\) \([-0.1760,\ 2.1760]\) 음수 2.352
\(\log\theta\) 에서 만들고 되돌림 \([0.3085,\ 3.2413]\) 양수 2.933

두 구간이 전혀 다르다. 정규구간은 어느 척도에서 만들었는지에 답이 달려 있다 --- 변환 불변이 아니라는 뜻이다. 그리고 \(\theta\) 척도에서는 하한이 \(-0.1760\)으로 모수공간을 벗어난다. \(\hat\theta \pm z\widehat{\text{SE}}\)라는 식 자체가 \(\theta\)의 정의역을 모르기 때문이다. 반면 \(\log\) 척도에서 만든 구간은 지수함수의 상이므로 언제나 양수이다. 백분위수 구간이 경계를 존중하는 것도 같은 이유, 곧 끝점이 복제값(또는 복제값의 상)이기 때문이다.

(c) 편향보정은

\[ \hat z_0 = \Phi^{-1}\!\left(\frac{\#\{\hat\theta^{*(b)} < \hat\theta\}}{B}\right) \]

이고, \(m\)이 단조증가이면 \(m(\hat\theta^{*(b)}) < m(\hat\theta) \iff \hat\theta^{*(b)} < \hat\theta\)이므로 세는 개수가 그대로다. 따라서 \(\hat z_0\)은 정확히 불변이다.

가속은 잭나이프 값 \(\hat\theta_{(-i)}\)의 3 차와 2 차 적률의 비

\[ \hat a = \frac{\sum_i d_i^3}{6\left(\sum_i d_i^2\right)^{3/2}}, \qquad d_i = \bar{\hat\theta}_{(\cdot)} - \hat\theta_{(-i)} \]

이다. 변환하면 잭나이프 값이 \(m(\hat\theta_{(-i)})\)로 바뀌는데, 비선형 \(m\)은 3 차 중심적률과 분산을 서로 다른 비율로 바꾸므로 \(\hat a\)가 달라진다. 아핀변환 \(m(t) = ct + d\)(\(c > 0\))만 예외다. 이때는 \(d_i \to c\,d_i\)이므로 분자가 \(c^3\)배, 분모가 \((c^2)^{3/2} = c^3\)배로 상쇄되어 \(\hat a\)가 그대로다.

그러므로 BCa 구간은 \(\hat z_0\)을 통해서는 정확히, \(\hat a\)를 통해서는 근사적으로만 불변이다. 요약표의 괄호는 바로 이 한 조각을 가리킨다. 실무에서 큰 문제가 아닌 까닭은 \(\hat a = O(n^{-1/2})\)로 작아서 그 불일치가 2 차 오차에 묻히기 때문이다.

연습문제 7. 9절은 무너지는 자료의 첫 처방으로 "변환한다"를 들었다. 그런데 4절은 백분위수 구간이 변환 불변이라고 했다. 두 문장을 함께 읽으면 무엇이 예측되는가?

\(\text{Exp}(1)\), \(n = 15\), \(\sigma^2 = 1\)에서 20,000 회 반복으로 확인하라. \(\hat\theta = s^2\)에 대해 아래 여섯 구간의 포함확률과 중앙값 폭을 재어라(\(B = 801\), 까닭은 연습문제 6(a)).

이름 구간
pct \([\hat\theta^*_{(0.025)},\ \hat\theta^*_{(0.975)}]\)
pct-log \(\exp\) 로 되돌린 \([(\log\hat\theta^*)_{(0.025)},\ (\log\hat\theta^*)_{(0.975)}]\)
norm \(\hat\theta \pm 1.96\,\text{SD}(\hat\theta^*)\)
norm-log \(\exp\{\log\hat\theta \pm 1.96\,\text{SD}(\log\hat\theta^*)\}\)
basic \([2\hat\theta - \hat\theta^*_{(0.975)},\ 2\hat\theta - \hat\theta^*_{(0.025)}]\)
basic-log \(\exp\) 로 되돌린 \([2\log\hat\theta - (\log\hat\theta^*)_{(0.975)},\ 2\log\hat\theta - (\log\hat\theta^*)_{(0.025)}]\)
풀이

예측은 분명하다. pct와 pct-log는 같은 수가 나와야 하고(변환 불변), norm과 basic은 달라져야 한다(불변이 아니므로).

import numpy as np

rng = np.random.default_rng(170)
n, B, M, CH = 15, 801, 20000, 200      # 0.025*(B-1) = 20 이 정수 -> 보간이 없다

names = ["pct", "pct-log", "norm", "norm-log", "basic", "basic-log"]
hit = np.zeros(6, int)
wid = [[] for _ in range(6)]
flip = 0
z = 1.959964

for _ in range(M // CH):
    x = rng.exponential(1.0, (CH, n))
    th = x.var(axis=1, ddof=1)
    idx = rng.integers(0, n, (CH, B, n))
    xb = x[np.arange(CH)[:, None, None], idx]
    m1 = xb.mean(axis=2)
    bs = ((xb * xb).mean(axis=2) - m1 * m1) * n / (n - 1)
    lb = np.log(bs)
    qlo, qhi = np.percentile(bs, [2.5, 97.5], axis=1)
    glo, ghi = np.percentile(lb, [2.5, 97.5], axis=1)
    sd, sdl = bs.std(axis=1, ddof=1), lb.std(axis=1, ddof=1)
    lt = np.log(th)
    iv = [(qlo, qhi),
          (np.exp(glo), np.exp(ghi)),
          (th - z * sd, th + z * sd),
          (np.exp(lt - z * sdl), np.exp(lt + z * sdl)),
          (2 * th - qhi, 2 * th - qlo),
          (np.exp(2 * lt - ghi), np.exp(2 * lt - glo))]
    for k, (lo, hi) in enumerate(iv):
        hit[k] += int(((lo <= 1.0) & (1.0 <= hi)).sum())
        wid[k].append(hi - lo)
    flip += int((((iv[0][0] <= 1) & (1 <= iv[0][1]))
                 != ((iv[1][0] <= 1) & (1 <= iv[1][1]))).sum())

print(f"{'method':10s}{'coverage':>10s}{'med.width':>11s}")
for k, nm in enumerate(names):
    print(f"{nm:10s}{hit[k]/M:10.4f}{np.median(np.concatenate(wid[k])):11.3f}")
print(f"pct 와 pct-log 의 포함 판정이 다른 표본 수: {flip}")

출력:

method      coverage  med.width
pct           0.6576      1.120
pct-log       0.6576      1.120
norm          0.6701      1.168
norm-log      0.7925      1.779
basic         0.6590      1.120
basic-log     0.7740      2.524
pct 와 pct-log 의 포함 판정이 다른 표본 수: 0
방법 원 척도 로그 척도 포함확률 이득 폭의 대가
백분위수 0.6576 0.6576 \(0.0000\) \(1.120 \to 1.120\)
정규 0.6701 0.7925 \(+0.1224\) \(1.168 \to 1.779\)
기본 0.6590 0.7740 \(+0.1150\) \(1.120 \to 2.524\)

읽기 1: 백분위수법에서 로그 변환은 아무것도 하지 않는다. 포함확률이 소수 넷째 자리까지 같고, 20,000 개 표본 가운데 포함 판정이 달라진 것이 하나도 없다. \(B = 801\)에서 두 분위수가 정확히 순서통계량이므로 연습문제 6(a)의 등식이 글자대로 성립한 것이다. 백분위수법은 사용자가 척도를 고르지 않으므로 고칠 척도가 없다.

읽기 2: 변환이 돕는 것은 척도를 잘못 고른 방법들이다. 정규구간은 \(0.670 \to 0.793\), 기본 구간은 \(0.659 \to 0.774\)로 \(0.12\)쯤 오른다. 두 방법은 "\(\hat\theta\) 주변에서 대칭"이라는 틀린 전제를 깔고 있었고, \(\log\) 척도에서는 그 전제가 덜 틀리다. 동시에 폭을 대가로 치른다. basic-log의 중앙값 폭 \(2.524\)는 백분위수의 \(2.25\)배다.

읽기 3: 그래도 \(0.95\)에는 닿지 못한다. 가장 좋은 norm-log도 \(0.7925\)다. 변환은 왜도를 줄이지만 \(n = 15\)로 4 차 적률에 의존하는 양을 추정한다는 근본 문제를 없애지 못한다(9절의 처방 3 이 "표본을 늘린다"인 까닭).

9절의 처방 1 을 정확히 다시 쓰면

"변환한다"는 정규·기본·부트스트랩-\(t\)를 쓸 때의 처방이다. 백분위수와 (거의) BCa 에게는 공집합 처방이다. 변환 불변성은 공짜 점심이 아니라 맞교환이다. 척도를 고를 수고를 면제받는 대신, 척도를 잘 골라서 얻을 이득도 포기한다.

(본문 9절의 표는 같은 설정에서 \(0.677\)이다. 여기의 \(0.6576\)과의 차이는 반복수 3000 대 20,000, \(B\) 1500 대 801 에서 오며, 연습문제 8 이 그 둘을 각각 따져 본다.)

연습문제 8. 요약표는 세 방법 모두에 \(B \ge 5{,}000\)을 권한다. \(B\)를 키우면 무엇이 좋아지고 무엇이 좋아지지 않는가? 두 실험으로 가려라.

(a) \(\text{Exp}(1)\)에서 \(n = 15\)인 표본 하나를 뽑아 고정하고, \(B = 500,\ 2000,\ 8000,\ 32000\)마다 백분위수 구간을 \(200\)번씩 다시 계산하여 두 끝점의 평균과 표준편차를 재어라. \(B\)를 4 배 하면 표준편차가 어떻게 되는가? 참값 \(\sigma^2 = 1\)은 어떻게 되는가?

(b) 이제 표본을 20,000 번 다시 뽑으며 \(B = 50,\ 200,\ 800\)에 대해 포함확률과 중앙값 폭을 재어라.

(c) (a)와 (b)가 재는 오차는 각각 무엇인가? \(B \to \infty\)로 보내면 포함확률은 얼마에 수렴하는가? \(B \ge 5{,}000\) 권고는 둘 중 무엇에 대한 처방인가?

풀이
import numpy as np

rng = np.random.default_rng(34)
n = 15

# (a) 자료를 하나로 고정하고 B 만 키운다 -- 몬테카를로 오차
x = rng.exponential(1.0, n)
th = x.var(ddof=1)
print(f"고정된 한 표본: s^2 = {th:.4f}")
print(f"{'B':>6s}{'lo.mean':>10s}{'lo.sd':>9s}{'hi.mean':>10s}{'hi.sd':>9s}")
for B in (500, 2000, 8000, 32000):
    lo, hi = np.empty(200), np.empty(200)
    for r in range(200):
        bs = x[rng.integers(0, n, (B, n))].var(axis=1, ddof=1)
        lo[r], hi[r] = np.percentile(bs, [2.5, 97.5])
    print(f"{B:6d}{lo.mean():10.4f}{lo.std(ddof=1):9.4f}"
          f"{hi.mean():10.4f}{hi.std(ddof=1):9.4f}")

# (b) 자료를 다시 뽑으며 B 만 키운다 -- 통계적 오차
M, CH = 20000, 200
print(f"{'B':>6s}{'coverage':>10s}{'med.width':>11s}")
for B in (50, 200, 800):
    hit, wid = 0, []
    for _ in range(M // CH):
        y = rng.exponential(1.0, (CH, n))
        idx = rng.integers(0, n, (CH, B, n))
        yb = y[np.arange(CH)[:, None, None], idx]
        m1 = yb.mean(axis=2)
        bs = ((yb * yb).mean(axis=2) - m1 * m1) * n / (n - 1)
        q = np.percentile(bs, [2.5, 97.5], axis=1)
        hit += int(((q[0] <= 1.0) & (1.0 <= q[1])).sum())
        wid.append(q[1] - q[0])
    print(f"{B:6d}{hit/M:10.4f}{np.median(np.concatenate(wid)):11.3f}")

출력:

고정된 한 표본: s^2 = 0.5413
     B   lo.mean    lo.sd   hi.mean    hi.sd
   500    0.1647   0.0110    0.9684   0.0332
  2000    0.1628   0.0050    0.9716   0.0147
  8000    0.1628   0.0029    0.9716   0.0081
 32000    0.1627   0.0014    0.9713   0.0039
     B  coverage  med.width
    50    0.6397      1.045
   200    0.6610      1.117
   800    0.6622      1.140

(a) 상한의 표준편차가 \(0.0332 \to 0.0147 \to 0.0081 \to 0.0039\)로 줄어든다. 연속한 비가 \(2.26,\ 1.81,\ 2.08\)이므로 \(B\)를 4 배 할 때마다 대략 절반, 곧

\[ \text{SD} = O(B^{-1/2}) \]

이다. 하한도 \(0.0110 \to 0.0050 \to 0.0029 \to 0.0014\)로 같다.

그런데 두 평균은 꼼짝하지 않는다. 하한은 \(0.163\), 상한은 \(0.971\)에 머문다. 이 표본에서 참값 \(\sigma^2 = 1\)은 상한 밖이고, \(B\)를 \(500\)에서 \(32{,}000\)으로 64 배 키워도 들어오지 않는다. \(B = 32{,}000\)에서 상한은 \(0.9713 \pm 0.0039\)이므로 \(1\)보다 약 \(7\) 표준편차 아래다. 자료가 \(s^2 = 0.5413\)이라고 말한 순간 이 구간이 \(1\)을 놓치는 것은 정해졌고, 같은 자료를 더 많이 다시 뽑는 일은 그것을 바꾸지 못한다. (\(s^2 = 0.5413\)은 특별히 괴상한 표본도 아니다. \(n = 15\)에서 \(s^2\)의 25 백분위수 근처다.)

(b) 포함확률은 \(0.6397 \to 0.6610 \to 0.6622\)다. \(B = 50\)에서 \(200\)으로 갈 때 \(+0.0213\) 오르고, \(200\)에서 \(800\)으로 갈 때는 \(+0.0012\)로 멈춘다. 20,000 회 반복의 몬테카를로 표준오차가 \(\sqrt{0.66 \times 0.34/20000} = 0.0033\)이므로 뒤의 변화는 잡음과 구별되지 않는다. 중앙값 폭도 \(1.045 \to 1.117 \to 1.140\)으로 비슷하게 멈춘다. \(B = 50\)이 나쁜 것은 \(2.5\)와 \(97.5\) 백분위수를 복제값 50 개에서 읽느라 끝점이 안쪽으로 당겨져 구간이 너무 좁아지기 때문이다.

(c) 두 오차는 다음과 같이 갈린다.

재는 것 줄이는 법 크기
(a) 몬테카를로 오차 --- 같은 자료에서 재표집을 유한하게 한 탓 \(B\)를 키운다 \(O(B^{-1/2})\), 끝점의 SD
(b) 통계적 오차 --- 자료가 \(n = 15\)개뿐인 탓 \(n\)을 키운다 포함확률의 결손 \(0.95 - 0.662 = 0.288\)

\(B \to \infty\)로 보내면 몬테카를로 오차는 \(0\)으로 가고, 포함확률은 "이상적 백분위수 구간"(모든 \(n^n\)개 재표본을 다 쓴 구간)의 값 \(\approx 0.662\)에 수렴한다. \(0.95\)가 아니다. 실제 포함확률을 쪼개 보면

\[ \underbrace{0.6397}_{B=50} = \underbrace{0.95}_{\text{명목}} - \underbrace{0.288}_{\text{통계적 결손}} - \underbrace{0.022}_{\text{몬테카를로 몫}} \]

이고, \(B \ge 800\)에서는 마지막 항이 사라진다. \(B \ge 5{,}000\) 권고는 (a)만을 위한 처방이다. 구간의 끝점을 보고할 자리까지 안정시키고, 특히 BCa 처럼 극단 분위수를 읽는 방법(연습문제 9)에서 필요하다. 포함확률의 결손은 \(n\)과 통계량의 문제이므로 \(B\)로는 손댈 수 없다.

한 줄: \(B\)는 내가 만든 잡음을, \(n\)은 자료가 가진 한계를 지배한다. 보고할 때 둘을 섞어 적으면 독자는 \(B\)를 키워 해결될 문제로 오해한다.

연습문제 9. BCa의 수준 식에서 \(\alpha = 0.05\), \(z_{0.975} = 1.95996\)으로 둔다.

\[ \alpha_1 = \Phi\!\left(\hat z_0 + \frac{\hat z_0 - z_{0.975}}{1 - \hat a(\hat z_0 - z_{0.975})}\right), \qquad \alpha_2 = \Phi\!\left(\hat z_0 + \frac{\hat z_0 + z_{0.975}}{1 - \hat a(\hat z_0 + z_{0.975})}\right) \]

(a) \(\hat z_0 = \hat a = 0\)이면 \(\alpha_1 = 0.025\), \(\alpha_2 = 0.975\)임을 보여라.

(b) \((\hat z_0, \hat a) = (0.10,\ 0)\), \((0,\ 0.05)\), \((0.20,\ 0.10)\) 세 경우의 \(\alpha_1, \alpha_2\)를 백분율로 소수 셋째 자리까지 구하라. 세 경우에서 두 수준이 움직이는 방향이 같은가? 그것이 구간을 어떻게 옮기는가?

(c) \(\hat z_0 = 0.20\)을 고정하고 \(\hat a\)를 키운다. \(\alpha_2\)의 분모가 \(0\)이 되는 \(\hat a\)를 구하고, \(\hat a = 0.10,\ 0.20,\ 0.30\)에서의 \(\alpha_2\)를 적어라. \(B = 5{,}001\)이면 \(\hat a = 0.20\)의 상한은 몇 번째 복제값인가? 요약표의 "2차 \(O(n^{-1})\)"이 보장하지 못하는 것은 무엇인가?

(d) 9절의 설정(\(\text{Exp}(1)\), \(n = 15\), \(\sigma^2\))에서 전형적인 값이 \(\hat z_0 \approx 0.21\), \(\hat a \approx 0.10\)이다. (b)의 결과로 BCa 포함확률이 백분위수의 \(0.68\)에서 \(0.74\)로 오른 까닭을 설명하라.

풀이

(a) \(\hat z_0 = 0\), \(\hat a = 0\)을 넣으면 분모가 \(1\)이고 앞의 \(\hat z_0\)도 \(0\)이므로

\[ \alpha_1 = \Phi(-z_{0.975}) = \Phi(z_{0.025}) = 0.025, \qquad \alpha_2 = \Phi(z_{0.975}) = 0.975 \]

이다. 즉 두 보정이 모두 꺼지면 BCa 는 백분위수 구간 그 자체다. BCa 는 백분위수법을 대체하는 것이 아니라 \((\hat z_0, \hat a)\)만큼 비틀어 놓은 것이다. \(\square\)

(b) 차례로 계산한다. \(z_{0.025} = -1.95996\)을 쓴다.

\((\hat z_0, \hat a) = (0.10,\ 0)\): 분모가 \(1\)이므로 괄호 안은 \(0.10 + (0.10 \mp 1.95996)\)이다.

\[ \alpha_1 = \Phi(-1.75996) = 3.921\%, \qquad \alpha_2 = \Phi(2.15996) = 98.461\% \]

\((\hat z_0, \hat a) = (0,\ 0.05)\):

\[ \alpha_1 = \Phi\!\left(\frac{-1.95996}{1 + 0.05 \times 1.95996}\right) = \Phi(-1.78503) = 3.713\% \]
\[ \alpha_2 = \Phi\!\left(\frac{1.95996}{1 - 0.05 \times 1.95996}\right) = \Phi(2.17290) = 98.511\% \]

\((\hat z_0, \hat a) = (0.20,\ 0.10)\): 아래쪽은 \(\hat z_0 + z_{0.025} = -1.75996\), 분모 \(1 + 0.175996 = 1.175996\)이므로 괄호 안이 \(0.20 - 1.49657 = -1.29657\). 위쪽은 \(\hat z_0 + z_{0.975} = 2.15996\), 분모 \(1 - 0.215996 = 0.784004\)이므로 괄호 안이 \(0.20 + 2.75504 = 2.95504\).

\[ \alpha_1 = \Phi(-1.29657) = 9.739\%, \qquad \alpha_2 = \Phi(2.95504) = 99.844\% \]
\(\hat z_0\) \(\hat a\) \(\alpha_1\) \(\alpha_2\)
0 0 2.500% 97.500%
0.10 0 3.921% 98.461%
0 0.05 3.713% 98.511%
0.20 0.10 9.739% 99.844%

세 경우 모두 두 수준이 함께 올라간다. \(\hat z_0 > 0\)이든 \(\hat a > 0\)이든 효과의 방향이 같다. 수준이 올라가면 읽는 분위수가 올라가므로 하한과 상한이 둘 다 오른쪽으로 옮겨진다. 즉 \((\hat z_0, \hat a)\)가 양수일 때 BCa 가 하는 일은 주로 구간을 옮기는 것이고, 폭을 바꾸는 것은 부수 효과다. (\((0.20, 0.10)\)에서 폭에 해당하는 수준 간격이 \(95\%\)에서 \(90.1\%\)로 줄기까지 한다.)

(c) 분모가 \(0\)인 곳은

\[ 1 - \hat a(\hat z_0 + z_{0.975}) = 0 \quad \Longrightarrow \quad \hat a^\ast = \frac{1}{\hat z_0 + z_{0.975}} = \frac{1}{0.20 + 1.95996} = 0.46297 \]

이다. 그 앞에서 \(\alpha_2\)는 이미 끝으로 밀린다.

\(\hat a\) \(\alpha_2\) \(B = 5{,}001\)에서 읽는 자리
0.10 99.844% 아래에서 4992 번째
0.20 99.997% 아래에서 5000 번째 (끝에서 두 번째)
0.30 100.000% 사실상 최댓값

\(\hat a = 0.20\)이면 상한이 복제값 5001 개 가운데 끝에서 두 번째다. 그 값은 복제값 하나가 바뀌면 함께 바뀌는 양이므로 몬테카를로 오차가 크고(\(B\)를 키워야 하는 까닭 --- 연습문제 8(c)), 그보다 더 나쁜 것은 극단 순서통계량은 부트스트랩이 애초에 잘 추정하지 못하는 양이라는 점이다(연습문제 4 의 셋째 항목).

요약표의 "2차 \(O(n^{-1})\)"은 \(n \to \infty\)에서의 점근 성질이다. 유한한 \(n\)에서 \(\hat a\)가 커져 수준이 \(100\%\)로 밀리는 일, 그래서 상한이 복제값의 최댓값으로 퇴화하는 일은 그 표기가 전혀 막아 주지 않는다. \(\hat a\)는 잭나이프 3 차 적률의 비이므로 \(n\)이 작으면 그 자체가 불안정하다. 차수는 평균적인 약속이고, 식이 부서지는 자리는 따로 확인해야 한다.

(d) \(\hat z_0 \approx 0.21\), \(\hat a \approx 0.10\)은 (b)의 마지막 줄 \((0.20, 0.10)\)과 사실상 같다. 따라서 그 설정에서 BCa 는 \(2.5\%\)--\(97.5\%\) 대신 약 \(9.7\%\)--\(99.8\%\) 분위수를 읽는다. 두 수준이 모두 올라가므로 구간 전체가 위로 옮겨진다.

9절에서 세 방법이 모두 \(0.95\) 아래였던 것은 구간이 참값보다 아래에 놓이는 일이 잦았기 때문인데, 위로 옮기는 보정은 바로 그 결손을 공격한다. 그래서 포함확률이 \(0.68\)에서 \(0.74\)로 오른다. 어느 쪽 꼬리가 얼마나 좋아지는지는 연습문제 10 에서 센다.

연습문제 10. 9절의 세 포함확률 \(0.677\), \(0.736\), \(0.878\)은 모두 명목 \(0.95\) 아래다. 그 결손이 어느 쪽 꼬리에서 생기는지를 가려라.

\(\text{Exp}(1)\), \(n = 15\), \(\sigma^2 = 1\)에서 백분위수·기본·BCa·부트스트랩-\(t\) 네 구간 \([L, U]\)를 같은 부트스트랩 표본으로 만들고, 20,000 회 반복으로 \(P(\sigma^2 < L)\)과 \(P(\sigma^2 > U)\)를 따로 세어라(\(B = 5{,}001\)). 명목값은 양쪽 각각 \(0.025\)이다.

결과를 보고 다음에 답하라. (a) 결손은 폭의 문제인가 위치의 문제인가? (b) 연습문제 3 의 \(t^*\) 절사가 왜 포함확률을 더 떨어뜨렸는가? (c) 기본 구간의 중앙값 폭을 백분위수와 견주어 연습문제 5(a)를 확인하라.

풀이
import numpy as np
from scipy import stats

rng = np.random.default_rng(1017)
n, B, M, CH = 15, 5001, 20000, 50
z = 1.959964
names = ["pct", "basic", "BCa", "boot-t"]
left = np.zeros(4, int)
right = np.zeros(4, int)
wid = [[] for _ in range(4)]
hi_mid = 0                           # th 가 백분위수 구간의 중점보다 위인 표본


def rowq(s, q):                      # 행마다 다른 분위수 (np.percentile 과 같은 선형보간)
    h = np.asarray(q) * (s.shape[1] - 1)
    i0 = np.floor(h).astype(int)
    i1 = np.minimum(i0 + 1, s.shape[1] - 1)
    f = h - i0
    r = np.arange(s.shape[0])
    return s[r, i0] * (1 - f) + s[r, i1] * f


for _ in range(M // CH):
    x = rng.exponential(1.0, (CH, n))
    th = x.var(axis=1, ddof=1)
    co = x - x.mean(axis=1, keepdims=True)
    se = np.sqrt(np.maximum(((co**4).mean(axis=1)
                             - ((co**2).mean(axis=1))**2) / n, 1e-12))

    idx = rng.integers(0, n, (CH, B, n))
    xb = x[np.arange(CH)[:, None, None], idx]
    cc = xb - xb.mean(axis=2, keepdims=True)
    c2 = cc * cc
    m2 = c2.mean(axis=2)
    m4 = (c2 * c2).mean(axis=2)
    bs = m2 * n / (n - 1)
    seb = np.sqrt(np.maximum((m4 - m2 * m2) / n, 1e-12))

    srt = np.sort(bs, axis=1)
    qlo, qhi = rowq(srt, 0.025), rowq(srt, 0.975)
    hi_mid += int((th > 0.5 * (qlo + qhi)).sum())

    # BCa: 편향보정과 잭나이프 가속
    z0 = stats.norm.ppf(np.clip((bs < th[:, None]).mean(axis=1), 1e-6, 1 - 1e-6))
    s1, s2 = x.sum(axis=1, keepdims=True), (x * x).sum(axis=1, keepdims=True)
    m = n - 1
    jk = (s2 - x * x - (s1 - x)**2 / m) / (m - 1)
    d = jk.mean(axis=1, keepdims=True) - jk
    den = ((d**2).sum(axis=1))**1.5
    a = np.where(den > 0, (d**3).sum(axis=1) / (6 * np.maximum(den, 1e-300)), 0.0)
    a1 = stats.norm.cdf(z0 + (z0 - z) / (1 - a * (z0 - z)))
    a2 = stats.norm.cdf(z0 + (z0 + z) / (1 - a * (z0 + z)))

    tt = np.sort((bs - th[:, None]) / seb, axis=1)
    tl, tu = rowq(tt, 0.025), rowq(tt, 0.975)

    iv = [(qlo, qhi),
          (2 * th - qhi, 2 * th - qlo),
          (rowq(srt, a1), rowq(srt, a2)),
          (th - tu * se, th - tl * se)]
    for k, (lo, hi) in enumerate(iv):
        left[k] += int((1.0 < lo).sum())
        right[k] += int((hi < 1.0).sum())
        wid[k].append(hi - lo)

print(f"{'method':9s}{'coverage':>10s}{'P(1<L)':>9s}{'P(1>U)':>9s}{'med.width':>11s}")
for k, nm in enumerate(names):
    w = np.median(np.concatenate(wid[k]))
    print(f"{nm:9s}{1-(left[k]+right[k])/M:10.4f}{left[k]/M:9.4f}"
          f"{right[k]/M:9.4f}{w:11.3f}")
print(f"s^2 이 백분위수 구간의 중점보다 위인 표본의 비율: {hi_mid/M:.4f}")

출력:

method     coverage   P(1<L)   P(1>U)  med.width
pct          0.6622   0.0015   0.3362      1.135
basic        0.6593   0.0137   0.3271      1.135
BCa          0.7224   0.0211   0.2565      1.292
boot-t       0.8775   0.0062   0.1163      3.668
s^2 이 백분위수 구간의 중점보다 위인 표본의 비율: 0.5897
방법 포함확률 \(P(\sigma^2 < L)\) \(P(\sigma^2 > U)\) 중앙값 폭
명목 0.95 0.025 0.025 ---
백분위수 0.6622 0.0015 0.3362 1.135
기본 0.6593 0.0137 0.3271 1.135
BCa 0.7224 0.0211 0.2565 1.292
부트스트랩-\(t\) 0.8775 0.0062 0.1163 3.668

(a) 위치의 문제다. 백분위수 구간의 왼쪽 오차는 \(0.0015\)로 명목 \(0.025\)의 \(1/17\)이고, 오른쪽 오차는 \(0.3362\)로 명목의 13 배다. 양쪽이 명목에 맞았다면 두 오차의 합이 \(0.05\)였을 텐데 실제로는 \(0.338\)이며, 그 가운데 \(0.336\)이 한쪽에서 온다. 구간이 너무 좁은 것이 아니라 너무 낮은 곳에 있다. (하한이 참값을 넘는 일이 거의 없다는 것은, 하한이 쓸모없이 낮다는 뜻이기도 하다.)

이 진단이 BCa 의 성적을 설명한다. BCa 는 폭을 \(1.135 \to 1.292\)로 \(14\%\)만 늘리면서 오른쪽 오차를 \(0.3362 \to 0.2565\)로 깎고, 동시에 왼쪽 오차를 \(0.0015 \to 0.0211\)로 올려 명목 \(0.025\)에 거의 맞춘다. 연습문제 9(d)에서 본 대로 \(\hat z_0 > 0\), \(\hat a > 0\)이 두 수준을 함께 올려 구간을 위로 옮긴 결과다. 양쪽 꼬리를 균형 있게 만드는 것이 2 차 정확도의 실질적 내용이다.

부트스트랩-\(t\)는 다른 길로 간다. 폭을 \(1.135 \to 3.668\)로 \(3.2\)배 늘려 오른쪽 오차를 \(0.1163\)까지 줄이지만, 왼쪽 오차는 \(0.0062\)로 명목보다 더 작아져 균형은 오히려 나빠졌다. 포함확률 \(0.8775\)는 균형으로 번 것이 아니라 크기로 산 것이다. 본문 danger 상자의 "높은 포함확률이 좋은 구간을 뜻하지 않는다"가 이것이다.

(b) 연습문제 3 의 절사는 \(t^*\)의 양쪽 꼬리를 깎아 폭만 줄인다. 그런데 위 표가 말하듯 이 문제에서 모자란 것은 폭이 아니라 위치다. 폭을 줄이면 이미 명목의 13 배인 오른쪽 오차가 더 커질 뿐이므로 포함확률이 \(0.895 \to 0.840 \to 0.798\)로 떨어진 것은 당연한 결과다. 치우친 자리에서 필요한 것은 폭의 조절이 아니라 구간을 옮기는 일이다.

(c) 기본 구간의 중앙값 폭이 \(1.135\)로 백분위수와 소수 셋째 자리까지 같다. 연습문제 5(a)에서 두 구간의 폭이 표본마다 정확히 일치함을 증명했으니 당연하고, 코드가 제대로 돌았다는 점검도 된다. 두 방법의 차이는 위치뿐인데, 그 차이도 작다. 포함확률 \(0.6593\)과 \(0.6622\)의 간격 \(0.0029\)는 몬테카를로 표준오차 \(0.0033\) 안이다.

다만 꼬리별로 보면 방향이 보인다. 기본 구간은 왼쪽 오차가 \(0.0137\)로 더 크고 오른쪽 오차가 \(0.3271\)로 더 작으니, 평균적으로 조금 위에 놓여 있다. 까닭은 마지막 줄에 있다. \(\hat\theta = s^2\)이 백분위수 구간의 중점보다 위인 표본이 \(58.97\%\)다. 그런 표본에서는 \(d_1 > d_2\)이므로 반사하면 구간이 위로 간다. 그러나 이 이동은 \(\hat\theta\)의 위치에 따라 표본마다 방향이 갈리는 들쭉날쭉한 보정이어서, BCa 처럼 체계적으로 한 방향을 밀어 주지 못한다. 거울상은 보정이 아니다.


연습문제 11. 비율 \(\lambda = 1\)인 지수분포에서 크기 \(n = 30\)인 표본을 생성하고 표본평균에 대한 세 가지 부트스트랩 \(95\)% 신뢰구간을 모두 계산하라. 어느 구간이 가장 넓은가? 왜 그런가?

풀이
import numpy as np
rng = np.random.default_rng(0)
data = rng.exponential(scale=1.0, size=30)
print(data.mean())      # 1.1845

lo_p, hi_p, boots = bootstrap_percentile_ci(data, np.mean, rng=rng)
lo_b, hi_b = bootstrap_basic_ci(data, np.mean, boots)
lo_bca, hi_bca, z0, a = bootstrap_bca_ci(data, np.mean, boots)

출력:

1.1844536180110892
방법 구간 폭
백분위수 \([0.7633,\ 1.6777]\) 0.9145
기본 \([0.6912,\ 1.6056]\) 0.9145
BCa \([0.8264,\ 1.8135]\) 0.9871

(\(z_0 = 0.068\), \(a = 0.060\))

BCa가 가장 넓다(\(0.9871\) 대 \(0.9145\), \(8\)% 넓다).

이유는 지수분포의 양의 왜도이다. \(a = 0.060 > 0\)이므로 조정된 백분위수 수준이 둘 다 위로 이동한다.

\[ \alpha_1 = \Phi\!\left(0.068 + \frac{0.068 - 1.96}{1 - 0.060(0.068-1.96)}\right) = \Phi(-1.633) = 0.051 \]
\[ \alpha_2 = \Phi\!\left(0.068 + \frac{0.068 + 1.96}{1 - 0.060(0.068+1.96)}\right) = \Phi(2.383) = 0.991 \]

즉 \([2.5\%,\ 97.5\%]\) 대신 \([5.1\%,\ 99.1\%]\)를 읽는다. 상한이 훨씬 오른쪽으로 밀리는 것이 폭 증가의 주된 원인이다.

백분위수와 기본의 폭이 정확히 같다는 점에 주목하라. 이는 우연이 아니라 항상 성립한다.

\[ (2\hat\theta - \hat\theta^*_{\alpha/2}) - (2\hat\theta - \hat\theta^*_{1-\alpha/2}) = \hat\theta^*_{1-\alpha/2} - \hat\theta^*_{\alpha/2} \]

기본법은 구간을 \(\hat\theta\)에 대해 반사할 뿐 폭을 바꾸지 않는다. 두 방법의 차이는 오직 위치이다. 여기서는 \(0.072\)만큼 왼쪽으로 옮겨져 있는데, 이는 백분위수 구간의 중점이 \(\hat\theta = 1.1845\)보다 \(0.036\) 큰 \(1.2205\)이기 때문이다(\(2 \times 0.036 = 0.072\)). 옮김을 정하는 것은 부트스트랩 평균이 아니다. 실제로 복제값의 평균은 \(\hat\theta\)보다 \(0.0006\)밖에 크지 않다. 평균이 아니라 두 꼬리 분위수의 중점이 어긋나 있는 것이고, 그 불일치가 바로 왜도다.


연습문제 12. 부트스트랩 분포가 \(\hat\theta\)에 대해 정확히 대칭이고 편향이 없으면(\(z_0 = 0\), \(a = 0\)) BCa 구간이 백분위수 구간으로 환원됨을 보여라.

풀이

\(z_0 = 0\)이고 \(a = 0\)이면 조정된 백분위수 수준은

\[ \alpha_1 = \Phi\!\left(0 + \frac{0 + z_{\alpha/2}}{1 - 0}\right) = \Phi(z_{\alpha/2}) = \frac{\alpha}{2} \]
\[ \alpha_2 = \Phi\!\left(0 + \frac{0 + z_{1-\alpha/2}}{1 - 0}\right) = \Phi(z_{1-\alpha/2}) = 1 - \frac{\alpha}{2} \]

가 된다. 이는 정확히 백분위수법이 쓰는 분위수 수준이다. 따라서

\[ \text{CI}_{\text{BCa}} = \bigl[\hat\theta^*_{\alpha/2},\;\hat\theta^*_{1 - \alpha/2}\bigr] = \text{CI}_{\text{pct}} \]

\(\square\)

포아송 보기가 이 성질의 근사적 확인이다. \(z_0 = -0.027\), \(a = 0.013\)으로 둘 다 \(0\)에 가까워 BCa 구간이 백분위수 구간과 소수 넷째 자리까지 일치했다.


연습문제 13. 포함확률 모의실험을 수행하라. \(\chi^2_3\) 분포에서 크기 \(n = 20\)인 표본을 \(2{,}000\)개 뽑는다. 각 표본에서 평균에 대한 백분위수·기본·BCa \(95\)% 신뢰구간을 계산하고, 참 평균 \(\mu = 3\)을 포함하는 비율을 보고하라. 어느 방법이 명목 \(95\)%에 가장 가까운가?

풀이
import numpy as np
from scipy import stats
rng = np.random.default_rng(42)

def run(n=20, M=2000, B=2000, df=3):
    cp = cbs = cb = ct = 0
    zl, zu = stats.norm.ppf(0.025), stats.norm.ppf(0.975)
    for _ in range(M):
        d = rng.chisquare(df, n); th = d.mean()
        b = d[rng.integers(0, n, (B, n))].mean(1)
        lo, hi = np.percentile(b, [2.5, 97.5])
        cp  += lo <= df <= hi
        cbs += (2*th - hi) <= df <= (2*th - lo)
        z0 = stats.norm.ppf(np.clip((b < th).mean(), 1e-6, 1-1e-6))
        jk = (d.sum() - d) / (n - 1); jm = jk.mean()        # 벡터화된 잭나이프
        num = ((jm-jk)**3).sum(); den = 6*(((jm-jk)**2).sum())**1.5
        a = num/den if den > 0 else 0.0
        p1 = stats.norm.cdf(z0 + (z0+zl)/(1 - a*(z0+zl)))
        p2 = stats.norm.cdf(z0 + (z0+zu)/(1 - a*(z0+zu)))
        l2, h2 = np.percentile(b, [100*p1, 100*p2]); cb += l2 <= df <= h2
        ct += stats.ttest_1samp(d, df).pvalue >= 0.05
    return cp/M, cbs/M, cb/M, ct/M
방법 \(n = 20\) \(n = 50\)
백분위수 0.906 0.930
기본 0.892 0.924
BCa 0.914 0.932
\(t\) 구간(비교용) 0.928 0.937

BCa가 세 부트스트랩 방법 중 가장 낫다(\(0.914\) 대 \(0.906\), \(0.892\)). \(\chi^2_3\)의 왜도가 \(\sqrt{8/3} = 1.63\)으로 크기 때문에 왜도 보정이 실제로 도움이 된다.

그러나 개선폭은 작다. \(0.906 \to 0.914\)로 \(0.8\)%p이다. 흔히 "BCa가 훨씬 낫다"고 서술되지만 이 상황에서는 그렇지 않다.

셋 다 명목값에 못 미친다. \(n = 20\)에서 \(0.89\)--\(0.91\)이고, \(n = 50\)에서도 \(0.92\)--\(0.93\)이다. 심지어 \(t\) 구간도 \(0.928\)에 그친다. 자료 자체가 치우쳐 있어 \(n = 20\)으로는 어떤 방법도 \(0.95\)를 달성하지 못한다.

기본법이 가장 나쁘다(\(0.892\)). 반사가 여기서는 잘못된 방향으로 작용한다. 연습문제 5의 주석에서 언급한 백분위수법의 변환 불변성이 치우친 자료에서 우위를 준다.

이 결과를 어떻게 읽어야 하는가

"BCa를 쓰라"가 결론이 아니다. 더 정확한 결론은 세 가지이다.

  1. BCa가 조금 낫지만 마법은 아니다. 잭나이프에 \(n\)번의 추가 계산이 드는 것에 비해 \(1\)%p 개선이 항상 값진 것은 아니다.
  2. 표본크기가 근본 제약이다. \(n = 20\), 왜도 \(1.63\)이면 무엇을 해도 \(0.91\) 근처이다. \(n\)을 늘리는 것이 방법을 바꾸는 것보다 효과가 크다.
  3. 부트스트랩-\(t\)를 시도해 보라. 이 표에 없는 네 번째 방법이며, 치우친 자료에서 종종 가장 잘 작동한다(부트스트랩-\(t\) 참조). 대가는 이중 부트스트랩 또는 표준오차 공식이다.

연습문제 14. 잭나이프 가속계수 \(a\)는 잭나이프 값들의 3차 적률을 포함한다. 표집분포가 양으로 치우친 통계량에서 \(a > 0\)이 되는 이유를 직관적으로 설명하고, 이것이 BCa 구간을 백분위수 구간에 대해 어떻게 이동시키는지 서술하라.

풀이

가속계수는

\[ a = \frac{\sum_{i=1}^{n}(\bar\theta_{(\cdot)} - \hat\theta_{(i)})^3}{6\left[\sum_{i=1}^{n}(\bar\theta_{(\cdot)} - \hat\theta_{(i)})^2\right]^{3/2}} \]

이다. 분자는 잭나이프 값들의 (정규화되지 않은) 3차 중심적률이다.

\(\hat\theta\)의 표집분포가 양으로 치우쳐 있으면, \(\hat\theta\)를 낮추는 관측을 제거했을 때의 잭나이프 값들은 평균 아래에 몰리는 반면, \(\hat\theta\)를 높이는 관측(큰 이상치)을 제거했을 때는 소수의 잭나이프 값이 평균보다 훨씬 위에 놓인다. 이 비대칭이 양의 3차 적률을 만들어 \(a > 0\)이 된다.

\(a > 0\)이면 조정된 백분위수 수준이 위로 이동한다. \(\alpha_1\)과 \(\alpha_2\)가 모두 커진다.

  • \(z_0 + z_{\alpha/2} < 0\)이므로 분모 \(1 - a(z_0 + z_{\alpha/2}) > 1\)이고, 비의 절댓값이 작아져 \(\alpha_1\)이 커진다.
  • \(z_0 + z_{1-\alpha/2} > 0\)이므로 분모 \(1 - a(z_0 + z_{1-\alpha/2}) < 1\)이고, 비가 커져 \(\alpha_2\)가 커진다.

결과적으로 BCa 구간이 백분위수 구간에 비해 오른쪽으로 이동하면서 상단 꼬리가 넓어지고 하단 꼬리가 좁아진다. 양으로 치우친 통계량의 오른쪽 꼬리를 더 많이 담아 포함확률이 개선된다. \(\square\)

연습문제 11이 이를 수치로 보여 준다. 지수 자료에서 \(a = 0.060\)이고 \([2.5\%, 97.5\%] \to [5.1\%, 99.1\%]\)로 이동했다. 하한이 \(0.7633 \to 0.8264\)로 올라가고 상한이 \(1.6777 \to 1.8135\)로 더 크게 올라갔다.

\(a\)가 항상 신뢰할 만하지는 않다

잭나이프 추정값 \(a\)는 \(n\)개의 값에만 기반하므로 작은 \(n\)에서 불안정하다.

더 근본적인 문제는 매끄럽지 않은 통계량에서 잭나이프가 실패한다는 것이다. 중앙값의 경우 관측 하나를 빼는 것이 중앙값을 거의 바꾸지 않거나(짝수 개에서 가운데가 아닌 관측을 뺄 때) 정확히 인접 관측으로 옮긴다. 그 결과 잭나이프 값들이 소수의 값에 몰려 3차 적률이 사실상 \(0\)이 된다.

BCa 연습문제 3에서 확인했듯, 중앙값에 대한 \(\hat{a}\)는 평균 \(0.00001\), 표준편차 \(0.00089\)로 안정적으로 0이다. 즉 왜도가 있어도 탐지하지 못한다. 매끄럽지 않은 통계량에는 BCa 대신 다른 방법을 고려해야 한다.


연습문제 15. 자료가 \(\{1,\,2,\,6\}\)뿐이면(\(n = 3\)) 재표본이 \(3^3 = 27\)가지뿐이고 모두 같은 확률이므로 부트스트랩 분포를 끝까지 열거할 수 있다. 재표집도 몬테카를로 오차도 없다. 표본평균 \(\hat\theta = 3\)에 대해 다음을 모두 손으로 하라.

(1) \(\bar x^{*}\)가 가질 수 있는 값과 그 확률을 분모 \(27\)로 모두 적으시오.

(2) 그 분포에서 \(E^{*}[\bar x^{*}]\)와 \(\operatorname{Var}^{*}(\bar x^{*})\)를 분수로 구하고, 부트스트랩 표준오차의 정리 \(\operatorname{Var}^{*}(\bar x^{*}) = \hat\sigma^2/n\)(\(\hat\sigma^2 = \frac1n\sum_i(x_i-\bar x)^2\))과 맞는지 확인하시오.

(3) 편향보정 \(z_0\)을 정의대로(강한 부등호) 구하고, 보기 1처럼 동점을 반씩 세어 다시 구하시오. 두 값의 차가 \(B\)를 늘리면 줄어드는 것인지 답하시오.

(4) 가속 \(a\)를 잭나이프 정의와 BCa 의 보기 1의 닫힌 꼴 \(\hat\gamma_1/(6\sqrt n)\) 두 길로 구해 같은 값임을 확인하시오.

풀이

(1) 부트스트랩 분포를 통째로. 재표본은 값 \(1,2,6\)을 각각 \((c_1,c_2,c_3)\)번 담은 것이고 그 순서까지 세면 \(3!/(c_1!c_2!c_3!)\)가지다. 합 \(s = c_1 + 2c_2 + 6c_3\)이 \(\bar x^{*} = s/3\)을 정한다.

\((c_1,c_2,c_3)\) 가짓수 \(s\) \(\bar x^{*}\) 확률
\((3,0,0)\) \(1\) \(3\) \(1\) \(1/27\)
\((2,1,0)\) \(3\) \(4\) \(4/3\) \(3/27\)
\((1,2,0)\) \(3\) \(5\) \(5/3\) \(3/27\)
\((0,3,0)\) \(1\) \(6\) \(2\) \(1/27\)
\((2,0,1)\) \(3\) \(8\) \(8/3\) \(3/27\)
\((1,1,1)\) \(6\) \(9\) \(3\) \(6/27\)
\((0,2,1)\) \(3\) \(10\) \(10/3\) \(3/27\)
\((1,0,2)\) \(3\) \(13\) \(13/3\) \(3/27\)
\((0,1,2)\) \(3\) \(14\) \(14/3\) \(3/27\)
\((0,0,3)\) \(1\) \(18\) \(6\) \(1/27\)

가짓수의 합이 \(1+3+3+1+3+6+3+3+3+1 = 27\)로 맞는다. \(7/3\)이나 \(11/3\)은 나올 수 없다. \(s = 3 + c_2 + 5c_3\)이므로 \(c_2+c_3 \le 3\) 아래에서 \(s \in \{3,4,5,6,8,9,10,13,14,18\}\)뿐이다.

(2) 두 적률. 합의 기대는 \(\frac{1}{27}(3\cdot1 + 4\cdot3 + 5\cdot3 + 6\cdot1 + 8\cdot3 + 9\cdot6 + 10\cdot3 + 13\cdot3 + 14\cdot3 + 18\cdot1) = \frac{243}{27} = 9\)이므로

\[ E^{*}[\bar x^{*}] = \frac{9}{3} = 3 = \hat\theta \]

다. 2차는 \(\frac{1}{27}\sum c\,s^2 = \frac{2565}{27} = 95\)이므로 \(E^{*}[(\bar x^{*})^2] = 95/9\)이고

\[ \operatorname{Var}^{*}(\bar x^{*}) = \frac{95}{9} - 9 = \frac{14}{9} \]

이다. 한편 \(\hat\sigma^2 = \frac13\big((-2)^2 + (-1)^2 + 3^2\big) = \frac{14}{3}\)이므로 \(\hat\sigma^2/n = \frac{14}{9}\)로 정확히 같다. 부트스트랩 표준오차는 \(\sqrt{14}/3 = 1.247219\)이고, 이 수는 \(B\)에 무관한 참값이다. 재표집으로 얻는 수는 이것을 \(O(B^{-1/2})\)로 추정할 뿐이다.

(3) 편향보정. 표에서 \(\bar x^{*} < 3\)인 경우가 \(1+3+3+1+3 = 11\)가지, \(= 3\)인 경우가 \(6\)가지, \(> 3\)인 경우가 \(10\)가지다.

\[ P^{*}(\bar x^{*} < \hat\theta) = \frac{11}{27} = 0.407407, \qquad P^{*}(\bar x^{*} = \hat\theta) = \frac{6}{27} = 0.222222 \]

이므로 정의대로라면

\[ z_0 = \Phi^{-1}(0.407407) = -0.234219 \]

이고, 동점을 반씩 나누면 \(11/27 + 3/27 = 14/27 = 0.518519\)에서

\[ z_0 = \Phi^{-1}(0.518519) = +0.046436 \]

이다. 부호가 바뀐다. 보기 1의 포아송 자료에서 본 것과 같은 일이고, 여기서는 그보다 훨씬 심하다. 거기서는 동점의 질량이 \(2.37\%\)였는데 여기서는 \(22.2\%\)다.

차이는 \(B\)를 늘려도 줄지 않는다. \(27\)가지를 모두 센 정확한 분포에서 나온 수이기 때문이다. 재표집으로 \(z_0\)을 구하면 그 값이 \(\Phi^{-1}(11/27)\)로 수렴한다. 동점은 몬테카를로 잡음이 아니라 경험분포 자체의 성질이다. \(n\)이 작거나 자료가 이산이면 복제값이 \(\hat\theta\)와 정확히 겹치는 일이 흔하다.

(4) 가속. 잭나이프 값은 \(\hat\theta_{(1)} = (2+6)/2 = 4\), \(\hat\theta_{(2)} = (1+6)/2 = 3.5\), \(\hat\theta_{(3)} = (1+2)/2 = 1.5\)이고 평균은 \(\bar\theta_{(\cdot)} = 3\)이다. 편차 \(\bar\theta_{(\cdot)} - \hat\theta_{(i)}\)는 \(-1,\ -0.5,\ 1.5\)이므로

\[ \sum_i(\bar\theta_{(\cdot)} - \hat\theta_{(i)})^3 = -1 - 0.125 + 3.375 = 2.25, \qquad \sum_i(\bar\theta_{(\cdot)} - \hat\theta_{(i)})^2 = 1 + 0.25 + 2.25 = 3.5 \]
\[ a = \frac{2.25}{6 \times 3.5^{3/2}} = \frac{2.25}{39.287403} = 0.057270 \]

다. 닫힌 꼴로 가면 \(\hat\mu_2 = 14/3\), \(\hat\mu_3 = (-8-1+27)/3 = 6\)에서 \(\hat\gamma_1 = 6/(14/3)^{3/2} = 0.595170\)이고

\[ a = \frac{\hat\gamma_1}{6\sqrt3} = \frac{0.595170}{10.392305} = 0.057270 \]

으로 여섯 자리까지 같다. BCa 의 보기 1의 유도가 \(n = 3\)에서도 글자 그대로 성립한다. 유도 과정에서 근사를 쓴 데가 없으니 당연하다.

끝으로 (3)과 (4)를 견주라. \(z_0\)의 1차근사가 \(a = 0.0573\)인데, 동점을 반씩 센 \(z_0 = 0.0464\)는 그 근사에 가깝고 정의대로 센 \(-0.2342\)는 부호부터 다르다. \(n = 3\)에서도 1차근사가 맞는 쪽을 가리킨다. 틀린 쪽은 근사가 아니라 강한 부등호다.


연습문제 16. 부트스트랩이 깨지는 자리. \(X_1,\dots,X_n\)이 \(U(0,\theta)\)에서 iid이고 \(\theta\)를 표본최댓값 \(\hat\theta = x_{(n)}\)으로 추정한다. \(n = 30\), \(\alpha = 0.05\)로 둔다.

(1) 부트스트랩 복제값 \(M^{*}\)(재표본의 최댓값)이 \(P^{*}(M^{*} \le x_{(k)}) = (k/n)^n\)을 만족함을 보이시오. \((26/30)^{30} = 0.013664\), \((27/30)^{30} = 0.042391\), \((29/30)^{30} = 0.361662\)를 써서 백분위수 구간이 \([x_{(27)},\ x_{(30)}]\)임을 보이고, 그 포함확률이 정확히 \(0\)임을 말하시오.

(2) 백분위수법만이 아니라 부트스트랩 분포의 분위수를 읽는 어떤 방법도 같은 운명임을 설명하시오. 그 보기로 최댓값 통계량의 잭나이프 가속이 자료에 무관하게

\[ a = \frac{n-2}{6\sqrt{n(n-1)}} \]

임을 유도하고(\(n = 30\)이면 \(0.158215\)), \(z_0 = \Phi^{-1}\big((29/30)^{30}\big) = -0.354021\)과 함께 조정된 백분위점을 구해 BCa 구간이 백분위수 구간과 같아짐을 확인하시오.

(3) 기본 구간은 \([x_{(30)},\ 2x_{(30)} - x_{(27)}]\)이다. 그 포함확률이 모든 \(n\)에서 정확히 \(7/8\)임을 보이시오.

힌트: \(n\)개의 \(U(0,1)\)이 \([0,1]\)을 자르는 \(n+1\)개 간격의 결합분포(joint distribution)는 iid 지수 \(E_1,\dots,E_{n+1}\)을 그 합으로 나눈 것과 같다. 그리고 \(n - n(\alpha/2)^{1/n} \to -\ln(0.025) = 3.6889\)이므로 아래쪽 분위수의 색인은 \(n \ge 10\)이면 늘 \(k_1 = n-3\)이다.

풀이

(1) 최댓값의 부트스트랩 분포는 손으로 다 적을 수 있다. 재표본의 최댓값이 \(x_{(k)}\) 이하라는 것은 \(n\)번의 추출이 모두 가장 작은 \(k\)개 \(\{x_{(1)},\dots,x_{(k)}\}\)에서 나왔다는 것과 같다. 추출이 독립이고 각 추출이 그 집합에 들 확률이 \(k/n\)이므로

\[ P^{*}\big(M^{*} \le x_{(k)}\big) = \left(\frac{k}{n}\right)^{n} \]

이다. 곧 부트스트랩 분포는 순서통계량 위에 놓인 이산분포이고, \(x_{(k)}\)에 실리는 질량은 \((k/n)^n - ((k-1)/n)^n\)이다.

아래쪽 한계는 \((k/30)^{30} \ge 0.025\)를 만족하는 가장 작은 \(k\)다. \((26/30)^{30} = 0.013664 < 0.025 \le 0.042391 = (27/30)^{30}\)이므로 \(k = 27\), 곧 \(x_{(27)}\)이다. 위쪽 한계는 \((k/30)^{30} \ge 0.975\)인 가장 작은 \(k\)인데 \((29/30)^{30} = 0.361662\)조차 \(0.975\)에 한참 못 미치므로 \(k = 30\), 곧 \(x_{(30)} = \hat\theta\)다.

\[ \text{CI}_{\text{pct}} = \big[x_{(27)},\ x_{(30)}\big] \]

자료가 연속이면 \(P(x_{(30)} < \theta) = 1\)이다. 구간의 상한이 언제나 참값보다 작으므로 포함확률이 정확히 \(0\)이다. \(n\)을 얼마로 하든, \(B\)를 얼마로 하든 \(0\)이다. 상한이 \(\hat\theta\)에 붙어 버리는 까닭은 \(M^{*}\)가 \(x_{(30)}\)과 같아질 확률이

\[ 1 - \left(\frac{n-1}{n}\right)^{n} = 1 - 0.361662 = 0.638338 \]

로 \(0.975\)보다 훨씬 크다는 것이다. \(n \to \infty\)에서도 이 질량은 \(1 - e^{-1} = 0.632\)로 남는다.

(2) 분위수를 읽는 방법은 모두 같은 벽에 막힌다. 백분위수·BCa·그 밖의 수준 조정판본은 모두 끝점을 부트스트랩 분포의 분위수로 정한다. 그 분포의 받침이 \(\{x_{(1)},\dots,x_{(30)}\}\) 안에 있으므로 어떤 수준을 읽어도 상한은 \(x_{(30)} = \hat\theta\)를 넘을 수 없다. 참값은 \(\hat\theta\)보다 크므로 포함확률은 어느 수준에서도 \(0\)이다. 기본법만 빠져나가는데, 반사가 받침 밖으로 나갈 수 있기 때문이다.

BCa로 확인한다. 최댓값은 관측 하나를 빼도 거의 변하지 않는다. \(d = x_{(n)} - x_{(n-1)}\)이라 하면 최댓값이 아닌 \(n-1\)개를 뺀 잭나이프 값은 \(x_{(n)}\)이고, 최댓값을 뺀 하나는 \(x_{(n)} - d\)다. 따라서 \(\bar\theta_{(\cdot)} = x_{(n)} - d/n\)이고 편차는

\[ \bar\theta_{(\cdot)} - \hat\theta_{(i)} = \begin{cases} -d/n & (n-1 \text{개})\\ (n-1)d/n & (1 \text{개}) \end{cases} \]

이다. 그러면

\[ \sum_i(\cdot)^3 = \frac{d^3}{n^3}\Big[-(n-1) + (n-1)^3\Big] = \frac{d^3}{n^3}(n-1)n(n-2), \qquad \sum_i(\cdot)^2 = \frac{d^2}{n^2}\Big[(n-1) + (n-1)^2\Big] = \frac{d^2(n-1)}{n} \]

이고

\[ a = \frac{d^3(n-1)(n-2)/n^2}{6\left[d^2(n-1)/n\right]^{3/2}} = \frac{(n-1)(n-2)}{n^2}\cdot\frac{n^{3/2}}{6(n-1)^{3/2}} = \frac{n-2}{6\sqrt{n(n-1)}} \]

다. \(d\)가 약분되어 사라진다. 자료를 전혀 보지 않고도 \(a\)를 알 수 있다는 뜻이고, \(n = 30\)이면 \(28/(6\sqrt{870}) = 0.158215\), \(n \to \infty\)에서 \(1/6\)이다. 잭나이프가 최댓값에 대해 아무 정보도 못 주고 있다는 신호다.

조정된 백분위점을 계산한다. \(z_0 = -0.354021\), \(a = 0.158215\)에서 아래쪽은

\[ w(z_{0.025}) = -0.354021 + \frac{-2.313985}{1 + 0.158215 \times 2.313985} = -0.354021 - 1.693853 = -2.047874 \]
\[ \Phi(-2.047874) = 0.020286 \]

위쪽은

\[ w(z_{0.975}) = -0.354021 + \frac{1.605943}{1 - 0.158215 \times 1.605943} = -0.354021 + 2.152982 = 1.798961 \]
\[ \Phi(1.798961) = 0.963988 \]

곧 \([2.029\%,\ 96.399\%]\)를 읽는다. 아래쪽은 \(0.013664 < 0.020286 \le 0.042391\)이라 여전히 \(x_{(27)}\)이고, 위쪽은 \(0.963988\)이 \((29/30)^{30} = 0.361662\)보다 크므로 여전히 \(x_{(30)}\)이다.

\[ \text{CI}_{\text{BCa}} = \big[x_{(27)},\ x_{(30)}\big] = \text{CI}_{\text{pct}} \]

편향보정과 가속을 다 켜도 구간이 한 치도 움직이지 않는다. 연습문제 12는 \(z_0 = a = 0\)일 때 BCa가 백분위수로 되돌아간다고 했는데, 여기서는 \(z_0 = -0.354\), \(a = 0.158\)로 결코 작지 않은데도 같은 구간이 나온다. 부트스트랩 분포가 위쪽에 \(0.638\)의 점질량을 갖고 있어 백분위점을 어디로 옮겨도 같은 점이 걸리기 때문이다.

(3) 기본 구간의 포함확률. \(M^{*}_{0.975} = x_{(30)}\), \(M^{*}_{0.025} = x_{(27)}\)이므로

\[ \text{CI}_{\text{basic}} = \big[2x_{(30)} - x_{(30)},\ 2x_{(30)} - x_{(27)}\big] = \big[x_{(30)},\ 2x_{(30)} - x_{(27)}\big] \]

다. 아래쪽 \(x_{(30)} \le \theta\)는 항상 참이다. 위쪽은

\[ \theta \le 2x_{(30)} - x_{(27)} \iff \theta - x_{(30)} \le x_{(30)} - x_{(27)} \]

이다. 척도에 무관하므로 \(\theta = 1\)로 둔다. \([0,1]\)을 자르는 간격 가운데 넷을 쓰면 왼쪽은 \(D_1 = 1 - x_{(30)}\)이고 오른쪽은 \(x_{(30)} - x_{(27)} = D_2 + D_3 + D_4\)다. 힌트의 표현을 쓰면 \(D_j = E_j/S\)이고 \(S\)가 양변에서 약분되므로

\[ P\big(\text{포함}\big) = P(D_1 \le D_2+D_3+D_4) = P(E_1 \le E_2+E_3+E_4) \]

다. \(G = E_2+E_3+E_4 \sim \text{Gamma}(3,1)\)이고 \(E_1\)이 독립인 \(\text{Exp}(1)\)이므로

\[ P(E_1 \le G) = 1 - E\big[e^{-G}\big] = 1 - \left(\frac{1}{1+1}\right)^{3} = 1 - \frac18 = \frac78 \]

이다. \(\square\)

\(k_1 = n-3\)은 \(n \ge 10\)이면 늘 성립하므로(힌트) 이 값은 \(n\)에 무관하게 \(0.875\)다. 일반적으로 간격의 개수를 \(m = n - k_1\)이라 하면 포함확률이 \(1 - 2^{-m}\)이고, \(m = \lfloor -\ln(\alpha/2) \rfloor = 3\)이 \(\alpha = 0.05\)의 몫이다.

\(n\)을 늘려도 고쳐지지 않는다는 것이 이 문제의 핵심이다. 백분위수·BCa는 \(0\), 기본은 \(0.875\)에서 멈춘다. 참고로 추축량 \(x_{(n)}/\theta\)의 분포함수가 \(t^n\)이므로 정확한 구간은

\[ \left[\frac{x_{(30)}}{0.975^{1/30}},\ \frac{x_{(30)}}{0.025^{1/30}}\right] = \big[1.000844\,x_{(30)},\ 1.130842\,x_{(30)}\big] \]

로 통째로 \(\hat\theta\)의 오른쪽에 있다. 분위수를 읽는 방법이 결코 닿을 수 없는 자리다.

까닭을 한 줄로 적으면 이렇다. 부트스트랩이 쓰는 가정은 "\(M^{*}/\hat\theta\)의 분포가 \(\hat\theta/\theta\)의 분포를 닮는다"는 것인데, 앞엣것은 \(1\)에 \(0.638\)의 점질량을 갖고 뒤엣것은 연속이다. 모수가 받침의 경계에 있고 통계량이 매끄럽지 않으면 그 닮음이 성립하지 않는다. 중앙값처럼 매끄럽지 않지만 경계와 무관한 통계량은 부트스트랩이 유효하다는 것과 견주어 보라(중앙값의 부트스트랩).


연습문제 17. 연습문제 16을 수치로 확인하라. \(U(0,1)\)에서 \(n = 30\)을 뽑는다(\(\theta = 1\)).

(1) 한 표본에서 \(B = 200{,}000\)번 재표집해 \(P^{*}(M^{*} = x_{(30)})\), \(P^{*}(M^{*} \le x_{(27)})\), \(P^{*}(M^{*} \le x_{(26)})\)을 정확값과 견주고, 세 구간이 \(\theta = 1\)을 덮는지 보이시오.

(2) 잭나이프 가속이 닫힌 꼴 \((n-2)/(6\sqrt{n(n-1)})\)과 같은지 확인하고, BCa 상한이 정말 \(x_{(30)}\)인지 보이시오.

(3) \(B\)를 \(100\)에서 \(100{,}000\)까지 키우며 백분위수 구간의 두 끝을 보이시오.

(4) \(M = 200{,}000\)개 표본으로 백분위수·기본 구간의 포함확률을 재어 \(0\)과 \(7/8\)을 확인하시오. 끝점이 순서통계량의 닫힌 꼴이라는 점을 쓰면 중첩 루프가 필요 없다.

\(B\)를 키워 줄일 수 있는 오차와 그렇지 않은 오차를 가려 적으시오.

풀이

(4)가 중첩 루프로 보이지만 그렇지 않다. 연습문제 16 (1)에서 두 구간의 끝점이 \(x_{(27)}\)과 \(x_{(30)}\)으로 닫힌 꼴임을 알아냈으므로, 표본마다 재표집할 필요 없이 순서통계량만 뽑으면 된다. \(M \times n\) 행렬 하나를 정렬하는 것으로 끝난다.

import numpy as np
from scipy import stats

rng = np.random.default_rng(17)
n = 30
x = np.sort(rng.uniform(0.0, 1.0, n))          # theta = 1
B = 200_000
bm = x[rng.integers(0, n, (B, n))].max(axis=1)

print("== 한 표본에서 본 부트스트랩 최댓값 분포 (n = 30) ==")
print(f"P*(M* = x_(30))   모의 {np.mean(bm == x[-1]):.4f}   정확 {1 - (29 / 30) ** n:.4f}")
print(f"P*(M* <= x_(27))  모의 {np.mean(bm <= x[-4]):.4f}   정확 {(27 / 30) ** n:.4f}")
print(f"P*(M* <= x_(26))  모의 {np.mean(bm <= x[-5]):.4f}   정확 {(26 / 30) ** n:.4f}")

th = x[-1]
lo_p, hi_p = np.percentile(bm, [2.5, 97.5])
print(f"\ntheta_hat = x_(30) = {th:.6f},   x_(27) = {x[-4]:.6f}")
print(f"백분위수 = [{lo_p:.6f}, {hi_p:.6f}]   참값 1 을 덮는가 {lo_p <= 1 <= hi_p}")
print(f"기본     = [{2 * th - hi_p:.6f}, {2 * th - lo_p:.6f}]"
      f"   덮는가 {2 * th - hi_p <= 1 <= 2 * th - lo_p}")

# 잭나이프 가속은 자료에 무관하게 (n-2)/(6 sqrt(n(n-1))) 이다
jack = np.array([np.delete(x, i).max() for i in range(n)])
jm = jack.mean()
a = np.sum((jm - jack) ** 3) / (6 * np.sum((jm - jack) ** 2) ** 1.5)
z0 = stats.norm.ppf(np.mean(bm < th))
za, zu = stats.norm.ppf(0.025), stats.norm.ppf(0.975)
w = lambda z: z0 + (z0 + z) / (1 - a * (z0 + z))
p1, p2 = stats.norm.cdf(w(za)), stats.norm.cdf(w(zu))
lo_c, hi_c = np.percentile(bm, [100 * p1, 100 * p2])
print(f"\nBCa: z0 = {z0:+.6f} (정확 {stats.norm.ppf((29 / 30) ** n):+.6f}),"
      f"  a = {a:.6f} (닫힌 꼴 {(n - 2) / (6 * np.sqrt(n * (n - 1))):.6f})")
print(f"조정된 백분위점 {100 * p1:.3f}% 와 {100 * p2:.3f}%")
print(f"BCa      = [{lo_c:.6f}, {hi_c:.6f}]   덮는가 {lo_c <= 1 <= hi_c}")

print("\n== B 를 키워도 상한은 꼼짝하지 않는다 ==")
for Bk in (100, 1_000, 10_000, 100_000):
    s = x[rng.integers(0, n, (Bk, n))].max(axis=1)
    l, h = np.percentile(s, [2.5, 97.5])
    print(f"B = {Bk:>6}   하한 {l:.6f}   상한 {h:.6f}")

print("\n== 포함확률 (M = 200,000 표본, theta = 1) ==")
M = 200_000
U = np.sort(rng.uniform(0.0, 1.0, (M, n)), axis=1)
xn, xk = U[:, -1], U[:, -4]
cov_p = np.mean((xk <= 1.0) & (1.0 <= xn))
cov_b = np.mean((xn <= 1.0) & (1.0 <= 2 * xn - xk))
print(f"백분위수 {cov_p:.6f}   (정확 0)")
print(f"기본     {cov_b:.6f}   (정확 7/8 = {7 / 8:.6f},"
      f"  몬테카를로 오차 {np.sqrt(7 / 8 * 1 / 8 / M):.6f})")

출력:

== 한 표본에서 본 부트스트랩 최댓값 분포 (n = 30) ==
P*(M* = x_(30))   모의 0.6365   정확 0.6383
P*(M* <= x_(27))  모의 0.0431   정확 0.0424
P*(M* <= x_(26))  모의 0.0138   정확 0.0137

theta_hat = x_(30) = 0.997764,   x_(27) = 0.845075
백분위수 = [0.845075, 0.997764]   참값 1 을 덮는가 False
기본     = [0.997764, 1.150453]   덮는가 True

BCa: z0 = -0.349199 (정확 -0.354021),  a = 0.158215 (닫힌 꼴 0.158215)
조정된 백분위점 2.065% 와 96.504%
BCa      = [0.845075, 0.997764]   덮는가 False

== B 를 키워도 상한은 꼼짝하지 않는다 ==
B =    100   하한 0.838392   상한 0.997764
B =   1000   하한 0.845075   상한 0.997764
B =  10000   하한 0.845075   상한 0.997764
B = 100000   하한 0.845075   상한 0.997764

== 포함확률 (M = 200,000 표본, theta = 1) ==
백분위수 0.000000   (정확 0)
기본     0.874275   (정확 7/8 = 0.875000,  몬테카를로 오차 0.000740)

(1) 분포가 예측대로다. \(P^{*}(M^{*} = x_{(30)})\)이 \(0.6365\)로 정확값 \(0.6383\)에서 \(0.0018\) 떨어져 있는데, 이는 몬테카를로 오차 \(\sqrt{0.638 \times 0.362/200000} = 0.0011\)의 \(1.7\)배다. 누적확률 \(0.0431\)·\(0.0138\)도 정확값 \(0.0424\)·\(0.0137\)과 맞는다. 백분위수 구간의 두 끝은 정확히 \(x_{(27)} = 0.845075\)와 \(x_{(30)} = 0.997764\)로 나왔다. 상한이 \(\hat\theta\)에 붙어 있어 참값 \(1\)을 놓친다. 기본 구간 \([0.997764,\ 1.150453]\)은 덮는다. 이 표본에서는 운이 좋았고, 긴 눈으로 보면 여덟 번에 한 번 놓친다.

(2) 잭나이프 가속이 닫힌 꼴과 여섯 자리까지 같다(\(0.158215\)). 자료를 바꾸어도 이 수는 바뀌지 않는다. \(z_0 = -0.349199\)는 정확값 \(-0.354021\)과 몬테카를로 오차 범위에서 맞는다. 조정된 백분위점 \([2.065\%,\ 96.504\%]\)가 손으로 구한 \([2.029\%,\ 96.399\%]\)와 거의 같고, 구간은 백분위수 구간과 글자 하나 다르지 않다. \(96.5\%\)를 읽어도 \(x_{(30)}\)이 걸리기 때문이다.

(3) 두 오차를 가려 보라. \(B\)를 \(100\)에서 \(100{,}000\)으로 천 배 키우는 동안 상한은 \(0.997764\)에서 꼼짝도 하지 않았다. 하한만 \(0.838392\)에서 \(0.845075\)로 한 번 옮겨 간 뒤 멈춘다. \(B\)가 작을 때의 \(0.838392\)는 분위수 보간이 만든 몬테카를로 오차이고, \(B \ge 1000\)에서 사라진다.

남는 것은 \(B\)로 고칠 수 없는 오차다. 상한이 \(x_{(30)} < \theta\)라는 사실은 경험분포의 받침이 정한 것이므로 재표집을 무한히 해도 그대로다. \(B\)는 "경험분포에서 읽는 값의 정밀도"를 올리고, 경험분포가 모르는 것을 알려 주지는 않는다.

(4) 포함확률이 이론과 맞는다. 백분위수는 \(200{,}000\)번 가운데 한 번도 덮지 않아 \(0.000000\)이고, 기본은 \(0.874275\)로 \(7/8 = 0.875\)에서 몬테카를로 오차 \(0.00074\)의 \(0.98\)배 떨어져 있다. 연습문제 16의 두 계산이 그대로 확인된다.

이 블록이 \(1\)초 안에 끝나는 것도 눈여겨볼 만하다. (4)를 곧이곧대로 표본마다 \(B = 2000\)번씩 재표집하면 \(200{,}000 \times 2000 \times 30 = 1.2 \times 10^{10}\)번의 추출이 되어 몇 시간이 걸린다. 끝점의 닫힌 꼴을 먼저 알아낸 덕에 난수 \(6 \times 10^{6}\)개로 끝났다. 해석이 계산을 이긴다.

연습문제 18. 포함확률 모의실험을 \(n = 30\) 대신 \(n = 100\)으로 실행하라. 표본크기를 늘리면 백분위수법의 포함확률이 어떻게 변하는가? 중심극한정리로 설명하라.

풀이
import numpy as np
from scipy import stats

def cover(n, M=3000, B=2000, scale=3.0, seed=0):
    """Exp(scale) 모집단에서 세 부트스트랩 구간의 경험적 포함확률."""
    rng = np.random.default_rng(seed)
    z = stats.norm.ppf(0.975)
    hits = {"normal": 0, "percentile": 0, "basic": 0}
    for _ in range(M):
        x = rng.exponential(scale, n)
        th = x.mean()
        boot = x[rng.integers(0, n, (B, n))].mean(axis=1)
        se = boot.std(ddof=1)
        lo, hi = np.percentile(boot, [2.5, 97.5])
        hits["normal"] += th - z*se <= scale <= th + z*se
        hits["percentile"] += lo <= scale <= hi
        hits["basic"] += 2*th - hi <= scale <= 2*th - lo
    return {k: round(v / M, 4) for k, v in hits.items()}

for n in (30, 100):
    print(n, cover(n, M=3000, B=2000, scale=3.0))

출력:

30 {'normal': 0.91, 'percentile': 0.913, 'basic': 0.9007}
100 {'normal': 0.9387, 'percentile': 0.9383, 'basic': 0.934}
방법 \(n = 30\) \(n = 100\) 개선
정규 0.912 0.931 +0.019
백분위수 0.913 0.934 +0.021
기본 0.902 0.929 +0.027
BCa 0.922 0.938 +0.016
\(t\) 구간 0.925 0.938 +0.013

백분위수법의 포함확률이 \(0.913\)에서 \(0.934\)로 개선된다. 중심극한정리에 의해 \(n\)이 크면 \(\bar x\)가 근사적으로 \(N(\mu, \sigma^2/n)\)이다. \(\bar x^*\)의 부트스트랩 분포도 같은 정규 모양을 따라가며 왜도가 줄어들므로, 백분위수 분위수가 참 표집 분위수의 좋은 근사가 된다.

그러나 \(n = 100\)에서도 \(0.95\)에 도달하지 못한다. 이 점이 중요하다. 흔히 "\(n\)이 크면 괜찮다"고 하지만, 지수분포처럼 왜도가 \(2\)인 모집단에서는 \(n = 100\)도 충분하지 않다.

왜 그런가. 한쪽 꼬리의 오차를 따로 생각하면 명확해진다. 왜도가 \(\gamma_1\)인 모집단에서 \(t\) 통계량의 각 꼬리 오차는 대략

\[ \frac{\gamma_1}{6\sqrt{n}}(2z_{\alpha}^2 + 1)\phi(z_\alpha) \]

크기이며 \(O(n^{-1/2})\)로만 줄어든다. \(n\)을 \(30\)에서 \(100\)으로 늘리면 오차가 \(\sqrt{30/100} = 0.55\)배로 줄 뿐이다. \(0.95\)에 도달하려면 \(n\)이 수백 이상 필요하다.

네 방법의 순위가 \(n\)에 무관하게 유지된다. BCa \(>\) 백분위수 \(\approx\) 정규 \(>\) 기본이다. 기본법이 가장 나쁜 것은 치우친 자료에서 반사가 잘못된 방향으로 작용하기 때문이다.


연습문제 19. 백분위수 구간과 기본 구간은 서로 뒤집힌 꼴이지만 성질이 같지 않다. 둘을 가르는 성질 하나를 끝까지 짚어라.

(1) \(g\)가 순증가 함수이고 \(\phi = g(\theta)\)라 하자. 복제값을 \(\hat\phi^{*b} = g(\hat\theta^{*b})\)로 두면 \(\phi\)의 백분위수 구간이 \(\theta\)의 백분위수 구간의 \(g\)에 의한 상(像)임을 보여라(분위수는 순서통계량 \(\hat\theta^{*}_{(k)}\)로 정의한다). 기본 구간은 어떤 \(g\)에 대해서만 같은 성질을 갖는가.

(2) 보기 2의 수 \(\hat\theta = 0.384354\), \(L = 0.261750\), \(U = 0.516883\)을 써서 \(g = \log\) 척도에서 기본 구간을 만들고 되돌린 구간을 구해라. 원래 척도의 기본 구간 \([0.251825, 0.506958]\)과 두 끝이 얼마나 어긋나는가. 폭도 견주어라.

(3) \(\theta > 0\)이 보장된 모수(분산 등)에서 기본 구간의 아래끝이 음수가 되는 조건을 \(\hat\theta\)와 \(U\)로 적어라. 복제값이 \(\hat\theta = 4.0\), \(L = 1.2\), \(U = 9.5\)를 줄 때 두 구간을 구해 견주어라. 백분위수 구간에서는 이 일이 결코 생기지 않는 이유는 무엇인가.

풀이

(1) 백분위수 구간은 순증가 변환과 교환된다. \(g\)가 순증가면 순서를 보존하므로 복제값을 정렬한 뒤 \(k\)번째를 고르는 일과 \(g\)를 씌우는 일의 순서를 바꿀 수 있다.

\[ \hat\phi^{*}_{(k)} = g\bigl(\hat\theta^{*}_{(k)}\bigr), \qquad k = 1, \ldots, B \]

수준 \(\alpha/2\)와 \(1-\alpha/2\)에 해당하는 색인을 \(k_1, k_2\)라 하면

\[ \bigl[\hat\phi^{*}_{(k_1)},\, \hat\phi^{*}_{(k_2)}\bigr] = \bigl[g(L),\, g(U)\bigr] = g\bigl([L, U]\bigr) \]

이다. \(\square\) 척도를 바꾸고 구간을 만들든 구간을 만들고 척도를 바꾸든 같다. 로그로 할까 원래 척도로 할까를 고민할 필요가 없다는 뜻이고, 이것이 백분위수법의 가장 큰 미덕이다.

기본 구간은 그렇지 않다. \(\phi\) 척도에서 만들면 \([2g(\hat\theta) - g(U),\; 2g(\hat\theta) - g(L)]\)이고, \(\theta\) 척도의 구간을 옮기면 \([g(2\hat\theta - U),\; g(2\hat\theta - L)]\)이다. 두 식이 모든 \(\hat\theta, L, U\)에서 같으려면 \(g\)가 반사 \(\theta \mapsto 2\hat\theta - \theta\)와 교환해야 하고, 이는 \(g\)가 아핀(\(g(\theta) = a\theta + b\), \(a > 0\))일 때뿐이다. 반사는 덧셈 구조에 기대고 있어 비선형 척도변환에서 깨진다. 정규 구간도 같은 이유로 아핀에서만 동변이다.

(2) 산술 반사가 기하 반사로 바뀐다. 분위수가 \(\log\)와 교환되므로 로그 척도 복제값의 분위수는 \(\log L\)과 \(\log U\)다. 거기서 기본 구간을 만들면

\[ \bigl[2\log\hat\theta - \log U,\; 2\log\hat\theta - \log L\bigr] = \bigl[\log(\hat\theta^2/U),\; \log(\hat\theta^2/L)\bigr] \]

이고 지수를 취해 되돌리면 \([\hat\theta^2/U,\; \hat\theta^2/L]\)이다. \(\hat\theta^2 = 0.384354^2 = 0.147728\)이므로

\[ \left[\frac{0.147728}{0.516883},\; \frac{0.147728}{0.261750}\right] = [0.285805,\; 0.564386] \]
구간 원래 척도에서 로그 척도에서 만들어 되돌림 차이
백분위수 \([0.261750,\, 0.516883]\) \([0.261750,\, 0.516883]\) \(0\)
기본 \([0.251825,\, 0.506958]\) \([0.285805,\, 0.564386]\) 아래끝 \(0.033980\), 위끝 \(0.057428\)

폭도 \(0.255133\)에서 \(0.278580\)으로 \(9.2\%\) 늘었다. 기본 구간은 "어느 척도에서 반사했는가"라는 추가 선택을 요구하고, 그 선택이 답을 \(9\%\) 넘게 흔든다. 자료는 하나인데 답이 둘이면 둘 다 의심스럽다.

한 가지 덧붙이면, np.percentile의 선형보간을 쓰면 비선형 \(g\)에서 (1)의 동변성이 소수 아래 자리에서 조금 깨진다(보간은 덧셈 연산이므로 \(g\)와 교환하지 않는다). 순서통계량으로 분위수를 정의하면 정확하다.

(3) 기본 구간은 모수공간을 벗어날 수 있다. 아래끝이 음수라는 것은

\[ 2\hat\theta - U < 0 \iff U > 2\hat\theta \]

곧 위쪽 복제 분위수가 추정값의 두 배를 넘으면 생긴다. 왜도가 큰 통계량에서는 흔한 일이다. \(\hat\theta = 4.0\), \(L = 1.2\), \(U = 9.5\)면 \(U = 9.5 > 8 = 2\hat\theta\)이므로 조건이 걸린다.

  • 백분위수: \([1.2,\; 9.5]\)
  • 기본: \([2(4.0) - 9.5,\; 2(4.0) - 1.2] = [-1.5,\; 6.8]\)

분산의 \(95\%\) 신뢰구간이 \(-1.5\)에서 시작한다. 더 나쁜 것은 위끝이다. 복제값의 위쪽 꼬리가 \(9.5\)까지 뻗어 있는데 구간은 \(6.8\)에서 끊긴다 — 자료가 오른쪽으로 보낸 정보를 반대로 읽는다.

백분위수 구간의 두 끝은 복제값 그 자체다. 각 재표집 표본의 분산이 늘 양수이므로 그 순서통계량도 양수이고, 모수공간이 \((0, \infty)\)로 닫혀 있는 한 구간이 그 밖으로 나갈 길이 없다. 반면 \(2\hat\theta - \hat\theta^{*}\)는 복제값이 아니라 산술로 만들어 낸 수라서 그런 보장이 없다.

연습문제 18에서 기본 구간의 포함확률이 넷 가운데 가장 낮았던(\(n = 30\)에서 \(0.902\)) 것도 같은 뿌리다. 치우친 자료에서 반사는 구간을 왜도의 반대쪽으로 밀어 버리고, 극단에서는 모수공간 밖으로까지 민다.


연습문제 20. 네 가지 부트스트랩 신뢰구간(정규, 백분위수, 기본, BCa)의 포함확률을 치우친 통계량에서 비교하라. \(\text{Exp}(1)\) 자료의 중앙값(\(m = \ln 2 = 0.6931\))을 대상으로 \(n = 30\)에서 모의실험하라.

풀이
import numpy as np
from scipy import stats
rng = np.random.default_rng(1)
n, B, M = 30, 1000, 1500
true = np.log(2)
cov = {"normal": 0, "pct": 0, "basic": 0, "bca": 0}

for _ in range(M):
    x = rng.exponential(1, n)
    th = np.median(x)
    idx = rng.integers(0, n, (B, n))
    bs = np.median(x[idx], axis=1)

    se = bs.std(ddof=1)
    cov["normal"] += th - 1.96*se <= true <= th + 1.96*se

    lo, hi = np.percentile(bs, [2.5, 97.5])
    cov["pct"] += lo <= true <= hi
    cov["basic"] += 2*th - hi <= true <= 2*th - lo

    z0 = stats.norm.ppf(np.clip((bs < th).mean(), 1e-6, 1 - 1e-6))
    jk = np.array([np.median(np.delete(x, i)) for i in range(n)])
    d = jk.mean() - jk
    a = (d**3).sum() / (6 * ((d**2).sum())**1.5)
    zl, zu = -1.959964, 1.959964
    a1 = stats.norm.cdf(z0 + (z0 + zl) / (1 - a*(z0 + zl)))
    a2 = stats.norm.cdf(z0 + (z0 + zu) / (1 - a*(z0 + zu)))
    lo, hi = np.percentile(bs, [100*a1, 100*a2])
    cov["bca"] += lo <= true <= hi

for k, v in cov.items():
    print(k, round(v / M, 3))

출력:

normal 0.933
pct 0.943
basic 0.821
bca 0.945
방법 포함확률
정규 0.933
백분위수 0.943
기본 (추축) 0.821
BCa 0.945

기본 구간이 극적으로 실패한다. 포함확률이 \(0.821\)로 명목값보다 13%p 낮다. 본문 절 \(3\) 의 표에서 평균을 대상으로 했을 때 기본 구간은 \(0.902\)였다 --- 가장 낮기는 했지만 다른 셋과 한 자리 차이였다. 중앙값으로 바꾸면 그 차이가 열 배로 벌어진다.

이유는 반사(reflection)의 방향이 틀렸기 때문이다. 지수분포의 중앙값은 표집분포가 오른쪽으로 치우쳐 있다. 백분위수 구간은 이 왜도를 그대로 반영하여 오른쪽으로 늘어난 구간을 준다. 기본 구간은 \(2\hat{\theta}\)에서 빼므로 그 왜도를 왼쪽으로 뒤집어 참값이 있는 방향과 반대로 늘린다.

# 부트스트랩 분포와 참 표집분포의 비대칭을 비교한다
sk = []
for _ in range(400):
    x = rng.exponential(1, 30)
    idx = rng.integers(0, 30, (4000, 30))
    sk.append(stats.skew(np.median(x[idx], axis=1)))
print(round(np.mean(sk), 3))        # 0.569  (부트스트랩 분포의 왜도)

true_m = [np.median(rng.exponential(1, 30)) for _ in range(200000)]
print(round(stats.skew(true_m), 3)) # 0.532  (참 표집분포의 왜도)

출력:

0.569
0.532

두 왜도가 같은 부호이다. 부트스트랩 분포와 참 표집분포가 같은 방향으로 치우쳐 있다는 뜻이며, 이런 상황에서는 백분위수 구간이 옳고 기본 구간이 틀린다.

BCa는 \(\hat{z}_0\)과 \(\hat{a}\)로 이 방향을 자료에서 추정하므로 \(0.945\)를 달성한다.

교훈: "기본 구간이 백분위수 구간보다 이론적으로 낫다"는 서술을 자주 보지만, 그것은 부트스트랩 분포의 왜도가 참 표집분포의 왜도와 반대일 때에만 맞다. 왜도 방향을 모른다면 BCa를 쓰거나 최소한 백분위수 구간을 쓰는 편이 안전하다.


정리하며

백분위수, BCa, 부트스트랩-\(t\) 방법은 정교함이 커지는 위계를 이룬다. 백분위수법은 가장 단순하지만 1차 정확도에 그친다. BCa와 부트스트랩-\(t\)는 서로 다른 방식으로 2차 정확도를 달성한다. BCa는 편향과 가속 보정으로 분위수 수준을 조정하고, 부트스트랩-\(t\)는 통계량을 스튜던트화하여 근사 추축량을 만든다. 일반적인 용도로는 BCa가 권장 기본값이고, 표준오차 공식을 바로 쓸 수 있으면 부트스트랩-\(t\)가 낫다.

다음 쪽 중앙값의 부트스트랩 (코드)로 넘어가며 17.2절을 마무리한다. 중앙값은 표준오차의 닫힌 꼴이 없는 통계량이고, 그래서 부트스트랩이 가장 값있는 자리다.