콘텐츠로 이동

앤더슨–달링 검정

개요

들어가는 이야기 — 표본이 커지는데 임계값도 커진다

\(\mathcal{N}(1, 10^2)\) 에서 \(n = 1000\) 개를 뽑아 이 검정을 걸면 \(A^2 = 0.2432\) 가 나오고, scipy 는 \(p\) 값 대신 임계값 다섯 개 \([0.574,\ 0.653,\ 0.784,\ 0.914,\ 1.088]\) 를 돌려준다. 왜 \(p\) 값이 없는가, 그리고 그 다섯 수는 어디서 온 것인가.

그 다섯 수를 \(n\) 마다 다시 재 보면 더 이상한 일이 보인다. \(n = 20\) 의 \(5\%\) 임계값이 \(0.692\) 로 \(n = 1000\) 의 \(0.784\) 보다 \(12\%\) 낮다. 표본이 작은데 기준이 느슨해지는 셈이다. 방향이 그쪽인 까닭은 모수를 자료에서 추정했다는 데 있다 — 추정한 모수로 표준화하면 경험분포가 기준분포 쪽으로 끌려와 \(A^2\) 이 작게 나오고, 그 효과가 작은 표본에서 크다. 보정을 생략하고 점근값 \(0.787\) 을 \(n = 20\) 에 그대로 쓰면 검정이 명목보다 작은 크기로 굴러간다.

이 검정이 사 오는 것은 꼬리다. 적분 안에 \(1/\{F_0(x)(1 - F_0(x))\}\) 라는 가중을 넣어 꼬리에서의 차이를 가운데보다 크게 센다. 그래서 꼬리만 오염된 자료에서 콜모고로프–스미르노프보다 훨씬 예민하고, 금융 자료처럼 가운데는 멀쩡하고 꼬리가 문제인 자리에서 주력이 된다. 다만 가중이 센다는 것은 꼬리의 몇 점에 결과가 더 많이 매인다는 뜻도 된다.

그러면 가중함수는 정확히 어디에 무게를 싣고, 그 대가로 무엇을 내주는가. 그리고 \(p\) 값이 꼭 필요할 때는 무엇을 쓰면 되는가. \(\S 2\) 가 가중의 뜻을 그림으로 풀고 \(\S 5\) 와 \(\S 6\) 이 두 구현을 견주며, \(\S 8\) 이 꼬리 가중이 실제로 사 오는 검정력을 잰다.

두 칸짜리 그림. 왼쪽은 꾸러미가 돌려주는 5 퍼센트 임계값을 표본크기에 대해 그린 것으로 n = 20 의 0.692 에서 n = 1000 의 0.784 까지 올라가 점근값 0.787 에 닿는다. 오른쪽은 그 표를 쓸 때와 점근값을 그대로 쓸 때의 실제 1 종 오류율이다

왼쪽. 임계값은 내가 다시 재지 않고 꾸러미가 돌려주는 것을 그렸다 — 독자가 자기 자리에서 보는 수가 그것이기 때문이다. \(n = 20\) 의 \(0.692\) 가 \(n = 1000\) 의 \(0.784\) 보다 \(12\%\) 낮다. 표본이 작은데 기준이 느슨해지는 셈이고, 모수를 자료에서 추정했기 때문이다. 오른쪽. 그래서 그 보정을 생략하고 점근값 \(0.787\) 을 작은 표본에 그대로 쓰면 \(n = 20\) 에서 실제 크기가 \(0.032\) 로 명목보다 작아진다. \(n\) 을 따라 움직이는 표가 그 자리를 메우고 있는 것이다. 반복은 자리마다 \(20{,}000\) 회다.

확인한 곳 — 이 쪽 「이 책에 두 번 더 나오는 이름」 상자와 그 출처 줄. 통계량과 임계값은 모두 직접 계산하고 모의실험한 값이다

앤더슨–달링 검정은 콜모고로프–스미르노프 검정을 개선한 것으로, 표본이 정규분포 같은 특정 분포에서 왔는지 평가하도록 설계되었다. 꼬리에서의 이탈에 특히 민감하여 작은 표본에서 정규성(normality) 이탈을 탐지하는 데 특히 유용하다.

묻는 것은 다른 정규성 검정과 같다. 귀무가설(null hypothesis) \(H_0\) 는 자료가 정규분포를 따른다는 것이고 대립가설(alternative hypothesis) \(H_a\) 는 따르지 않는다는 것이다. 기각하면 「정규가 아니다」까지만 말하고 어느 쪽으로 벗어났는지는 말하지 않는다.


1. 통계량 — A² 를 어떻게 계산하는가

앤더슨–달링 검정통계량(test statistic) \(A^2\)은 다음 단계로 계산한다.

  1. 자료 정렬: 표본자료 \(X_1, X_2, \dots, X_n\)을 오름차순으로 정렬하여 \(X_{(1)} \leq X_{(2)} \leq \dots \leq X_{(n)}\)을 얻는다.

  2. 자료 표준화: 각 자료점을 평균 0, 분산 1이 되도록 표준화한다. 이 변환이 자료에 정규성을 강제하는 것은 아니라는 점에 유의하라. 각 자료점 \(X_i\)에 대해 표준화 값 \(Z_i\)를 계산한다.

    \[ Z_i = \frac{X_i - \mu}{\sigma} \]

    여기서 \(\mu\)는 표본평균(sample mean), \(\sigma\)는 표본표준편차이다.

  3. 기준분포의 누적분포함수(cumulative distribution function) 계산: 정렬된 각 표준화 값 \(Z_{(i)}\)에 대해 표준정규분포의 누적분포함수 \(F(Z_{(i)})\)를 계산한다. 경험분포함수(empirical distribution function)는 정렬한 순서 \(i\) 자체가 대신한다 — \(i\) 번째로 작은 값에서 그 높이가 \(i/n\) 이기 때문이다.

  4. 검정통계량 \(A^2\) 을 계산한다.

    \[ A^2 = -n - \frac{1}{n} \sum_{i=1}^{n} \left[ (2i-1) \left( \ln(F(Z_{(i)})) + \ln(1 - F(Z_{(n+1-i)})) \right) \right] \]

    여기서 \(n\)은 표본크기이고 \(F(Z_{(i)})\)는 정렬된 각 표준화 자료점 \(Z_{(i)}\)에서의 정규분포 누적분포함수이다.

    이 공식은 아래쪽과 위쪽 꼬리를 함께 반영하여 분포 꼬리에서의 이탈에 검정이 더 민감해지게 한다.

그림으로 보는 통계학 1. 이 책에 두 번 더 나오는 이름

쪽 이름에 사람이 둘 들어 있는데 쪽이 그들을 소개하지 않는다. 앞의 앤더슨은 테디 앤더슨(\(1918\)–\(2016\))이고, 이 책에 이미 두 번 더 나와 있다.

그는 다변량 자료 분석의 사람이었다. \(1946\) 년부터 컬럼비아에서, \(1967\) 년부터 스탠퍼드에서 가르쳤고, \(1958\) 년에 낸 『다변량 통계분석 입문』은 그 분야를 정의한 교과서로 꼽힌다. 위 통계량 \(A^2\) 은 그의 업적 가운데 작은 조각이다.

그의 다른 검정은 도구변수 쪽에 있다. 12.4절 도구변수 (입문) 가 「도구가 약할 때」의 대처로 드는 앤더슨–루빈 신뢰집합이 그것이고, 같은 이름이 6.2절 일반화 적률법과 8.1절 신뢰구간의 기초, 9.5절 검정과 구간의 쌍대성에도 나온다. 분포 적합도(goodness of fit)와 약한 도구변수는 전혀 다른 문제다.

그런데 두 검정을 나란히 놓으면 같은 모양이 보인다. 둘 다 표준적인 귀무분포를 믿을 수 없는 자리에서 쓸 수 있는 기준을 만드는 일이다.

  • 이 쪽의 \(A^2\) 은 경험분포와 기준분포의 거리를 그 자리의 분산으로 나눈다. \(\S 2\) 가 「꼬리에 무게를 싣는다」고 부르는 가중 \(1/[F_0(1-F_0)]\) 은 고른 것이 아니라 그 나눗셈에서 따라 나온 것이다.
  • 앤더슨–루빈은 \(1\) 단계 추정의 불확실성에 기대지 않는 검정을 세운다. 그래서 도구가 아무리 약해도 포함확률이 보장되고, 대가로 구간이 무한이나 공집합이 될 수 있다 — 8.1절이 적어 둔 그 성질이다.

한쪽은 「어디를 얼마나 세게 볼지」를 분산이 정하게 두었고, 다른 쪽은 「무엇에 기대지 않을지」를 정했다. 귀무분포를 손으로 고르지 않는다는 점이 같다.

확인한 곳 — 테디 앤더슨의 생몰년(\(1918\) 년 \(6\) 월 \(5\) 일–\(2016\) 년 \(9\) 월 \(17\) 일), \(1946\) 년부터 컬럼비아 · \(1967\) 년부터 스탠퍼드에서 가르친 것, \(1958\) 년 『An Introduction to Multivariate Statistical Analysis』가 다변량 분석 분야를 정의한 교과서로 꼽히는 것, 그리고 앤더슨–달링 적합도 검정(goodness-of-fit test)과 동시방정식 모형의 앤더슨–루빈 과대식별 검정이 같은 사람의 것이라는 것을 확인했다(앤더슨–바하두르 알고리즘과 구면 자료의 앤더슨–스티븐스 통계량도 그의 이름을 쓴다). 두 검정의 발상을 나란히 읽은 마지막 세 문단은 이 책이 두 쪽에서 세운 성질을 맞대어 본 것이다


2. 꼬리에 무게를 싣는다는 말의 뜻

위 합 공식은 정체를 감추고 있다. \(A^2\)은 사실 KS와 같은 재료 — 경험분포함수와 기준분포함수의 차이 — 를 쓰되, 그 차이를 분포의 위치에 따라 다르게 저울질한 적분이다.

\[ A^2 = n \int_{-\infty}^{\infty} \frac{\bigl[\hat F_n(x) - F_0(x)\bigr]^2}{F_0(x)\,\bigl[1 - F_0(x)\bigr]}\, dF_0(x) \]

분모의 \(F_0(1 - F_0)\)은 가운데(\(F_0 = 0.5\))에서 최대 \(0.25\)이고 꼬리로 갈수록 0에 가까워진다. 따라서 그 역수인 가중치는 가운데에서 가장 작고 꼬리에서 폭발한다. 아래 왼쪽 칸이 그 가중함수이며, 세로축은 로그 척도다.

AD 통계량의 가중함수와 한 표본에서 구역별 기여도를 보인 그림

숫자로 보면 차이가 분명하다. 분포의 정중앙에서 생긴 불일치는 무게 \(4.0\)을 받는다. 하위 5% 지점의 같은 크기 불일치는 \(21.1\), 하위 1% 지점에서는 \(101\)을 받는다. 정중앙 대비 25배이다. KS와 크라메르–폰 미제스(Cramér–von Mises, CvM)는 이 곡선 대신 어디서나 \(1\)인 평평한 직선을 쓴다. 두 검정의 철학적 차이 전부가 이 한 장의 그림에 들어 있다.

오른쪽 칸은 그 가중이 실제 자료에서 어떻게 작동하는지를 보인다. \(n = 200\)인 표본에서 12%를 표준편차 3배짜리 관측값으로 오염시킨 뒤, 각 관측값이 통계량에 기여하는 몫을 분포의 다섯 구역으로 나누어 모았다. 무가중으로 보면 가운데 50% 구간이 전체의 \(63.3\%\)를 만들고, 양 끝 5%씩은 합쳐서 \(0.5\%\)밖에 기여하지 않는다. KS나 CvM이 꼬리를 사실상 보지 않는다는 뜻이다. AD 가중을 걸면 가운데 몫이 \(40.8\%\)로 내려가고, 양 끝 5%의 몫이 \(13.6\%\)와 \(12.2\%\), 합쳐서 \(25.8\%\)로 뛴다. 같은 자료, 같은 불일치인데 저울만 바꿨더니 꼬리의 발언권이 50배 커진 것이다.

이 구조가 AD 검정의 장점이자 한계다. 두꺼운 꼬리나 극단의 이상치(outlier)처럼 꼬리에서 일어나는 이탈에는 대단히 예민하다. 반대로 꼬리는 멀쩡한데 가운데 모양만 다른 이탈 — 예를 들어 봉우리가 둘인 자료 — 에서는 그만한 이점이 없다. 어떤 저울을 쓸지는 무엇이 문제가 될지에 대한 사전 판단이며, 그 판단이 틀리면 저울도 틀린다.


3. 검정 — 표본크기마다 임계값이 다르다

검정통계량 \(A^2\)을 계산한 뒤에는 대상 분포 유형과 표본크기에 맞는 앤더슨–달링 분포의 임계값과 비교한다. 임계값은 유의수준 \(\alpha\)(예: 0.01, 0.05, 0.10)에 따라 선택한다.

  • 주어진 \(\alpha\)의 임계값보다 \(A^2\)이 크면 \(p\) 값이 \(\alpha\) 아래가 되어 귀무가설을 기각한다.
  • \(A^2\)이 임계값보다 작으면 \(p\) 값이 \(\alpha\) 위가 되어 귀무가설을 기각할 증거가 부족하다.

4. stats.anderson을 이용한 Python 구현

보기 1. 임계값 표로 판정하기. \(\mathcal{N}(1, 10^2)\)에서 \(n = 1000\)개를 뽑으면 \(A^2 = 0.2432\)이고 다섯 유의수준 모두에서 기각하지 못한다.

(1) 이 쪽의 세 보기는 \(\mathcal{N}(1, 10^2)\)과 \(\mathcal{N}(0, 1)\)을 번갈아 쓰는데 \(A^2\)이 모두 \(0.2432\)다. 왜 그런지 공식에서 보이시오. 그런데 끝자리까지 완전히 같지는 않다. 그것은 왜인가.

(2) 임계값 \([0.574,\ 0.653,\ 0.784,\ 0.914,\ 1.088]\)은 어디서 온 수인가. \(n\)에 어떻게 의존하며 \(n = 20\)이면 얼마가 되는가.

풀이

(1) \(A^2\)은 위치와 척도에 불변이다. 통계량이 자료에 의존하는 경로는 표준화 값

\[ Z_i = \frac{X_i - \bar X}{S} \]

하나뿐이다. \(Y_i = cX_i + d\) (\(c > 0\))로 옮기고 늘이면 \(\bar Y = c\bar X + d\)이고 \(S_Y = cS_X\)이므로

\[ Z_i(Y) = \frac{(cX_i + d) - (c\bar X + d)}{cS_X} = \frac{c(X_i - \bar X)}{cS_X} = Z_i(X) \]

로 \(c\)와 \(d\)가 완전히 약분된다. 표준화 값이 같으면 \(F(Z_{(i)})\)도 같고 합 공식의 모든 항이 같으니 \(A^2\)도 같다. 이것은 근사가 아니라 항등식이다.

씨앗을 고정하면 normal(1, 10, 1000)이 normal(0, 1, 1000)의 \(10\)배에 1을 더한 것과 정확히 같으므로(\(c = 10\), \(d = 1\)) 두 보기의 \(A^2\)은 같은 수여야 한다. 실제로

\[ A^2(\mathcal{N}(1,10^2)\text{ 자료}) = 0.2432179174631983, \qquad A^2(\mathcal{N}(0,1)\text{ 자료}) = 0.2432179174634257 \]

로 소수 열두째 자리까지 같다. 차이는 \(2.3\times10^{-13}\)이고 부동소수점 반올림이 전부다. 자료를 10배로 늘려 더한 뒤 다시 나누는 과정에서 유효숫자 아래쪽이 조금 어긋나며, 거기에 로그 1000개를 더하면서 그 오차가 쌓인다. 수학적으로는 완전히 같은 수다.

"평균과 표준편차를 바꿔도 결론은 같아야 한다"는 코드의 주석은 그래서 결론보다 강한 말이다. 결론만 같은 것이 아니라 통계량 자체가 같다.

한 가지 덧붙이면, 표준화에 쓰는 \(S\)가 \(1/(n-1)\)짜리인지 \(1/n\)짜리인지는 불변성과 무관하지만 값에는 영향을 준다. 정의대로 손계산하면 ddof=1로 \(0.2432179174633120\), ddof=0으로 \(0.2425011779185979\)가 나오고, scipy의 값과 맞는 쪽은 ddof=1이다. 셋째 자리에서 갈린다.

(2) 스티븐스의 표본크기 보정이다. scipy는 모수를 추정한 경우(\(\mu\), \(\sigma\)를 둘 다 표본에서 재는 경우)의 점근 임계값

\[ A^2_{\infty} = [0.576,\ 0.656,\ 0.787,\ 0.918,\ 1.092] \quad (\alpha = 15, 10, 5, 2.5, 1\%) \]

를 표본크기로 나누어 보정한다.

\[ A^2_{\text{crit}}(n) = \frac{A^2_{\infty}}{1 + \dfrac{4}{n} - \dfrac{25}{n^2}} \]

\(n = 1000\)에서 분모가 \(1 + 0.004 - 0.000025 = 1.003975\)이므로 \(0.576/1.003975 = 0.5737\) 등이 되어 반올림하면 \([0.574, 0.653, 0.784, 0.914, 1.088]\)으로 출력과 정확히 맞는다.

\(n\)이 작으면 분모가 커져 임계값이 내려간다.

\(n\) 15% 10% 5% 2.5% 1%
20 \(0.506\) \(0.577\) \(0.692\) \(0.807\) \(0.960\)
50 \(0.538\) \(0.613\) \(0.736\) \(0.858\) \(1.021\)
100 \(0.555\) \(0.632\) \(0.759\) \(0.885\) \(1.053\)
1000 \(0.574\) \(0.653\) \(0.784\) \(0.914\) \(1.088\)

\(n = 20\)의 5% 임계값 \(0.692\)는 \(n = 1000\)의 \(0.784\)보다 \(12\%\) 작다. 보정의 방향을 눈여겨볼 것. 작은 표본에서 임계값이 낮아지는 것은 \(\mu\)와 \(\sigma\)를 표본에서 추정했기 때문이다. 추정한 모수로 표준화하면 경험분포가 기준분포에 억지로 끌어당겨져 \(A^2\)이 작게 나오는데, 그 효과가 작은 표본에서 크다. 보정을 생략하고 점근값 \(0.787\)을 \(n = 20\)에 그대로 쓰면 검정이 지나치게 보수적이 되어 명목보다 작은 크기로 굴러간다. 같은 함정의 더 극적인 사례가 릴리포스 검정 쪽에 있다.

import numpy as np
from scipy import stats

np.random.seed(0)

# 평균과 표준편차를 바꿔도 결론은 같아야 한다. 정규성 검정은 위치와
# 척도가 아니라 모양을 묻기 때문이다.
# data = np.random.normal(0, 1, 1000)
data = np.random.normal(1, 10, 1000)

# scipy 의 anderson 은 p 값 대신 유의수준별 임계값을 돌려준다.
# 통계량이 임계값보다 크면 기각이다.
result = stats.anderson(data)
statistic = result.statistic
print(f"Anderson-Darling Test: Statistic={statistic}")

# 임계값은 유의수준이 낮아질수록 커진다. 통계량 하나로 여러 수준의
# 판정을 한꺼번에 읽을 수 있다.
for significance_level, critical_value in zip(result.significance_level, result.critical_values):
    if statistic >= critical_value:
        print(f"At {significance_level}% significance level: Reject H_0. The data is not normally distributed.")
    else:
        print(f"At {significance_level}% significance level: Fail to reject H_0. The data is normally distributed.")

출력:

Anderson-Darling Test: Statistic=0.24321791746319832
At 15.0% significance level: Fail to reject H_0. The data is normally distributed.
At 10.0% significance level: Fail to reject H_0. The data is normally distributed.
At 5.0% significance level: Fail to reject H_0. The data is normally distributed.
At 2.5% significance level: Fail to reject H_0. The data is normally distributed.
At 1.0% significance level: Fail to reject H_0. The data is normally distributed.

불변성과 임계값의 출처를 함께 확인한다.

import numpy as np
from scipy import stats

np.random.seed(0)
a = np.random.normal(1, 10, 1000)   # 보기 1·3 의 자료
np.random.seed(0)
b = np.random.normal(0, 1, 1000)    # 보기 2 의 자료
print(f"a 가 10b + 1 인가: {np.array_equal(a, 10 * b + 1)}")

ra, rb = stats.anderson(a), stats.anderson(b)
print(f"A2(a) = {ra.statistic:.16f}")
print(f"A2(b) = {rb.statistic:.16f}")
print(f"두 값의 차 = {abs(ra.statistic - rb.statistic):.3e}")

# 정의대로 손계산. 표준화에 쓰는 표준편차가 ddof=1 인지 0 인지가 갈린다.
def A2(x, ddof):
    z = np.sort((x - x.mean()) / x.std(ddof=ddof))
    n = len(z)
    F = stats.norm.cdf(z)
    i = np.arange(1, n + 1)
    return -n - np.sum((2 * i - 1) * (np.log(F) + np.log(1 - F[::-1]))) / n

print(f"\n손계산 (ddof=1) = {A2(b, 1):.16f}")
print(f"손계산 (ddof=0) = {A2(b, 0):.16f}")

# 임계값의 출처: Stephens 의 표본크기 보정
base = np.array([0.576, 0.656, 0.787, 0.918, 1.092])
for nn in (20, 50, 100, 1000):
    print(f"n = {nn:>4}: {np.round(base / (1 + 4.0 / nn - 25.0 / nn**2), 3)}")
print(f"scipy 가 준 임계값 (n = 1000): {ra.critical_values}")

출력:

a 가 10b + 1 인가: True
A2(a) = 0.2432179174631983
A2(b) = 0.2432179174634257
두 값의 차 = 2.274e-13

손계산 (ddof=1) = 0.2432179174633120
손계산 (ddof=0) = 0.2425011779185979
n =   20: [0.506 0.577 0.692 0.807 0.96 ]
n =   50: [0.538 0.613 0.736 0.858 1.021]
n =  100: [0.555 0.632 0.759 0.885 1.053]
n = 1000: [0.574 0.653 0.784 0.914 1.088]
scipy 가 준 임계값 (n = 1000): [0.574 0.653 0.784 0.914 1.088]

세 가지가 맞아떨어진다. 불변성이 \(10^{-13}\) 수준에서 성립하고, 정의대로 손계산한 \(A^2\)이 scipy의 값과 열두 자리까지 같으며(ddof=1일 때), 스티븐스 보정식이 출력된 임계값을 그대로 재현한다. \(\square\)


5. stats.anderson에서 p 값을 얻을 수 있는가

SciPy의 stats.anderson() 함수는 \(p\) 값을 직접 제공하지 않는다. 검정통계량과 특정 유의수준에서의 임계값만 돌려준다.

왜 직접적인 p 값이 없는가

앤더슨–달링 검정은 각 유의수준(정규분포의 경우 15%, 10%, 5%, 2.5%, 1%)에 대해 모의실험이나 이론적 분포표에서 얻은 미리 정해진 임계값을 쓴다. 앤더슨–달링 통계량의 분포는 표본크기와 검정 대상 분포에 따라 달라지므로 정확한 \(p\) 값을 계산하는 일이 복잡하다.

근사 p 값 (정규성 검정의 경우)

정규성 검정에서 근사 \(p\) 값이 필요하다면 두 가지 선택지가 있다.

선택지 1: statsmodels 사용

statsmodels 라이브러리가 근사 \(p\) 값을 함께 제공하는 구현을 제공한다.

보기 2. p 값으로 판정하기. 같은 자료에 statsmodels의 normal_ad를 걸면 통계량에 \(p\) 값이 붙어 나온다.

(1) normal_ad의 통계량이 scipy.stats.anderson의 것과 같은가. 몇째 자리까지 같은지 확인하고, 표준화에 쓰는 표준편차가 어느 판본인지 정의대로 손계산해 가리시오.

(2) scipy가 주지 않는 \(p\) 값을 statsmodels는 어떻게 만드는가. 그 과정을 손으로 밟아 \(0.7659878263029309\)를 재현하시오.

풀이

(1) 같은 부동소수점 수이고, 표준화는 ddof=1이다. 두 함수가 돌려주는 통계량은 모두

\[ A^2 = 0.2432179174634257 \]

로 마지막 비트까지 같다. 정의대로 손계산하면 \(0.2432179174633120\)이 나와 열두째 자리에서 갈리는데, 이는 합을 더하는 순서가 달라 생기는 반올림 차이다. 중요한 것은 ddof=0으로 표준화했을 때의 \(0.2425011779185979\)와는 셋째 자리에서 갈린다는 점이다. 두 라이브러리 모두 \(1/(n-1)\)짜리 표본표준편차로 표준화한다.

(2) 표본크기 보정 한 번과 구간별 근사식 한 줄이다. normal_ad는 먼저 통계량을 보정한다.

\[ A^{2\ast} = A^2\left(1 + \frac{0.75}{n} + \frac{2.25}{n^2}\right) \]

\(n = 1000\)이면 괄호가 \(1 + 0.00075 + 0.00000225 = 1.00075225\)이므로 \(A^{2\ast} = 0.2434008781\)이다. 그다음 \(A^{2\ast}\)가 떨어지는 구간에 따라 네 개의 근사식 가운데 하나를 쓴다.

\(A^{2\ast}\) 구간 \(p\) 값 공식
\([0,\ 0.200)\) \(1 - \exp(-13.436 + 101.14\,A^{2\ast} - 223.73\,A^{2\ast 2})\)
\([0.200,\ 0.340)\) \(1 - \exp(-8.318 + 42.796\,A^{2\ast} - 59.938\,A^{2\ast 2})\)
\([0.340,\ 0.600)\) \(\exp(0.9177 - 4.279\,A^{2\ast} - 1.380\,A^{2\ast 2})\)
\([0.600,\ 13]\) \(\exp(1.2937 - 5.709\,A^{2\ast} + 0.0186\,A^{2\ast 2})\)

\(A^{2\ast} = 0.2434\)는 두 번째 구간이므로

\[ p = 1 - \exp\bigl(-8.318 + 42.796(0.2434008781) - 59.938(0.2434008781)^2\bigr) = 0.7659878263029309 \]

이고 normal_ad가 돌려준 값과 열여섯 자리까지 같다.

여기서 두 가지를 눈여겨볼 것. 첫째, 이 \(p\) 값은 분석적으로 유도된 것이 아니라 모의실험 표에 곡선을 맞춘 근사식이다. 구간 경계에서 공식이 바뀌므로 \(A^{2\ast}\)가 \(0.200\)이나 \(0.340\)을 가로지르는 자리에서는 \(p\) 값이 매끄럽지 않다. 둘째, 네 번째 구간의 상한 \(13\)을 넘으면 statsmodels는 \(p = 0\)을 돌려준다. 자릿수가 필요한 자리에서 \(p\)를 \(0\)으로 보고하면 안 되므로, 그런 경우에는 \(A^2\) 자체를 적는 편이 정직하다.

scipy가 \(p\) 값 대신 임계값 표를 주는 이유도 여기서 보인다. 근사식은 쓸 만하지만 정확하지는 않다. 임계값 표는 "5% 수준에서 기각/기각 못 함"이라는 이항 판정만 주되 그 판정은 믿을 만하고, 근사 \(p\) 값은 연속적인 수를 주지만 그 수의 끝자리는 곡선 맞춤의 산물이다.

import numpy as np
from statsmodels.stats.diagnostic import normal_ad

np.random.seed(0)
data = np.random.normal(0, 1, 1000)

# statsmodels 의 normal_ad 는 같은 통계량에 p 값까지 붙여 준다.
# 임계값 표를 읽는 대신 p 값으로 바로 판단하고 싶을 때 쓴다.
statistic, p_value = normal_ad(data)
print(f"Anderson-Darling Test: Statistic={statistic}, p-value={p_value}")

출력:

Anderson-Darling Test: Statistic=0.2432179174634257, p-value=0.7659878263029309

통계량의 일치와 \(p\) 값의 출처를 함께 확인한다.

import numpy as np
from scipy import stats
from statsmodels.stats.diagnostic import normal_ad

np.random.seed(0)
data = np.random.normal(0, 1, 1000)
n = data.size
ad2, p = normal_ad(data)
print(f"normal_ad:        A2 = {ad2:.16f},  p = {p:.16f}")
print(f"scipy.anderson:   A2 = {stats.anderson(data).statistic:.16f}")

# 정의대로 손계산 — 표준화에 ddof=1 을 쓴다.
z = np.sort((data - data.mean()) / data.std(ddof=1))
F = stats.norm.cdf(z)
i = np.arange(1, n + 1)
A2_hand = -n - np.sum((2 * i - 1) * (np.log(F) + np.log(1 - F[::-1]))) / n
print(f"손계산 (ddof=1):  A2 = {A2_hand:.16f}")

# statsmodels 의 p 값: 표본크기 보정 뒤 구간별 근사식
ad2a = ad2 * (1 + 0.75 / n + 2.25 / n**2)
print(f"\n보정된 A2* = {ad2a:.10f}  ->  구간 [0.200, 0.340)")
p_hand = 1 - np.exp(-8.318 + 42.796 * ad2a - 59.938 * ad2a**2)
print(f"손계산 p = 1 - exp(-8.318 + 42.796 A2* - 59.938 A2*^2) = {p_hand:.16f}")
print(f"normal_ad p                                            = {p:.16f}")

출력:

normal_ad:        A2 = 0.2432179174634257,  p = 0.7659878263029309
scipy.anderson:   A2 = 0.2432179174634257
손계산 (ddof=1):  A2 = 0.2432179174633120

보정된 A2* = 0.2434008781  ->  구간 [0.200, 0.340)
손계산 p = 1 - exp(-8.318 + 42.796 A2* - 59.938 A2*^2) = 0.7659878263029309
normal_ad p                                            = 0.7659878263029309

두 라이브러리의 통계량이 완전히 같고, 손으로 밟은 \(p\) 값이 normal_ad의 값과 끝까지 같다. \(p = 0.766\)은 앞의 임계값 비교에서 1% 수준까지 모두 기각하지 못한 결과와 일치한다. \(\square\)

선택지 2: 임계값으로 해석하기

추가 라이브러리 없이 대략적인 근사를 원한다면 검정통계량과 제공된 임계값의 비교로 \(p\) 값의 범위를 해석할 수 있다.

  • 어떤 유의수준의 임계값보다 검정통계량이 작으면 \(p\) 값이 그 유의수준보다 크다.
  • 임계값보다 검정통계량이 크면 \(p\) 값이 그 유의수준보다 작다.

normal_ad를 이용한 Python 구현

보기 3. 치우친 자료에 적용 — 그 전에, 이 자료는 정말 치우쳐 있는가

(1) 이 보기가 실제로 넣는 자료는 \(\mathcal{N}(1, 10^2)\)이다. 왜도(skewness)를 재어 치우쳤는지 판정하고, \(A^2\)이 보기 2의 값과 같은 까닭을 말하시오.

(2) 정말로 치우친 자료를 넣으면 어떻게 되는가. \(\text{Lognormal}(0, 0.6^2)\)으로 바꾸어 \(A^2\)과 \(p\) 값을 구하고, 보기 2에서 본 근사식의 어느 구간으로 떨어지는지 확인하시오.

풀이

(1) 치우쳐 있지 않다. 이 자료는 완전한 정규자료다. 왜도를 재면

\[ g_1 = +0.0339, \qquad G_1 = +0.0339, \qquad g_2 = -0.0468 \]

이고 왜도 검정의 \(p\) 값이 \(0.6598\)이다. 앞 절에서 본 대로 \(n = 1000\)에서 유의한 왜도의 경계가 \(0.1515\)인데 관측값은 그 \(22\%\)에 지나지 않는다. 제목이 "치우친 자료"라고 하지만 코드가 뽑는 것은 평균 1, 표준편차 10인 정규자료다. 활성화된 줄과 주석 처리된 줄 모두 np.random.normal이니, 이 보기만으로는 왜도에 대해 아무것도 확인할 수 없다.

\(A^2\)이 보기 2와 같은 것은 보기 1에서 본 위치·척도 불변성 때문이다. 씨앗이 같으므로 이 자료는 보기 2의 자료를 10배 하고 1을 더한 것이고, 표준화 단계에서 그 변환이 완전히 약분된다. 따라서

\[ A^2 = 0.2432179175, \qquad p = 0.7659878263 \]

으로 보기 2와 같은 수가 나온다. 정보가 새로 더해지지 않는다.

(2) 대수정규를 넣으면 \(A^2 = 38.07\)이 되고 normal_ad는 \(p = 0\)을 돌려준다. \(\sigma = 0.6\)인 대수정규의 이론 왜도는

\[ \gamma_1 = (e^{\sigma^2} + 2)\sqrt{e^{\sigma^2} - 1} = (e^{0.36} + 2)\sqrt{e^{0.36} - 1} = 2.2601 \]

이고 표본값은 \(g_1 = 1.8107\)이다(유한표본에서 왜도가 아래로 깎인다). 통계량은

자료 \(A^2\) 5% 임계값 \(p\)
\(\mathcal{N}(1, 10^2)\) \(0.2432\) \(0.784\) \(0.7660\)
\(\text{Lognormal}(0, 0.6^2)\) \(38.0734\) \(0.784\) 0.0

으로, 치우친 자료의 \(A^2\)이 5% 임계값의 48.6배다. 압도적인 기각이다.

그런데 \(p\) 값이 정확히 0.0으로 찍히는 것이 눈여겨볼 대목이다. 보정된 통계량이 \(A^{2\ast} = 38.1020\)인데, 보기 2에서 본 근사식의 마지막 구간이 \([0.600,\ 13]\)까지만 정의되어 있다. statsmodels는 상한을 넘으면 계산을 포기하고 \(0\)을 돌려준다. 네 번째 구간의 공식을 상한 밖으로 억지로 늘려 쓰면

\[ p = \exp(1.2937 - 5.709\times38.1020 + 0.0186\times38.1020^2) = 6.6\times10^{-83} \]

이 나오는데, 이 수에는 아무 근거가 없다. 곡선 맞춤이 \(A^{2\ast} \le 13\) 범위에서만 보증되기 때문이다. 그러므로 이런 경우에는 \(p\) 값을 보고하지 말고 \(A^2 = 38.07\)과 임계값 \(0.784\)를 나란히 적는 것이 정직하다. "\(p < 10^{-10}\)" 정도로 쓰는 것도 가능하지만, 0.0을 액면 그대로 옮겨 적는 것은 잘못이다.

import numpy as np
from statsmodels.stats.diagnostic import normal_ad

np.random.seed(0)

# data = np.random.normal(0, 1, 1000)
data = np.random.normal(1, 10, 1000)

# Anderson-Darling 은 꼬리 쪽 이탈에 특히 민감하다. 꼬리가 문제가 되는
# 금융 자료에서 이 검정을 즐겨 쓰는 까닭이다.
statistic, p_value = normal_ad(data)
print(f"Anderson-Darling Test: Statistic={statistic}, p-value={p_value}")

# 결과 해석
alpha = 0.05
if p_value <= alpha:
    print("Reject H_0: The data is not normally distributed.")
else:
    print("Fail to reject H_0: The data is normally distributed.")

출력:

Anderson-Darling Test: Statistic=0.243217917463312, p-value=0.7659878263032931
Fail to reject H_0: The data is normally distributed.

자료가 치우쳤는지 재고, 정말 치우친 자료를 넣어 본다.

import numpy as np
from scipy import stats
from statsmodels.stats.diagnostic import normal_ad

np.random.seed(0)
data = np.random.normal(1, 10, 1000)   # 이 보기가 실제로 쓰는 자료
n = data.size
print("이 보기의 자료 — 치우쳐 있는가?")
print(f"  g1 = {stats.skew(data):+.4f},  G1 = {stats.skew(data, bias=False):+.4f}")
print(f"  g2 = {stats.kurtosis(data):+.4f}")
print(f"  skewtest p = {stats.skewtest(data)[1]:.4f}")
ad2, p = normal_ad(data)
print(f"  A2 = {ad2:.10f},  p = {p:.10f}")

# 정말로 치우친 자료를 넣으면
np.random.seed(0)
sk = np.random.lognormal(0, 0.6, 1000)
ad2s, ps = normal_ad(sk)
ad2a = ad2s * (1 + 0.75 / n + 2.25 / n**2)
print(f"\n대수정규 자료 (sigma = 0.6)")
print(f"  g1 = {stats.skew(sk):+.4f}   (이론 {(np.exp(0.36) + 2) * np.sqrt(np.exp(0.36) - 1):+.4f})")
print(f"  A2 = {ad2s:.4f},  보정된 A2* = {ad2a:.4f}  ->  네 번째 구간 [0.600, 13]")
print(f"  근사식 p = {np.exp(1.2937 - 5.709 * ad2a + 0.0186 * ad2a**2):.6g}")
print(f"  normal_ad p = {ps:.6g}")
print(f"  scipy 임계값 5% = {stats.anderson(sk).critical_values[2]:.3f}"
      f"  (A2 가 {ad2s / stats.anderson(sk).critical_values[2]:.1f} 배)")

출력:

이 보기의 자료 — 치우쳐 있는가?
  g1 = +0.0339,  G1 = +0.0339
  g2 = -0.0468
  skewtest p = 0.6598
  A2 = 0.2432179175,  p = 0.7659878263

대수정규 자료 (sigma = 0.6)
  g1 = +1.8107   (이론 +2.2601)
  A2 = 38.0734,  보정된 A2* = 38.1020  ->  네 번째 구간 [0.600, 13]
  근사식 p = 6.59708e-83
  normal_ad p = 0
  scipy 임계값 5% = 0.784  (A2 가 48.6 배)

유도한 이론 왜도 \(2.2601\)이 표본 \(1.8107\)과 같은 방향에 있고, \(A^{2\ast} = 38.10\)이 근사식의 정의 구간 \([0.600,\ 13]\)을 벗어나 normal_ad가 \(p = 0\)을 내놓는 것까지 확인된다. 이 보기의 제목은 자료와 맞지 않으며, 왜도를 보려면 자료를 바꿔야 한다. \(\square\)


6. stats.anderson과 normal_ad 중 무엇을 쓸 것인가

  1. 정규성에 국한되지 않는 일반적인 분포 검정이 필요하고 \(p\) 값이 필요 없다면 stats.anderson이 낫다. 정규, 지수, 와이불(Weibull), 로지스틱, 극값 분포를 검정할 수 있고 각각의 임계값을 제공한다.

  2. 정규성 검정이 목표이고 \(p\) 값이 필요하다면 statsmodels의 normal_ad가 이상적이다. 정규성 검정을 위해 특별히 설계되었고 근사 \(p\) 값을 포함하므로 전통적인 가설검정 틀에서 결과를 해석하기 쉽다.

권장 사항

명확한 \(p\) 값 해석이 필요한 정규성 검정이 초점이면 normal_ad를 쓴다. 여러 분포에 대해 유연하게 검정하려면 stats.anderson을 쓰고 제공된 임계값으로 결과를 해석한다.


보기 4. 섞인 자료에 앤더슨–달링 검정. \(\mathcal{N}(0,1)\) 230개에 \(\text{Lognormal}(0, 0.6^2)\) 70개를 섞은 \(n = 300\) 표본에서 \(A^2 = 1.0034\)가 나와 2.5% 수준까지 기각하고 1%에서는 기각하지 못한다.

(1) 같은 자료에 샤피로–윌크·자크–베라·다고스티노 \(K^2\)·릴리포스를 걸면 각각 어떤 \(p\) 값을 주는가. 앤더슨–달링이 가장 보수적인가.

(2) "AD가 꼬리 가중 덕분에 KS보다 낫다"는 주장을 검정력으로 확인하시오. 이 혼합 대립에서 네 검정의 순위는 어떻게 되며, AD가 1등인가.

풀이

(1) 가장 보수적인 것은 릴리포스이고, 앤더슨–달링은 그다음이다. 같은 표본에서

검정 통계량 \(p\) 값 5% 판정
자크–베라 \(JB = 58.5069\) \(1.97\times10^{-13}\) 기각
다고스티노 \(K^2\) \(K^2 = 26.6879\) \(1.60\times10^{-6}\) 기각
샤피로–윌크 \(W = 0.9723\) \(1.52\times10^{-5}\) 기각
앤더슨–달링 \(A^2 = 1.0034\) — (2.5% 임계값 \(0.9060\) 초과, 1% 임계값 \(1.0780\) 미달) 기각
릴리포스 \(D = 0.0470\) \(0.1617\) 기각 못 함

이다. \(A^2 = 1.0034\)는 1% 임계값 \(1.0780\)에서 \(0.0746\) 모자란다. 다른 세 검정이 \(p\)를 \(10^{-5}\) 아래로 밀어 내리는 것과 견주면 앤더슨–달링이 상당히 조심스러운 편이다. 그러나 진짜로 못 잡는 것은 릴리포스다. \(p = 0.162\)로 5% 수준에서 기각하지 못한다.

까닭은 쪽 위의 가중함수 그림이 말해 준다. 이 자료의 이탈은 대수정규 성분이 오른쪽 꼬리에 들여놓은 큰 값들에 몰려 있다. 릴리포스(=KS)는 분포의 모든 지점을 똑같이 저울질하므로 꼬리에서 벌어진 틈이 가운데의 잡음에 묻힌다. \(A^2\)은 꼬리에 무게를 실으므로 같은 틈을 크게 본다. \(A^2\)이 기각하고 \(D\)가 기각하지 못하는 이 한 줄이 "꼬리 가중"의 실물이다.

(2) 아니다. 샤피로–윌크가 1등이다. 같은 혼합 모집단에서 \(n = 300\)짜리 표본을 1500번 뽑아 \(\alpha = 0.05\)의 기각률을 재면

검정 혼합 대립에서의 검정력 정규 자료에서의 크기
샤피로–윌크 \(\mathbf{0.4987}\) \(0.0493\)
앤더슨–달링 \(0.4313\) \(0.0420\)
자크–베라 \(0.4033\) \(0.0520\)
릴리포스 \(0.3260\) \(0.0373\)

이다(몬테카를로(Monte Carlo) 표준오차는 검정력 쪽에서 최대 \(0.0129\), 크기 쪽에서 \(0.0056\)).

AD가 릴리포스를 이기는 것은 사실이다(\(0.431\) 대 \(0.326\), 차이가 몬테카를로 오차의 여덟 배). 꼬리 가중이 값을 한다. 그러나 AD는 샤피로–윌크에게 진다(\(0.431\) 대 \(0.499\)). 순서통계량 전체의 직선성을 보는 샤피로–윌크가 이 대립에서 더 효율적이다.

여기에 (1)과의 불일치가 있다. 이 한 표본에서는 자크–베라가 \(p = 2\times10^{-13}\)으로 가장 극적인 수를 내놓았는데, 검정력으로는 \(0.403\)으로 AD보다도 낮다. \(p\) 값 하나로 검정의 성능을 순위 짓는 것은 틀렸다. \(p\) 값의 크기는 그 검정의 귀무분포가 얼마나 빠르게 꺼지는지를 반영할 뿐이고, 성능은 같은 대립을 반복 뽑았을 때의 기각률로만 재진다. 14.3절 자크–베라 검정 에서 본 대로 자크–베라는 유한표본에서 \(g_2\)를 날것으로 제곱해 통계량을 부풀리므로 극적인 \(p\) 값을 잘 내놓는다.

한 가지 단서. AD와 릴리포스는 크기가 각각 \(0.0420\), \(0.0373\)으로 명목 \(0.05\)보다 작다(릴리포스는 몬테카를로 오차의 \(2.3\)배 아래). 크기가 작으면 검정력도 그만큼 깎이므로 이 비교가 두 검정에 조금 불리하다. 다만 샤피로–윌크의 크기는 \(0.0493\)으로 명목에 맞고 검정력이 가장 높으니 1등 판정은 그대로 성립한다.

import numpy as np
from scipy import stats

# 정규 230개에 로그정규 70개를 섞은 자료다.
rng = np.random.default_rng(0)
x = np.concatenate([rng.normal(0, 1, size=230),
                    rng.lognormal(0, 0.6, size=70)])

# A^2 은 경험분포와 기준분포의 차이를 제곱해 적분한 값인데, 꼬리 쪽에
# 더 큰 무게를 싣는다. 그래서 KS 보다 꼬리 이탈을 잘 잡는다.
res = stats.anderson(x, dist="norm")
print(f"Sample size n = {x.size}")
print(f"Anderson-Darling A^2 = {res.statistic:.4f}")
print("Critical values vs significance levels:")
for cv, sl in zip(res.critical_values, res.significance_level):
    flag = " REJECT" if res.statistic > cv else ""
    print(f"  {sl:.1f}% -> {cv:.4f}{flag}")

reject_5 = res.statistic > res.critical_values[
    list(res.significance_level).index(5.0)]
print(f"Decision at 5%: {'Reject' if reject_5 else 'Fail to reject'} normality")

출력:

Sample size n = 300
Anderson-Darling A^2 = 1.0034
Critical values vs significance levels:
  15.0% -> 0.5690 REJECT
  10.0% -> 0.6480 REJECT
  5.0% -> 0.7770 REJECT
  2.5% -> 0.9060 REJECT
  1.0% -> 1.0780
Decision at 5%: Reject normality

네 검정의 판정과 검정력을 함께 구한다.

import numpy as np
from scipy import stats
from statsmodels.stats.diagnostic import lilliefors

rng = np.random.default_rng(0)
x = np.concatenate([rng.normal(0, 1, size=230),
                    rng.lognormal(0, 0.6, size=70)])
res = stats.anderson(x, dist="norm")
print(f"A^2 = {res.statistic:.4f},  1% 임계값 = {res.critical_values[4]:.4f}"
      f"  (차 {res.critical_values[4] - res.statistic:.4f})")
print(f"Shapiro-Wilk  W = {stats.shapiro(x)[0]:.4f}, p = {stats.shapiro(x)[1]:.4g}")
print(f"Jarque-Bera  JB = {stats.jarque_bera(x)[0]:.4f}, p = {stats.jarque_bera(x)[1]:.4g}")
print(f"DAgostino K^2  = {stats.normaltest(x)[0]:.4f}, p = {stats.normaltest(x)[1]:.4g}")
print(f"Lilliefors    D = {lilliefors(x)[0]:.4f}, p = {lilliefors(x)[1]:.4g}")

# 이 혼합 대립에서 네 검정의 검정력 (n = 300, alpha = 0.05)
rg = np.random.default_rng(13)
R, n_norm, n_ln = 1500, 230, 70
cnt = dict(AD=0, SW=0, JB=0, LF=0)
for _ in range(R):
    y = np.concatenate([rg.normal(0, 1, n_norm), rg.lognormal(0, 0.6, n_ln)])
    r = stats.anderson(y, dist="norm")
    cnt["AD"] += r.statistic > r.critical_values[2]
    cnt["SW"] += stats.shapiro(y)[1] < 0.05
    cnt["JB"] += stats.jarque_bera(y)[1] < 0.05
    cnt["LF"] += lilliefors(y)[1] < 0.05
print(f"\n혼합 대립에서의 검정력 (n = 300, R = {R}, MC SE 최대 {0.5 / np.sqrt(R):.4f})")
for k in ("AD", "SW", "JB", "LF"):
    print(f"  {k}: {cnt[k] / R:.4f}")

# 정규 자료에서의 크기도 확인
cnt0 = dict(AD=0, SW=0, JB=0, LF=0)
for _ in range(R):
    y = rg.standard_normal(300)
    r = stats.anderson(y, dist="norm")
    cnt0["AD"] += r.statistic > r.critical_values[2]
    cnt0["SW"] += stats.shapiro(y)[1] < 0.05
    cnt0["JB"] += stats.jarque_bera(y)[1] < 0.05
    cnt0["LF"] += lilliefors(y)[1] < 0.05
print(f"정규 자료에서의 크기 (명목 0.05, MC SE {np.sqrt(0.05 * 0.95 / R):.4f})")
for k in ("AD", "SW", "JB", "LF"):
    print(f"  {k}: {cnt0[k] / R:.4f}")

출력:

A^2 = 1.0034,  1% 임계값 = 1.0780  (차 0.0746)
Shapiro-Wilk  W = 0.9723, p = 1.519e-05
Jarque-Bera  JB = 58.5069, p = 1.974e-13
DAgostino K^2  = 26.6879, p = 1.602e-06
Lilliefors    D = 0.0470, p = 0.1617

혼합 대립에서의 검정력 (n = 300, R = 1500, MC SE 최대 0.0129)
  AD: 0.4313
  SW: 0.4987
  JB: 0.4033
  LF: 0.3260
정규 자료에서의 크기 (명목 0.05, MC SE 0.0056)
  AD: 0.0420
  SW: 0.0493
  JB: 0.0520
  LF: 0.0373

이 결과가 쪽 아래 "꼬리 가중이 실제로 사 오는 것" 절의 \(n = 100\) 그림과 같은 방향을 가리킨다. 그 그림에서도 \(\varepsilon = 0.05\)에서 샤피로–윌크 \(0.597\)이 앤더슨–달링 \(0.420\)을 앞섰다. 표본크기와 대립을 바꾸어도 "AD는 KS보다 낫지만 샤피로–윌크에는 못 미친다"는 순서가 유지된다. \(\square\)


7. 섞인 자료에서 읽기

혼합 자료(정규 + 대수정규)에서 \(A^2 = 1.0034\)는 15%, 10%, 5%, 2.5% 임계값을 넘어 정규성에 반하는 강한 증거를 준다. 대수정규 성분이 오른쪽 꼬리를 부풀리므로 AD 검정이 특히 적합한 상황이다.

다만 \(A^2 = 1.0034\)가 1% 임계값 \(1.078\)은 넘지 못한다는 점에 주의하라. 곧 "모든 표로 정리된 수준에서 기각"하는 것이 아니라 2.5%까지만 기각한다. 오염된 관측값이 70개(전체의 23%)나 되는데도 그렇다. AD 검정이 강력하기는 하지만 무한히 강력하지는 않다.

AD 검정이 기각하는데 KS 검정이 기각하지 않는 경우는 흔히 이탈이 꼬리에서 일어나기 때문이다. 바로 AD 검정이 탐지하도록 설계된 영역이다. 연습문제 12에서 이를 극적으로 확인한다.


8. 꼬리 가중이 실제로 사 오는 것

꼬리에 무게를 싣는다는 설계가 검정력으로 얼마나 돌아오는지 재 보자. 아래 그림은 순수한 꼬리 이탈만 담은 대립가설을 쓴다. 관측값의 비율 \(\varepsilon\)만큼을 표준편차가 3배인 정규분포에서 뽑은 것이다.

\[ (1 - \varepsilon)\,N(0, 1) + \varepsilon\,N(0, 3^2) \]

이 분포는 평균이 0이고 완벽하게 대칭이라 왜도가 0이다. 가운데 모양도 정규와 크게 다르지 않다. 오직 꼬리만 두껍다. \(n = 100\)에서 6000번씩 반복해 세 검정의 기각률을 재면 다음과 같다.

꼬리 오염 비율에 따른 앤더슨–달링, 샤피로–윌크, 릴리포스 검정의 검정력 곡선

\(\varepsilon = 0\)에서 세 곡선이 모두 \(0.05\)에서 출발한다(\(0.050\), \(0.051\), \(0.053\)). 크기가 제대로 지켜졌다는 확인이다. 오염을 넣기 시작하면 곧바로 AD와 KS가 갈라진다. \(\varepsilon = 0.05\) — 100개 중 다섯 개만 꼬리에서 왔을 때 — AD의 검정력은 \(0.420\)인데 KS는 \(0.281\)에 그친다. \(\varepsilon = 0.12\)에서는 \(0.739\) 대 \(0.558\)이다. 오염 구간 전체에서 AD가 KS를 \(1.3\)–\(1.5\)배 앞선다. \(\S 2\) 에서 본 가중함수가 사 오는 것이 바로 이 차이다.

그런데 초록색 샤피로–윌크가 두 곡선 위에 있다는 점도 놓치지 말아야 한다. \(\varepsilon = 0.05\)에서 \(0.597\)로 AD보다 \(0.18\)이나 높다. "AD는 꼬리에 강하다"는 말이 "꼬리 문제에서는 AD가 최고다"를 뜻하지는 않는다는 뜻이다. 샤피로–윌크는 순서통계량 전체의 최적 가중을 쓰므로 이런 대칭적 두꺼운 꼬리에도 여전히 강하다. AD의 진짜 자리는 "KS보다 훨씬 낫고, 임계값 표가 잘 정비되어 있으며, 정규 아닌 분포에도 같은 틀을 쓸 수 있다"는 쪽이다.

마지막으로 위 보기의 결과와 이어 보자. 대수정규 오염 70개(23%)에도 \(A^2 = 1.0034\)가 1% 임계값을 넘지 못했다. 이 그림의 척도로 보면 놀랄 일이 아니다. \(\varepsilon = 0.20\)에서도 AD의 검정력은 \(0.887\), 곧 아홉 번에 한 번은 놓친다. 정규성 검정은 기각하지 못했다는 사실을 "정규다"로 번역하지 않는 습관이 여기서도 필요하다.


연습문제

연습문제 1. 관측값 50개에 대한 앤더슨–달링 검정에서 \(A^2 = 0.85\)를 얻었다. 임계값이 \(0.631\)(10%), \(0.752\)(5%), \(1.035\)(1%)일 때 \(\alpha = 0.05\)에서의 결론을 정하라.

풀이

\(A^2 = 0.85 > 0.752\)(5% 임계값)이므로 유의수준 5%에서 \(H_0\)(정규성)을 기각한다. 다만 \(A^2 = 0.85 < 1.035\)(1% 임계값)이므로 1% 수준에서는 기각하지 않는다.

결론: 5% 수준에서 비정규성의 증거가 있다(\(0.01 < p < 0.05\)). 이탈의 성격을 파악하려면 시각적 점검(Q-Q 그림)을 함께 해야 한다.


연습문제 2. 앤더슨–달링 검정은 콜모고로프–스미르노프 검정보다 분포의 꼬리에 더 큰 가중치를 준다. 가중함수가 어떻게 이를 달성하는지 설명하라.

풀이

앤더슨–달링 통계량은

\[ A^2 = -n - \frac{1}{n}\sum_{i=1}^n (2i-1)[\ln F(x_{(i)}) + \ln(1 - F(x_{(n+1-i)}))] \]

이는 경험적 CDF와 이론적 CDF의 제곱차를 가중 적분한 것으로 표현할 수 있다: \(A^2 = n\int_{-\infty}^{\infty} \frac{[\hat F_n(x) - F(x)]^2}{F(x)(1-F(x))}dF(x)\).

가중함수 \(w(x) = 1/[F(x)(1-F(x))]\)는 (\(F(x)\)가 0이나 1에 가까운) 꼬리에서 크고 중앙에서 작다. 그래서 앤더슨–달링 검정이 (분포의 모든 부분에 같은 가중치를 주는) KS 검정보다 꼬리 이탈에 더 민감해지고, 꼬리가 두껍거나 얇은 대립가설을 더 잘 탐지한다.


연습문제 3. 정규성 이탈 탐지에서 앤더슨–달링, 샤피로–윌크, 콜모고로프–스미르노프 검정의 검정력을 비교하라.

풀이

모의실험 연구는 대체로 다음을 보여준다.

  1. 샤피로–윌크가 전반적으로 검정력이 가장 높다. 특히 작거나 중간 크기의 \(n\)에서, 그리고 폭넓은 대립가설(왜도, 두꺼운 꼬리, 얇은 꼬리)에 대해 그렇다.
  2. 앤더슨–달링은 샤피로–윌크에 거의 견줄 만하고 KS보다 우수하다. 꼬리 가중 덕분에 두꺼운 꼬리 대립가설을 특히 잘 탐지한다.
  3. 콜모고로프–스미르노프(릴리포스)는 검정력이 가장 낮다. 가중 없이 최대 편차만 쓰므로 (이탈이 작은) 중앙과 (가장 중요한) 꼬리에 같은 관심을 주기 때문이다.

권장: 샤피로–윌크를 주 검정으로 쓰고, (특히 \(n\)이 클 때) 앤더슨–달링을 대안으로 쓰며, KS는 완전히 지정된 분포와 비교할 때에만 쓴다(복합 정규성 검정에는 쓰지 않는다).


연습문제 4. 앤더슨–달링 검정은 정규분포가 아닌 분포(지수, 와이불 등)에도 적용할 수 있다. 일반 원리를 설명하라.

풀이

앤더슨–달링 검정은 일반적인 적합도 검정이다. 경험적 CDF를 임의로 지정한 이론적 CDF \(F_0(x)\)와 비교한다. 정규성 검정에서는 추정된 모수로 \(F_0 = \Phi((x-\hat{\mu})/\hat{\sigma})\)를 쓴다.

자료가 지수분포(exponential distribution)를 따르는지 검정하려면 \(F_0(x) = 1 - e^{-x/\hat{\lambda}}\)를 쓴다. 와이불이라면 추정된 모양·척도 모수를 가진 와이불 CDF를 쓴다.

검정통계량 공식은 모든 경우에 같고 \(F_0\)만 바뀐다. 임계값은 분포족마다 다른데, \(A^2\)의 귀무분포가 추정한 모수의 개수와 기준분포의 모양에 의존하기 때문이다. 각 분포족에 대해 전용 임계값 표나 모의실험 기반 p 값을 쓴다.


연습문제 5. 2절의 가중함수를 \(u = F_0(x)\)에 대한 함수 \(w(u) = 1/[u(1-u)]\)로 보자.

(1) 쪽에 적힌 세 수 \(4.0\)(정중앙), \(21.1\)(하위 5% 지점), \(101\)(하위 1% 지점)을 확인하고, 하위 5% 지점의 가중이 정중앙의 몇 배인지 적으시오.

(2) 가중이 정중앙의 두 배가 되는 \(u\)를 모두 구하고, 열 배가 되는 \(u\)도 모두 구하시오.

(3) (2)의 결과에 비추어, 하위 5% 지점의 가중이 정중앙의 몇 배밖에 되지 않는데도 2절의 기여도 표에서 양 끝 5% 구간의 몫이 \(0.5\%\)에서 \(25.8\%\)로 뛸 수 있는 까닭을 말하시오.

풀이

(1) 그대로 맞는다.

\[ w(0.5) = \frac{1}{0.5 \times 0.5} = 4.0, \qquad w(0.05) = \frac{1}{0.05 \times 0.95} = \frac{1}{0.0475} = 21.0526, \]
\[ w(0.01) = \frac{1}{0.01 \times 0.99} = \frac{1}{0.0099} = 101.0101 \]

이고 반올림하면 \(21.1\)과 \(101\)이다. 정중앙 대비 배수는 \(21.0526/4 = 5.26\)배(5% 지점)와 \(101.0101/4 = 25.25\)배(1% 지점)이며, 뒤쪽이 쪽에 적힌 "정중앙 대비 25배"다. 하위 5% 지점의 가중은 정중앙의 겨우 \(5.26\)배다.

(2) \(w(u) = 8\)은 \(u(1-u) = 1/8\), 곧 \(u^2 - u + 1/8 = 0\)이므로

\[ u = \frac{1 \pm \sqrt{1 - 1/2}}{2} = \frac{1 \pm 0.70711}{2} = 0.14645 \ \text{또는}\ 0.85355 \]

이다. \(w(u) = 40\)은 \(u(1-u) = 1/40\), 곧 \(u^2 - u + 1/40 = 0\)이므로

\[ u = \frac{1 \pm \sqrt{1 - 1/10}}{2} = \frac{1 \pm 0.94868}{2} = 0.02566 \ \text{또는}\ 0.97434 \]

이다. 정리하면 가운데 \(70.7\%\) 구간(\(u \in [0.146,\ 0.854]\)) 전체에서 가중은 정중앙의 두 배를 넘지 못하고, 가중이 정중앙의 열 배를 넘는 구역은 양 끝 \(2.57\%\)씩, 전체의 \(5.13\%\)에 지나지 않는다.

(3) 가중이 구간 안에서 균일하지 않고 끝으로 갈수록 발산하기 때문이다. "하위 5% 구간"의 발언권은 그 구간의 경계값 \(w(0.05) = 21.1\)이 아니라 구간 전체에 걸친 가중의 적분이 정하는데,

\[ \int_0^{0.05} \frac{du}{u(1-u)} = \Bigl[\ln \frac{u}{1-u}\Bigr]_0^{0.05} = \infty \]

으로 그 적분은 발산한다. 가중은 \(u \to 0\)에서 \(1/u\)처럼 커지고 \(\int du/u\)가 로그로 발산하므로, 구간 안쪽으로 조금만 더 들어가도 가중이 수백·수천 배가 된다. 따라서 양 끝 5% 구간의 몫은 경계의 \(5.26\)배가 아니라 그 구간의 가장 바깥에 놓인 몇 개의 관측값이 결정한다. 실제로 쪽의 예에서 양 끝 5%의 몫은 \(0.5\%\)에서 \(25.8\%\)로 약 \(50\)배가 되었는데, 이는 경계 배수 \(5.26\)의 거의 열 배다.

적분이 발산하는데도 \(A^2\)이 유한한 것은 분자 \([\hat F_n(x) - F_0(x)]^2\) 역시 꼬리에서 \(0\)으로 가기 때문이다. 합 공식으로 보면 더 분명하다. 꼬리에서 터질 수 있는 항은 \(\ln F(Z_{(1)})\)과 \(\ln(1 - F(Z_{(n)}))\)뿐이고, 둘 다 계수 \((2 \cdot 1 - 1)/n = 1/n\)을 받으므로 모든 \(F(Z_{(i)})\)가 열린구간 \((0, 1)\) 안에 있는 한 \(A^2\)은 항상 유한하다.

요약하면, AD 가 KS 와 다르게 행동하는 구역은 생각보다 좁고 그 안에서는 생각보다 거칠다. 가중이 실질적으로 큰 곳은 양 끝 몇 %뿐인데, 바로 그곳에서 가중이 발산하므로 소수의 극단 관측값에 통계량이 끌려간다. 꼬리 민감도와 이상치 취약성은 같은 성질의 두 이름이다.


연습문제 6. 보기 1 풀이는 표준화에 쓰는 표본표준편차가 ddof=1인지 ddof=0인지에 따라 같은 자료의 \(A^2\)이 \(0.2432179174633120\)과 \(0.2425011779185979\)로 셋째 자리에서 갈린다고 했다.

(1) 두 판본의 표준화 값 \(Z_i\) 사이의 관계를 적고, \(n = 1000\)에서 척도가 몇 퍼센트 어긋나는지 구하시오.

(2) 두 \(A^2\)의 상대차를 구해 (1)의 척도 불일치와 견주시오.

(3) \(n = 20\)이면 척도가 몇 퍼센트 어긋나는가. 보기 1 풀이의 임계값 표에서 5% 임계값이 \(n = 20\)일 때 \(0.692\), \(n = 50\)일 때 \(0.736\)인 것과 견주어, 임계값 표를 쓸 때 표준편차의 판본을 고정해야 하는 까닭을 말하시오.

풀이

(1) 두 표준편차는 \(S_0 = S_1 \sqrt{(n-1)/n}\)의 관계이므로

\[ Z_i^{(0)} = \frac{X_i - \bar X}{S_0} = \frac{X_i - \bar X}{S_1} \cdot \frac{S_1}{S_0} = Z_i^{(1)} \sqrt{\frac{n}{n-1}} \]

이다. 즉 ddof=0으로 표준화한 값은 ddof=1판을 \(\sqrt{n/(n-1)}\)배로 늘인 것이다. \(n = 1000\)에서

\[ \sqrt{\frac{1000}{999}} = 1.00050038 \]

이므로 척도가 \(0.0500\%\) 어긋난다.

(2) 상대차는

\[ \frac{0.2432179174633120 - 0.2425011779185979}{0.2432179174633120} = \frac{0.0007167395447141}{0.2432179174633120} = 0.2947\% \]

이다. 척도 불일치 \(0.0500\%\)의 약 \(5.9\)배다. \(A^2\)은 \(\ln F(Z)\)와 \(\ln(1 - F(Z))\)를 통해 자료를 보고 이 로그들의 기울기가 꼬리에서 가파르므로, 척도를 조금 건드리면 꼬리에 놓인 항들이 그보다 크게 반응한다. 배수 \(5.9\) 자체는 이 표본에 딸린 수이고 보편적인 상수가 아니지만, 불일치가 \(O(1/n)\)이라는 점은 보편적이다.

(3) \(n = 20\)에서

\[ \sqrt{\frac{20}{19}} = 1.0259784 \]

이므로 척도가 \(2.598\%\) 어긋난다. \(n = 1000\)의 \(0.05\%\)보다 \(52\)배 크다. (2)의 증폭률 \(5.9\)를 거친 근사로 그대로 가져오면 \(A^2\)이 \(15\%\) 가까이 달라진다는 뜻이 된다. 한편 임계값 표에서 \(n = 20\)과 \(n = 50\)의 5% 임계값 차이는

\[ \frac{0.736 - 0.692}{0.692} = 6.36\% \]

에 지나지 않는다. 즉 소표본에서는 표준편차의 판본을 잘못 고르는 것만으로 두 단계 떨어진 \(n\)의 표를 읽는 것보다 큰 오차가 생긴다. 스티븐스 보정식 \(A^2_\infty/(1 + 4/n - 25/n^2)\)은 특정 판본(여기서는 \(1/(n-1)\)짜리)으로 계산한 \(A^2\)의 귀무분포에 맞추어 세운 것이므로, 통계량을 다른 판본으로 계산해 같은 표에 대면 영점이 어긋난 자를 쓰는 셈이다. \(n\)이 클 때 이 문제가 눈에 띄지 않는 것은 불일치가 \(O(1/n)\)으로 사라지기 때문이고, 소표본은 바로 AD 를 쓰는 주된 상황이므로 방심할 수 없다.


연습문제 7. 보기 1 풀이의 스티븐스 보정식

\[ A^2_{\text{crit}}(n) = \frac{A^2_{\infty}}{1 + \dfrac{4}{n} - \dfrac{25}{n^2}}, \qquad A^2_{\infty} = 0.787 \ (\alpha = 5\%) \]

을 끝까지 따라가 보자. 분모를 \(D(n)\)으로 쓴다.

(1) 보정한 임계값이 점근값의 \(1\%\) 안에 들어오는 가장 작은 정수 \(n\)을 구하시오.

(2) \(A^2_{\text{crit}}(n)\)이 가장 작아지는 \(n\)과 그때의 값을 구하고, \(D(n) = 1\)이 되는 \(n\)도 구하시오.

(3) 보기 1 풀이는 "작은 표본에서 임계값이 낮아진다"고 했다. 그 방향이 뒤집히는 자리가 어디인가. \(n = 5\)와 \(n = 4\)에서 임계값을 계산하고, 이 식을 아주 작은 \(n\)에 쓸 수 있는지 말하시오.

풀이

(1) \(n = 390\)이다. \(n > 6.25\)이면 (2)에서 보듯 \(D(n) > 1\)이므로 \(A^2_{\text{crit}} < A^2_{\infty}\)이고, 따라서 "\(1\%\) 안"은 한쪽 조건

\[ \frac{A^2_{\infty}}{D(n)} \ge 0.99\,A^2_{\infty} \iff D(n) \le \frac{1}{0.99} \iff \frac{4}{n} - \frac{25}{n^2} \le \frac{1}{99} \]

으로 줄어든다. 양변에 \(99n^2 > 0\)을 곱하면

\[ 396n - 2475 \le n^2 \iff n^2 - 396n + 2475 \ge 0 \]

이고 근은

\[ n = \frac{396 \pm \sqrt{396^2 - 4 \times 2475}}{2} = \frac{396 \pm \sqrt{146916}}{2} = \frac{396 \pm 383.2962}{2} = 6.3519 \ \text{또는}\ 389.648 \]

이다. 큰 근 위쪽에서 조건이 성립하므로 가장 작은 정수는 \(n = 390\)이다. 확인하면

\[ D(390) = 1 + 0.0102564 - 0.0001644 = 1.0100921, \qquad \frac{0.787}{1.0100921} = 0.779137 \]

이고 임계값은 \(0.99 \times 0.787 = 0.779130\)이므로 간신히 넘는다. \(n = 389\)에서는 \(0.787/1.0101176 = 0.779117\)로 임계값에 미치지 못한다. \(n\)이 400 가까이 되어야 보정을 생략할 수 있다는 뜻이고, 실무에서 만나는 표본은 거의 모두 보정이 필요한 쪽이다.

작은 근 \(6.3519\) 쪽은 \(D\)가 아래쪽에서 \(1/0.99\)를 지나는 자리다. 양쪽 조건 \(\lvert A^2_{\text{crit}} - A^2_{\infty}\rvert \le 0.01\,A^2_{\infty}\)를 그대로 풀면 창이 \(6.156 < n < 6.352\)로 좁게 열리는데 그 안에 정수가 없다. 실제로 \(n = 6\)이면 임계값이 점근값보다 \(2.86\%\) 높고 \(n = 7\)이면 \(5.77\%\) 낮아 둘 다 \(1\%\) 밖이다. 게다가 그 구역은 (3)에서 보듯 전개 자체가 무너진 곳이다.

(2) 임계값이 가장 작아지는 자리는 \(n = 12.5\)이고 그 값은 \(0.678\)이다. 임계값은 \(D\)의 역수에 비례하므로 \(D\)가 최대일 때 최소가 된다.

\[ D'(n) = -\frac{4}{n^2} + \frac{50}{n^3} = \frac{50 - 4n}{n^3} \]

이므로 \(n < 12.5\)에서 \(D' > 0\), \(n > 12.5\)에서 \(D' < 0\)이고 \(n = 50/4 = 12.5\)가 유일한 최대점이다. 그때

\[ D(12.5) = 1 + 0.32 - 0.16 = 1.16, \qquad A^2_{\text{crit}} = \frac{0.787}{1.16} = 0.6784 \]

다. 한편 \(D(n) = 1\)은 \(4/n = 25/n^2\), 곧 \(n = 25/4 = 6.25\)이고 그 자리에서 보정이 아무 일도 하지 않아 \(A^2_{\text{crit}} = 0.787\)로 점근값으로 되돌아온다. 표로 모으면

\(n\) \(D(n)\) \(A^2_{\text{crit}}\)
\(4\) \(1 + 1 - 1.5625 = 0.4375\) \(1.799\)
\(5\) \(1 + 0.8 - 1 = 0.8\) \(0.984\)
\(6\) \(1 + 0.6667 - 0.6944 = 0.9722\) \(0.809\)
\(6.25\) \(1\) \(0.787\)
\(7\) \(1 + 0.5714 - 0.5102 = 1.0612\) \(0.742\)
\(10\) \(1 + 0.4 - 0.25 = 1.15\) \(0.684\)
\(12.5\) \(1.16\) \(0.678\)
\(20\) \(1 + 0.2 - 0.0625 = 1.1375\) \(0.692\)
\(1000\) \(1.003975\) \(0.784\)

가 된다.

(3) 뒤집히는 자리는 \(n = 12.5\)이고, 아주 작은 \(n\)에는 쓸 수 없다. 쪽의 표는 \(n = 20,\ 50,\ 100,\ 1000\)만 담고 있어 "\(n\)이 작을수록 임계값이 낮다"로 읽히지만, 그것은 모두 \(n \ge 12.5\)인 증가 구간의 수다. \(n\)을 \(12.5\) 아래로 내리면 임계값이 다시 올라가 \(n = 10\)에서 \(0.684\), \(n = 7\)에서 \(0.742\), \(n = 6.25\)에서 점근값 \(0.787\)을 지나고,

\[ n = 5: \ A^2_{\text{crit}} = \frac{0.787}{0.8} = 0.984, \qquad n = 4: \ A^2_{\text{crit}} = \frac{0.787}{0.4375} = 1.799 \]

로 점근값의 \(2.29\)배까지 치솟는다. 더 밀어붙이면

\[ D(n) = 0 \iff n^2 + 4n - 25 = 0 \iff n = -2 + \sqrt{29} = 3.385 \]

에서 임계값이 발산하고, 그 아래에서는 \(D(n) < 0\)이 되어 임계값이 음수가 된다. \(A^2 \ge 0\)이므로 음수 임계값은 "무조건 기각"을 뜻하고, 이는 식이 무의미해졌다는 신호다.

까닭은 분명하다. 이 식은 \(1/n\)의 멱급수에서 두 항만 남긴 점근 전개이고, 전개가 쓸 만한 범위는 둘째 항이 첫째 항보다 훨씬 작은 \(25/n^2 \ll 4/n\), 곧 \(n \gg 6.25\)다. 두 항이 맞먹기 시작하는 \(n \approx 12.5\)에서 벌써 보정의 방향이 뒤집히고, 두 항이 같아지는 \(n = 6.25\)에서 보정이 사라지며, \(n = 3.385\)에서 식이 폭발한다. 이 가짜 구조는 전개를 범위 밖으로 끌고 간 대가일 뿐 통계적 의미가 없다. 그만큼 작은 표본에서 정규성을 검정하려면 보정식이 아니라 모의실험으로 얻은 전용 임계값을 써야 하고, \(n\)이 한 자리 수인 자료에 정규성 검정을 거는 일 자체를 다시 생각해야 한다.


연습문제 8. 보기 2 풀이는 normal_ad의 \(p\) 값이 네 구간에서 각각 다른 근사식으로 계산되므로 "구간 경계에서 \(p\) 값이 매끄럽지 않다"고 했다. 그 거친 정도를 재어 보자.

(1) 세 경계 \(A^{2\ast} = 0.200,\ 0.340,\ 0.600\)에서 왼쪽 식과 오른쪽 식이 주는 \(p\) 값을 각각 계산하여 불연속의 크기를 구하시오.

(2) 세 경계 가운데 한 곳에서는 \(p\) 값이 통계량에 대해 감소하지 않는다. 어느 경계인가. 그곳에서 "통계량이 더 큰데 \(p\) 값도 더 큰" \(A^{2\ast}\) 구간의 폭을 구하시오.

(3) (1)과 (2)가 \(\alpha = 0.05\) 판정이나 \(\alpha = 0.10\) 판정을 뒤집을 수 있는가.

풀이

네 식을 차례로 \(f_1, f_2, f_3, f_4\)라 쓴다.

(1) 경계마다 지수부를 그대로 계산한다.

\(A^{2\ast} = 0.200\)에서

\[ f_1: -13.436 + 101.14(0.2) - 223.73(0.04) = -2.15720, \quad p = 1 - e^{-2.15720} = 0.884352 \]
\[ f_2: -8.318 + 42.796(0.2) - 59.938(0.04) = -2.15632, \quad p = 1 - e^{-2.15632} = 0.884250 \]

\(A^{2\ast} = 0.340\)에서

\[ f_2: -8.318 + 42.796(0.34) - 59.938(0.1156) = -0.69619, \quad p = 1 - e^{-0.69619} = 0.501520 \]
\[ f_3: 0.9177 - 4.279(0.34) - 1.380(0.1156) = -0.69669, \quad p = e^{-0.69669} = 0.498233 \]

\(A^{2\ast} = 0.600\)에서

\[ f_3: 0.9177 - 4.279(0.6) - 1.380(0.36) = -2.14650, \quad p = e^{-2.14650} = 0.116893 \]
\[ f_4: 1.2937 - 5.709(0.6) + 0.0186(0.36) = -2.12500, \quad p = e^{-2.12500} = 0.119432 \]

불연속의 크기를 모으면

경계 왼쪽 식의 극한 오른쪽 식의 값 뜀
\(0.200\) \(0.884352\) \(0.884250\) \(-1.02 \times 10^{-4}\)
\(0.340\) \(0.501520\) \(0.498233\) \(-3.29 \times 10^{-3}\)
\(0.600\) \(0.116893\) \(0.119432\) \(+2.54 \times 10^{-3}\)

가 된다. 모두 \(0.0033\) 이하이고, 첫 경계는 \(10^{-4}\) 수준으로 사실상 이어져 있다. 곡선 맞춤치고는 잘 꿰어져 있다.

(2) \(A^{2\ast} = 0.600\)이다. 표의 마지막 줄에서 뜀의 부호가 양이다. 통계량이 \(0.5999\)에서 \(0.600\)으로 커지는데 \(p\) 값은 \(0.116893\)에서 \(0.119432\)로 올라간다. \(f_4\)는 이 근방에서 감소하므로 \(p\) 값이 다시 \(0.116893\)으로 내려오는 지점까지가 문제의 구간이다. \(f_4(a) = e^{-2.14650}\), 곧

\[ 0.0186a^2 - 5.709a + 1.2937 = -2.14650 \iff 0.0186a^2 - 5.709a + 3.44020 = 0 \]

의 근은

\[ a = \frac{5.709 \pm \sqrt{5.709^2 - 4(0.0186)(3.44020)}}{2(0.0186)} = \frac{5.709 \pm \sqrt{32.33675}}{0.0372} = 0.60378 \ \text{또는}\ 306.332 \]

이고 우리에게 필요한 작은 근이 \(0.60378\)이다. 따라서 문제의 구간은

\[ A^{2\ast} \in [0.600,\ 0.60378), \qquad \text{폭} \approx 0.0038 \]

이다. 이 구간의 통계량은 \(0.5999\)보다 분명히 크지만 \(p\) 값은 그보다 크게 보고된다. 곡선 맞춤으로 만든 \(p\) 값은 통계량의 단조함수라는 보장을 주지 않는다는 사실의 아주 구체적인 증거다.

(3) 뒤집을 수 없다. 두 유의수준이 걸리는 자리를 찾아 보면 된다. \(f_4(a) = 0.05\)는

\[ 0.0186a^2 - 5.709a + 1.2937 = \ln 0.05 = -2.99573 \]

에서 \(a = 0.75319\), \(f_4(a) = 0.10\)은 \(\ln 0.10 = -2.30259\)에서 \(a = 0.63123\)이다. 둘 다 네 번째 구간의 안쪽이고 어느 경계와도 떨어져 있다. 특히

  • \(\alpha = 0.05\)의 임계값 \(0.75319\)는 가장 가까운 경계 \(0.600\)에서 \(0.153\) 떨어져 있고,
  • \(\alpha = 0.10\)의 임계값 \(0.63123\)은 (2)의 비단조 구간 상한 \(0.60378\)에서 \(0.027\) 떨어져 있다.

경계의 뜀은 최대 \(0.0033\)인데 그 자리의 \(p\) 값은 \(0.884\), \(0.50\), \(0.117\)로 모두 \(0.10\)보다 크므로, 뜀이 판정을 가로지를 수 없다. 다만 둘째 여유 \(0.027\)은 생각만큼 넉넉하지 않다. \(p\) 값을 \(0.10\) 근처에서 끝자리까지 믿거나, 두 표본의 \(p\) 값을 \(0.11\)과 \(0.12\)처럼 미세하게 견주는 일은 하지 말아야 한다. 보기 2 풀이가 "근사식은 쓸 만하지만 정확하지는 않다"고 한 말의 수치적 내용이 이것이다.


연습문제 9. 보기 3 풀이는 \(A^{2\ast} = 38.1020\)에 네 번째 구간의 식

\[ p = \exp\bigl(1.2937 - 5.709\,A^{2\ast} + 0.0186\,A^{2\ast 2}\bigr) \]

을 정의 구간 \([0.600,\ 13]\) 밖으로 억지로 늘려 써서 \(p = 6.6 \times 10^{-83}\)을 얻은 뒤 "이 수에는 아무 근거가 없다"고 했다. 식 자체를 끝까지 따라가 그 말을 확증하라. 지수부를 \(g(a)\)로 쓴다.

(1) \(g(a)\)가 최소가 되는 \(a\)와 그때의 \(p\)를 구하시오.

(2) 이 식이 \(p = 1\)을 주는 \(a\)를 모두 구하시오.

(3) 정의 구간의 상한 \(a = 13\)에서 식이 주는 \(p\)를 구하고, 모의실험 표로 그 수를 보증할 수 있겠는지 말하시오.

풀이

(1) \(g'(a) = -5.709 + 2(0.0186)a = 0\)에서

\[ a^{\ast} = \frac{5.709}{0.0372} = 153.4677 \]

이고 \(g\)는 위로 열린 포물선이므로 이 자리가 최소다. 값은

\[ g(a^{\ast}) = 1.2937 - 5.709(153.4677) + 0.0186(153.4677)^2 = 1.2937 - 876.144 + 438.073 = -436.780 \]

이므로

\[ p_{\min} = e^{-436.780} = 2.0 \times 10^{-190} \]

이다. 그리고 \(a > 153.47\)에서는 통계량이 커질수록 \(p\) 값이 커진다. 정규성에서 더 멀어질수록 정규라는 증거가 강해진다는 말이니, 식이 이미 무의미해진 것이다.

(2) \(g(a) = 0\)은 \(0.0186a^2 - 5.709a + 1.2937 = 0\)이고

\[ a = \frac{5.709 \pm \sqrt{32.59268 - 4(0.0186)(1.2937)}}{0.0372} = \frac{5.709 \pm \sqrt{32.49643}}{0.0372} = \frac{5.709 \pm 5.70056}{0.0372} \]

에서

\[ a = 0.22677 \quad \text{또는} \quad a = 306.71 \]

이다. 작은 근 \(0.22677\)은 둘째 구간 \([0.200,\ 0.340)\)에 떨어지므로 이 식이 쓰이지 않는 자리이고, 중요한 것은 큰 근이다. \(a > 306.71\)에서 이 식은 \(p > 1\)을 준다. 확률이 아닌 수를 확률로 내놓는 식에 외삽을 맡길 수 없다.

(3) \(a = 13\)에서

\[ g(13) = 1.2937 - 5.709(13) + 0.0186(169) = 1.2937 - 74.2170 + 3.1434 = -69.7799 \]

이므로

\[ p = e^{-69.7799} = 4.95 \times 10^{-31} \]

이다. 보증할 수 없다. \(p\) 값 표는 귀무가설 아래에서 \(A^{2\ast}\)를 반복해 뽑아 그 꼬리확률을 읽어 만든 것인데, \(10^7\)번을 돌려도 분해할 수 있는 가장 작은 꼬리확률은 \(10^{-7}\) 수준이다. \(10^{-31}\)은 그보다 24 자리 아래이므로, 정의 구간의 끝에서조차 이 식은 이미 외삽이다. 상한 \(13\)은 모의실험이 닿은 경계가 아니라 "여기까지만 쓰겠다"는 관례적인 선에 가깝다.

세 결과를 모으면 그림이 분명해진다. 이 식은 \(a = 13\)에서 벌써 근거가 얇고, \(a = 153\)을 넘으면 단조성조차 잃고, \(a = 307\)을 넘으면 확률의 정의를 위반한다. 보기 3의 \(a = 38.10\)은 첫 선 밖이다. 따라서 \(6.6 \times 10^{-83}\)은 자릿수조차 믿을 수 없는 수이며, 그 자리에서 할 일은 보기 3 풀이가 말한 대로 \(A^2 = 38.07\)과 5% 임계값 \(0.784\)를 나란히 적는 것이다. statsmodels가 상한 밖에서 계산을 포기하고 \(0\)을 돌려주는 것도, 틀린 수를 주지 않으려는 선택으로 읽으면 이해할 수 있다. 다만 그 \(0\)을 보고서에 그대로 옮겨 적으면 안 된다는 점은 그대로다.


연습문제 10. 2절의 적분형

\[ A^2 = n \int_{-\infty}^{\infty} \frac{\bigl[\hat F_n(x) - F_0(x)\bigr]^2}{F_0(x)\bigl[1 - F_0(x)\bigr]}\,dF_0(x) \]

에서 \(F_0\)가 추정 없이 완전히 지정되었다고 하자. 즉 귀무가설 아래에서 \(X_1, \dots, X_n\)이 독립이고 각각 분포함수 \(F_0\)를 가진다.

(1) 고정된 \(x\)에서 \(n\hat F_n(x)\)가 이항분포(binomial distribution)를 따름을 이용하여 \(E[A^2] = 1\)임을 보이시오.

(2) 같은 계산을 가중 없는 통계량 \(W^2 = n\int [\hat F_n - F_0]^2\,dF_0\)(크라메르–폰 미제스)에 적용하여 \(E[W^2] = 1/6\)을 보이고, 기댓값을 기준으로 가운데 \(50\%\) 구간(\(F_0 \in [0.25, 0.75]\))과 한쪽 끝 \(5\%\) 구간이 각각 몇 퍼센트를 기여하는지 구하시오. AD 에서는 그 몫이 얼마인가.

(3) (1)과 (2)로 "꼬리에 무게를 싣는다"는 말을 다시 표현하시오. 또 쪽에 적힌 5% 임계값 \(0.787\)이 (1)의 기댓값 \(1\)보다 작다는 사실은 무엇을 말하는가.

풀이

(1) 고정된 \(x\)에서 \(n\hat F_n(x)\)는 "\(X_i \le x\)"인 개수이므로 \(\text{Bin}(n, F_0(x))\)를 따른다. 따라서

\[ E[\hat F_n(x)] = F_0(x), \qquad \operatorname{Var}[\hat F_n(x)] = \frac{F_0(x)\bigl[1 - F_0(x)\bigr]}{n} \]

이고 편향이 없으므로

\[ E\bigl[(\hat F_n(x) - F_0(x))^2\bigr] = \operatorname{Var}[\hat F_n(x)] = \frac{F_0(x)\bigl[1 - F_0(x)\bigr]}{n} \]

이다. 피적분함수가 음이 아니므로 기댓값과 적분을 바꿀 수 있고, \(u = F_0(x)\)로 치환하면

\[ E[A^2] = n \int_0^1 \frac{u(1-u)/n}{u(1-u)}\,du = \int_0^1 1\,du = 1 \]

이다. 가중의 정체가 여기서 드러난다. 분모 \(F_0(1 - F_0)\)은 다른 무엇이 아니라 경험분포함수의 분산(\(n\)배)이고, 가중은 그 분산을 나누어 없앤다. 그래서 피적분함수의 기댓값이 \(u\)에 상관없이 \(1\)로 평평해진다. \(\square\)

(2) 가중이 없으면

\[ E[W^2] = n \int_0^1 \frac{u(1-u)}{n}\,du = \int_0^1 (u - u^2)\,du = \frac{1}{2} - \frac{1}{3} = \frac{1}{6} \]

이다. 구역별 몫은 \(u(1-u)\)의 적분을 \(1/6\)으로 나누면 된다. \(\int (u - u^2)du = u^2/2 - u^3/3\)이므로

\[ \int_{0.25}^{0.75} (u - u^2)\,du = (0.281250 - 0.140625) - (0.031250 - 0.005208) = 0.114583 \]
\[ \int_0^{0.05} (u - u^2)\,du = 0.001250 - 0.000042 = 0.001208 \]

이고 몫은 각각

\[ \frac{0.114583}{1/6} = 68.75\%, \qquad \frac{0.001208}{1/6} = 0.725\% \]

다. 양 끝을 합치면 \(1.45\%\)다. AD 에서는 (1)에서 본 대로 피적분함수의 기댓값이 평평하므로 몫이 구간의 길이 그대로가 되어 가운데 \(50\%\)가 \(50\%\), 한쪽 끝 \(5\%\)가 각각 \(5\%\), 양 끝 합쳐 \(10\%\)다. 표로 모으면

구역 무가중(\(W^2\)) AD(\(A^2\))
가운데 \(50\%\) \(68.75\%\) \(50\%\)
한쪽 끝 \(5\%\) \(0.725\%\) \(5\%\)
양 끝 \(5\%\) 합 \(1.45\%\) \(10\%\)

가 되고, 꼬리의 발언권이 \(1.45\% \to 10\%\)로 약 \(6.9\)배 커진다. 2절의 그림에서 읽은 수와 견주면 무가중 가운데 몫 \(63.3\%\)가 이 \(68.75\%\) 근방이고, AD 가운데 몫 \(40.8\%\)는 \(50\%\)보다 작으며 양 끝 몫 \(13.6\%\)와 \(12.2\%\)는 \(5\%\)보다 크다. 그 초과분이 바로 그 표본에 심어 둔 꼬리 오염의 신호다. 오염이 없다면 몫은 \(50/5/5\)로 돌아간다. (모수를 추정하면 기댓값이 정확히 평평하지는 않지만 구조는 그대로다.)

(3) "꼬리에 무게를 싣는다"는 말은 사실 "분산으로 표준화한다"는 말이다. 경험분포함수의 변동은 꼬리에서 작다. \(\operatorname{Var}[\hat F_n] = u(1-u)/n\)이 \(u \to 0\)에서 \(0\)으로 가기 때문이다. 그러므로 같은 크기의 불일치라도 꼬리에서 일어나면 훨씬 희귀한 사건이고, 그만큼 비정규성의 증거로서 값이 높다. AD 가중은 불일치를 그 자리의 표준편차 단위로 재어 모든 분위에 같은 발언권을 준다. 반대로 무가중 통계량은 변동이 큰 가운데에만 귀를 기울여 \(68.75\%\)의 몫을 거기에 몰아 준다. 꼬리를 특별대우하는 것이 아니라, 무가중이야말로 가운데를 특별대우하고 있었던 것이다.

마지막 물음. 쪽의 5% 임계값 \(0.787\)은 오른쪽 꼬리의 분위점이므로 평균보다 커야 한다. 그런데 \(0.787 < 1 = E[A^2]\)이다. 모순이 아니다. \(0.787\)은 \(\mu\)와 \(\sigma\)를 표본에서 추정한 경우의 임계값이고 \(1\)은 \(F_0\)가 완전히 지정된 경우의 기댓값이므로, 둘은 서로 다른 귀무분포의 수다. 두 수의 관계가 말하는 바는 분명하다. 모수를 추정하면 \(A^2\)의 귀무분포 전체가 크게 왼쪽으로 옮겨 가 5% 분위점이 완전지정 경우의 평균 아래로까지 내려간다. 보기 1 풀이의 "추정한 모수로 표준화하면 경험분포가 기준분포에 억지로 끌어당겨져 \(A^2\)이 작게 나온다"는 말의 정량적 표현이고, 완전지정 분포용 임계값을 복합 정규성 검정에 그대로 쓰면 검정이 심하게 보수적이 되는 까닭이다. 같은 함정이 릴리포스 검정 쪽의 주제다.


연습문제 11. 표준정규 관측값 \(n = 300\)개를 생성하라. 앤더슨–달링 검정을 수행하고 \(A^2\)이 15% 임계값보다 작음을 확인하라.

풀이
import numpy as np
from scipy import stats

rng = np.random.default_rng(0)
x = rng.normal(0, 1, size=300)

res = stats.anderson(x, dist="norm")
print(f"A^2 = {res.statistic:.4f}")
print(f"15% critical value: {res.critical_values[0]:.4f}")
print("Below 15% critical value:", res.statistic < res.critical_values[0])

출력:

A^2 = 0.3329
15% critical value: 0.5690
Below 15% critical value: True

\(A^2 = 0.333\)은 가장 느슨한 임계값 \(0.569\)보다도 훨씬 작다. 정규성 아래에서 기대되는 결과이다.

\(A^2\) 의 참 귀무분포는 표본크기에 거의 의존하지 않는다 — 연습문제 19 가 \(95\) 백분위수를 \(0.7243\)(\(n=20\))에서 \(0.7472\)(\(n=1000\))로 재어 둔다. 그런데 SciPy 가 돌려주는 임계값은 그렇지 않다(보기 1 의 표에서 \(0.692 \to 0.784\)). 둘을 섞지 말 것 — 이 쪽 들머리가 말하는 「표본이 커지는데 임계값도 커진다」는 뒤쪽 이야기다. \(D_n\)이 \(1/\sqrt{n}\)으로 줄어드는 KS 통계량과 다른 점이다. \(\square\)


연습문제 12. \(t_4\) 분포에서 관측값 \(n = 300\)개를 생성하라. AD 검정과 (\(\mathcal{N}(0,1)\)에 대한) KS 검정을 수행하라. 어느 검정이 더 강하게 기각하는가?

풀이
import numpy as np
from scipy import stats

rng = np.random.default_rng(0)
x = rng.standard_t(df=4, size=300)

# Anderson-Darling 검정 — 꼬리에 민감하다
ad = stats.anderson(x, dist="norm")
print(f"A^2 = {ad.statistic:.4f}")
for cv, sl in zip(ad.critical_values, ad.significance_level):
    flag = " *" if ad.statistic > cv else ""
    print(f"  {sl:.1f}%: {cv:.4f}{flag}")

# KS 검정
D, p_ks = stats.kstest(x, 'norm', args=(0, 1))
print(f"\nKS: D = {D:.4f}, p = {p_ks:.4f}")
print(f"Sample variance = {x.var(ddof=1):.4f}")

출력:

A^2 = 2.0862
  15.0%: 0.5690 *
  10.0%: 0.6480 *
  5.0%: 0.7770 *
  2.5%: 0.9060 *
  1.0%: 1.0780 *

KS: D = 0.0496, p = 0.4386
Sample variance = 1.6985

결과가 극명하게 갈린다.

검정 결과 판정
앤더슨–달링 \(A^2 = 2.086\) vs 1% 임계값 \(1.078\) 모든 수준에서 기각
콜모고로프–스미르노프 \(D = 0.0496\), \(p = 0.4386\) 기각 못 함

AD 검정은 1% 수준에서도 단호하게 기각하는 반면 KS 검정은 아예 기각하지 못한다(\(p = 0.44\)).

\(t_4\)의 이론적 분산은 \(\nu/(\nu-2) = 4/2 = 2\)로 1과 크게 다른데도 왜 KS가 실패할까? 표본분산(sample variance)이 \(1.699\)로 이미 2보다 작게 나왔다는 점도 있지만, 근본적인 이유는 CDF 사이의 최대 수직 거리가 작다는 것이다. \(t_4\) 와 \(\mathcal{N}(0,1)\) 의 CDF 는 \(x = 0\) 에서 한 번만 교차하고(연습문제 18 이 그것을 짚는다. 여러 번 만나는 것은 밀도 쪽이다), 어느 한 점에서의 차이도 크지 않다.

AD는 꼬리의 불일치를 \([F_0(1-F_0)]^{-1}\)로 증폭하므로 같은 이탈을 훨씬 크게 본다. 꼬리 이탈을 다룰 때 AD가 KS보다 결정적으로 낫다는 것을 보여주는 교과서적 예이다. \(\square\)


연습문제 13. SciPy의 AD 검정은 지수분포와 로지스틱분포에 대해서도 검정할 수 있다. 같은 자료를 세 분포 모두에 대해 검정하고 결과를 비교하는 코드를 작성하라.

풀이
import numpy as np
from scipy import stats

rng = np.random.default_rng(0)
x = rng.exponential(2.0, size=200)

for dist in ["norm", "expon", "logistic"]:
    res = stats.anderson(x, dist=dist)
    print(f"\n{dist}: A^2 = {res.statistic:.4f}")
    for cv, sl in zip(res.critical_values, res.significance_level):
        flag = " REJECT" if res.statistic > cv else ""
        print(f"  {sl}%: {cv:.4f}{flag}")

출력(요약):

norm: A^2 = 7.8017
  15.0%: 0.5650 REJECT
  10.0%: 0.6440 REJECT
  5.0%: 0.7720 REJECT
  2.5%: 0.9010 REJECT
  1.0%: 1.0710 REJECT

expon: A^2 = 0.5851
  15.0%: 0.9190
  10.0%: 1.0750
  5.0%: 1.3370
  2.5%: 1.6010
  1.0%: 1.9510

logistic: A^2 = 16.1719
  25.0%: 0.4250 REJECT
  10.0%: 0.5620 REJECT
  5.0%: 0.6590 REJECT
  2.5%: 0.7680 REJECT
  1.0%: 0.9050 REJECT
  0.5%: 1.0090 REJECT

지수 자료에 대해 "expon" 검정은 기각하지 않고(올바른 귀무가설) "norm"과 "logistic" 검정은 기각한다(틀린 분포). AD 검정이 여러 분포족에 걸쳐 쓸 수 있음을 보여준다.

두 가지 실무적 주의사항

(1) 유의수준 배열이 분포마다 다르다. norm과 expon은 [15, 10, 5, 2.5, 1]의 다섯 수준을 반환하지만 logistic은 [25, 10, 5, 2.5, 1, 0.5]의 여섯 수준을 반환하며 첫 항목이 15%가 아니라 25%이다. 따라서 res.critical_values[2]가 5% 임계값이라고 가정하는 코드는 세 분포에서 우연히 맞지만, critical_values[0]을 15% 임계값으로 해석하면 로지스틱에서 틀린다. 항상 significance_level과 함께 짝지어 읽어야 한다.

(2) dist="logistic"은 경고를 낼 수 있다. SciPy는 로지스틱 모수를 fsolve로 추정하는데, 지수 자료처럼 로지스틱과 크게 다른 자료에서는 RuntimeWarning: overflow encountered in exp와 수렴 실패 경고가 나온다. 이 예에서 \(A^2 = 16.17\)이라는 결론 자체는 타당하지만(모든 수준에서 압도적 기각), 경계선상의 사례에서는 이런 경고를 무시해서는 안 된다.

\(\square\)


연습문제 14. SciPy가 앤더슨–달링 검정에 정확한 \(p\) 값을 제공하지 않는 이유를 설명하고, 모의실험으로 \(p\) 값을 얻는 방법을 기술하라.

풀이

\(A^2\)의 귀무분포는 비표준적이다. 가설 분포족에 의존하고, 모수를 추정하는지 여부에도 의존한다. 닫힌 형태의 표현은 특정 경우에만 존재하며, SciPy는 정확한 \(p\) 값을 계산하는 대신 표로 정리된 임계값으로 검정을 구현한다.

모의실험 기반 \(p\) 값을 얻으려면

  1. 자료에서 \(A^2_{\text{obs}}\)를 계산한다.
  2. \(b = 1, \ldots, B\)에 대해 같은 크기의 \(x^{*(b)} \sim \mathcal{N}(\hat{\mu}, \hat{\sigma}^2)\)를 모의생성하고 \(A^{2*}_{(b)}\)를 계산한다(각 부트스트랩(bootstrap) 표본에서 모수를 다시 추정해야 한다).
  3. \(p\) 값은 \(\hat{p} = \frac{1}{B}\sum_b \mathbf{1}(A^{2*}_{(b)} \geq A^2_{\text{obs}})\)이다.

릴리포스 부트스트랩과 같은 원리이며 모수 추정을 올바르게 반영한다. \(B = 5000\)이면 5% 경계 근처에서 \(p\) 값의 표준오차는 \(\sqrt{0.05 \times 0.95/5000} \approx 0.003\)이다.

한 가지 유용한 사실을 덧붙인다. 정규성 검정의 경우 \(A^2\)의 귀무분포가 위치–척도 불변이므로 \(\hat{\mu}, \hat{\sigma}\)에 의존하지 않는다. 따라서 \(\mathcal{N}(0,1)\)에서 한 번만 큰 모의실험을 돌려 임계값 표를 만들어 두면 모든 자료에 재사용할 수 있다. SciPy가 하는 일이 바로 그것이다. \(\square\)


연습문제 15. AD 통계량이 제곱 EDF 차의 가중적분으로 쓰일 수 있음을 보여라. 정의에서 출발하여 적분 형태를 유도하라.

풀이

가중 크라메르–폰 미제스 범함수를 정의한다.

\[ A^2 = n \int_{-\infty}^{\infty} \frac{[\hat F_n(x) - F_0(x)]^2}{F_0(x)(1 - F_0(x))}\, dF_0(x). \]

\(u = F_0(x)\)로 치환하면(\(du = f_0(x)\,dx = dF_0(x)\))

\[ A^2 = n \int_0^1 \frac{[\hat F_n(F_0^{-1}(u)) - u]^2}{u(1-u)}\, du. \]

가중치 \(1/[u(1-u)]\)는 \(u \to 0\) 또는 \(u \to 1\)일 때 발산하여 극단 꼬리의 편차에 무한한 가중을 준다.

이 가중치가 임의로 선택된 것이 아니라는 점이 중요하다. \(H_0\) 아래에서 \(\sqrt{n}[\hat F_n(x) - F_0(x)]\)는 분산이 \(u(1-u)\)인 브라운 다리(Brownian bridge) — 양 끝 \(u = 0\) 과 \(u = 1\) 에서 값이 \(0\) 으로 묶인 정규 확률과정(stochastic process) — 로 수렴한다. 곧 \(1/[u(1-u)]\)는 분산의 역수 가중이며, 각 위치의 편차를 그 표준편차로 나누어 표준화하는 셈이다. 이 관점에서 AD는 자연스러운 표준화된 적분 검정이고, 가중치가 없는 크라메르–폰 미제스 통계량이 오히려 특수한 선택이다.

실제 계산에서는 \(\hat F_n\)의 계단함수 형태를 이용해 적분을 전개하면 이산합 형태

\[ A^2 = -n - \frac{1}{n}\sum_{i=1}^n (2i-1)[\ln U_i + \ln(1 - U_{n+1-i})] \]

를 얻는다. \(\square\)


연습문제 16. 2절의 적분 표현에서 가중치의 지수만 바꾼 통계량

\[ A_\alpha^2 = n \int_{-\infty}^{\infty} \frac{[\hat F_n(x) - F_0(x)]^2}{\bigl[F_0(x)\,(1 - F_0(x))\bigr]^{\alpha}}\, dF_0(x) \]

를 생각하자. \(\alpha = 1\) 이 앤더슨–달링이고 \(\alpha = 0\) 은 가중치 없는 크라메르–폰 미제스 통계량 \(W^2\) 이다. \(F_0\) 는 완전히 지정되었다고 하자(모수를 추정하지 않는다).

(1) \(H_0\) 아래에서 \(E[A_\alpha^2]\) 를 \(\alpha\) 만의 함수로 구하라. 베타함수로 쓸 수 있다.

(2) 이 기댓값이 유한한 \(\alpha\) 의 범위를 말하고 \(\alpha = 0, 1, \tfrac{3}{2}\) 에서의 값을 적어라.

(3) 이 계산으로 연습문제 11 의 마지막 주석 — "\(A^2\) 의 귀무분포는 표본크기에 거의 의존하지 않는다" — 을 설명하라. \(D_n\) 은 왜 사정이 다른가.

풀이

(1) \(u = F_0(x)\) 로 두면 \(n \hat F_n(x) \sim \text{Bin}(n, u)\) 이므로

\[ E\bigl[(\hat F_n(x) - F_0(x))^2\bigr] = \operatorname{Var}(\hat F_n(x)) = \frac{u(1-u)}{n} \]

이다(\(H_0\) 아래에서는 편향이 0 이다). 적분 안에 넣고 \(u = F_0(x)\) 로 치환하면

\[ E[A_\alpha^2] = n \int_0^1 \frac{u(1-u)/n}{[u(1-u)]^{\alpha}}\, du = \int_0^1 [u(1-u)]^{1-\alpha}\, du = B(2-\alpha,\, 2-\alpha) = \frac{\Gamma(2-\alpha)^2}{\Gamma(4-2\alpha)}. \]

\(n\) 이 정확히 약분되었다는 것이 핵심이다.

(2) 베타적분이 수렴할 조건은 양 끝에서 지수가 \(-1\) 보다 커야 한다는 것, 곧 \(1 - \alpha > -1\) 이므로 \(\alpha < 2\) 이다.

\(\alpha\) \(E[A_\alpha^2]\) 이름
\(0\) \(B(2,2) = \Gamma(2)^2/\Gamma(4) = 1/6 \approx 0.1667\) 크라메르–폰 미제스 \(W^2\)
\(1\) \(B(1,1) = 1\) 앤더슨–달링 \(A^2\)
\(3/2\) \(B(1/2,1/2) = \pi \approx 3.1416\) —
\(\to 2^-\) \(\to \infty\) —

\(\alpha \geq 2\) 에서는 귀무가설 아래에서조차 기댓값이 무한하므로 검정통계량으로 쓸 수 없다.

(3) (1) 의 결론은 \(E[A^2] = 1\) 이 모든 \(n\) 에 대해 정확히 성립한다는 것이다. 완전지정 \(A^2\) 을 직접 모의생성해 보면 평균이 \(n = 50\) 에서 \(0.998\), \(n = 200\) 에서 \(0.998\), \(n = 2000\) 에서 \(1.002\) 로 나온다. 평균뿐 아니라 분포 전체가 빠르게 극한법칙에 안착하므로 임계값 표 하나가 모든 \(n\) 에 쓰인다. 보기 4 의 \(n = 300\) 에서 5% 임계값이 \(0.7770\), 연습문제 13 의 \(n = 200\) 에서 \(0.7720\) 인 것처럼 차이가 셋째 소수점에 머무는 까닭이고, 그 작은 차이마저도 극한법칙의 \(n\) 의존이 아니라 모수 추정에 대한 보정(\(1 + 4/n - 25/n^2\)) 에서 온다.

\(D_n\) 은 다르다. \(\sqrt{n}\, D_n\) 이 콜모고로프 분포로 수렴하므로 \(E[D_n] \asymp n^{-1/2}\) 이고, 임계값이 \(1.3581/\sqrt{n}\) 처럼 줄어들어야 한다. 차이의 뿌리는 가중치다. \(\alpha = 1\) 은 브라운 다리의 분산 \(u(1-u)\) 로 나누는 것이어서 적분 안의 기댓값이 정확히 \(du\) 가 된다. 곧 모든 \(u\) 가 \(n\) 과 무관하게 똑같은 몫을 내놓는다. 반면 KS 의 상한은 표준화를 전혀 하지 않아 \(\hat F_n\) 자체의 축척(\(n^{-1/2}\)) 을 그대로 물려받는다.

한 줄 해석. \(\alpha = 1\) 은 "귀무가설의 무게를 \(u\) 전체에 고르게 펴는" 유일한 지수이고, \(\alpha = 2\) 는 그 무게가 극단 꼬리로 다 쏠려 터지는 지점이다. 꼬리를 더 세게 보고 싶어 \(1 < \alpha < 2\) 로 가면 통계량은 유한하지만 귀무분포의 평균조차 가장 바깥 관측값 몇 개에 좌우되어 쓸모가 없어진다. 앤더슨–달링은 이 허용 구간에서 가장 자연스러운 자리를 잡은 것이다. \(\square\)


연습문제 17. stats.anderson(x, dist="norm") 이 계산하는 \(A^2\) 은 표본마다 \(\bar{x}, s\) 를 추정해 \(U_i = \Phi\bigl((x_{(i)} - \bar{x})/s\bigr)\) 로 쓰는 판이다.

(1) \(b > 0\) 일 때 \(A^2(a + bx) = A^2(x)\) 임을 보여라. 이것이 연습문제 14 의 마지막 주장("귀무분포가 \(\hat\mu, \hat\sigma\) 에 의존하지 않으므로 표 하나로 충분하다")을 어떻게 뒷받침하는가.

(2) \(b = -1\) 일 때도, 곧 자료를 좌우로 뒤집어도 \(A^2\) 이 변하지 않음을 보여라. 힌트: \(U_i \mapsto 1 - U_{n+1-i}\) 가 되고 정의식의 합이 그 교환에 대해 대칭이다.

(3) 보기 4 의 자료 \(x\) 와 그 거울상 \(-x\) 는 \(A^2 = 1.0034\), \(W = 0.9723\), \(JB = 58.5069\) 를 똑같이 주고 \(g_1 = \pm 0.4467\) 만 부호가 바뀐다(\(g_2 = 1.9703\) 은 그대로다). \(W\) 와 \(JB\) 도 같은 값인 까닭을 각각 한 줄로 밝히고, 이 세 검정이 끝내 보지 못하는 것이 무엇인지, 왜도의 방향을 알려면 무엇을 보아야 하는지 말하라.

풀이

(1) \(y = a + bx\), \(b > 0\) 이라 하자. \(b > 0\) 이면 순서가 보존되므로 \(y_{(i)} = a + b\,x_{(i)}\) 이고 \(\bar{y} = a + b\bar{x}\), \(s_y = b\,s_x\) 이다. 따라서

\[ \frac{y_{(i)} - \bar{y}}{s_y} = \frac{b\,(x_{(i)} - \bar{x})}{b\,s_x} = \frac{x_{(i)} - \bar{x}}{s_x} \]

로 표준화 잔차가 하나하나 같고, \(U_i\) 도 같고, \(A^2\) 도 같다.

이것이 연습문제 14 의 주장을 증명한다. 자료가 \(\mathcal{N}(\mu, \sigma^2)\) 에서 왔다면 \(x = \mu + \sigma z\) 로 쓸 수 있고 위 식에 따라 \(A^2(x) = A^2(z)\) 이다. 곧 \(A^2\) 의 귀무분포는 \(\mathcal{N}(0,1)\) 에서의 분포와 완전히 같다. 그래서 \(\mathcal{N}(0,1)\) 에서 한 번 만든 임계값 표를 모든 자료에 재사용할 수 있다.

(2) \(y = -x\) 이면 순서가 거꾸로 되어 \(y_{(i)} = -x_{(n+1-i)}\) 이고 \(\bar{y} = -\bar{x}\), \(s_y = s_x\) 이므로

\[ U_i^{y} = \Phi\!\left(\frac{-x_{(n+1-i)} + \bar{x}}{s_x}\right) = 1 - U_{n+1-i}^{x} \]

이다. 이것을 정의식의 합에 넣으면 두 항이 서로 자리를 바꾼다.

\[ \ln U_i^{y} = \ln\bigl(1 - U_{n+1-i}^{x}\bigr), \qquad \ln\bigl(1 - U_{n+1-i}^{y}\bigr) = \ln\bigl(1 - (1 - U_i^{x})\bigr) = \ln U_i^{x} \]

이므로 각 \(i\) 에서 대괄호 안의 두 항의 합이 그대로다. 따라서

\[ A^2(-x) = -n - \frac{1}{n}\sum_{i=1}^n (2i-1)\bigl[\ln U_i^{x} + \ln(1 - U_{n+1-i}^{x})\bigr] = A^2(x). \]

(1) 과 합치면 모든 \(a\) 와 \(b \neq 0\) 에 대해 \(A^2(a+bx) = A^2(x)\) 다. \(\square\)

(3) \(W = \bigl(\sum_i a_i x_{(i)}\bigr)^2 / \sum_i (x_i - \bar{x})^2\) 에서 계수가 반대칭(\(a_i = -a_{n+1-i}\))이므로 \(x \to -x\) 에서 분자의 선형결합은 부호만 바뀌고 제곱하면 같아진다. 분모는 당연히 같다. 자크–베라는 \(JB = \frac{n}{6}\bigl(g_1^2 + g_2^2/4\bigr)\) 로 왜도를 제곱해서 쓰므로 \(g_1 \to -g_1\) 이 아무 영향을 주지 않는다.

세 검정이 보지 못하는 것은 이탈의 방향이다. 모두 "정규가 아니다"의 강도만 재고, 오른쪽 꼬리가 두꺼운 자료와 왼쪽 꼬리가 두꺼운 자료를 글자 하나도 구별하지 못한다. 보기 4 의 대수정규 오염(오른쪽으로 끌린 자료)과 그 거울상(왼쪽으로 끌린 자료)은 \(A^2 = 1.0034\) 로 같은 수를 준다.

방향을 알려면 부호가 살아 있는 양을 보아야 한다. \(g_1 = +0.4467\) 이라는 왜도 자체, 또는 Q-Q 그림의 휘어지는 쪽(오른쪽 끝이 위로 들리면 오른쪽 꼬리가 두껍다)이다.

실무에서 이 구별이 중요한 자리가 있다. 손실이 왼쪽 꼬리에 쌓이는 자료와 이익이 오른쪽 꼬리에 쌓이는 자료는 위험이 전혀 다른데, 정규성 검정의 통계량만으로는 둘을 가를 수 없다. 검정은 진단의 시작이고, 방향은 따로 보아야 한다. \(\square\)


연습문제 18. 연습문제 12 는 \(t_4\) 자료 \(n = 300\) 에서 AD 가 1% 수준까지 기각하는데 KS 는 \(p = 0.4386\) 으로 기각조차 못 하는 것을 보였다. 이 차이를 필요한 표본크기로 환산해 보자. 두 검정 모두 완전히 지정된 \(F_0 = \Phi\) 를 쓴다고 하자.

(1) \(f_{t_4}(x) = \phi(x)\) 의 해가 \(x_c = 1.6466\) 이다. \(\Delta_{\text{KS}} = \sup_x \lvert F_{t_4}(x) - \Phi(x) \rvert\) 가 왜 하필 이 \(x_c\) 에서 달성되는지 설명하고 그 값을 적어라. \(u = \Phi(x_c)\) 로 보면 그 지점은 꼬리인가.

(2) KS 의 5% 임계값은 \(1.3581/\sqrt{n}\) 이다. 체계적 차이 \(\Delta_{\text{KS}}\) 만으로 임계값에 닿으려면 \(n\) 이 얼마나 되어야 하는가.

(3) 연습문제 16(1) 을 대립가설로 확장하여 \(E[A^2] = c + n\,\Delta_{\text{AD}}\) 임을 보여라. 여기서 \(F(u) = F_{t_4}(\Phi^{-1}(u))\) 이고

\[ c = \int_0^1 \frac{F(u)\,(1 - F(u))}{u(1-u)}\, du, \qquad \Delta_{\text{AD}} = \int_0^1 \frac{[F(u) - u]^2}{u(1-u)}\, du \]

이다. 수치적분값 \(c = 1.5406\), \(\Delta_{\text{AD}} = 0.01202\) 와 완전지정 \(A^2\) 의 5% 점 \(2.492\) 를 써서 필요한 \(n\) 을 구하고 (2) 와 견주어라.

(4) \(\Delta_{\text{AD}}\) 가운데 양 끝 1%(\(u < 0.01\) 또는 \(u > 0.99\))에서 오는 몫이 \(33\%\), 양 끝 0.1% 에서 오는 몫이 \(12\%\) 다. 이 수들과 (1) 의 답을 함께 놓고 꼬리 가중이 하는 일을 한 문장으로 말하라.

풀이

(1) \(x_c\) 는 두 밀도가 만나는 점이므로 CDF 차의 극점이다. \(g(x) = F_{t_4}(x) - \Phi(x)\) 라 하면 \(g'(x) = f_{t_4}(x) - \phi(x)\) 이고, 이것이 0 이 되는 양수 지점이 바로 \(x_c = 1.6466\) 이다. 부호를 보면 \(f_{t_4}(0) = 0.3750 < \phi(0) = 0.3989\) 이므로 \((0, x_c)\) 에서 \(g\) 가 감소하고, \(x > x_c\) 에서는 \(t_4\) 의 두꺼운 꼬리 때문에 \(f_{t_4} > \phi\) 가 되어 \(g\) 가 다시 0 을 향해 올라간다. 따라서 \(x_c\) 가 유일한 최솟점이고

\[ g(x_c) = F_{t_4}(x_c) - \Phi(x_c) = 0.91250 - 0.95018 = -0.03767, \qquad \Delta_{\text{KS}} = 0.03767 \]

이다(음수 쪽은 대칭이라 크기가 같다). 그 지점은 \(u = \Phi(1.6466) = 0.9502\), 곧 꼬리가 아니라 어깨다.

덧붙여 둘 것이 있다. 연습문제 12 의 풀이가 짚어 둔 대로, 여러 번 만나는 것은 밀도(\(\pm x_c\) 에서 두 번)이고 CDF 는 \(x = 0\) 에서만 만난다. \(x > 0\) 전체에서 \(F_{t_4} < \Phi\) 다. KS 가 실패하는 까닭은 교차가 많아서가 아니라 최대 수직거리 자체가 \(0.0377\) 밖에 안 되기 때문이다.

(2) \(\Delta_{\text{KS}} \geq 1.3581/\sqrt{n}\) 을 풀면

\[ n \geq \left(\frac{1.3581}{0.0376727}\right)^2 = 1299.6 \]

이므로 \(n \geq 1300\) 이다. 실제로 \(1.3581/\sqrt{1300} = 0.03767\) 로 딱 맞는다. \(n = 300\) 에서 임계값은 \(1.3581/\sqrt{300} = 0.0784\) 인데 체계적 차이는 그 절반도 안 되는 \(0.0377\) 이니, 연습문제 12 의 \(D = 0.0496\) 은 놀랄 일이 아니었다.

(3) \(u = F_0(x)\) 에서 \(n\hat F_n(x) \sim \text{Bin}(n, F)\) 이므로 분산과 편향제곱으로 쪼개면

\[ E\bigl[(\hat F_n - F_0)^2\bigr] = \frac{F(1-F)}{n} + (F - F_0)^2 \]

이다. 여기에 \(n\) 을 곱하고 가중치 \([u(1-u)]^{-1}\) 로 적분하면 첫 항에서 \(n\) 이 약분되어 \(c\) 가, 둘째 항에서 \(n\,\Delta_{\text{AD}}\) 가 나온다.

\[ E[A^2] = \int_0^1 \frac{F(1-F)}{u(1-u)}\,du + n \int_0^1 \frac{(F-u)^2}{u(1-u)}\,du = c + n\,\Delta_{\text{AD}}. \]

\(H_0\) 이면 \(F = u\) 라 \(c = 1\), \(\Delta_{\text{AD}} = 0\) 이 되어 연습문제 16 의 결과로 돌아간다. 수치를 넣으면

\[ 1.5406 + 0.01202\,n \geq 2.492 \quad \Longleftrightarrow \quad n \geq \frac{2.492 - 1.5406}{0.01202} = 79.2 \]

이므로 \(n \geq 80\) 이다. KS 는 \(1300\), AD 는 \(80\) — 같은 기준에서 열여섯 배 차이다.

다만 두 기준 모두 통계량의 변동을 무시한 것이라 보수적이다. 특히 KS 의 상한은 양의 잡음을 주워 담으므로 실제 검정력은 더 빨리 올라간다. 모의실험으로 재면 \(t_4\) 자료에서 KS 의 기각률이 \(n = 300\) 에 \(0.177\), \(n = 700\) 에 \(0.547\), \(n = 1300\) 에 \(0.955\) 다. 그래도 자릿수의 격차는 그대로다. (연습문제 12 의 AD 는 모수를 추정하는 판이라 분산 불일치를 \(s\) 가 흡수해 신호가 줄지만 임계값도 \(1.078\) 로 함께 내려간다. 그 조건에서도 \(A^2 = 2.086\) 으로 모든 수준에서 기각했다.)

(4) KS 의 증거는 전부 \(u = 0.95\) 라는 한 점에서 나오는데 그 자리의 AD 가중치는 \(1/(0.9502 \times 0.0498) = 21.1\) 에 지나지 않는다. 반면 AD 의 신호는 가중치가 \(10^2\) 에서 \(10^4\) 로 커지는 양 끝 1% 에서만 \(33\%\), 끝 0.1% 에서만 \(12\%\) 를 긁어 온다. 꼬리 가중은 "가장 큰 틈 하나"에 걸지 않고 꼬리 전역에 흩어진 작은 틈들을 전부 더해 주는 장치다. \(\square\)


연습문제 19. 보기 4(2) 의 표에서 앤더슨–달링의 크기가 명목 \(0.05\) 에 대해 \(0.0420\) 으로 나왔다(모의실험 표준오차 \(0.0056\)). 풀이는 "크기가 작으면 검정력도 깎인다"는 단서만 남겨 두었다. 이것을 끝까지 따라가 보자.

(1) 반복을 충분히 늘려 \(n = 20, 100, 300, 1000\) 에서 SciPy 표의 5% 임계값이 정규 자료를 실제로 몇 % 기각하는지 재라. \(0.0420\) 은 몬테카를로 잡음인가.

(2) 같은 모의실험으로 \(A^2\) 의 참 95% 분위수(quantile)를 구하라. 참 분위수가 \(n\) 에 따라 어떻게 움직이는지, SciPy 의 표값은 어떻게 움직이는지 나란히 놓고 보라. SciPy 는 표의 기준값 \(0.787\) 을 \(1 + 4/n - 25/n^2\) 으로 나누어 쓴다. 표값과 참값이 일치하는 \(n\) 은 얼마쯤인가.

(3) 참 분위수를 임계값으로 써서 보기 4 의 혼합 대립(\(\mathcal{N}(0,1)\) 230 개 + \(\text{Lognormal}(0, 0.6^2)\) 70 개)에서 AD 의 검정력을 다시 재고, "샤피로–윌크 1 등" 판정이 그대로인지 확인하라.

풀이
import numpy as np
from scipy import stats


def A2v(X):
    """행마다 모수를 추정해 A^2 을 한꺼번에 구한다 (stats.anderson 과 같은 값)."""
    R, n = X.shape
    Y = np.sort(X, axis=1)
    z = (Y - Y.mean(1, keepdims=True)) / Y.std(1, ddof=1, keepdims=True)
    i = np.arange(1, n + 1)
    return -n - ((2 * i - 1) * (stats.norm.logcdf(z)
                                + stats.norm.logsf(z)[:, ::-1])).sum(1) / n


rng = np.random.default_rng(314)

# (1) 표의 5% 임계값이 정규 자료를 실제로 몇 % 기각하는가.
print("    n   5% 임계값    참 크기              참 95% 분위수")
q95 = {}
for n, R in [(20, 100000), (100, 100000), (300, 100000), (1000, 40000)]:
    cv = stats.anderson(np.linspace(0.0, 1.0, n)).critical_values[2]
    a = np.concatenate([A2v(rng.standard_normal((min(5000, R - s), n)))
                        for s in range(0, R, 5000)])
    size = (a > cv).mean()
    q95[n] = np.quantile(a, 0.95)
    print(f"{n:5d}   {cv:.4f}    {size:.4f} (SE {np.sqrt(size*(1-size)/R):.4f})"
          f"      {q95[n]:.4f}")

# (2) 크기를 바로잡은 뒤의 검정력 — 보기 4 의 혼합 대립 그대로.
R = 20000
ad_tab = ad_fix = sw = 0
for s in range(0, R, 2000):
    m = min(2000, R - s)
    X = np.concatenate([rng.normal(0, 1, (m, 230)),
                        rng.lognormal(0, 0.6, (m, 70))], axis=1)
    a = A2v(X)
    ad_tab += int((a > 0.777).sum())
    ad_fix += int((a > q95[300]).sum())
    for row in X:
        sw += stats.shapiro(row)[1] < 0.05
print(f"\n혼합 대립 (n = 300, R = {R}, MC SE 최대 {0.5/np.sqrt(R):.4f})")
print(f"  AD, 표의 임계값 0.7770       : {ad_tab/R:.4f}")
print(f"  AD, 크기 보정 임계값 {q95[300]:.4f}  : {ad_fix/R:.4f}")
print(f"  샤피로-윌크 (명목 5%)        : {sw/R:.4f}")

출력:

    n   5% 임계값    참 크기              참 95% 분위수
   20   0.6920    0.0608 (SE 0.0008)      0.7243
  100   0.7590    0.0459 (SE 0.0007)      0.7447
  300   0.7770    0.0435 (SE 0.0006)      0.7507
 1000   0.7840    0.0403 (SE 0.0010)      0.7472

혼합 대립 (n = 300, R = 20000, MC SE 최대 0.0035)
  AD, 표의 임계값 0.7770       : 0.4272
  AD, 크기 보정 임계값 0.7507  : 0.4561
  샤피로-윌크 (명목 5%)        : 0.5105

(여기서 A2v 는 SciPy 와 똑같은 \(A^2\) 을 행 단위로 벡터화한 것이고, stats.anderson 은 임계값이 \(n\) 에 따라 달라지므로 길이 \(n\) 의 아무 자료를 넣어 표값만 꺼내는 데 썼다.)

(1) 잡음이 아니다. \(n = 300\) 에서 참 크기는 \(0.0435\) 이고 표준오차가 \(0.0006\) 이니 명목 \(0.05\) 와의 차이 \(0.0065\) 는 표준오차의 열 배가 넘는다. 보기 4 가 \(R = 1500\) 으로 얻은 \(0.0420\) 은 이 참값을 제대로 가리킨 셈이다. \(n\) 에 따른 그림은 이렇다.

\(n\) SciPy 표값 참 크기 판정
\(20\) \(0.6920\) \(0.0608\) 느슨하다(과대 기각)
\(100\) \(0.7590\) \(0.0459\) 거의 맞다
\(300\) \(0.7770\) \(0.0435\) 보수적
\(1000\) \(0.7840\) \(0.0403\) 더 보수적

(2) 참 분위수는 거의 평평한데 표값은 올라간다. 참 95% 분위수는 \(0.7243 \to 0.7447 \to 0.7507 \to 0.7472\) 로 \(n = 100\) 부터 \(0.745\) 근처에서 멈춘다. 연습문제 16(3) 이 말한 "\(A^2\) 의 귀무분포는 \(n\) 에 거의 의존하지 않는다"가 숫자로 확인된 것이다. 그런데 SciPy 의 표값은 \(0.6920 \to 0.7590 \to 0.7770 \to 0.7840\) 으로 계속 올라가 기준값 \(0.787\) 로 수렴한다. 둘이 만나는 곳은

\[ \frac{0.787}{1 + 4/n - 25/n^2} = 0.747 \quad \Longrightarrow \quad 0.0535\,n^2 - 4n + 25 = 0 \quad \Longrightarrow \quad n \approx 67.9 \]

곧 \(n \approx 68\) 이다. \(n < 68\) 에서는 표값이 참값보다 작아 검정이 느슨해지고(\(n = 20\) 에서 크기 \(0.061\)), \(n > 68\) 에서는 표값이 참값보다 커져 보수적이 된다. 보정항 \(1 + 4/n - 25/n^2\) 은 \(n \to \infty\) 에서 1 로 가므로 큰 \(n\) 의 임계값은 기준값 \(0.787\) 그 자체인데, 참 95% 점은 \(0.747\) 이다. 기준값이 약 \(5\%\) 높게 잡혀 있어 큰 표본에서 명목 5% 검정이 실제로는 4% 검정이 된다.

(3) 크기를 바로잡아도 샤피로–윌크가 1 등이다. 임계값을 \(0.7770\) 에서 참값 \(0.7507\) 로 내리면 AD 의 검정력이 \(0.4272 \to 0.4561\) 로 \(0.029\) 올라간다. 보기 4 의 풀이가 남긴 단서가 정량화된 것이다. 그러나 샤피로–윌크는 \(0.5105\) 이고(그 크기는 명목에 맞는 \(0.049\) 였다) 차이 \(0.054\) 는 두 추정값의 표준오차(\(0.0035\) 씩)의 열 배가 넘는다.

한 줄 해석. 보기 4 의 "AD 는 KS 보다 낫지만 샤피로–윌크에는 못 미친다"는 결론은 크기 차이가 만든 허상이 아니었다. 동시에, 표로 정리된 임계값을 쓸 때는 그 표가 어느 \(n\) 에서 맞춰진 것인지 알아야 한다는 교훈도 남는다. 경계선상의 판정이 중요하면 연습문제 14 의 모의실험 \(p\) 값으로 돌아가는 편이 낫다. \(\square\)


연습문제 20. 자크–베라는 3차·4차 적률만 본다. 그렇다면 왜도와 초과첨도가 정확히 0 인데도 정규가 아닌 분포를 지어 자크–베라를 통과시킬 수 있어야 한다. 다음 혼합을 쓰자.

\[ X \sim 0.9\,\mathcal{N}(0, \sigma^2) + 0.05\,\mathcal{N}(-\mu,\, 0.3^2) + 0.05\,\mathcal{N}(\mu,\, 0.3^2) \]

(1) 대칭이라 \(EX = 0\), \(\gamma_1 = 0\) 은 공짜다. 여기에 \(\operatorname{Var}(X) = 1\) 과 \(EX^4 = 3\)(곧 \(\beta_2 = 3\), 초과첨도 0)을 걸면 \(a = \sigma^2\) 에 대한 이차식 \(10.8\,a^2 - 18.324\,a + 7.35838 = 0\) 이 나옴을 보이고 두 해를 모두 구하라. 평균이 \(m\), 표준편차가 \(\tau\) 인 정규분포의 4차적률이 \(m^4 + 6m^2\tau^2 + 3\tau^4\) 임을 쓰면 된다.

(2) 두 해가 그리는 모양은 전혀 다르다. 각각을 말로 묘사하고 어느 쪽이 정규와 더 비슷할지 미리 짚어라.

(3) \(n = 500\), \(\alpha = 0.05\) 에서 자크–베라·앤더슨–달링·샤피로–윌크의 기각률을 모의실험으로 재라. 한쪽 해에서는 자크–베라의 기각률이 자기 크기보다도 작게 나온다. 왜 그런가. \(g_1, g_2\) 의 표본 표준편차와 \(EX^6\) 을 함께 재어 설명하라.

풀이

(1) 2차적률 조건은

\[ EX^2 = 0.9\,a + 0.1\,(\mu^2 + 0.09) = 1 \quad \Longrightarrow \quad \mu^2 = 9.91 - 9a \]

이다. 4차적률은 중심성분이 \(3a^2\), 혹 성분이 \(\mu^4 + 6\mu^2(0.09) + 3(0.09)^2\) 이므로

\[ EX^4 = 2.7\,a^2 + 0.1\,\mu^4 + 0.054\,\mu^2 + 0.00243 = 3 \]

이고 \(\mu^2 = 9.91 - 9a\) 를 넣으면

\[ 2.7a^2 + 0.1(98.2081 - 178.38a + 81a^2) + 0.054(9.91 - 9a) + 0.00243 = 3 \]
\[ 10.8\,a^2 - 18.324\,a + 7.35838 = 0. \]

판별식은 \(18.324^2 - 4(10.8)(7.35838) = 335.7690 - 317.8820 = 17.8870\) 이고 \(\sqrt{17.8870} = 4.2293\) 이므로

\[ a = \frac{18.324 \pm 4.2293}{21.6} = 0.652533 \ \text{ 또는 } \ 1.044134 \]
\[ (\sigma, \mu) = (0.807795,\ 2.009280) \quad \text{또는} \quad (1.021829,\ 0.716095). \]

(2) 첫 해는 중심이 표준편차 \(0.808\) 로 좁아지고 전체의 10% 가 \(\pm 2.01\) 에 작은 혹 두 개로 떨어져 나간 봉우리 셋인 분포다(이하 "먼 혹"). 둘째 해는 중심이 \(1.022\) 로 거의 표준정규이고 혹이 \(\pm 0.716\) 에, 곧 몸통 안쪽에 묻혀 있다("가까운 혹"). 눈으로도 먼 혹이 훨씬 비정규로 보이니 EDF 기반 검정이 잡기 쉬울 것이고, 가까운 혹은 네 적률이 같은 데다 모양까지 비슷해 어느 검정도 어려울 것이다.

import numpy as np
from scipy import stats

p, tau = 0.1, 0.3

# 2차·4차 적률 조건을 a = sigma^2 에 대한 이차식으로 풀어 둔 것이다.
roots = np.roots([10.8, -18.324, 7.35838])
print("sigma^2 의 두 해:", np.round(np.sort(roots), 6))
pars = []
for a in np.sort(roots):
    sig, mu = np.sqrt(a), np.sqrt(9.91 - 9 * a)
    pars.append((sig, mu))
    print(f"  sigma = {sig:.6f},  mu = {mu:.6f}")


def mix(rng, R, n, sig, mu):
    """0.9 로 N(0, sig^2), 0.05 씩 N(+-mu, 0.3^2) 인 혼합에서 뽑는다."""
    z = rng.standard_normal((R, n))
    core = rng.random((R, n)) < 1 - p
    bump = np.where(rng.random((R, n)) < 0.5, -mu, mu) + tau * z
    return np.where(core, sig * z, bump)


def A2v(X):
    R, n = X.shape
    Y = np.sort(X, axis=1)
    w = (Y - Y.mean(1, keepdims=True)) / Y.std(1, ddof=1, keepdims=True)
    i = np.arange(1, n + 1)
    return -n - ((2 * i - 1) * (stats.norm.logcdf(w)
                                + stats.norm.logsf(w)[:, ::-1])).sum(1) / n


# 적률이 정말로 맞는지 큰 표본으로 확인한다.
rng = np.random.default_rng(5)
for (sig, mu), name in zip(pars, ["먼 혹", "가까운 혹"]):
    y = mix(rng, 1, 2_000_000, sig, mu)[0]
    print(f"{name}: 분산 {y.var():.4f}, g1 {stats.skew(y):+.4f}, "
          f"g2 {stats.kurtosis(y):+.4f}, E X^6 {np.mean(y**6):.3f} (정규는 15)")

# n = 500, alpha = 0.05 에서 세 검정의 기각률
n, R = 500, 10000
cv = stats.anderson(np.linspace(0.0, 1.0, n)).critical_values[2]
print(f"\nn = {n}, R = {R}, AD 5% 임계값 {cv:.4f}, MC SE 최대 {0.5/np.sqrt(R):.4f}")
rng = np.random.default_rng(99)
for name, pair in [("정규 (크기)", None), ("먼 혹", pars[0]), ("가까운 혹", pars[1])]:
    ad = sw = jb = 0
    g1s, g2s = [], []
    for s in range(0, R, 1000):
        m = min(1000, R - s)
        X = (rng.standard_normal((m, n)) if pair is None
             else mix(rng, m, n, *pair))
        ad += int((A2v(X) > cv).sum())
        g1s.append(stats.skew(X, axis=1))
        g2s.append(stats.kurtosis(X, axis=1))
        for row in X:
            sw += stats.shapiro(row)[1] < 0.05
            jb += stats.jarque_bera(row)[1] < 0.05
    g1s, g2s = np.concatenate(g1s), np.concatenate(g2s)
    print(f"{name:11s} AD {ad/R:.4f}  SW {sw/R:.4f}  JB {jb/R:.4f}   "
          f"sd(g1) {g1s.std():.4f}  sd(g2) {g2s.std():.4f}")

출력:

sigma^2 의 두 해: [0.652533 1.044134]
  sigma = 0.807795,  mu = 2.009280
  sigma = 1.021829,  mu = 0.716095
먼 혹: 분산 0.9999, g1 -0.0020, g2 -0.0030, E X^6 12.647 (정규는 15)
가까운 혹: 분산 1.0005, g1 -0.0014, g2 +0.0009, E X^6 15.474 (정규는 15)

n = 500, R = 10000, AD 5% 임계값 0.7810, MC SE 최대 0.0050
정규 (크기)     AD 0.0429  SW 0.0492  JB 0.0439   sd(g1) 0.1076  sd(g2) 0.2142
먼 혹         AD 0.6151  SW 0.7373  JB 0.0051   sd(g1) 0.0861  sd(g2) 0.1450
가까운 혹       AD 0.1159  SW 0.0876  JB 0.0574   sd(g1) 0.1131  sd(g2) 0.2244

(3) 먼저 적률이 설계대로 맞았음을 확인한다. 200 만 개 표본에서 분산 \(0.9999\), \(g_1 = -0.0020\), \(g_2 = -0.0030\) 이다. 그러므로 두 분포 모두 자크–베라가 재는 두 양의 참값이 0 이다. (2장의 부등식 \(\beta_2 \geq 1 + \gamma_1^2\) 은 \(\gamma_1 = 0\) 일 때 \(\beta_2 \geq 1\) 만 요구하므로 \(\beta_2 = 3\) 은 하한에서 한참 떨어진 자리다. 적률 두 개를 정규에 맞추는 것은 전혀 제약이 아니다.)

분포 AD SW JB
정규(크기) \(0.0429\) \(0.0492\) \(0.0439\)
먼 혹 \(\mathbf{0.6151}\) \(\mathbf{0.7373}\) \(0.0051\)
가까운 혹 \(0.1159\) \(0.0876\) \(0.0574\)

먼 혹에서 AD 는 \(0.615\), 샤피로–윌크는 \(0.737\) 로 또렷하게 잡아내는데 자크–베라는 \(0.0051\) 에 머문다. 자기 크기 \(0.0439\) 의 9 분의 1 이다. 검정력이 유의수준보다 낮은 검정을 편향되었다(biased)고 한다.

까닭은 \(JB = \frac{n}{6}(g_1^2 + g_2^2/4)\) 의 분모에 쓰인 분산이 정규분포의 것이라는 데 있다. 참값이 0 이니 \(JB\) 를 키우는 것은 순전히 \(g_1, g_2\) 의 변동인데, 그 변동이 정규일 때보다 작다. 출력의 마지막 두 열이 그것이다.

분포 \(\mathrm{sd}(g_1)\) \(\mathrm{sd}(g_2)\) \(EX^6\)
정규 \(0.1076\) \(0.2142\) \(15\)
먼 혹 \(0.0861\) \(0.1450\) \(12.647\)
가까운 혹 \(0.1131\) \(0.2244\) \(15.474\)

\(g_1, g_2\) 의 표집분산은 모집단의 6차·8차적률에 달려 있고, 먼 혹 분포는 혹이 \(\pm 2.01\) 에 갇혀 있어 고차적률이 정규보다 가볍다(\(EX^6 = 12.65 < 15\)). 그래서 \(g_1, g_2\) 가 0 주변에 더 바싹 모이고 자크–베라는 명목 수준보다도 덜 기각한다. 가까운 혹은 \(EX^6 = 15.47 > 15\) 로 조금 무거워 반대로 \(0.0574\) 가 되지만 이것도 검정력이라 할 수 없다.

한 줄 해석. 적률 네 개를 정규에 맞춘다는 것과 정규라는 것은 전혀 다른 조건이고, 그 틈은 EDF 기반 검정이 본다. 자크–베라가 기각하지 못한 자료를 "정규"로 읽으면, 여기서는 봉우리가 셋인 분포를 정규라고 부르는 셈이 된다. 반대 방향의 교훈도 같이 있다. 가까운 혹에서는 AD 조차 \(0.116\) 에 그친다. 적률도 같고 모양까지 비슷하면 \(n = 500\) 으로는 어느 검정도 소용이 없다. 쪽 끝에서 말한 대로, 기각하지 못했다는 사실은 끝까지 "정규다"로 번역되지 않는다. \(\square\)


연습문제 21. 앤더슨–달링이 콜모고로프–스미르노프보다 꼬리에 민감한 까닭을 극단으로 보내 확인한다. 기준분포를 완전히 지정된 \(F_0 = \Phi\) 로 고정하고, \(n\) 개 관측값 가운데 가장 큰 것만 \(x_{(n)} = M \to \infty\) 로 보낸다(나머지 \(n-1\) 개는 그대로 둔다).

(1) \(\S 1\) 의 \(A^2\) 합 공식에서 \(M\) 이 들어가는 항을 모두 찾고, 밀스 비 \(1 - \Phi(M) \sim \varphi(M)/M\) 을 써서

\[ A^2 = \frac{M^2}{2n} + \frac{\ln M}{n} + O(1) \]

임을 보이시오. 특히 \(A^2 \to \infty\) 다.

(2) 같은 이동이 KS 통계량 \(D_n = \sup_x \lvert \hat F_n(x) - \Phi(x) \rvert\) 를 얼마나 움직이는지 재고, 그 변화가 \(1/n\) 을 넘지 못함을 보이시오. \(n = 200\) 이면 KS 의 5% 임계값은 \(1.358/\sqrt{200} = 0.0960\) 인데, 이 한 점이 기여할 수 있는 최대량은 그중 몇 %인가.

(3) \(n = 200\) 일 때 이 한 점만으로 \(A^2\) 를 모수를 아는 경우의 5% 임계값 \(2.492\) 위로 밀어 올리려면 \(M\) 이 얼마나 커야 하는가.

풀이

(1) 식

\[ A^2 = -n - \sum_{i=1}^{n} \frac{2i-1}{n}\Bigl[\ln F_0(x_{(i)}) + \ln\bigl(1 - F_0(x_{(n+1-i)})\bigr)\Bigr] \]

에서 \(M = x_{(n)}\) 이 나타나는 자리는 딱 둘이다.

  • \(i = n\) 항의 \(\ln F_0(x_{(n)}) = \ln \Phi(M)\). 가중치는 \((2n-1)/n\) 이지만 \(\Phi(M) \to 1\) 이므로 \(\ln \Phi(M) \to 0\) 이고 이 기여는 사라진다.
  • \(i = 1\) 항의 \(\ln(1 - F_0(x_{(n)})) = \ln(1 - \Phi(M))\). 가중치는 \((2\cdot 1 - 1)/n = 1/n\) 이다.

나머지 항은 고정된 \(n-1\) 개 점만 담고 있으므로 \(M\) 과 무관한 상수 \(C_n\) 이다. 따라서

\[ A^2 = -\frac{1}{n}\ln\bigl(1 - \Phi(M)\bigr) + C_n + o(1). \]

밀스 비에서 \(1 - \Phi(M) = \frac{\varphi(M)}{M}\bigl(1 + O(M^{-2})\bigr)\) 이고 \(\varphi(M) = (2\pi)^{-1/2} e^{-M^2/2}\) 이므로

\[ -\ln\bigl(1 - \Phi(M)\bigr) = \frac{M^2}{2} + \ln M + \tfrac{1}{2}\ln(2\pi) + O(M^{-2}) \]

이다. \(n\) 으로 나누면 \(A^2 = \frac{M^2}{2n} + \frac{\ln M}{n} + O(1)\) 을 얻고, 특히 점 하나로 \(A^2\) 를 무제한 키울 수 있다. 가중함수 \(1/\{F(1-F)\}\) 가 \(F \to 1\) 에서 발산하기 때문이다.

(2) 가장 큰 점을 \(m\) 에서 \(M > m\) 으로 옮기면 경험분포함수는 구간 \([m, M)\) 에서만 달라진다. 옮기기 전에는 그 구간에서 \(n\) 개가 모두 왼쪽에 있어 \(\hat F_n = 1\) 이지만, 옮긴 뒤에는 \(n-1\) 개뿐이어서 \(\hat F_n = (n-1)/n\) 이다. 다른 모든 \(x\) 에서는 값이 같다. 곧

\[ \bigl\lVert \hat F_n^{\text{new}} - \hat F_n^{\text{old}} \bigr\rVert_\infty = \frac{1}{n} \]

이다. \(D_n\) 은 상한노름 거리이므로 삼각부등식에서

\[ \bigl\lvert D_n^{\text{new}} - D_n^{\text{old}} \bigr\rvert \le \bigl\lVert \hat F_n^{\text{new}} - \hat F_n^{\text{old}} \bigr\rVert_\infty = \frac{1}{n} \]

이다. \(n = 200\) 이면 \(1/200 = 0.005\), 임계값 \(0.0960\) 의 5.2% 다. 관측값 하나가 \(+\infty\) 로 날아가도 KS 통계량은 임계값의 20 분의 1 만큼밖에 못 움직인다. 상한노름은 각 관측값의 영향력을 \(1/n\) 으로 상한 지어 버린다. 바로 이 차이가 "앤더슨–달링이 꼬리에 더 민감하다" 의 내용이다.

(3) (1)에서 \(C_n\) 을 무시하고 \(i = 1\) 항 하나로 임계값을 넘기려면

\[ -\frac{1}{200}\ln\bigl(1 - \Phi(M)\bigr) = 2.492 \iff -\ln\bigl(1 - \Phi(M)\bigr) = 498.4 \]

을 풀면 된다. 밀스 근사로 \(\frac{M^2}{2} + \ln M + 0.9189 = 498.4\) 이고, 거친 1 차 근사 \(M \approx \sqrt{2 \cdot 200 \cdot 2.492} = 31.57\) 에서 한 번 더 조이면

\[ M \approx 31.43 \]

을 얻는다(수치해도 \(31.4335\) 다).

두 결과를 나란히 두면 균형이 보인다. KS 는 점 하나에 사실상 눈이 멀고, 앤더슨–달링은 점 하나로 발산하지만 그 발산이 \(M^2/(2n)\), 곧 꼬리확률의 로그 만큼이어서 생각보다 느리다. \(n = 200\) 에서 \(31\sigma\) 짜리 관측값이 있어야 혼자서 5% 임계값을 넘긴다. 그래서 14.2절 Q-Q 그림 보기 4 처럼 꼬리에 \(4.56\) 이나 \(-3.81\) 정도의 점이 몇 개 있는 자료에서도 \(A^2\) 가 \(0.6894\) 밖에 안 나왔던 것이다. 덧붙여 실제 anderson 은 \(\bar x\) 와 \(S\) 로 표준화하므로 거대한 이상치는 \(S\) 도 함께 키워 효과를 더 깎는다. 꼬리 민감성은 상대적인 말이지 무한한 힘이 아니다. \(\square\)

연습문제 22. 참 분포함수 \(G\) 가 \(0.01 \le \Phi(x) \le 0.99\) 인 모든 \(x\) 에서 \(G(x) = \Phi(x)\) 와 같고, 바깥쪽 두 꼬리 영역 안에서만 정규와 다르다고 하자. 꼬리 영역 안의 질량을 옮겨 만드는데, 각 영역의 질량 \(0.01\) 과 거기서의 1 차·2 차 적률은 그대로 두어 전체 평균 \(0\) 과 분산 \(1\) 이 유지되도록 한다. 모양은 꼬리에서 정규와 얼마든지 다를 수 있다.

(1) \(\sup_x \lvert G(x) - \Phi(x) \rvert \le 0.01\) 임을 보이시오.

(2) 릴리포스 임계값 \(0.886/\sqrt{n}\) 을 써서, 이 이탈을 \(\alpha = 0.05\) 에서 잡아낼 가망이 생기기라도 하려면 \(n\) 이 적어도 얼마여야 하는지 구하시오.

(3) 앤더슨–달링 통계량은 적분에 가중 \(1/\bigl(F(x)(1-F(x))\bigr)\) 을 준다. \(F = 0.995\) 와 \(F = 0.5\) 에서 이 가중을 견주고, 연습문제 3 의 "가중 없이 최대 편차만 쓴다" 는 말이 (2) 의 수와 어떻게 이어지는지 쓰시오.

풀이

(1) 영역을 셋으로 나눈다. \(x_{0.01}\) 과 \(x_{0.99}\) 를 \(\Phi(x_{0.01}) = 0.01\), \(\Phi(x_{0.99}) = 0.99\) 인 점이라 하자.

  • 가운데 \(x_{0.01} \le x \le x_{0.99}\) 에서는 가정에 의해 \(G(x) = \Phi(x)\) 이므로 차가 \(0\) 이다.
  • 위쪽 꼬리 \(x > x_{0.99}\) 에서는, 꼬리 영역의 질량을 보존했으므로 \(G(x_{0.99}) = \Phi(x_{0.99}) = 0.99\) 이고 \(G\) 는 비감소이므로 \(G(x) \in [0.99, 1]\) 이다. 또 \(\Phi(x) \in (0.99, 1]\) 이다. 길이 \(0.01\) 짜리 구간 \([0.99, 1]\) 안의 두 수의 차는 \(0.01\) 을 넘을 수 없다.
  • 아래쪽 꼬리 \(x < x_{0.01}\) 에서는 같은 이유로 \(G(x), \Phi(x) \in [0, 0.01]\) 이므로 차가 \(0.01\) 을 넘지 않는다.

세 영역을 합쳐 \(\sup_x \lvert G(x) - \Phi(x) \rvert \le 0.01\) 이다. \(\square\)

핵심은 수직 거리의 상한이 꼬리 확률 자체로 묶인다는 점이다. 꼬리에서 분포가 아무리 심하게 달라도 누적확률은 \(0.99\) 와 \(1\) 사이에 갇혀 있으니, 그 영역에서 두 분포함수가 벌어질 수 있는 최대폭이 \(0.01\) 이다.

(2) \(n \ge 7850\) 이어야 비로소 가망이 생긴다. 평균이 \(0\), 분산이 \(1\) 로 보존되었으므로 \(\hat\mu \to 0\), \(\hat\sigma \to 1\) 이고, 적합한 정규 곡선은 \(\Phi\) 로 수렴한다. 따라서 글리벤코–칸텔리 정리(14.4절 콜모고로프–스미르노프 검정 연습문제 5)에 의해

\[ D_n \longrightarrow \sup_x \lvert G(x) - \Phi(x) \rvert \le 0.01 \]

이다. 검정은 \(D_n > 0.886/\sqrt{n}\) 일 때만 기각하므로, 임계값이 이 상한보다 작아야 한다는 것이 최소 조건이다.

\[ \frac{0.886}{\sqrt{n}} < 0.01 \quad\Longleftrightarrow\quad \sqrt{n} > 88.6 \quad\Longleftrightarrow\quad n > 88.6^2 = 7849.96 \]

곧 \(n \ge 7850\) 이다. 그런데 이것은 기각이 원리적으로 가능해지는 임계값일 뿐이다. \(n = 7850\) 에서는 임계값이 신호의 전부와 같으므로 검정력은 \(\alpha\) 근처에 머문다. 쓸 만한 검정력을 얻으려면 \(n\) 이 이보다 훨씬 커야 하고, 게다가 신호의 상한 \(0.01\) 은 가장 좋은 경우의 값이어서 실제 \(G\) 의 \(\sup\) 는 그보다 작을 수 있다.

(3) 가중의 비는 약 \(50\) 배다.

\[ \frac{1}{0.995 \times 0.005} = 201.0, \qquad \frac{1}{0.5 \times 0.5} = 4, \qquad \frac{201.0}{4} = 50.3 \]

KS 의 \(\sup\) 는 꼬리에 아무 가중도 주지 않으므로 \(0.01\) 어치의 수직 거리는 끝까지 \(0.01\) 어치로 남는다. 앤더슨–달링은 같은 불일치를 꼬리에서 \(50\) 배로 키워 놓고 적분한다. 연습문제 3 이 "가중 없이 최대 편차만 쓴다" 고 적은 말의 수량적 내용이 바로 (2) 의 \(7850\) 이다. 꼬리만 다른 분포는 수직 거리라는 자로는 거의 재지지 않는데, 그 자의 눈금 폭 자체가 꼬리 확률로 묶여 있기 때문이다.

덧붙이면, 이 \(G\) 는 평균과 분산만 정규와 같게 맞추었으므로 4 차 적률은 얼마든지 달라질 수 있다. \(x^4\) 라는 가중은 꼬리를 매우 크게 보기 때문에 자크–베라나 앤더슨–달링은 이런 이탈에 KS 계열보다 훨씬 유리하다. 검정을 고르는 일은 "어디를 들여다볼 것인가" 를 고르는 일이다.


정리하며

앤더슨–달링은 꼬리에 가중을 둔 EDF 검정이다.

  • KS 를 개선한 것이다. 적분 안에 \(1/[F_0(x)(1-F_0(x))]\) 가중을 넣어 꼬리에서의 차이를 크게 센다.
  • 꼬리 이탈 탐지에 강하다. 금융 자료처럼 꼬리가 문제인 상황에서 KS 보다 훨씬 예민하다.
  • \(p\) 값 대신 임계값 표를 준다. scipy.stats.anderson 은 \(A^2\) 통계량과 여러 유의수준의 임계값을 돌려주며, \(p\) 값을 직접 주지 않는다.
  • 분포마다 임계값이 다르다. 정규·지수·로지스틱 등 지정한 분포에 따라 표가 달라지며, 모수를 추정했다는 사실이 이미 반영되어 있다.
  • 소표본에서도 쓸 만하다. 샤피로–윌크와 함께 실무의 주력이다.

다음 절 샤피로–윌크 검정으로 넘어간다.