콘텐츠로 이동

올바른 검정 선택하기

1. 검정 선택이 중요한 이유

들어가는 이야기 — 분포를 바꾸면 검정의 순서가 뒤집힌다

꼬리가 얇은 균등분포에서 \(n = 50\) 짜리 표본을 \(6000\) 번 뽑아 자크–베라를 걸면 기각률이 \(0.000\) 이다. \(6000\) 번 가운데 한 번도 정규성(normality)을 기각하지 못한다. 같은 자료를 다고스티노 \(K^2\) 는 \(0.802\) 로 잡아낸다. 「정규성 검정」이라는 한 이름 아래 있는 검정들이 이렇게까지 갈린다.

까닭은 대수적이다. \(n = 50\) 에서 균등분포의 표본 초과첨도는 \(-1.2\) 근처에 좁게 몰리는데, 이것을 \(JB\) 공식에 넣으면 \(3.0\) 언저리가 되어 \(\chi^2_2\) 의 \(95\%\) 값 \(5.99\) 에 닿지 못한다. 점근적 기준값이 이 표본크기에서 너무 큰 것이고, 유한표본 보정을 거친 \(K^2\) 는 같은 자리에서 제값을 한다.

그렇다고 순서가 고정된 것도 아니다. 꼬리가 두꺼운 \(t_3\) 에서는 자크–베라 \(0.661\) 과 \(K^2\) \(0.660\) 이 샤피로–윌크 \(0.630\) 을 앞선다. 적률만 보는 검정이 꼬리 문제에서는 오히려 유리한 것이다. 반대로 치우친 대수정규에서는 샤피로–윌크가 \(0.978\) 로 맨 앞에 서고 자크–베라(\(0.894\))와 \(K^2\)(\(0.907\))이 뒤로 밀린다 — 어느 검정이 센지는 어떤 이탈이냐에 달렸다. 어느 검정이 가장 좋으냐는 물음에는 답이 없고, 대립가설(alternative hypothesis)을 적어 주면 답이 생긴다.

그러면 선택하기 전에 물어야 할 것은 「어떤 이탈을 의심하고 있는가」다. 표본크기와 의심되는 이탈이 주어졌을 때 어느 검정을 집어야 하며, 집은 뒤에도 남는 한계는 무엇인가. 이 쪽이 네 검정을 한 표로 모으고 판단의 틀을 세운 다음, 다섯 검정의 검정력을 네 대립분포에서 나란히 잰다.

두 칸짜리 그림. 왼쪽은 표본크기 50 에서 자크–베라 통계량의 분포를 정규·균등·t(3) 세 자료에 대해 그린 것으로, 균등분포의 봉우리가 3.2 근처에 좁게 몰려 임계값 5.99 에 닿지 못한다. 오른쪽은 같은 자료의 다고스티노 K 제곱 분포로 균등분포가 임계값을 넘어간다

기각률 표가 말하지 않는 까닭이다. 왼쪽. \(n = 50\) 에서 균등분포의 자크–베라 통계량은 \(3.2\) 근처에 좁게 몰려 있어 카이제곱의 \(95\%\) 값 \(5.99\) 에 닿지 못한다. 기각률이 \(0.000\) 인 것은 검정이 둔해서가 아니라 통계량이 거기까지 갈 수 없기 때문이다 — 초과첨도가 \(-1.2\) 근처에 좁게 몰리고, 그것을 공식에 넣으면 그 수가 된다. 오른쪽. 같은 자료가 유한표본 보정을 거친 \(K^2\) 에서는 임계값을 넘어가 \(0.80\) 으로 잡힌다. 꼬리가 두꺼운 \(t(3)\) 에서는 둘이 거의 같다(\(0.67\) 대 \(0.67\)). 어느 검정이 좋으냐에는 답이 없고 대립가설을 적어 주면 답이 생긴다는 말이 이것이다.

정규성 검정에는 여러 가지가 있으며 각각 강점과 민감도가 다르다. 샤피로–윌크 검정, 앤더슨–달링 검정, 콜모고로프–스미르노프 검정, 자크–베라 검정은 모두 정규성을 평가하지만, 어떤 유형의 이탈을 가장 효과적으로 탐지하는지, 어떤 표본크기를 감당하는지, 표준 소프트웨어에서 어떻게 구현되어 있는지가 다르다. 올바른 검정의 선택은 표본크기, 의심되는 이탈의 유형, 추론의 맥락에 달려 있다.


2. 흔한 정규성 검정 개관

샤피로–윌크 검정

샤피로–윌크 검정은 정렬된 표본값이 정규분포의 기대 순서통계량과 얼마나 잘 맞는지를 재는 검정통계량(test statistic) \(W\)를 계산하여 귀무가설(null hypothesis) \(H_0\): "자료가 정규분포에서 왔다"를 평가한다. 통계량은

\[ W = \frac{\left(\sum_{i=1}^{n} a_i X_{(i)}\right)^2}{\sum_{i=1}^{n} (X_i - \bar{X})^2} \]

여기서 가중치 \(a_i\)는 정규 순서통계량의 공분산행렬에서 유도된다. \(W\)가 1에 가까우면 정규성을, 작으면 이탈을 나타낸다.

강점: 정규성 이탈을 탐지하는 데 대체로 가장 강력하며, 특히 작거나 중간 크기의 표본(\(n \leq 50\))에서 그렇다. 왜도(skewness)와 두꺼운 꼬리 모두에 민감하다.

한계: 대부분의 구현이 \(n\)을 최대 5000으로 제한한다. 이탈의 유형(왜도 대 첨도(kurtosis))을 알려주지 않는다.

앤더슨–달링 검정

앤더슨–달링 검정은 경험분포함수(EDF)에 기초한다. EDF \(\hat F_n(x)\)와 가정한 정규 누적분포함수(cumulative distribution function) \(\Phi(x)\) 사이의 거리를 가중하여 잰다.

\[ A^2 = -n - \sum_{i=1}^{n} \frac{2i - 1}{n} \left[\ln \Phi(Z_{(i)}) + \ln\left(1 - \Phi(Z_{(n+1-i)})\right)\right] \]

여기서 \(Z_{(i)} = (X_{(i)} - \bar{X}) / S\)는 표준화된 순서통계량이다. 앤더슨–달링 통계량은 콜모고로프–스미르노프 검정보다 분포의 꼬리에 더 큰 가중치를 준다.

강점: KS 검정보다 꼬리 이탈에 민감하다. 더 큰 표본크기에도 쓸 수 있다. 다양한 대립가설에서 좋은 성능을 낸다.

한계: 작은 표본에서는 샤피로–윌크보다 조금 덜 강력하다. 임계값이 모수를 추정했는지 알고 있는지에 따라 달라진다.

콜모고로프–스미르노프 검정

콜모고로프–스미르노프(KS) 검정은 EDF와 가정한 누적분포함수 사이의 최대 절대거리를 잰다.

\[ D = \sup_x \left| \hat F_n(x) - \Phi(x) \right| \]

모수를 추정한 정규분포와 비교할 때는 반드시 릴리포스 보정을 적용해야 한다. 표준 KS 임계값이 모수가 완전히 지정되었다고 가정하기 때문이다.

강점: 개념이 단순하다. 임의의 연속분포에 적용할 수 있다. 표본크기 제한이 없다.

한계: 정규성 위배 탐지에서 샤피로–윌크와 앤더슨–달링보다 대체로 검정력이 낮다. 분포 중앙의 이탈에 가장 민감하고 꼬리의 이탈에는 상대적으로 둔감하다.

자크–베라 검정

자크–베라 검정은 표본왜도와 표본첨도에 기초한다. 검정통계량은

\[ JB = \frac{n}{6}\left(\hat\gamma_1^{\,2} + \frac{\hat\gamma_2^{\,2}}{4}\right) \]

여기서 \(\hat\gamma_1\)은 표본왜도, \(\hat\gamma_2 = \hat\beta_2 - 3\)은 표본 초과첨도다. \(H_0\) 아래에서 \(n \to \infty\)일 때 \(JB \overset{d}{\to} \chi^2_2\)이다.

강점: 정규성 이탈의 가장 흔한 두 유형인 왜도와 첨도를 직접 겨냥한다. 계산이 단순하다. 계량경제학과 금융에서 널리 쓰인다.

한계: 점근적 검정이므로 작은 표본(\(n < 30\))에서는 믿을 수 없다. 왜도와 첨도에 영향을 주지 않는 이탈(예: 대칭이고 중첨인 성분으로 이루어진 이봉분포)에는 둔감하다.


3. 비교표

검정 적합한 표본크기 민감한 대상 꼬리 민감도 계산 비용
샤피로–윌크 \(n \leq 5000\) 일반적 이탈 높음 중간
앤더슨–달링 제한 없음 꼬리 이탈 매우 높음 낮음
콜모고로프–스미르노프 (릴리포스) 제한 없음 중앙의 이탈 낮음 낮음
자크–베라 \(n \geq 30\) 왜도와 첨도 중간 매우 낮음

4. 판단의 틀

다음 지침이 적절한 검정을 고르는 데 도움이 된다.

1단계: 표본크기를 고려한다.

  • \(n < 30\)이면 샤피로–윌크 검정을 쓴다. 작은 표본에서 검정력이 가장 좋다. Q-Q 그림으로 보완하라.
  • \(30 \leq n \leq 5000\)이면 샤피로–윌크가 여전히 강력한 기본 선택이다. 꼬리 거동이 주된 관심사라면 앤더슨–달링 검정이 좋은 대안이다.
  • \(n > 5000\)이면 (표본크기 제한이 없는) 앤더슨–달링 검정을 쓴다. 왜도나 첨도가 관심사라면 자크–베라 검정도 적절하다.

2단계: 의심되는 이탈을 고려한다.

  • 두꺼운 꼬리가 의심되면(예: 금융 자료) 앤더슨–달링이나 자크–베라를 선호한다. KS 검정은 꼬리에서 너무 둔감하다.
  • 왜도가 주된 관심사면 자크–베라가 그것을 직접 검정한다.
  • 이탈의 유형을 모르면 샤피로–윌크가 가장 폭넓게 강력한 선택이다.

3단계: 추론의 맥락을 고려한다.

  • 후속 분석이 \(t\) 검정이나 분산분석(analysis of variance)이면 범용 검정(샤피로–윌크)이 적절하다.
  • 후속 분석이 분산이나 꼬리 위험과 관련되면 꼬리에 민감한 검정(앤더슨–달링)이 더 적합하다.
언제나 시각적 방법으로 보완하라

어떤 정규성 검정도 시각적 평가를 대체하지 못한다. Q-Q 그림은 이탈의 유형과 위치(꼬리, 중앙, 왜도)를 드러내고 히스토그램은 전반적 모양을 보여준다. 형식적 검정과 Q-Q 그림의 조합이 가장 유익한 평가를 제공한다.

세 단계를 한 장으로

위의 세 단계를 실제로 따라가는 경로는 그림으로 그려 두면 기억하기 쉽다.

표본크기와 의심되는 이탈에 따라 정규성 검정을 고르는 흐름도

이 그림에서 눈여겨볼 곳은 세 갈래의 성격이 다르다는 점이다. 가운데 파란 경로만이 "검정을 골라 돌린다"는 보통의 의미를 갖는다. 양옆의 두 경로는 검정을 고르는 문제라기보다 검정에 무엇을 기대하지 말아야 하는가의 문제다.

왼쪽 \(n < 30\) 경로에서는 샤피로–윌크가 여전히 최선의 선택이지만, 그 최선이 그리 좋지 않다. 검정력이 낮아 웬만한 이탈도 놓치므로 "기각하지 못했다"가 정규성의 증거가 되지 못한다. 이 구간에서 실제로 판단을 내리는 도구는 Q-Q 그림이고, 검정은 보조 자료다. 상자의 문구를 "샤피로–윌크를 쓰되 결과를 믿지 말라"로 읽어도 크게 틀리지 않는다.

오른쪽 \(n > 5000\) 경로는 정반대 이유로 검정을 믿을 수 없다. 어떤 검정이든 거의 확실히 기각하므로 기각 자체에 정보가 없다. 앤더슨–달링이나 자크–베라를 쓰는 이유는 표본크기 제한이 없어서이지 결과가 더 유익해서가 아니다. 이 구간에서 보고해야 할 숫자는 \(p\) 값이 아니라 \(g_1\)과 \(g_2\), 곧 이탈의 크기다.

가운데 경로 안에서의 선택은 의심되는 이탈의 종류가 정한다. 짚이는 데가 없으면 폭넓게 강력한 샤피로–윌크, 금융 수익률처럼 꼬리가 걱정이면 앤더슨–달링, 왜도인지 첨도인지 진단까지 원하면 \(Z_1\)과 \(Z_2\)를 따로 돌려주는 다고스티노 \(K^2\)이다. 콜모고로프–스미르노프가 어느 갈래에도 없다는 점에 주목하라. 정규성만이 목적이라면 KS를 고를 이유가 거의 없다.

맨 아래 띠가 전체를 관통하는 규칙이다. 어느 경로로 가든 Q-Q 그림을 함께 본다. 검정은 "정규가 아니다"까지만 말해 주고, 어떻게 아닌지는 그림만이 보여준다.

보기 1. 같은 자료에 네 검정 돌려 보기. \(t_5\)에서 \(n = 100\)개를 뽑아 샤피로–윌크, 앤더슨–달링, 콜모고로프–스미르노프, 자크–베라를 모두 돌린다.

(1) 자크–베라의 닫힌 꼴 \(JB = \frac{n}{6}\bigl(g_1^2 + \frac{g_2^2}{4}\bigr)\)을 코드가 준 \(JB = 5365.90\)과 맞춰 보고, scipy가 어느 판본의 왜도·첨도를 쓰는지 밝히시오. \(t_5\)의 이론값(\(\gamma_1 = 0\), \(\gamma_2 = 6\))을 넣으면 \(JB\)가 얼마인가. 관측값과의 차이는 어디서 오는가.

(2) KS 의 \(p = 0.0030\)은 나머지 셋과 견줄 수 있는 수가 아니다. 왜 그런가. 모수 추정을 반영한 올바른 귀무분포를 모의로 만들어 바른 \(p\) 값과 5% 임계값을 구하고, 표준 KS 임계값을 그대로 썼을 때 검정의 실제 크기를 재시오.

풀이
import numpy as np
from scipy import stats

# ===================================================================
# 같은 자료에 네 검정을 모두 돌려 결론을 견준다
#
# 검정마다 무엇에 민감한지가 달라, 같은 자료에서도 p 값이 꽤 갈린다.
# 하나만 골라 돌리고 끝낼 일이 아니라는 것이 요점이다.
# ===================================================================

np.random.seed(42)
n = 100

# 자유도 5 인 t. 대칭이지만 꼬리가 두꺼운 자료다.
data = stats.t.rvs(df=5, size=n)

if __name__ == "__main__":
    # Shapiro-Wilk — 두루 쓰기 좋고 작은 표본에서 검정력이 높다.
    sw_stat, sw_p = stats.shapiro(data)
    print(f"Shapiro-Wilk:      W = {sw_stat:.4f}, p = {sw_p:.4f}")

    # Anderson-Darling — 꼬리에 무게를 싣는다. 이 자료에 가장 민감할 것이다.
    ad_result = stats.anderson(data, dist="norm")
    print(f"Anderson-Darling:  A2 = {ad_result.statistic:.4f}, "
          f"critical (5%) = {ad_result.critical_values[2]:.4f}")

    # KS — 모수를 자료에서 추정해 넘겼으므로 p 값이 실제보다 크게 나온다.
    # 제대로 하려면 Lilliefors 임계값을 써야 한다.
    ks_stat, ks_p = stats.kstest(data, "norm", args=(np.mean(data), np.std(data)))
    print(f"KS (estimated):    D = {ks_stat:.4f}, p = {ks_p:.4f}")

    # Jarque-Bera — 왜도와 첨도만 본다. 큰 표본에서 쓸 만하다.
    jb_stat, jb_p = stats.jarque_bera(data)
    print(f"Jarque-Bera:       JB = {jb_stat:.4f}, p = {jb_p:.4f}")

출력:

Shapiro-Wilk:      W = 0.6287, p = 0.0000
Anderson-Darling:  A2 = 6.0914, critical (5%) = 0.7590
KS (estimated):    D = 0.1783, p = 0.0030
Jarque-Bera:       JB = 5365.9041, p = 0.0000

표본의 모양 통계량은 \(g_1 = 4.8256\), \(g_2 = 34.5640\)이다(보정판은 \(G_1 = 4.8994\), \(G_2 = 36.4190\)). 네 검정이 모두 기각한다.

import numpy as np
from scipy import stats

np.random.seed(42)
n = 100
d = stats.t.rvs(df=5, size=n)

print("t_5 의 이론값:  왜도 0,  초과첨도 6/(5-4) = 6")
print(f"이 표본:  g1 = {stats.skew(d):.4f}   g2 = {stats.kurtosis(d):.4f}")
print(f"  (보정판 G1 = {stats.skew(d, bias=False):.4f},"
      f" G2 = {stats.kurtosis(d, bias=False):.4f})")

# 자크-베라의 닫힌 꼴을 직접 확인한다.
g1, g2 = stats.skew(d), stats.kurtosis(d)
print(f"\nJB = n/6*(g1^2 + g2^2/4) = {n / 6 * (g1 ** 2 + g2 ** 2 / 4):.4f}"
      f"   scipy = {stats.jarque_bera(d).statistic:.4f}")
print(f"t_5 의 이론값을 넣으면 JB = {n / 6 * (0 ** 2 + 6 ** 2 / 4):.1f}")

# 이 표본의 극단값 하나가 모든 것을 끌고 간다.
z = (d - d.mean()) / d.std(ddof=1)
print(f"\n표준화 최대/최소:  {z.max():+.2f}  {z.min():+.2f}")
drop = np.sort(d)[:-1]
print("가장 큰 관측 하나를 빼면 (n = 99):")
print(f"  g1 = {stats.skew(drop):+.4f}   g2 = {stats.kurtosis(drop):+.4f}")
print(f"  W = {stats.shapiro(drop).statistic:.4f}  p = {stats.shapiro(drop).pvalue:.4f}")
print(f"  A2 = {stats.anderson(drop, dist='norm').statistic:.4f}")
print(f"  JB = {stats.jarque_bera(drop).statistic:.4f}"
      f"  p = {stats.jarque_bera(drop).pvalue:.4f}")

# KS 를 추정 모수로 쓰면 p 값이 얼마나 과대평가되는가.
D_obs = stats.kstest(d, "norm", args=(np.mean(d), np.std(d))).statistic


def ks_est(x):
    return stats.kstest(x, "norm", args=(np.mean(x), np.std(x))).statistic


rng = np.random.default_rng(404)
R = 40000
Dnull = np.array([ks_est(rng.normal(0, 1, n)) for _ in range(R)])
p_lillie = np.mean(Dnull >= D_obs)
print(f"\nKS:  D = {D_obs:.4f}")
print(f"  표준 KS p 값 (모수를 안다고 가정)        = "
      f"{stats.kstest(d, 'norm', args=(np.mean(d), np.std(d))).pvalue:.4f}")
print(f"  릴리포스 p 값 (모수 추정을 반영, R={R}) = {p_lillie:.5f}")
print(f"  5% 임계값:  표준 KS {stats.ksone.ppf(0.975, n):.4f}"
      f"   릴리포스 {np.percentile(Dnull, 95):.4f}")

# 그 임계값을 잘못 쓰면 검정의 실제 크기는 얼마가 되는가.
crit_std = stats.ksone.ppf(0.975, n)
print(f"\n표준 KS 임계값 {crit_std:.4f} 를 추정 모수에 그대로 쓰면")
print(f"  명목 0.05 인 검정의 실제 크기 = {np.mean(Dnull > crit_std):.5f}")

출력:

t_5 의 이론값:  왜도 0,  초과첨도 6/(5-4) = 6
이 표본:  g1 = 4.8256   g2 = 34.5640
  (보정판 G1 = 4.8994, G2 = 36.4190)

JB = n/6*(g1^2 + g2^2/4) = 5365.9041   scipy = 5365.9041
t_5 의 이론값을 넣으면 JB = 150.0

표준화 최대/최소:  +7.75  -1.45
가장 큰 관측 하나를 빼면 (n = 99):
  g1 = +0.8195   g2 = +2.7637
  W = 0.9548  p = 0.0019
  A2 = 0.6086
  JB = 42.5870  p = 0.0000

KS:  D = 0.1783
  표준 KS p 값 (모수를 안다고 가정)        = 0.0030
  릴리포스 p 값 (모수 추정을 반영, R=40000) = 0.00000
  5% 임계값:  표준 KS 0.1340   릴리포스 0.0892

표준 KS 임계값 0.1340 를 추정 모수에 그대로 쓰면
  명목 0.05 인 검정의 실제 크기 = 0.00015

(1) 닫힌 꼴이 소수점 넷째 자리까지 맞는다. \(\frac{100}{6}\bigl(4.8256^2 + \frac{34.5640^2}{4}\bigr) = 5365.9041\)이고 scipy.stats.jarque_bera가 준 값과 같다. 이 일치가 판본을 결정해 준다. 보정판 \(G_1 = 4.8994\), \(G_2 = 36.4190\)을 넣으면 \(\frac{100}{6}(24.00 + 331.59) = 5926\)이 되어 전혀 다른 수가 나오므로, scipy의 자크–베라는 보정하지 않은 \(g_1\), \(g_2\)를 쓴다. 자크–베라를 손으로 계산할 때 pandas 의 .skew()(\(G_1\))를 가져다 쓰면 값이 맞지 않는다.

\(t_5\)의 이론값을 넣으면 \(JB = \frac{100}{6}\bigl(0 + \frac{36}{4}\bigr) = 150\)이다. 관측값 \(5365.9\)는 그 36배다. 이론이 예측하는 것보다 훨씬 큰 값이 나왔으니, 이 표본이 \(t_5\)를 대표하지 못한다는 뜻이다.

차이의 출처는 관측값 하나다. 표준화한 최댓값이 \(+7.75\)인데 최솟값은 \(-1.45\)에 지나지 않는다. 그 한 점을 빼면 \(g_1\)이 \(4.83 \to 0.82\)로, \(g_2\)가 \(34.56 \to 2.76\)으로 떨어지고 \(JB\)는 \(5366 \to 42.6\)이 된다. \(t_5\)는 대칭 분포인데 이 표본의 왜도가 \(4.83\)이나 되는 것은 꼬리가 두꺼워서가 아니라 오른쪽 꼬리에서 하나가 유독 멀리 나왔기 때문이다. 코드의 주석이 "대칭이지만 꼬리가 두꺼운 자료"라 적은 것은 모집단의 성질이고, 이 표본은 그 성질을 왜도로는 보여 주지 못한다.

한 점이 판정을 뒤집기도 한다. 앤더슨–달링은 \(A^2 = 6.0914\)로 5% 임계값 \(0.759\)의 여덟 배였지만, 같은 한 점을 빼면 \(A^2 = 0.6086\)으로 임계값 아래로 내려가 기각하지 못한다. 샤피로–윌크는 \(W = 0.6287 \to 0.9548\)(\(p = 0.0019\))로, 자크–베라는 \(p\) 값이 여전히 \(10^{-9}\) 아래로 기각을 유지한다. 곧 이 자료에서 네 검정의 결론이 갈리는 정도는 "검정마다 민감도가 다르다"보다 "극단점 하나에 얼마나 끌려가는가" 가 더 크게 설명한다. \(A^2\)의 \(1/\{F(1-F)\}\) 가중이 꼬리를 중시하는 만큼 꼬리의 한 점에 취약하기도 한 것이다.

(2) KS 의 \(p = 0.0030\)은 틀린 귀무분포에서 읽은 수다. stats.kstest에 args=(np.mean(data), np.std(data))를 넘기는 것은 "평균과 표준편차를 미리 알고 있었다"고 주장하는 것이다. 실제로는 자료에서 추정했고, 추정된 모수는 정의상 경험분포에 가장 잘 맞도록 정해지므로 \(D\)가 체계적으로 작아진다. 그러므로 표준 KS 귀무분포에서 읽은 \(p\) 값은 실제보다 크다.

모의로 바른 귀무분포(릴리포스 분포)를 만들면 그 차이가 드러난다. 5% 임계값이 표준 KS 의 \(0.1340\)에서 릴리포스의 \(0.0892\)로 1.5배 낮아진다. 관측 \(D = 0.1783\)은 40,000번의 귀무 모의에서 한 번도 넘어서지 못했으므로 바른 \(p\) 값은 \(1/40000 = 2.5\times 10^{-5}\)보다 작다. 곧 올바르게 교정한 KS 는 \(p = 0.003\)이 아니라 \(p < 2.5\times 10^{-5}\)로 압도적으로 기각한다.

반대 방향의 피해가 더 크다. 표준 KS 임계값 \(0.1340\)을 추정 모수에 그대로 쓰면 명목 5% 검정의 실제 크기가 \(0.00015\)(40,000번 중 6번)로 333분의 1로 쪼그라든다. 검정이 지나치게 보수적이 되어, 참으로 비정규인 자료도 거의 기각하지 못한다. 이것이 모수를 추정했을 때 릴리포스 보정이 선택이 아니라 필수인 까닭이다.

5. 검정마다 잘 잡는 이탈이 다르다

아래 보기 \(2\) 는 자료가 정말 정규일 때 다섯 검정이 모두 기각하지 않는다는 것을 보인다. 서로 다른 검정이 왜 필요한지는 정규가 아닌 자료를 줘 봐야 드러난다. 아래 표는 \(n = 50\)인 표본을 네 가지 비정규 모집단에서 6000번씩 뽑아 다섯 검정의 기각률을 재어 색으로 칠한 것이다. 맨 왼쪽 열은 정규 모집단이므로 기각률이 \(0.05\) 근처여야 한다(검정의 크기 확인). 나머지 네 열은 검정력이다.

다섯 가지 정규성 검정의 기각률을 네 가지 비정규 모집단에 대해 비교한 표

왼쪽 열부터 읽자. 크기는 다섯 검정 모두 대체로 지켜진다(\(0.040\)–\(0.061\)). 오른쪽으로 치우친 대수정규에서는 샤피로–윌크가 \(0.978\)로 가장 강하고 앤더슨–달링이 \(0.952\)로 뒤를 잇는다. 여기까지는 어느 검정을 쓰든 결론이 같다.

흥미로운 곳은 나머지 세 열이다. 두꺼운 꼬리(\(t_3\))에서는 자크–베라 \(0.661\)과 다고스티노 \(K^2\) \(0.660\)이 샤피로–윌크 \(0.630\)을 앞선다. 왜도·첨도만 보는 검정이 꼬리 문제에서는 오히려 유리한 것이다. 그런데 꼬리가 얇은 균등분포로 가면 자크–베라가 \(0.000\)으로 무너진다. 6000번 중 한 번도 기각하지 못했다. \(n = 50\)에서 균등분포의 표본 초과첨도는 \(-1.2\) 근처에 좁게 몰리는데, 이를 \(JB = \frac{n}{6}\bigl(g_1^2 + g_2^2/4\bigr)\)에 넣으면 \(3.0\) 언저리가 되어 \(\chi^2_2\)의 95% 값 \(5.99\)에 닿지 못한다. 점근적 기준값이 이 표본크기에서 너무 크다는 뜻이다. 같은 자료를 다고스티노 \(K^2\)는 \(0.802\)로 잡아낸다. 유한표본 보정을 거친 변환을 쓰기 때문이다.

콜모고로프–스미르노프(릴리포스 보정)는 네 열 모두에서 꼴찌이거나 꼴찌에 가깝다(\(0.845\), \(0.479\), \(0.276\), \(0.417\)). 분포의 모든 지점을 똑같이 취급하느라 정규분포의 특정 구조를 전혀 쓰지 않기 때문이다. 정규성 검정으로 KS를 첫 번째 선택지로 삼을 이유는 거의 없다.

이 표가 주는 교훈은 분명하다. "가장 좋은 정규성 검정"을 묻는 것은 "가장 좋은 렌즈"를 묻는 것과 같다. 무엇을 보려는지에 달려 있다. 실무에서는 샤피로–윌크를 기본으로 두되, 기각되었을 때 왜 기각되었는지는 왜도·첨도와 Q-Q 그림으로 따로 읽는 것이 안전하다.


다섯 검정을 한자리에서

보기 2. 다섯 검정을 한자리에서. \(\mathcal{N}(0,1)\)에서 \(n = 100\)개를 뽑아 다섯 검정을 모두 돌리면 전부 기각하지 않는다.

(1) 다섯 검정 가운데 하나만 귀무가설이 다르다. 어느 것인가. 자료를 \(0.5\)만큼 옮겨 다섯 결과가 어떻게 달라지는지 보고 가리시오.

(2) 모두 기각하지 않았다는 것이 "다섯 검정의 성능이 비슷하다"는 뜻인가. \(t_5\)(두꺼운 꼬리)와 표준화한 대수정규(왜도)를 대립으로 두고 각 검정의 검정력을 재어 비교하시오.

풀이

(1) KS만 다르다. 자료를 옮기면 KS만 무너진다. 같은 자료에 \(+0.5\)를 더해 다시 돌리면

검정 원자료 \(+0.5\)
샤피로–윌크 \(p = 0.1873\) \(p = 0.1873\)
다고스티노 \(K^2\) \(p = 0.3738\) \(p = 0.3738\)
자크–베라 \(p = 0.4908\) \(p = 0.4908\)
KS (vs \(\mathcal{N}(0,1)\)) \(p = 0.6465\) \(p = \mathbf{1.56\times10^{-5}}\)
앤더슨–달링 \(A^2 = 0.4494\) \(A^2 = 0.4494\)

이다. 네 검정은 소수 넷째 자리까지 꼼짝도 하지 않고 KS만 \(0.65\)에서 \(0.0000156\)으로 떨어진다.

까닭은 귀무가설의 모양이다. 네 검정은

\[ H_0: \text{자료가 } \mathcal{N}(\mu, \sigma^2)\text{에서 왔다 (어떤 } \mu, \sigma\text{에 대해서든)} \]

를 묻고, 그래서 위치·척도 불변이다. 그런데 args=(0, 1)을 넘긴 KS는

\[ H_0: \text{자료가 } \mathcal{N}(0, 1)\text{에서 왔다} \]

를 묻는다. 평균이 \(0.5\)인 정규자료는 정규이지만 \(\mathcal{N}(0,1)\)은 아니므로 KS가 올바르게 기각한다. KS가 틀린 것이 아니라 다른 질문에 답하는 것이다.

그러므로 이 표를 "다섯 정규성 검정의 비교"로 읽으면 안 된다. 네 개는 정규성 검정이고 KS 한 줄은 적합도 검정(goodness-of-fit test)이다. 정규성을 묻는 KS를 이 자리에 넣으려면 모수를 추정하고 릴리포스 임계값을 써야 한다.

(2) 아니다. \(t_5\)에서 검정력이 \(0.063\)부터 \(0.612\)까지 열 배 벌어진다. \(n = 100\), \(\alpha = 0.05\)에서 4000번씩 재면

대립 샤피로–윌크 \(K^2\) 자크–베라 KS 앤더슨–달링
\(\mathcal{N}(0,1)\) — 크기 \(0.0558\) \(0.0580\) \(0.0440\) \(0.0475\) \(0.0475\)
\(t_5\) — 두꺼운 꼬리 \(0.5503\) \(0.5880\) \(\mathbf{0.6122}\) \(0.0630\) \(0.4710\)
표준화 대수정규 — 왜도 \(\mathbf{0.9990}\) \(0.9925\) \(0.9905\) \(0.4095\) \(0.9932\)

이다(몬테카를로(Monte Carlo) 표준오차는 \(0.05\) 근처에서 \(0.0034\), \(0.5\) 근처에서 \(0.0079\)).

첫 줄은 다섯 검정 모두 약속한 크기를 지킨다는 확인이다. 다섯 수가 모두 \(0.05\)에서 몬테카를로 오차의 \(2.4\)배 안에 있다.

아래 두 줄이 차이를 드러낸다. 두꺼운 꼬리에서는 자크–베라가 가장 강하다(\(0.612\)). 꼬리를 네제곱 적률로 직접 겨냥하기 때문이다. \(K^2\)이 \(0.588\), 샤피로–윌크가 \(0.550\), 앤더슨–달링이 \(0.471\)로 따른다. 왜도에서는 샤피로–윌크가 가장 강하다(\(0.999\)). 순서통계량 전체의 직선성을 보기 때문이다.

KS는 두 경우 모두 꼴찌이고, \(t_5\)에서는 \(0.063\)으로 크기 \(0.0475\)와 거의 구별되지 않는다. 이유를 수로 짚을 수 있다. \(t_5\)와 \(\mathcal{N}(0,1)\)의 분포함수 최대 거리는

\[ \sup_x \lvert F_{t_5}(x) - \Phi(x)\rvert = 0.0305 \]

인데 \(n = 100\)에서 5% 기각에 필요한 \(D\)는 \(1.36/\sqrt{100} = 0.1360\)이다. 필요한 양의 \(22\%\)밖에 안 된다. 표준화 대수정규는 같은 거리가 \(0.0990\)으로 \(0.136\)에 훨씬 가까워, 검정력이 \(0.41\)까지 올라간다. KS가 "둔감하다"는 말의 정체가 이 비교다.

실무적 결론. 꼬리가 걱정이면 자크–베라나 \(K^2\), 왜도가 걱정이면 샤피로–윌크, 무엇이 걱정인지 모르면 샤피로–윌크(두 대립에서 모두 상위권이다). 정규성 검정에 KS를 쓰는 것은 어느 경우에도 좋은 선택이 아니다.

import numpy as np
from scipy import stats

# 참으로 정규인 자료에 다섯 검정을 모두 돌려 견준다. 모두 기각하지
# 않아야 정상이다. 검정마다 무엇에 민감한지가 달라, 정규에서 벗어난
# 자료로 바꿔 돌려 보면 차이가 드러난다.
rng = np.random.default_rng(0)
data = rng.normal(0, 1, size=100)

# Shapiro-Wilk — 작은 표본에서 검정력이 가장 좋다. 두루 쓰기 좋은 기본값이다.
W, p_sw = stats.shapiro(data)
print(f"Shapiro-Wilk:     W = {W:.4f}, p = {p_sw:.4g}")

# D'Agostino K^2 — 왜도와 첨도만 본다. 왜 기각되었는지 알기 쉽다.
K2, p_k2 = stats.normaltest(data)
print(f"D'Agostino K^2:   K2 = {K2:.4f}, p = {p_k2:.4g}")

# Jarque-Bera — K^2 과 비슷하지만 표본이 아주 클 때라야 근사가 맞는다.
JB, p_jb = stats.jarque_bera(data)
print(f"Jarque-Bera:      JB = {JB:.4f}, p = {p_jb:.4g}")

# KS — 모수를 못박은 경우에만 이 p 값이 맞다. 자료에서 추정했다면
# Lilliefors 로 가야 한다.
D, p_ks = stats.kstest(data, 'norm', args=(0, 1))
print(f"KS (vs N(0,1)):   D = {D:.4f}, p = {p_ks:.4g}")

# Anderson-Darling — 꼬리 쪽 이탈에 민감하다. p 값 대신 임계값 표를 준다.
ad = stats.anderson(data, dist="norm")
print(f"Anderson-Darling: A^2 = {ad.statistic:.4f}")
for cv, sl in zip(ad.critical_values, ad.significance_level):
    print(f"  {sl:.0f}% critical value: {cv:.4f}")

출력:

Shapiro-Wilk:     W = 0.9819, p = 0.1873
D'Agostino K^2:   K2 = 1.9679, p = 0.3738
Jarque-Bera:      JB = 1.4236, p = 0.4908
KS (vs N(0,1)):   D = 0.0723, p = 0.6465
Anderson-Darling: A^2 = 0.4494
  15% critical value: 0.5550
  10% critical value: 0.6320
  5% critical value: 0.7590
  2% critical value: 0.8850
  1% critical value: 1.0530

자료를 실제로 \(N(0,1)\)에서 생성했으므로 다섯 검정 모두 정규성을 기각하지 않는다. 앤더슨–달링 통계량 \(0.449\)도 가장 느슨한 15% 임계값 \(0.555\)보다 작다.

자료를 옮겨 보고, 두 대립에 대한 검정력을 재어 본다.

import numpy as np
from scipy import stats

rng = np.random.default_rng(0)
data = rng.normal(0, 1, size=100)
n = data.size

# (1) 다섯 검정 가운데 KS 만 귀무가설이 다르다. 자료를 0.5 만큼 옮겨 본다.
shift = data + 0.5
print("원자료와 0.5 옮긴 자료의 p 값")
print(f"{'검정':<18}{'원자료':>12}{'+0.5':>12}")
print(f"{'Shapiro-Wilk':<18}{stats.shapiro(data)[1]:>12.4g}{stats.shapiro(shift)[1]:>12.4g}")
print(f"{'DAgostino K^2':<18}{stats.normaltest(data)[1]:>12.4g}{stats.normaltest(shift)[1]:>12.4g}")
print(f"{'Jarque-Bera':<18}{stats.jarque_bera(data)[1]:>12.4g}{stats.jarque_bera(shift)[1]:>12.4g}")
print(f"{'KS vs N(0,1)':<18}{stats.kstest(data, 'norm', args=(0, 1))[1]:>12.4g}"
      f"{stats.kstest(shift, 'norm', args=(0, 1))[1]:>12.4g}")
print(f"{'Anderson A^2':<18}{stats.anderson(data).statistic:>12.4f}"
      f"{stats.anderson(shift).statistic:>12.4f}")

# (2) 같은 n 에서 두 대립에 대한 검정력
def power(draw, R, alpha=0.05):
    out = {k: 0 for k in ("SW", "K2", "JB", "KS", "AD")}
    for _ in range(R):
        x = draw()
        out["SW"] += stats.shapiro(x)[1] < alpha
        out["K2"] += stats.normaltest(x)[1] < alpha
        out["JB"] += stats.jarque_bera(x)[1] < alpha
        out["KS"] += stats.kstest(x, 'norm', args=(0, 1))[1] < alpha
        r = stats.anderson(x)
        out["AD"] += r.statistic > r.critical_values[2]
    return {k: v / R for k, v in out.items()}

rg = np.random.default_rng(3)
R = 4000
print(f"\nn = {n}, alpha = 0.05, R = {R}  (MC SE 는 0.05 에서 0.0034)")
rows = [("정규 N(0,1) — 크기", lambda: rg.standard_normal(n)),
        ("t_5 — 두꺼운 꼬리", lambda: rg.standard_t(5, n)),
        ("Lognormal(0,0.5) 표준화 — 비대칭",
         lambda: (lambda z: (z - z.mean()) / z.std(ddof=1))(rg.lognormal(0, 0.5, n)))]
print(f"{'대립':<34}{'SW':>8}{'K2':>8}{'JB':>8}{'KS':>8}{'AD':>8}")
for name, d in rows:
    pw = power(d, R)
    print(f"{name:<34}{pw['SW']:>8.4f}{pw['K2']:>8.4f}{pw['JB']:>8.4f}"
          f"{pw['KS']:>8.4f}{pw['AD']:>8.4f}")

출력:

원자료와 0.5 옮긴 자료의 p 값
검정                         원자료        +0.5
Shapiro-Wilk            0.1873      0.1873
DAgostino K^2           0.3738      0.3738
Jarque-Bera             0.4908      0.4908
KS vs N(0,1)            0.6465   1.562e-05
Anderson A^2            0.4494      0.4494

n = 100, alpha = 0.05, R = 4000  (MC SE 는 0.05 에서 0.0034)
대립                                      SW      K2      JB      KS      AD
정규 N(0,1) — 크기                      0.0558  0.0580  0.0440  0.0475  0.0475
t_5 — 두꺼운 꼬리                        0.5503  0.5880  0.6122  0.0630  0.4710
Lognormal(0,0.5) 표준화 — 비대칭          0.9990  0.9925  0.9905  0.4095  0.9932

네 검정의 \(p\) 값이 자료를 옮겨도 소수 넷째 자리까지 변하지 않고 KS만 네 자릿수 떨어지므로 (1)의 판정이 확인된다. 그리고 검정력 표의 첫 줄이 다섯 검정의 크기를 보증하므로 아래 두 줄의 비교가 공정하다. \(\square\)


AI로 보는 통계학 1. 고를 수 있으면 고르게 되고, 고르면 척도가 망가진다

\(\S 5\) 가 보인 것은 검정마다 잘 잡는 이탈이 다르다는 사실이다. 그 사실에는 뒷면이 있다 — 다르니까 고를 수 있다. 그리고 \(\S 4\) 의 \(2\) 단계가 하라는 일이 바로 고르는 것이다(「의심되는 이탈을 고려한다」).

문제는 「의심」이 어디서 왔는가다. 자료를 보고 Q-Q 그림을 그린 뒤에 생긴 의심이라면, 그 뒤의 \(p\) 값은 더 이상 명목 수준이 아니다. 자동화된 파이프라인에서는 이것이 더 노골적으로 일어난다 — 검정 다섯을 다 돌려 놓고 그중 하나를 보고하는 코드는 쓰기가 너무 쉽다. 그 대가를 재어 보자.

import numpy as np
from scipy import stats
from statsmodels.stats.diagnostic import lilliefors, normal_ad

def five(x):
    return np.array([
        stats.shapiro(x)[1],          # 샤피로–윌크
        normal_ad(x)[1],              # 앤더슨–달링
        lilliefors(x)[1],             # 릴리포스 (KS 의 모수추정판)
        stats.jarque_bera(x)[1],      # 자크–베라
        stats.normaltest(x)[1],       # 다고스티노 K^2
    ])

rng = np.random.default_rng(14)
n, R = 60, 3000
names = ["샤피로윌크", "앤더슨달링", "릴리포스", "자크베라", "다고스티노"]

print("정규 자료에서 각 검정의 기각률 (명목 0.05)")
P = np.array([five(rng.normal(0, 1, n)) for _ in range(R)])
for k, nm in enumerate(names):
    print(f"  {nm:12} {(P[:, k] < 0.05).mean():.4f}")
print(f"  {'가장 작은 p 를 고르면':12} {(P.min(axis=1) < 0.05).mean():.4f}   <- 1 종 오류")
print(f"  {'가장 큰 p 를 고르면':12} {(P.max(axis=1) < 0.05).mean():.4f}")
print()
print("t(5) 자료에서 각 검정의 검정력 (잡아내야 한다)")
Q = np.array([five(rng.standard_t(5, n)) for _ in range(R)])
for k, nm in enumerate(names):
    print(f"  {nm:12} {(Q[:, k] < 0.05).mean():.4f}")
print(f"  {'가장 큰 p 를 고르면':12} {(Q.max(axis=1) < 0.05).mean():.4f}   <- 통과를 선언하는 쪽")

출력:

정규 자료에서 각 검정의 기각률 (명목 0.05)
  샤피로윌크        0.0450
  앤더슨달링        0.0470
  릴리포스         0.0403
  자크베라         0.0363
  다고스티노        0.0530
  가장 작은 p 를 고르면 0.1020   <- 1 종 오류
  가장 큰 p 를 고르면 0.0073

t(5) 자료에서 각 검정의 검정력 (잡아내야 한다)
  샤피로윌크        0.4083
  앤더슨달링        0.3413
  릴리포스         0.2083
  자크베라         0.4587
  다고스티노        0.4573
  가장 큰 p 를 고르면 0.1723   <- 통과를 선언하는 쪽

어느 방향으로 고르든 망가진다. 다섯 검정은 하나씩 보면 모두 명목 \(5\%\) 에 앉아 있다(\(0.036\) 에서 \(0.053\)). 그런데 가장 작은 \(p\) 를 골라 보고하면 \(0.102\) 로 명목의 두 배가 된다 — 완전히 정규인 자료를 열 번에 한 번 기각하는 것이고, 「비정규성을 찾았다」는 결론이 그만큼 값이 떨어진다.

반대쪽이 더 흔하고 더 나쁘다. 「정규성 통과」를 받고 싶어서 가장 큰 \(p\) 를 고르면 \(t_5\) 자료를 잡아내는 비율이 \(0.459\)(자크–베라)에서 \(0.172\) 로 떨어진다. 꼬리가 두꺼운 자료를 스물에 열일곱 번 통과시킨다는 뜻이다. 다섯 검정 가운데 가장 약한 릴리포스(\(0.208\))보다도 못하다 — 고르는 행위가 「최악의 검정보다 나쁜 검정」을 만들어 낸다.

그래서 \(\S 4\) 의 세 단계를 다시 읽을 값이 있다. \(1\) 단계(표본크기)와 \(3\) 단계(후속 분석이 무엇인가)는 자료를 보지 않고도 정해진다 — 자료가 오기 전에 적어 둘 수 있으니 안전하다. 위험한 것은 \(2\) 단계뿐이다. 「의심되는 이탈」이 분야 지식에서 왔다면 (금융 수익률은 꼬리가 두껍다) 그것도 자료 밖이므로 괜찮다. 같은 자료에서 왔다면 고른 것이고, 그때는 보고해야 할 것이 \(p\) 값이 아니라 무엇을 보고 골랐는지다.


연습문제

연습문제 1. 어떤 연구자가 \(n = 25\)인 표본의 정규성을 검정해야 한다. 검정을 추천하고 이유를 설명하라.

풀이

\(n = 25\)에서는 샤피로–윌크 검정을 권장한다. 작거나 중간 크기의 표본에서 정규성 검정 가운데 검정력이 가장 높고 폭넓은 이탈(왜도, 두꺼운 꼬리, 다봉성)을 탐지한다.

꼬리 이탈이 주된 관심사라면 앤더슨–달링 검정이 합리적인 대안이다. 적률 기반 검정(다고스티노, 자크–베라)은 \(n = 25\)에서 검정력이 부족하므로 피해야 한다. KS/릴리포스 검정은 샤피로–윌크와 앤더슨–달링 둘 다보다 검정력이 낮다.

형식적 검정은 언제나 Q-Q 그림으로 보완하여 시각적으로 평가하라.

연습문제 2. 큰 자료(\(n = 10{,}000\))에서 형식적 정규성 검정이 도움이 되지 않을 수 있는 이유와 더 나은 접근을 설명하라.

풀이

\(n = 10{,}000\)이면 모든 정규성 검정의 검정력이 극도로 높아, 추론에 실질적 영향이 없는 사소한 이탈에도 정규성을 기각한다. 기각은 자료가 정확히 정규는 아니라는 사실(실제 자료에서는 언제나 참이다)을 알려줄 뿐 그 이탈이 문제가 되는지는 알려주지 않는다.

더 나은 접근: (1) Q-Q 그림으로 비정규성의 정도를 시각적으로 평가한다. (2) 왜도와 첨도를 계산해 이탈을 수량화한다. (3) 그 이탈이 의도한 분석에 실질적으로 관련 있는지 평가한다(예: 신뢰구간의 포함확률이나 검정의 크기에 영향을 주는가?). (4) 민감도 확인으로 정규론 방법의 결과를 로버스트한 대안의 결과와 비교한다.

연습문제 3. 표본크기와 의심되는 이탈 유형에 따라 정규성 검정을 고르는 판단 흐름도를 만들어라.

풀이
  1. 언제나 Q-Q 그림으로 시작한다(모든 \(n\)).
  2. \(n < 50\)이면 샤피로–윌크를 쓴다(전반적 검정력이 가장 좋다).
  3. \(50 \leq n \leq 5000\)이면 샤피로–윌크나 앤더슨–달링을 쓴다(꼬리 특유의 이탈에는 AD가 낫다).
  4. \(n > 5000\)이면 형식적 검정이 지나치게 강력하므로 Q-Q 그림, 왜도/첨도 값, 실질적 유의성 평가에 의존한다.
  5. 왜도가 구체적으로 의심되면 skewtest로 보완한다.
  6. 두꺼운 꼬리가 구체적으로 의심되면 kurtosistest나 (꼬리에 가중치를 주는) 앤더슨–달링으로 보완한다.
  7. 특정 대립가설(예: \(t\) 분포)을 검정한다면 그 분포에 대한 Q-Q 그림을 쓴다.

연습문제 4. 두 검정이 엇갈린다. 샤피로–윌크는 정규성을 기각하고(\(p = 0.03\)) 앤더슨–달링은 기각하지 않는다(\(p = 0.08\)). 어떻게 진행해야 하는가?

풀이

검정마다 민감도가 다르므로 결과가 엇갈리는 일은 드물지 않다. 샤피로–윌크는 전반적으로 더 강력하고 앤더슨–달링은 꼬리 이탈에 더 민감하다. 이 엇갈림은 비정규성이 가볍고 꼬리보다는 중앙에 몰려 있을 가능성을 시사한다.

진행 방법: (1) Q-Q 그림을 살펴 이탈의 성격과 정도를 확인한다. (2) 이탈이 가벼우면(Q-Q 그림이 거의 선형이면) 정규론 방법으로 진행한다. (3) 비모수(nonparametric) 대안으로 민감도 분석을 수행한다. (4) 투명성을 위해 두 검정 결과와 시각적 평가를 모두 보고한다.

연습문제 5. 비교표는 콜모고로프–스미르노프의 꼬리 민감도를 "낮음", 앤더슨–달링을 "매우 높음"으로 적었다. 이 차이가 두 통계량의 정의에서 어떻게 나오는지 수로 확인하자. \(A^2\) 는 다음 적분꼴로 다시 쓸 수 있다는 사실을 써라.

\[ A^2 = n \int_{-\infty}^{\infty} \frac{\{\hat F_n(x) - \Phi(x)\}^2}{\Phi(x)\{1 - \Phi(x)\}} \, d\Phi(x) \]

(1) 가중함수 \(w(F) = 1/\{F(1-F)\}\) 의 값을 \(F = 0.5\) 와 \(F = 0.01\) 에서 구하고 그 비율을 적으시오.

(2) 귀무가설 아래에서 \(n \hat F_n(x) \sim \mathrm{Bin}(n, \Phi(x))\) 이므로 \(\hat F_n(x) - \Phi(x)\) 의 표준편차는 \(\sqrt{\Phi(x)\{1-\Phi(x)\}/n}\) 이다. \(n = 100\) 에서 이 값을 \(\Phi = 0.5\) 와 \(\Phi = 0.01\) 에서 구하고, \(A^2\) 의 가중함수가 바로 이 분산의 역수라는 점을 확인하시오.

(3) 아래쪽 1% 꼬리가 정규보다 세 배 두꺼운 자료를 생각하자. 곧 \(\Phi(x) = 0.01\) 인 자리에서 \(\hat F_n(x) = 0.03\) 이다. 이 불일치가 \(D\) 에 주는 기여를 보기 1 의 릴리포스 5% 임계값 \(0.0892\) 와 견주시오. 같은 불일치는 (2)의 표준편차 단위로 몇 배인가. 같은 크기 \(0.02\) 가 중앙(\(\Phi = 0.5\))에서 일어났다면 몇 배인가. 콜모고로프–스미르노프가 이 꼬리 이탈을 그 자리에서 기각하려면 1% 꼬리가 몇 배나 두꺼워야 하는가.

풀이

(1) \(w(0.5) = 1/(0.5 \times 0.5) = 4\) 이고 \(w(0.01) = 1/(0.01 \times 0.99) = 101.01\) 이다. 비율은 \(101.01/4 = 25.25\) 로, 앤더슨–달링은 1% 자리의 불일치를 중앙의 불일치보다 25 배 무겁게 센다.

(2) \(n = 100\) 에서

\[ \sqrt{\frac{0.5 \times 0.5}{100}} = 0.0500, \qquad \sqrt{\frac{0.01 \times 0.99}{100}} = 0.00995 \]

비율은 \(0.0500/0.00995 = 5.03\) 이다. 가중함수와의 관계가 분명하다. \(\mathrm{Var}\{\hat F_n(x) - \Phi(x)\} = \Phi(1-\Phi)/n\) 이므로 적분꼴의 피적분함수는

\[ \frac{\{\hat F_n(x) - \Phi(x)\}^2}{\Phi(1-\Phi)/n} = \left(\frac{\hat F_n(x) - \Phi(x)}{\mathrm{sd}}\right)^2 \]

곧 \(A^2\) 는 불일치를 그 자리의 잡음 크기로 나눈 표준화 제곱을 적분한다. 반면 \(D = \sup_x \lvert \hat F_n - \Phi \rvert\) 는 나누지 않는다. 같은 절대 불일치라도 중앙에서는 잡음의 \(0.4\) 배, 1% 자리에서는 잡음의 \(2\) 배인데, \(D\) 는 둘을 똑같이 센다. 비율 \(25.25 = 5.03^2\) 인 것도 가중이 표준편차의 제곱의 역수이기 때문이다.

(3) 불일치의 절대 크기는 \(0.03 - 0.01 = 0.02\) 다. 릴리포스 5% 임계값 \(0.0892\) 의 \(0.02/0.0892 = 0.22\) 배에 지나지 않으므로, 이 이탈만으로는 콜모고로프–스미르노프가 결코 기각하지 못한다. 그러나 표준편차 단위로 보면 \(0.02/0.00995 = 2.01\) 배로 이미 두 표준편차 바깥이다. 같은 \(0.02\) 가 중앙에서 일어났다면 \(0.02/0.0500 = 0.40\) 배, 곧 잡음에 묻히는 크기다. 두 비의 비는 \(2.01/0.40 = 5.03\) 으로 (2)와 같다.

콜모고로프–스미르노프가 그 자리에서 \(D = 0.0892\) 에 이르려면 \(\hat F_n(x) = 0.01 + 0.0892 = 0.0992\) 가 되어야 한다. 곧 1% 꼬리가 9.9 배 두꺼워야 한다. 세 배로는 어림도 없다.

이것이 표의 "꼬리 민감도 낮음"의 정확한 뜻이다. 꼬리에서는 확률 자체가 작으므로 절대 불일치가 커질 여지가 애초에 작다. \(\sup\) 를 재는 통계량은 여지가 큰 중앙에서 거의 언제나 최댓값을 얻고, 꼬리에서 무슨 일이 일어나도 \(D\) 는 움직이지 않는다. 앤더슨–달링은 그 자리의 잡음으로 나누어 여지의 크기를 보정함으로써 이 맹점을 없앤다.

연습문제 6. 보기 1 (2)는 \(R = 40{,}000\) 회의 모의로 세 가지를 주장했다. 릴리포스 5% 임계값 \(0.0892\), 바른 \(p\) 값 \(< 2.5 \times 10^{-5}\), 그리고 표준 콜모고로프–스미르노프 임계값을 잘못 썼을 때의 실제 크기 \(0.00015\)(40,000 번 중 6 번)이다. 이 수들을 얼마나 믿을 수 있는지 재 보자.

(1) 표준 콜모고로프–스미르노프의 양쪽 5% 임계값은 큰 \(n\) 에서 \(d_{0.05} \approx \sqrt{\ln(2/0.05)/(2n)}\) 로 근사된다. \(n = 100\) 에서 이 값을 구해 코드가 쓴 정확값 \(0.1340\) 과 견주시오.

(2) 실제 크기 \(\hat p = 0.00015\) 의 모의 표준오차를 이항 표준오차로 구하고 95% 구간을 적으시오. 보기 1 이 쓴 "333 분의 1"이라는 표현은 이 구간에서 어느 범위의 수가 되는가.

(3) 이 실제 크기를 상대표준오차 5% 로 재려면 \(R\) 이 얼마나 필요한가. 또 \(R = 40{,}000\) 회의 모의로 보일 수 있는 가장 작은 \(p\) 값은 얼마이며, \(p < 10^{-6}\) 을 주장하려면 \(R\) 이 얼마여야 하는가.

풀이

(1) \(\ln(2/0.05) = \ln 40 = 3.6889\) 이므로

\[ d_{0.05} \approx \sqrt{\frac{3.6889}{200}} = \sqrt{0.018444} = 0.13581 \]

정확값 \(0.13403\) 보다 \(1.3\%\) 크다. 근사가 임계값을 조금 높게 주므로 이 근사를 쓰면 검정이 약간 보수적이 된다. 어느 쪽이든 릴리포스 임계값 \(0.0892\) 와의 차이(\(0.1340\) 대 \(0.0892\), 1.5 배)는 근사 오차 \(1.3\%\) 로는 설명될 수 없는 크기다. 곧 보기 1 이 지적한 간극은 모의의 잡음이 아니라 귀무분포가 다르기 때문이다.

(2) \(\hat p = 6/40{,}000 = 1.5 \times 10^{-4}\) 이므로

\[ \mathrm{SE}(\hat p) = \sqrt{\frac{\hat p (1 - \hat p)}{R}} = \sqrt{\frac{1.5 \times 10^{-4} \times 0.99985}{40{,}000}} = 6.12 \times 10^{-5} \]

95% 구간은 \(1.5 \times 10^{-4} \pm 1.96 \times 6.12 \times 10^{-5}\), 곧 \((3.0 \times 10^{-5},\ 2.70 \times 10^{-4})\) 다. 이를 축소배수 \(0.05/p\) 로 옮기면 \(0.05/(2.70\times10^{-4}) = 185\) 부터 \(0.05/(3.0\times10^{-5}) = 1667\) 까지다. 곧 "333 분의 1"은 "185 분의 1 에서 1,670 분의 1 사이" 라고 읽어야 한다. 더구나 성공횟수가 6 회뿐이어서 정규근사 자체가 거칠다. 정직한 주장은 "명목 5% 가 \(10^{-4}\) 수준으로, 곧 수백 분의 일로 쪼그라든다"까지다. 셋째 자리 숫자에는 아무 정보가 없다.

(3) 상대표준오차가 \(\mathrm{SE}/p = \sqrt{(1-p)/(pR)}\) 이므로 이를 \(0.05\) 로 만들려면

\[ R = \frac{1 - p}{p \times 0.05^2} = \frac{0.99985}{1.5 \times 10^{-4} \times 0.0025} = 2.67 \times 10^{6} \]

약 270 만 회가 필요하다. 40,000 회의 67 배다. 작은 확률을 셋째 자리까지 재는 일의 값이 이만큼 비싸다.

\(p\) 값 쪽은 더 단순하다. \(R\) 회의 모의에서 한 번도 관측값을 넘지 않았을 때 말할 수 있는 것은 \(p \lesssim 1/R\) 이 전부이므로, \(R = 40{,}000\) 의 바닥은 \(1/40{,}000 = 2.5 \times 10^{-5}\) 다. 보기 1 이 "\(p < 2.5 \times 10^{-5}\)" 에서 멈춘 것은 겸양이 아니라 한계다. \(p < 10^{-6}\) 을 주장하려면 \(R \ge 10^{6}\), 곧 100 만 회 이상이 필요하다. 모의로 얻은 \(p\) 값에는 횟수가 정하는 바닥이 있고, 그 아래의 수는 모의가 아니라 이론으로만 얻는다.

연습문제 7. 자크–베라의 한계로 "왜도와 첨도에 영향을 주지 않는 이탈(예: 대칭이고 중첨인 성분으로 이루어진 이봉분포)에는 둔감하다"고 적혀 있다. 이 말을 반례로 다져 보자. \(\chi^2_2\) 의 꼬리확률은 \(P(\chi^2_2 > t) = e^{-t/2}\) 임을 쓴다.

(1) 혼합분포 \(\frac12 N(-\mu, \sigma^2) + \frac12 N(\mu, \sigma^2)\) 의 \(\gamma_1\) 과 \(\gamma_2\) 를 구하시오. \(\mu \neq 0\) 일 때 \(\gamma_2 = 0\) 이 될 수 있는가. \(\mu = 2\), \(\sigma = 1\), \(n = 100\) 에서 모집단 값을 그대로 꽂은 \(JB\) 와 그 \(p\) 값을 구하시오.

(2) 세 점 분포 \(P(X = \pm a) = p\), \(P(X = 0) = 1 - 2p\) 에서 \(\gamma_1\) 과 \(\beta_2\) 를 구하고, \(\gamma_1 = \gamma_2 = 0\) 이 정확히 성립하는 \(p\) 를 찾으시오. 이 값이 2 장의 부등식 \(\beta_2 \ge 1 + \gamma_1^2\) 과 어긋나지 않는지 확인하시오.

(3) (2)의 분포에 독립인 \(Y \sim N(0, \epsilon^2)\) 을 더해 연속분포로 만들면 \(\gamma_2\) 가 어떻게 되는가. (힌트: \(\gamma_1 = 0\), \(\mu_2 = v\), \(\mu_4 = 3v^2\) 인 대칭 \(X\) 에 대해 \(X + Y\) 의 2 차·4 차 중심적률을 계산하라.) 이 분포에 자크–베라와 샤피로–윌크를 돌리면 각각 어떻게 되겠는가. \(n\) 을 키우면 해결되는 문제인가.

풀이

(1) 분포가 0 에 대해 대칭이므로 모든 홀수 차 중심적률이 0 이고 \(\gamma_1 = 0\) 이다. 평균이 0 이므로 중심적률은 원점적률과 같고, 각 성분이 \(N(\pm\mu, \sigma^2)\) 이므로

\[ \mu_2 = \mu^2 + \sigma^2, \qquad \mu_4 = \mu^4 + 6\mu^2\sigma^2 + 3\sigma^4 \]

따라서

\[ \gamma_2 = \frac{\mu^4 + 6\mu^2\sigma^2 + 3\sigma^4 - 3(\mu^2+\sigma^2)^2}{(\mu^2+\sigma^2)^2} = \frac{-2\mu^4}{(\mu^2+\sigma^2)^2} \]

\(\mu \neq 0\) 이면 \(\gamma_2 < 0\) 이므로 \(\gamma_2 = 0\) 은 불가능하다. 등분산 두 정규의 반반 혼합은 언제나 저첨(platykurtic)이다. 즉 이 이봉분포는 자크–베라에게 완전히 안 보이는 것이 아니라, 음의 방향으로 약한 신호를 준다.

\(\mu = 2\), \(\sigma = 1\) 이면 \(\gamma_2 = -2(16)/25 = -1.28\) 이고

\[ JB = \frac{100}{6}\left(0 + \frac{1.28^2}{4}\right) = \frac{100}{6}(0.4096) = 6.83, \qquad p = e^{-3.413} = 0.033 \]

임계값 \(5.991\) 을 간신히 넘는다. 두 봉우리가 \(4\sigma\) 떨어진, 히스토그램만 봐도 정규가 아닌 자료인데도 자크–베라의 신호는 경계선에 걸려 있다(모의로 재면 \(n = 100\) 에서 검정력 \(0.84\) 로, 샤피로–윌크의 \(1.00\) 에 못 미친다).

(2) 다시 대칭이므로 \(\gamma_1 = 0\) 이다. 적률은

\[ \mu_2 = 2pa^2, \qquad \mu_4 = 2pa^4 \quad \Longrightarrow \quad \beta_2 = \frac{2pa^4}{(2pa^2)^2} = \frac{1}{2p} \]

\(a\) 가 약분되어 사라진다. \(\gamma_2 = \beta_2 - 3 = 0\) 은 \(\beta_2 = 3\), 곧

\[ p = \frac{1}{6} \]

에서 성립한다. 따라서 \(P(X = \pm a) = 1/6\), \(P(X = 0) = 2/3\) 인 세 점 분포는 왜도와 초과첨도가 정확히 0 이다. 2 장의 부등식은 \(\beta_2 = 3 \ge 1 + 0 = 1\) 로 넉넉히 만족한다. 참고로 \(p = 1/2\)(두 점 분포)에서 \(\beta_2 = 1\) 로 그 부등식의 등호가 달성되고, \(p\) 를 \(1/2\) 에서 0 으로 줄이면 \(\beta_2 = 1/(2p)\) 가 1 에서 \(\infty\) 까지 훑으므로 그 길목의 \(p = 1/6\) 에서 \(\beta_2 = 3\) 을 지나는 것은 필연이다.

(3) \(X\) 와 \(Y\) 가 독립이고 둘 다 대칭이므로 \(X+Y\) 도 대칭이고 \(\gamma_1 = 0\) 이다. 적률은

\[ \mu_2' = v + \epsilon^2, \qquad \mu_4' = \mu_4 + 6 v \epsilon^2 + 3\epsilon^4 = 3v^2 + 6v\epsilon^2 + 3\epsilon^4 = 3(v + \epsilon^2)^2 \]

따라서 \(\beta_2' = 3(v+\epsilon^2)^2/(v+\epsilon^2)^2 = 3\), 곧 \(\gamma_2' = 0\) 이 모든 \(\epsilon > 0\) 에서 정확히 성립한다. 정규분포를 섞어 매끄럽게 만들어도 두 적률 신호가 되살아나지 않는다. \(a = 1\), \(\epsilon = 0.15\) 로 두면 \(-1, 0, +1\) 에 봉우리가 선 삼봉 연속분포인데 \(\gamma_1 = \gamma_2 = 0\) 이다.

자크–베라는 이 분포에서 아무 것도 보지 못한다. 모집단 신호가 정확히 0 이므로 \(JB\) 의 분포는 귀무분포와 거의 같다. 모의로 확인하면 \(n = 100\) 에서 기각률이 \(0.012\) 로, 정규자료에서의 실제 크기 \(0.041\) 보다도 낮다(저첨 방향으로 표본첨도의 산포가 줄어 오히려 덜 기각한다). 검정력이 자기 크기보다 작은, 편향된(biased) 검정이다. 같은 자료에서 샤피로–윌크와 앤더슨–달링은 \(n = 100\) 에서 기각률 \(1.00\), \(n = 30\) 에서도 각각 \(0.92\), \(0.97\) 로 거의 언제나 기각한다.

\(n\) 을 키워도 고쳐지지 않는다. 자크–베라는 분포를 \((\gamma_1, \gamma_2)\) 라는 2 차원 사영으로만 들여다보므로, 그 사영에서 정규와 구별되지 않는 대립가설에 대해서는 일치검정(consistent test)이 아니다. 표본크기 부족은 \(n\) 으로 메울 수 있지만 맹점은 메울 수 없다. 이것이 \(n > 5000\) 갈래에서조차 자크–베라만 믿지 말고 Q-Q 그림을 함께 보아야 하는 까닭이다.

연습문제 8. 보기 1 에서 가장 큰 관측 하나를 빼자 \(A^2\) 가 \(6.0914 \to 0.6086\) 으로 떨어져 5% 임계값 \(0.759\) 아래로 내려갔다. 표가 적은 "앤더슨–달링의 꼬리 민감도 매우 높음"을 "가장 먼 점이 얼마나 먼지에 민감하다"로 읽으면 이 수들이 설명되지 않는다. 정의로 돌아가 보자. \(n = 100\), 표준화 최댓값 \(Z_{(100)} = 7.75\), 최솟값 \(Z_{(1)} = -1.45\) 다.

(1) \(A^2\) 의 합에서 \(Z_{(100)}\) 이 들어가는 항을 모두 찾고 그 가중치 \(\frac{2i-1}{n}\) 을 적으시오. \(1 - \Phi(7.75) = 4.59 \times 10^{-15}\) 를 써서 \(Z_{(100)}\) 이 \(A^2 = 6.0914\) 에 직접 기여하는 몫을 구하시오. 그 점이 \(z = 3\) 에 있었다면(\(1 - \Phi(3) = 0.001350\)) 기여가 얼마로 바뀌는가.

(2) 그렇다면 \(A^2 = 6.09\) 의 나머지는 어디서 왔는가. \(S\) 가 \(n - 1\) 로 나눈 표본표준편차이므로 \(\sum_{i=1}^{100} Z_i^2 = 99\) 다. 이를 써서 나머지 99 개 점의 표준화값의 제곱평균제곱근(rms)을 구하시오. 그 99 개가 대략 \(N(0, 0.627^2)\) 처럼 놓여 있다고 보면 \(\sup_x \lvert \Phi(x/0.627) - \Phi(x) \rvert\) 는 얼마인가(최댓값은 \(x = 0.778\) 에서 잡힌다). 보기 1 의 \(D = 0.1783\) 과 견주시오.

(3) (1)과 (2)로부터 "앤더슨–달링이 꼬리에 가중을 준다"가 실제로 뜻하는 바를 한 문장으로 다시 쓰시오.

풀이

(1) 합의 \(i\) 번째 항은 \(-\frac{2i-1}{n}\{\ln\Phi(Z_{(i)}) + \ln(1 - \Phi(Z_{(n+1-i)}))\}\) 이므로 \(Z_{(100)}\) 은 두 자리에 나타난다.

첫째, \(i = 100\) 의 \(\ln\Phi(Z_{(100)})\) 로 가중치 \(\frac{2(100)-1}{100} = 1.99\) 를 받는다. 그런데 \(\Phi(7.75) = 1 - 4.59\times10^{-15}\) 이므로 \(\ln\Phi(7.75) \approx -4.59 \times 10^{-15} \approx 0\) 이고, 기여는 \(1.99 \times 4.59\times10^{-15} \approx 10^{-14}\), 곧 없다.

둘째, \(n + 1 - i = 100\) 곧 \(i = 1\) 의 \(\ln(1 - \Phi(Z_{(100)}))\) 로, 가중치는 \(\frac{2(1)-1}{100} = 0.01\) 밖에 안 된다. \(\ln(4.59\times10^{-15}) = -33.01\) 이므로 기여는

\[ -0.01 \times (-33.01) = 0.330 \]

둘을 합쳐 \(0.330\) 으로 \(A^2 = 6.0914\) 의 \(5.4\%\) 다. 그 점이 \(z = 3\) 에 있었다면 \(-0.01 \times \ln(0.001350) = -0.01\times(-6.61) = 0.066\) 이므로, 점을 \(z = 3\) 에서 \(z = 7.75\) 로 멀리 보내면서 \(A^2\) 에 더해지는 양은 \(0.330 - 0.066 = 0.264\) 에 지나지 않는다. \(A^2\) 가 최극단점의 위치에 반응하는 방식은 로그이고, 그나마 \(1/n\) 가중이 붙는다. 가장 먼 점을 두 배 더 멀리 보내도 \(A^2\) 는 거의 꿈쩍하지 않는다.

(2) \(Z_{(100)}^2 = 7.75^2 = 60.06\) 이므로 남은 99 개는

\[ \sum_{i=1}^{99} Z_{(i)}^2 = 99 - 60.06 = 38.94, \qquad \mathrm{rms} = \sqrt{\frac{38.94}{99}} = 0.627 \]

한 점이 전체 제곱합(sum of squares)의 \(61\%\) 를 차지하고, 나머지 99 개는 표준편차 \(0.627\) 짜리로 쪼그라든다. 표준화한 자료의 본체가 \(N(0,1)\) 이 아니라 \(N(0, 0.627^2)\) 처럼 보이는 셈이다. 그 두 분포함수의 최대 거리는 \(x = 0.778\) 에서

\[ \lvert \Phi(0.778/0.627) - \Phi(0.778) \rvert = \lvert \Phi(1.240) - \Phi(0.778) \rvert = 0.8925 - 0.7817 = 0.111 \]

관측된 \(D = 0.1783\) 과 같은 자리수다(남은 차이는 99 개 점 자체도 정규가 아니기 때문이다. 보기 1 에서 그 99 개의 \(g_1 = 0.82\), \(g_2 = 2.76\) 이었다). 중요한 것은 이 \(0.111\) 이 분포의 중앙에서 생겼다는 점이다. \(A^2\) 의 적분은 \(d\Phi\) 로 재므로 중앙에 확률질량이 몰려 있고, 거기서 불일치가 0.1 씩 벌어지면 \(A^2\) 는 크게 불어난다.

곧 한 점이 \(A^2\) 를 \(6.09\) 로 밀어올린 경로는 자기 자신의 꼬리 항(\(0.330\))이 아니라 \(S\) 를 부풀려 나머지 전부를 중앙으로 밀어 넣은 것이다. 그 점을 빼면 \(S\) 가 줄어 본체가 제 크기로 돌아오고, \(A^2\) 는 \(0.6086\) 으로 임계값 아래로 내려간다. 표준화에 쓰인 \(\bar X\) 와 \(S\) 가 로버스트하지 않다는 사실이 통계량의 꼬리 가중보다 더 많은 것을 설명한다.

(3) "꼬리에 가중을 준다"는 꼬리 쪽 누적확률의 불일치를 그 자리의 표준편차 \(\sqrt{\Phi(1-\Phi)/n}\) 로 나누어 중앙의 불일치와 같은 자격으로 센다는 뜻이며, 가장 먼 점이 얼마나 먼지에 민감하다는 뜻이 아니다. 그러므로 앤더슨–달링이 잘 잡는 것은 적당히 큰 값이 여럿 있는 두꺼운 꼬리이고, 극단값 하나는 꼬리 항이 아니라 \(S\) 를 통해 간접적으로 작용한다. 이상치(outlier) 하나와 두꺼운 꼬리를 가려내는 일은 어느 검정통계량도 하지 못하며, 그림 맨 아래 띠가 Q-Q 그림을 요구하는 까닭이 바로 이것이다.

연습문제 9. 표는 자크–베라의 적합한 표본크기를 \(n \ge 30\) 으로 적었다. 보기 1 은 \(t_5\) 의 이론값을 꽂아 \(n = 100\) 에서 \(JB = 150\) 을 얻었다. 같은 셈을 \(n = 4\) 에 하면 \(JB = \frac{4}{6}(0 + \frac{36}{4}) = 6.0 > 5.991\) 이 되어 "\(n = 4\) 로도 \(t_5\) 를 기각할 수 있다"는 엉뚱한 결론이 나온다. 어디가 틀렸는지 유한표본의 부등식으로 밝히자. \(m_k\) 를 \(k\) 차 표본중심적률, \(b_2 = m_4/m_2^2 = g_2 + 3\) 이라 쓴다.

(1) 임의의 표본에 대해 \(b_2 \le n\) 임을 보이시오. (힌트: \(d_i = X_i - \bar X\) 에 대해 \(\sum d_i^4 \le \left(\sum d_i^2\right)^2\).)

(2) 2 장의 부등식 \(\beta_2 \ge 1 + \gamma_1^2\) 은 임의의 분포에 성립하므로 표본의 경험분포에도 성립한다. 곧 \(b_2 \ge 1 + g_1^2\) 이다. 이를 (1)과 함께 써서 \(n \le 5\) 인 모든 표본에서 \(JB < 5.991\) 임을 보이시오. 자료가 무엇이든 그러한가. 같은 논증을 \(n = 6\) 에 쓰면 어떻게 되는가.

(3) 보기 1 의 \(g_2 = 34.5640\) 과 \(g_1 = 4.8256\) 이 나타나려면 \(n\) 이 적어도 얼마여야 하는가. \(t_5\) 의 \(\gamma_2 = 6\) 은 어느 \(n\) 부터 표본에서 나타날 수 있는가. 작은 \(n\) 의 \(JB\) 에 모집단 값을 꽂는 셈이 왜 뜻이 없는지 한 줄로 적으시오.

풀이

(1) \(\sum_i d_i^4 \le \left(\sum_i d_i^2\right)^2\) 는 제곱의 전개 \(\left(\sum d_i^2\right)^2 = \sum_i d_i^4 + \sum_{i \neq j} d_i^2 d_j^2\) 에서 교차항이 음이 아니므로 성립한다. \(\sum d_i^2 = n m_2\) 이므로

\[ m_4 = \frac{1}{n}\sum_i d_i^4 \le \frac{1}{n}\left(\sum_i d_i^2\right)^2 = \frac{1}{n}(n m_2)^2 = n\, m_2^2 \]

양변을 \(m_2^2\) 로 나누면 \(b_2 \le n\), 곧 \(g_2 \le n - 3\) 이다. 표본첨도에는 표본크기가 정하는 천장이 있다. \(\square\)

(2) 두 부등식을 이으면

\[ 1 + g_1^2 \le b_2 \le n \quad \Longrightarrow \quad g_1^2 \le n - 1, \qquad g_1^2 - 2 \le g_2 \le n - 3 \]

아래쪽은 \(g_2 \ge -2\) 로 눌려 있고 위쪽은 \(n - 3\) 으로 막혀 있다. \(n = 5\) 이면 \(g_1^2 \le 4\) 이고 \(g_2 \in [-2, 2]\) 이므로 \(g_2^2 \le 4\) 다. 따라서

\[ JB = \frac{n}{6}\left(g_1^2 + \frac{g_2^2}{4}\right) \le \frac{5}{6}\left(4 + \frac{4}{4}\right) = 4.17 < 5.991 \]

\(n = 4\) 이면 \(g_1^2 \le 3\), \(g_2 \in [-2, 1]\) 이므로 \(JB \le \frac{4}{6}(3 + 1) = 2.67\) 이다. 두 상한이 동시에 달성될 수는 없으므로 실제 최댓값은 이보다 더 작다. 곧 \(n \le 5\) 에서는 자료가 무엇이든 \(\chi^2_2\) 의 5% 임계값을 넘을 수 없고, 검정력이 정확히 0 이다. 어떤 비정규 자료를 가져와도 자크–베라는 기각하지 못한다.

\(n = 6\) 이면 같은 상한이 \(\frac{6}{6}\left(5 + \frac{9}{4}\right) = 7.25 > 5.991\) 이 되어 이 논증이 더는 결론을 주지 못한다. 상한을 넘었다는 것이 실제로 기각이 가능하다는 뜻은 아니지만, 이 거친 부등식으로 막을 수 있는 구간은 \(n \le 5\) 까지다.

(3) \(g_2 \le n - 3\) 에서 \(34.5640 \le n - 3\), 곧 \(n \ge 37.56\) 이므로 \(n \ge 38\) 이어야 한다. \(g_1^2 \le n - 1\) 에서 \(4.8256^2 = 23.29 \le n - 1\), 곧 \(n \ge 24.29\) 이므로 \(n \ge 25\) 다. 보기 1 의 \(n = 100\) 은 둘을 모두 만족한다. \(t_5\) 의 \(\gamma_2 = 6\) 은 \(6 \le n - 3\), 곧 \(n \ge 9\) 부터 비로소 표본에서 나타날 수 있다.

한 줄로: 표본왜도와 표본첨도는 \(n\) 에 의해 위에서 막혀 있으므로, 작은 \(n\) 의 \(JB\) 에 모집단 값을 꽂는 것은 그 표본크기에서 도달할 수 없는 값을 가정하는 셈이다. \(n = 4\) 에서 \(g_2\) 는 아무리 커도 \(1\) 인데 \(\gamma_2 = 6\) 을 꽂았으니 \(JB = 6.0\) 이라는 수가 나왔던 것이다. 표가 \(n \ge 30\) 을 요구하는 것은 \(\chi^2_2\) 근사의 수렴이 느리다는 이유만이 아니라, 작은 \(n\) 에서는 통계량이 들어갈 자리 자체가 좁다는 이유에서도 그렇다.

연습문제 10. 그림의 양옆 두 갈래("\(n < 30\) 이면 결과를 믿지 말라", "\(n > 5000\) 이면 기각에 정보가 없다")를 자크–베라에 대해 수로 그려 보자. 모집단 값을 그대로 꽂은 \(\frac{n}{6}\left(\gamma_1^2 + \frac{\gamma_2^2}{4}\right)\) 을 거친 안내로 쓰고 임계값은 \(\chi^2_{2,\,0.95} = 5.991\) 로 둔다.

(1) 2 장의 부등식에서 대칭 분포(\(\gamma_1 = 0\))의 초과첨도는 \(\gamma_2 \ge -2\) 다. 가장 극단적인 저첨 대립가설 \(\gamma_2 = -2\) 조차 기각하려면 \(n\) 이 적어도 얼마여야 하는가. 균등분포(uniform distribution, \(\gamma_2 = -1.2\))는 얼마인가.

(2) 실용적으로 무시할 만한 이탈 \(\gamma_1 = 0.1\), \(\gamma_2 = 0.2\) 를 생각하자. 이것이 기각되기 시작하는 \(n\) 과, \(n = 10{,}000\) 에서의 \(JB\) 및 \(p\) 값을 구하시오.

(3) (1)과 (2)의 수로 표의 "\(n \ge 30\)" 과 그림의 오른쪽 갈래를 각각 설명하시오. 연습문제 9 의 엄밀한 경계와는 어떻게 어긋나며 어느 쪽을 어떻게 믿어야 하는가.

풀이

(1) 조건 \(\frac{n}{6}\left(\gamma_1^2 + \frac{\gamma_2^2}{4}\right) > 5.991\) 은 \(n > \dfrac{35.95}{\gamma_1^2 + \gamma_2^2/4}\) 와 같다. \(\gamma_1 = 0\), \(\gamma_2 = -2\) 이면 분모가 \(4/4 = 1\) 이므로

\[ n > 35.95 \quad \Longrightarrow \quad n \ge 36 \]

균등분포는 \(\gamma_2 = -1.2\) 이므로 분모가 \(1.44/4 = 0.36\) 이고 \(n > 35.95/0.36 = 99.86\), 곧 \(n \ge 100\) 이다.

(2) 분모가 \(0.01 + 0.04/4 = 0.02\) 이므로 \(n > 35.95/0.02 = 1797.4\), 곧 \(n \ge 1798\) 부터 기각이 시작된다. \(n = 10{,}000\) 에서는

\[ JB = \frac{10{,}000}{6}(0.02) = 33.33, \qquad p = e^{-16.67} = 5.8 \times 10^{-8} \]

(3) 표의 "\(n \ge 30\)"은 (1)이 설명한다. 2 장의 부등식이 저첨 쪽 신호를 \(\gamma_2 \ge -2\) 로 막아 두므로, \(n \lesssim 36\) 에서는 아무리 극단적인 대칭 저첨 대립가설이라도 자크–베라가 기각할 수 없다. 첨도축의 음의 절반 전체가 닫혀 있는 것이다(양의 쪽은 \(\gamma_2\) 에 상한이 없으므로 두꺼운 꼬리라면 더 작은 \(n\) 에서도 잡을 수 있다). 균등분포처럼 흔한 저첨 대립가설이라면 \(n \ge 100\) 이 필요하다. 표의 \(n \ge 30\) 은 이 바닥에 맞춘 수다.

오른쪽 갈래는 (2)가 설명한다. \(\gamma_1 = 0.1\), \(\gamma_2 = 0.2\) 는 Q-Q 그림에서 눈으로 알아볼 수도 없고 어떤 \(t\) 검정도 망치지 않는 이탈인데, \(n = 10{,}000\) 에서 \(p = 5.8 \times 10^{-8}\) 로 압도적으로 기각된다. 이때 \(p\) 값이 알려 주는 것은 자료가 아니라 \(n\) 이 크다는 사실뿐이다. 그래서 그 구간에서 보고할 숫자는 \(p\) 값이 아니라 \(g_1\) 과 \(g_2\), 곧 이탈의 크기다. 둘을 합치면 자크–베라가 저첨 대립가설에 대해 쓸모 있는 창은 대략 \(36 \lesssim n \lesssim 1800\) 이라는 좁은 구간이다.

연습문제 9 의 경계와 이 수는 성격이 다르다. 9 는 "\(n \le 5\) 에서는 어떤 자료로도 기각 불가"라는 정리이고, 여기의 36 은 모집단 값을 통계량에 꽂아 본 어림이다. 이 꽂기는 확률변수 \(g_1, g_2\) 를 상수로 바꾸고 그 표본변동(특히 오른쪽으로 길게 치우친 \(g_2\) 의 분포)을 무시하므로, 경계 근처에서는 양쪽으로 틀린다. 연습문제 7 (1)에서 꽂아 얻은 \(JB = 6.83\) 은 임계값을 간신히 넘었을 뿐이지만 실제 검정력은 \(0.84\) 였다. 그러므로 9 의 부등식은 정리로 믿고, 36 과 1798 같은 수는 자리수를 가늠하는 어림으로만 쓰는 것이 옳다. 정확한 검정력이 필요하면 귀무분포와 대립분포를 모두 모의로 만들어야 하고, 그 모의의 정밀도에는 연습문제 6 이 보인 바닥이 있다.

연습문제 11. 어떤 동료가 샤피로–윌크 검정이 기각하지 못했으니 자료가 "정규임이 증명되었다"고 주장한다. 제2종 오류(type II error)와 검정력의 개념을 써서 짧게 반박하라.

풀이

\(H_0\)을 기각하지 못한 것은 \(H_0\)의 증명이 아니다. 유의하지 않은 \(p\) 값은 자료가 정규성과 양립 가능하다는 뜻이지만, 검정이 구별할 검정력을 갖지 못한 여러 비정규 분포와도 양립 가능하다. 제2종 오류의 확률 \(\beta\)는 표본크기 \(n\), 유의수준 \(\alpha\), 참 대립분포에 의존한다. \(n\)이 작으면 검정력 \(1 - \beta\)가 상당히 낮을 수 있으므로 기각하지 못한 것에 담긴 정보가 거의 없다. 올바른 추론에는 검정력 분석이나 보조 증거(시각적 확인, 분야 지식)가 필요하다. \(\square\)

연습문제 12. 5절은 \(n = 50\)인 균등분포 표본에서 자크–베라의 기각률이 \(0.000\)(6000번 중 0번)이라고 보고한다. 균등분포의 왜도는 \(0\)이고 초과첨도는 정확히 \(-6/5\)이다. \(JB = \frac{n}{6}\bigl(g_1^2 + g_2^2/4\bigr)\)와 \(\chi^2_2\)의 95% 값 \(5.9915\)를 써서 다음에 답하라.

(1) \(g_1 = 0\)일 때 자크–베라가 5%에서 기각하려면 표본초과첨도 \(g_2\)가 얼마나 커야 하는가. \(n = 50\)에서 그 값을 구하라.

(2) 균등분포의 \(g_2\)가 모집단 값 \(-6/5\) 근처에 몰린다고 보면, 자크–베라가 균등분포를 기각할 수 있게 되는 가장 작은 표본크기는 얼마인가.

(3) 6000번 중 한 번도 기각하지 못한 것은 모의실험의 우연인가, \(n = 50\)에서는 구조적으로 불가능한 일인가. \(n = 50\)인 균등표본에서 \(g_2\)의 표준편차가 \(0.18\) 정도임을 써서 답하라.

풀이

(1) \(\lvert g_2 \rvert > 1.6959\) 가 필요하다. \(g_1 = 0\)을 넣으면

\[ JB = \frac{n}{6}\cdot\frac{g_2^2}{4} = \frac{n\,g_2^2}{24} > 5.9915 \iff g_2^2 > \frac{24 \times 5.9915}{n} = \frac{143.797}{n} \]

이다. \(n = 50\)이면 \(g_2^2 > 2.87594\), 즉 \(\lvert g_2 \rvert > 1.6959\)이다.

이 값을 균등분포가 실제로 내놓는 \(g_2 \approx -1.2\)와 견주면 5절의 수가 그대로 나온다.

\[ JB \approx \frac{50}{24}\times(-1.2)^2 = \frac{50 \times 1.44}{24} = 3.00 \]

5절이 "\(3.0\) 언저리가 되어 \(\chi^2_2\)의 95% 값 \(5.99\)에 닿지 못한다"고 쓴 것이 이것이다.

(2) \(n = 100\). 모집단 값 \(\lvert \gamma_2 \rvert = 6/5\)를 그대로 쓸 수 있다고 보면 필요조건은

\[ \frac{6}{5} > \sqrt{\frac{143.797}{n}} \iff n > \frac{143.797}{1.44} = 99.86, \]

따라서 \(n = 100\)이다. 달리 보면 \(JB \approx \frac{n}{24}(1.2)^2 = 0.06\,n\)이므로 통계량이 \(n\)에 정비례해서 자라고, \(5.9915/0.06 = 99.86\)에서 선을 넘는다. \(n = 50\)은 필요한 표본크기의 정확히 절반이다.

(3) 구조적으로 불가능하다. 기각에 필요한 \(\lvert g_2 \rvert = 1.6959\)는 균등표본의 \(g_2\)가 몰려 있는 자리(\(-1.2\) 근처, 표준편차 \(0.18\))에서

\[ \frac{1.6959 - 1.2}{0.18} \approx 2.8 \]

표준편차만큼 떨어져 있다. 게다가 \(g_2\)에는 \(g_2 \ge -2\)라는 하한이 있어 그 방향의 꼬리가 정규보다 얇으므로, 실제 초과확률은 정규근사로 읽은 \(0.003\)보다도 훨씬 작다(2만 번 모의에서 한 번, \(10^{-4}\) 아래). 6000번에 한 번도 나오지 않는 것이 당연하다.

왜 이렇게 되는가. 자크–베라는 \(g_2\)를 점근적 표준편차 \(\sqrt{24/n} = 0.693\)으로 재는데, 균등분포가 줄 수 있는 신호는 \(\lvert \gamma_2 \rvert = 1.2\)가 전부여서 신호 대 잡음비가 \(1.2/0.693 = 1.73\)에 머문다. 양쪽검정에 필요한 \(1.96\)에 못 미친다. 같은 자료를 다고스티노 \(K^2\)가 \(0.802\)로 잡아내는 것은 유한표본에서 실제로 훨씬 작은 \(g_2\)의 산포를 쓰기 때문이다. 균등분포에서 자크–베라에게 모자랐던 것은 자료가 아니라 \(n\)이다. \(\square\)

연습문제 13. 보기 2의 (2)는 \(\sup_x \lvert F_{t_5}(x) - \Phi(x) \rvert = 0.0305\), 표준화 대수정규에서 같은 거리가 \(0.0990\)이고, \(n = 100\)에서 5% 기각에 필요한 \(D\)가 \(1.36/\sqrt{100} = 0.1360\)이라고 했다.

(1) 두 대립 각각에 대해, 극한거리가 임계값에 닿는 가장 작은 표본크기를 구하라.

(2) 그 값을 보기 2 (2) 표의 \(n = 100\) 검정력 \(0.0630\)(\(t_5\))과 \(0.4095\)(표준화 대수정규)와 견주어 설명하라.

(3) 보기 2 (2)의 코드는 대수정규 줄에서 표본평균(sample mean)과 표본표준편차로 표준화한 자료를 \(\mathcal{N}(0,1)\)에 견준다. 보기 1 (2)에 따르면 이 \(p\) 값은 어느 쪽으로 틀리는가. 그래서 \(0.4095\)는 참 검정력의 과소평가인가 과대평가인가. 5절의 KS 열과 견주어 확인하라.

풀이

(1) \(t_5\)는 \(n = 1989\), 표준화 대수정규는 \(n = 189\). 필요조건은 \(1.36/\sqrt{n} \le \Delta\), 즉 \(n \ge (1.36/\Delta)^2\)이다.

\[ t_5: \ n \ge \left(\frac{1.36}{0.0305}\right)^2 = 1988.3, \qquad \text{대수정규}: \ n \ge \left(\frac{1.36}{0.0990}\right)^2 = 188.7 \]

이므로 각각 \(n = 1989\), \(n = 189\)이다. 두 대립에 필요한 표본크기가 열 배 넘게 차이 난다. 거리가 세 배 남짓 차이 나는 것이 제곱되어 들어오기 때문이다.

(2) \(n = 100\)은 \(t_5\)에 필요한 양의 \(5\%\), 대수정규에 필요한 양의 \(53\%\)다. \(t_5\)에서 \(D_n\)이 모아 올 수 있는 결정적인 양은 \(0.0305\)뿐이고 임계값은 \(0.1360\)이다. 그 간격 \(0.1055\)를 경험분포의 요동이 메워야 하는데 요동의 크기는 \(O(n^{-1/2}) \approx 0.1\) 수준이라 거의 일어나지 않는다. 그래서 기각률이 \(0.0630\)으로 크기 \(0.0475\)와 사실상 구별되지 않는다.

대수정규는 사정이 다르다. 결정적인 양 \(0.0990\)이 임계값 \(0.1360\)의 \(73\%\)를 이미 채우므로 남은 \(0.0370\)만 요동이 보태면 되고, 표본의 절반쯤에서 그 일이 일어나 기각률이 \(0.4095\)가 된다. 거꾸로 \(n = n^{*}\) 근처에서는 \(D_n\)이 극한거리에 양의 요동을 더한 값이 되므로 검정력이 이미 상당히 높다(모의로 재면 \(t_5\), \(n = 1989\)에서 \(0.95\)다).

(3) \(p\) 값이 부풀려지므로 \(0.4095\)는 과소평가다. 모수를 자료에서 추정해 꽂으면 적합된 분포함수가 경험분포함수에 끌려가 \(D_n\)이 체계적으로 작아지고, 그런데도 모수를 아는 경우의 임계값 \(1.36/\sqrt{n}\)을 쓰므로 검정이 보수적이 된다. 즉 참 검정력은 \(0.4095\)보다 크다.

5절의 표가 이것을 수로 확인해 준다. 거기서는 같은 대수정규 대립에 릴리포스 보정을 한 KS가 \(n = 50\)에서 \(0.845\)를 낸다. 표본크기가 절반인데 검정력이 두 배다. 보정을 생략한 대가가 검정력의 절반이라는 뜻이고, 보기 1 (2)가 말한 "참으로 비정규인 자료도 거의 기각하지 못한다"의 크기가 바로 이것이다. \(\square\)

연습문제 14. 대수정규 대립가설에 대해 샤피로–윌크 검정과 다고스티노 \(K^2\) 검정의 검정력을 비교하도록 모의실험을 수정하라. 두 검정력 곡선을 같은 축에 그려라.

풀이
import numpy as np
from scipy import stats
import matplotlib.pyplot as plt

ns = [20, 30, 50, 80, 120, 200, 300]
sims, alpha, sigma = 500, 0.05, 0.6
pw_sw, pw_k2 = [], []

for n in ns:
    rng = np.random.default_rng(42 + n)
    r_sw = r_k2 = 0
    for _ in range(sims):
        x = rng.lognormal(0, sigma, n)
        if stats.shapiro(x)[1] < alpha:
            r_sw += 1
        if stats.normaltest(x)[1] < alpha:
            r_k2 += 1
    pw_sw.append(r_sw / sims)
    pw_k2.append(r_k2 / sims)
    print(f"n = {n:>3}: SW = {r_sw/sims:.3f}, K2 = {r_k2/sims:.3f}")

fig, ax = plt.subplots(figsize=(7, 4))
ax.plot(ns, pw_sw, marker="o", label="Shapiro-Wilk")
ax.plot(ns, pw_k2, marker="s", label="D'Agostino K^2")
ax.set_xlabel("Sample size")
ax.set_ylabel("Power")
ax.legend()
plt.tight_layout()
plt.show()

출력:

n =  20: SW = 0.658, K2 = 0.552
n =  30: SW = 0.830, K2 = 0.702
n =  50: SW = 0.980, K2 = 0.912
n =  80: SW = 1.000, K2 = 0.990
n = 120: SW = 1.000, K2 = 1.000
n = 200: SW = 1.000, K2 = 1.000
n = 300: SW = 1.000, K2 = 1.000

샤피로–윌크와 다고스티노의 검정력 비교

\(n \geq 120\)에서는 두 검정 모두 검정력이 1이다. 더 작은 \(n\)(20~80)에서는 샤피로–윌크가 일관되게 높다. \(n = 20\)에서 \(0.658\) 대 \(0.552\), \(n = 30\)에서 \(0.830\) 대 \(0.702\)로 격차가 10~13퍼센트포인트에 이른다.

작은 표본에서 샤피로–윌크가 선호되는 이유를 정량적으로 확인해 준다. \(K^2\)은 두 적률로 정보를 압축하지만, 샤피로–윌크는 순서통계량 전체의 배열을 활용하므로 표본이 작아 적률 추정이 불안정할 때 유리하다.

(14.3절 자크–베라 검정과 다고스티노 K제곱 검정이 재어 둔 것과 대조된다. 왜도가 큰 대수정규에서는 적률에 기반한 그 둘이 14.4절 샤피로–윌크 검정보다 훨씬 작은 \(p\) 값을 낸다. 작은 \(p\) 값이 곧 큰 검정력을 뜻하지는 않는다. 두 검정 모두 검정력이 1인 영역에서는 \(p\) 값의 크기가 검정력에 관해 아무것도 말해 주지 않는다.) \(\square\)


연습문제 15. 연습문제 14는 작은 \(n\)에서 샤피로–윌크가 다고스티노 \(K^2\)보다 센 까닭을 "\(K^2\)은 두 적률로 정보를 압축한다"로 돌렸다. 그 압축이 \(n\)을 아무리 키워도 복구되지 않는 대립가설을 만들어 보자.

균등분포의 척도혼합 \(X = S \cdot U\)를 생각한다. 여기서 \(U \sim \text{Uniform}(-1, 1)\)이고 \(S\)는 \(U\)와 독립이며 \(P(S = c) = p = 0.1\), \(P(S = 1) = 0.9\)이다.

(1) 이 분포의 왜도가 \(0\)이고 초과첨도도 정확히 \(0\) 이 되는 \(c\)를 닫힌 꼴로 구하시오. (\(\text{Uniform}(-1,1)\)의 짝수 적률은 \(E[U^{2k}] = 1/(2k+1)\)이다.)

(2) \(n = 200,\, 1000,\, 5000\)에서 자크–베라, \(K^2\), 샤피로–윌크의 기각률을 각 4000회로 재고, \(n\)이 커질 때 세 기각률이 어디로 가는지 말하시오. 자크–베라의 기각률이 \(\alpha = 0.05\)로 가지 않는 까닭도 설명하시오.

풀이

(1) \(U\)가 대칭이고 \(S\)가 독립이므로 \(X\)도 원점대칭이다. 홀수 적률이 모두 \(0\)이니 \(\gamma_1 = 0\)이다. 짝수 적률은

\[ \mu_2 = \frac{(1-p) + pc^2}{3}, \qquad \mu_4 = \frac{(1-p) + pc^4}{5} \]

이므로 \(\beta_2 = \mu_4/\mu_2^2 = 3\)은

\[ \frac{9}{5} \cdot \frac{(1-p) + pc^4}{\bigl((1-p) + pc^2\bigr)^2} = 3 \iff 3\bigl((1-p) + pc^4\bigr) = 5\bigl((1-p) + pc^2\bigr)^2 \]

과 같다. \(p = 1/10\), \(u = c^2\)을 넣으면 \(2.7 + 0.3u^2 = 4.05 + 0.9u + 0.05u^2\), 곧

\[ u^2 - 3.6u - 5.4 = 0 \quad\Longrightarrow\quad u = 1.8 + \sqrt{8.64} = 4.739388, \quad c = \sqrt{1.8 + \sqrt{8.64}} = 2.177013 \]

이다(음의 근은 버린다). 밀도는 \(\lvert x \rvert < 1\)에서 \(0.47297\), \(1 < \lvert x \rvert < 2.177\)에서 \(0.02297\)인 계단 꼴이고 받침이 유계다. 정규와 조금도 닮지 않았는데 \(\gamma_1 = \gamma_2 = 0\)이다.

(2)

import numpy as np
from scipy import stats

p = 0.1
c = np.sqrt(1.8 + np.sqrt(8.64))     # 넓은 쪽 균등분포의 반폭

def draw(rng, n):
    """U(-1,1) 과 U(-c,c) 의 혼합. 대칭이므로 왜도는 0 이다."""
    scale = np.where(rng.random(n) < p, c, 1.0)
    return rng.uniform(-1, 1, n) * scale

# 1) 두 적률이 정규와 정확히 같음을 닫힌 꼴로 확인한다.
mu2 = ((1 - p) + p * c ** 2) / 3
mu4 = ((1 - p) + p * c ** 4) / 5
print(f"c = {c:.6f}  (c^2 = {c ** 2:.6f})")
print(f"분산 {mu2:.6f},  첨도 mu4/mu2^2 = {mu4 / mu2 ** 2:.6f},"
      f"  초과첨도 {mu4 / mu2 ** 2 - 3:.1e}")
rng = np.random.default_rng(0)
big = draw(rng, 400000)
print(f"표본 40만 개:  왜도 {stats.skew(big):+.4f},  초과첨도 {stats.kurtosis(big):+.4f}")

# 2) 적률만 보는 검정과 순서통계량을 쓰는 검정의 기각률
sims = 4000
print(f"\n기각률 (각 {sims} 회, alpha = 0.05)")
for n in (200, 1000, 5000):
    rng = np.random.default_rng(2024 + n)
    r = [0, 0, 0]
    for _ in range(sims):
        y = draw(rng, n)
        r[0] += stats.jarque_bera(y).pvalue < 0.05
        r[1] += stats.normaltest(y).pvalue < 0.05
        r[2] += stats.shapiro(y).pvalue < 0.05
    print(f"  n = {n:5d}:  JB {r[0] / sims:.4f}   K^2 {r[1] / sims:.4f}"
          f"   SW {r[2] / sims:.4f}")

출력:

c = 2.177013  (c^2 = 4.739388)
분산 0.457980,  첨도 mu4/mu2^2 = 3.000000,  초과첨도 0.0e+00
표본 40만 개:  왜도 +0.0048,  초과첨도 -0.0075

기각률 (각 4000 회, alpha = 0.05)
  n =   200:  JB 0.0700   K^2 0.1098   SW 0.9080
  n =  1000:  JB 0.0740   K^2 0.0858   SW 1.0000
  n =  5000:  JB 0.0740   K^2 0.0762   SW 1.0000

\(n\)을 \(25\)배 키워도 적률 검정은 제자리다. 자크–베라는 \(0.0700 \to 0.0740 \to 0.0740\), \(K^2\)은 \(0.1098 \to 0.0858 \to 0.0762\)로 둘 다 \(0.07\) 근처에 머문다. 샤피로–윌크는 \(n = 200\)에서 이미 \(0.9080\)이고 \(n = 1000\)에서는 4000번 중 한 번도 놓치지 않았다.

자크–베라의 극한이 \(0.05\)가 아닌 까닭. \(\sqrt{n}\,b_1\)과 \(\sqrt{n}\,b_2\)의 극한분산이 \(6\)과 \(24\)인 것은 정규분포 아래에서만 성립한다. 대칭분포에서 표본왜도의 극한분산은

\[ \operatorname{avar}(\sqrt{n}\,b_1) = \frac{\mu_6}{\mu_2^3} - 6\frac{\mu_4}{\mu_2^2} + 9 \]

이고(정규에서는 \(15 - 18 + 9 = 6\)), 이 혼합에서는 \(\mu_6 = (0.9 + 0.1c^6)/7 = 1.64936\), \(\mu_2^3 = 0.096059\)이므로 \(\mu_6/\mu_2^3 = 17.170\), 따라서 \(\operatorname{avar} = 17.170 - 18 + 9 = 8.170\)이다. \(6\)으로 나누었으니 그 항은 \((8.170/6)\chi_1^2 = 1.362\,\chi_1^2\)로 간다. 첨도 항도 같은 방식으로 재면 가중치가 \(0.944\)이고, 결국

\[ \text{JB} \xrightarrow{d} 1.362\,\chi_1^2 + 0.944\,\chi_1^2, \qquad P\bigl(1.362\,\chi_1^2 + 0.944\,\chi_1^2 > 5.991\bigr) = 0.075 \]

이다(두 \(\chi_1^2\)은 대칭분포에서 점근적으로 독립이다). 모의실험이 \(n = 1000, 5000\)에서 똑같이 준 \(0.0740\)은 4000회의 표준오차 \(0.004\) 안에서 이 값과 맞는다.

요점은 "검정력이 작다"가 아니라 "일치성이 없다"는 것이다. 표본크기가 검정력에 미치는 영향 4절의 일치성(검정력이 \(1\) 로 간다)은 통계량이 기각역(rejection region) 안의 값으로 수렴할 것을 요구하는데, 여기서 \(\text{JB}\)는 \(n\)에 상관없이 \(O_p(1)\)에 머물러(곧 \(n\) 이 커져도 값이 자라지 않고 한 분포 안에서 맴돌아) 그 전제가 깨진다. 반면 샤피로–윌크는 대립가설 아래에서 \(W_n\) 이 \(1\) 보다 작은 극한 \(c(F_1)\) 로 수렴하므로(표본크기가 검정력에 미치는 영향 연습문제 15) 그 논증이 그대로 적용되어 \(n\)만 키우면 반드시 잡는다. 3차·4차 적률만 보는 검정에게는 영원히 보이지 않는 이탈이 있고, 그것은 꾸며낸 희귀한 분포가 아니라 분산혼합처럼 흔한 구조에서 나온다. \(\square\)


정리하며

보편적으로 최적인 정규성 검정은 없다. 샤피로–윌크 검정은 폭넓은 검정력 덕분에 작거나 중간 크기의 표본에서 가장 나은 기본 선택이다. 앤더슨–달링 검정은 꼬리 이탈 탐지에 뛰어나고 표본크기 제한이 없다. 자크–베라 검정은 왜도나 첨도가 의심될 때 효율적이지만 최소한 중간 크기의 표본이 필요하다. 콜모고로프–스미르노프 검정은 널리 알려져 있지만 정규성 검정으로는 대체로 검정력이 가장 낮다. 어떤 경우에도 형식적 검정에는 시각적 진단이 따라야 한다.

다음 쪽 정규성 검정의 한계와 함정으로 이 절을 닫는다. 세 쪽이 하나씩 다룬 함정 — 표본크기 민감성, 검정력, 치우친 분포 — 을 한자리에 모아 「맹목적으로 적용하지 않는다」는 결론까지 간다.