비정규성에 대한 민감도¶

두 분산을 비교하는 F 검정은 두 모집단이 모두 정규분포를 따른다고 가정한다. 흔히 쓰는 통계검정 가운데 F 검정은 분포 가정의 위반에 가장 민감한 축에 든다. 평균에 대한 \(t\) 검정은 중심극한정리 덕분에 중간 정도의 비정규성에 상당히 로버스트하지만, 분산비 검정에는 그에 상응하는 보호장치가 없다. 이 절은 비정규성 아래에서 F 검정이 무너지는 이유를 설명하고 모의실험 증거를 요약한다.

F 검정이 민감한 이유¶

F 검정통계량 \(F = S_1^2 / S_2^2\)이 \(F_{n_1-1, n_2-1}\) 분포를 따르는 것은 두 표본이 모두 정규 모집단에서 왔을 때뿐이다. \(S^2\)의 정확한 분포는 처음 두 적률만이 아니라 바탕 분포의 모든 적률에 의존한다. 특히 (첨도와 관련된) 4차 중심적률이 결정적인 역할을 한다.

4차 중심적률이 \(\mu_4 = E[(X - \mu)^4]\)인 모집단에 대해 표본분산의 분산은

정규분포에서는 \(\mu_4 = 3\sigma^4\)이므로 이 식이 \(2\sigma^4/(n-1)\)로 간단해진다. 초과첨도 \(\gamma_2 = \mu_4/\sigma^4 - 3 > 0\)인 두꺼운 꼬리 분포에서는 \(S^2\)의 분산이 부풀려지고, 그 결과 \(F\)의 실제 분포가 명목 \(F_{n_1-1, n_2-1}\) 분포보다 두꺼운 꼬리를 갖게 된다.

제1종 오류 팽창¶

모집단이 비정규이면 F 검정의 실제 제1종 오류율이 명목 유의수준 \(\alpha\)에서 크게 벗어날 수 있다. 왜곡의 방향과 크기는 첨도에 달려 있다.

• 두꺼운 꼬리 분포 (\(\gamma_2 > 0\), 고첨): 실제 기각률이 \(\alpha\)를 넘는다. F 검정이 자유주의적이 되어 지나치게 자주 기각한다.
• 얇은 꼬리 분포 (\(\gamma_2 < 0\), 저첨): 실제 기각률이 \(\alpha\)에 못 미친다. F 검정이 보수적이 되어 지나치게 드물게 기각한다.

다음 표는 \(n_1 = n_2 = 20\), 명목 \(\alpha = 0.05\)에서 귀무가설 \(H_0\colon \sigma_1^2 = \sigma_2^2\)이 참일 때 F 검정의 모의실험 결과이다(반복 20,000회, 몬테카를로 오차 약 0.002).

지수분포 자료에서 명목 5% 검정이 \(H_0\) 아래에서 26.7%의 확률로 기각한다. 의도한 비율의 다섯 배가 넘는다.

반대 방향의 왜곡도 극적이다. 균등분포에서는 기각률이 \(0.005\)로 명목값의 10분의 1에 불과하다. 이 경우 검정이 사실상 아무것도 탐지하지 못한다.

표의 숫자가 어디서 오는지는 \(F\) 통계량의 실제 분포를 그려 보면 바로 보인다. 아래 왼쪽 그림에서 두 표본은 언제나 같은 분포에서 뽑았으므로 \(\sigma_1^2 = \sigma_2^2\)이 정확히 성립한다. 검정은 \(F\)가 \(F_{19,19}\)(회색 곡선)를 따른다고 믿고 임계값 \(0.396\)과 \(2.526\)을 긋는다.

정규 자료(연회색)만이 회색 이론곡선과 겹친다. 지수분포 자료(빨강)의 실제 분포는 훨씬 납작하고 넓게 퍼져 있다. 봉우리가 낮아진 만큼 확률질량이 양쪽 꼬리로 흘러갔고, 그 꼬리가 임계선 바깥에 놓인다. 그래서 기각률이 \(0.2665\)까지 올라간다. \(t_5\)(주황)도 같은 방향으로 어긋나 \(0.1595\)다.

균등분포(초록)는 정반대다. 실제 분포가 기준분포보다 좁다. 꼬리가 임계선에 닿기도 전에 끝나 버리니 기각이 거의 일어나지 않는다. \(0.0053\)이라는 숫자가 그 결과다. 이것도 똑같이 심각한 고장이다. 크기가 명목값보다 작으면 "보수적이니 안전하다"고 말하기 쉽지만, 검정력을 그만큼 잃었다는 뜻이기도 하다.

오른쪽 막대를 초과첨도 순으로 정렬해 보면 규칙이 드러난다. 초과첨도 \(-1.2\)에서 \(0.0053\), \(0\)에서 \(0.0532\), \(1\)에서 \(0.0922\), \(3\)에서 \(0.1842\), \(6\)에서 \(0.1595\)와 \(0.2665\). 첨도가 오류율을 거의 단조로 결정한다.

같은 \(\gamma_2 = 6\)인 \(t_5\)와 지수분포가 \(0.160\)과 \(0.267\)로 갈리는 것을 치우침의 몫으로 읽기 쉽지만 그렇지 않다. 극한 오류율은 첨도만의 함수여서 두 분포가 같은 값 \(0.3271\)로 간다. \(n = 20\)에서 갈라지는 것은 수렴 속도가 다르기 때문이다. 지수분포는 \(n\)을 키우면 \(0.3245\)까지 올라가 극한에 거의 닿는데, \(t_5\)는 \(n = 2000\)에서도 \(0.2815\)에 머문다. \(t_5\)는 8차 적률이 무한해서 이 근사의 바탕이 되는 중심극한 수렴이 극단적으로 느리다. 곧 치우침이 오류를 더하는 것이 아니라, \(t_5\)가 극한에 늦게 닿는 것이다.

여기서 기억할 것은 이 왜곡이 표본을 키워도 사라지지 않는다는 점이다. \(n\)이 커지면 \(F\)의 실제 분포도 \(F_{19,19}\)도 함께 1 근처로 좁아지지만, 둘의 분산의 비는 \((\gamma_2+2)/2\)로 남는다(폭, 곧 표준편차의 비는 그 제곱근 \(\sqrt{(\gamma_2+2)/2}\)다). 카이제곱 검정에서 보았던 것과 같은 구조적 문제다.

재현 코드¶

import numpy as np
from scipy import stats

# 두 표본을 늘 같은 분포에서 뽑으므로 분산은 참으로 같다. 그러니 아래
# 비율은 모두 0.05 여야 옳다. 실제로는 정규에서 벗어날수록 크게 어긋난다.
# 꼬리가 두꺼운 t(5)·지수에서는 부풀고, 꼬리가 얇은 균등에서는 오히려 줄어든다.
rng = np.random.default_rng(1)
n, R, alpha = 20, 20000, 0.05

cases = [
    ("Normal",      lambda: rng.normal(0, 1, n)),
    ("t(10)",       lambda: rng.standard_t(10, n)),
    ("t(5)",        lambda: rng.standard_t(5, n)),
    ("Exponential", lambda: rng.exponential(1, n)),
    ("Uniform",     lambda: rng.uniform(0, 1, n)),
    ("Laplace",     lambda: rng.laplace(0, 1, n)),
]

for name, gen in cases:
    rej = 0
    for _ in range(R):
        F = gen().var(ddof=1) / gen().var(ddof=1)
        p = 2 * min(stats.f.cdf(F, n - 1, n - 1),
                    stats.f.sf(F, n - 1, n - 1))
        rej += (p < alpha)
    print(f"{name:>12}: {rej / R:.4f}")

      Normal: 0.0532
       t(10): 0.0922
        t(5): 0.1595
 Exponential: 0.2665
     Uniform: 0.0053
     Laplace: 0.1842

import numpy as np
from scipy import stats

z = stats.norm.ppf(0.975)


def limit_size(beta2):
    """5.3 절의 극한 오류율. beta2 는 (초과가 아닌) 첨도다."""
    return 2 * (1 - stats.norm.cdf(z * np.sqrt(2 / (beta2 - 1))))


rng = np.random.default_rng(7)
R = 2000                       # 반복이 작으므로 몬테카를로 오차를 함께 적는다
cases = [
    ("Normal",      3.0,  lambda s: rng.normal(0, 1, s)),
    ("t(10)",       4.0,  lambda s: rng.standard_t(10, s)),
    ("t(5)",        9.0,  lambda s: rng.standard_t(5, s)),
    ("Exponential", 9.0,  lambda s: rng.exponential(1, s)),
    ("Uniform",     1.8,  lambda s: rng.uniform(0, 1, s)),
    ("Laplace",     6.0,  lambda s: rng.laplace(0, 1, s)),
]

print(f"{'n':>6}" + "".join(f"{nm:>13}" for nm, _, _ in cases))
for n in (20, 100, 500, 2000):
    d = stats.f(n - 1, n - 1)
    lo, hi = d.ppf([0.025, 0.975])
    row = f"{n:>6}"
    for _, _, gen in cases:
        F = gen((R, n)).var(axis=1, ddof=1) / gen((R, n)).var(axis=1, ddof=1)
        row += f"{np.mean((F < lo) | (F > hi)):>13.4f}"
    print(row)
print(f"{'극한':>6}" + "".join(f"{limit_size(b2):>13.4f}" for _, b2, _ in cases))

print(f"\n반복 {R}회에서의 몬테카를로 표준오차")
for p in (0.05, 0.002, 0.33):
    print(f"  참값이 {p:.3f} 근처면 SE = {np.sqrt(p * (1 - p) / R):.4f}")

     n       Normal        t(10)         t(5)  Exponential      Uniform      Laplace
    20       0.0455       0.0890       0.1675       0.2720       0.0100       0.1670
   100       0.0590       0.1055       0.2130       0.3115       0.0040       0.2055
   500       0.0520       0.1210       0.2550       0.3220       0.0030       0.2265
  2000       0.0415       0.1165       0.2815       0.3245       0.0020       0.2175
    극한       0.0500       0.1095       0.3271       0.3271       0.0019       0.2151

반복 2000회에서의 몬테카를로 표준오차
  참값이 0.050 근처면 SE = 0.0049
  참값이 0.002 근처면 SE = 0.0010
  참값이 0.330 근처면 SE = 0.0105

모의실험이 보여주는 패턴¶

광범위한 모의실험 연구(Box, 1953; Markowski and Markowski, 1990)와 위 결과가 함께 확인해 주는 패턴은 다음과 같다.

1. 중간 정도의 비정규성도 문제가 된다. 초과첨도가 1~2 정도인 가벼운 이탈만으로도 제1종 오류율이 눈에 띄게 부풀려진다(\(\gamma_2 = 1\)에서 이미 0.092로 명목값의 두 배).
2. 첨도가 지배적 요인이다. 왜곡은 첨도에 따라 급격히 커진다. \(\gamma_2\)가 0.6, 1, 1.5, 3으로 커질 때 크기가 0.073, 0.092, 0.111, 0.184로 단조증가한다.
3. 치우침도 첨도 위에 왜곡을 더한다. 같은 \(\gamma_2 = 6\)에서 대칭인 \(t_5\)가 0.160인 반면 치우친 지수분포는 0.267이다. 첨도가 주된 요인이라는 것은 맞지만, 치우침을 무해하다고 볼 수는 없다.
4. 표본크기를 키우면 오히려 나빠진다. \(t\) 검정과 달리 표본크기를 늘려도 F 검정의 비정규성 민감도가 줄지 않는다. 아래에서 보듯 오히려 악화된다.

표본크기의 효과¶

\(n\)을 키우면서 같은 실험을 반복하면(반복 10,000회)

정규 자료에서는 어떤 \(n\)에서도 0.05가 유지된다. 그러나 \(t_5\)에서는 크기가 \(n\)과 함께 커져서 \(n = 500\)에서 0.262에 이른다.

이유는 두 가지가 결합되어 있다. 첫째, \(F\)의 참 분산은 \(\operatorname{Var}(S^2)\)의 팽창 인자 \((\gamma_2+2)/2\)만큼 명목값보다 크며 이 비율은 \(n\)에 의존하지 않는다. 둘째, \(n\)이 커지면 명목 \(F\) 분포는 1 주위로 수축하지만 실제 분포는 그보다 느리게 수축한다. 그래서 상대적 불일치가 오히려 커진다.

표본을 늘리는 것은 해결책이 아니라 문제를 키운다. 이것이 F 검정에 관해 기억해야 할 가장 중요한 사실이다.

t 검정과의 비교¶

\(t\) 검정과의 대비가 교훈적이다. 일표본 \(t\) 검정은

중심극한정리가 \(n\)이 어느 정도만 되면 \(\bar{X}\)를 근사적으로 정규로 만들어 주므로 분자가 잘 작동한다. 분모 \(S\)는 대수의 법칙에 의해 \(\sigma\)로 수렴하므로 전체 통계량이 근사적으로 \(t\) 분포를 유지한다.

F 검정에서는 분자와 분모가 모두 표본분산이다. 어느 쪽도 중간 표본크기에서 중심극한정리 같은 결과의 혜택을 받지 못한다. \(S^2\)의 분포는 모집단의 4차 적률로 결정되고, 비 \(S_1^2/S_2^2\)은 양쪽 모두에서 오는 왜곡을 물려받는다.

F 검정을 피해야 할 때¶

다음 경우에는 F 검정을 피해야 한다.

• 정규성 검정(Shapiro-Wilk, Anderson-Darling, Q-Q 그림 검토)이 어느 한 표본에서라도 정규성을 기각할 때
• 자료가 꼬리가 두꺼운 분포에서 온다고 알려져 있을 때(금융 수익률, 소득 자료, 생존시간)
• 자료에 이상점이 있을 때. 이상점은 표본분산과 첨도를 동시에 부풀린다
• 표본크기가 작아 정규성을 신뢰성 있게 평가할 수 없을 때

권장 대안¶

정규성이 의심스러울 때 다음 검정들이 제1종 오류율을 더 잘 조절한다.

연습문제¶

정리하며¶

\(F\) 검정이 왜 그렇게 취약한지가 이 절의 핵심이다.

• \(S^2\) 의 분포가 4차적률에 의존한다. 평균의 분포는 처음 두 적률로 결정되지만 분산의 분포는 그렇지 않으며, 첨도가 직접 들어온다.
• \(t\) 검정에 해당하는 보호장치가 없다. 중심극한정리는 표본평균을 정규로 만들어 주지만 표본분산에는 그런 구실을 하지 않는다.
• 그 결과가 제1종 오류율의 폭증이다. 꼬리가 조금만 두꺼워도 명목 \(5\%\) 가 \(20\%\) 를 넘는 일이 흔하다. 분산이 실제로 같은데도 기각한다.
• 표본을 늘려도 나아지지 않는다. 오히려 잘못된 분포를 더 정밀하게 따라가므로 문제가 유지된다.
• 결론은 명확하다. 정규성을 확신할 수 없으면 \(F\) 검정을 쓰지 않는다. 레빈 계열로 간다.

다음 절 \(F\) 검정 (코드) 로 넘어간다.