콘텐츠로 이동

민감도와 실질적 유의성

1. 구분

들어가는 이야기 — 양측이라 적었는데 한쪽이 전부였다

바탕 분포가 대칭이고 꼬리가 중간 정도라면, \(n = 15\) 처럼 작은 표본에서도 일표본 \(t\) 검정의 실제 제\(1\) 종 오류율은 명목 \(0.05\) 에 가깝게 유지된다. 치우치면 올라가지만 지수분포(exponential distribution, 왜도(skewness) \(2.0\))에서 \(n = 15\) 일 때 \(0.0898\) 이니 아직 쓸 만한 범위다.

그런데 「강하게 치우쳐 있으면」까지 가면 사정이 다르다. 왜도 \(31.1\) 인 대수정규에서 \(n = 15\) 로 재면 양측 기각률이 \(0.2533\) 이고, 그 가운데 아래쪽 꼬리가 \(0.2532\), 위쪽 꼬리가 \(0.0001\) 이다. 명목 \(0.05\) 짜리 양측검정(two-sided test)의 거의 전부가 한쪽 꼬리에서 나오는 것이다. \(n\) 을 \(100\) 으로 늘려도 \(0.1461\) 이다.

그러니 정규성(normality) 검정이 기각했을 때 던질 물음은 「유의한가」가 아니다. 「내가 쓰려는 절차의 오류율이 어느 방향으로 얼마나 틀어지는가」다. 같은 이탈이 절차마다 다른 값을 매긴다 — 평균을 보는 절차는 중심극한정리(central limit theorem)의 보호를 받아 버티는데, 분산을 보는 절차는 같은 자리에서 무너진다.

그래서 이 쪽은 두 낱말을 가른다. 통계적으로 유의한 이탈과 실질적으로 유의한 이탈이다. 앞의 것은 자료가 정규에서 탐지 가능하게 벗어났다는 말이고, 뒤의 것은 그 이탈이 후속 추론을 망가뜨릴 만큼 크다는 말이다. 그러면 둘을 가르는 선은 어디에 있고, 무엇으로 재야 하는가.

두 칸짜리 그림. 모집단의 왜도를 0.3 에서 414 까지 올리며 일표본 t 검정의 양측 기각률과 두 꼬리를 따로 그린 것이다. 양측 기각률이 올라가는 동안 아래쪽 꼬리가 그 전부를 먹고 위쪽 꼬리는 0 으로 내려간다. 표본크기를 15 에서 100 으로 늘려도 쏠림은 그대로다

적어 두는 수는 양측 기각률 하나인데, 쪼개 보면 그것이 한쪽에서만 나온다. \(n = 15\) 에서 왜도가 \(414\) 인 자리의 양측 \(0.398\) 가운데 아래쪽이 \(0.398\) 이고 위쪽은 \(0.0000\) 이다. 한쪽에 \(0.025\) 씩 있어야 할 것이 한쪽으로 전부 몰린 것이고, \(n\) 을 일곱 배로 늘려도 쏠림의 모양은 그대로다. 그러니 정규성 검정이 기각했을 때 던질 물음은 「유의한가」가 아니라 「내가 쓰려는 절차의 오류율이 어느 방향으로 얼마나 틀어지는가」다. 반복은 자리마다 \(40{,}000\) 회다.

정규성 검정이 귀무가설(null hypothesis)을 기각해도 분석은 완벽하게 타당할 수 있다. 핵심은 비정규성의 통계적 유의성과 비정규성의 실질적 유의성이 서로 다른 것이라는 점이다. 통계적으로 유의한 이탈은 자료가 정규분포에서 탐지 가능하게 벗어났다는 뜻이다. 실질적으로 유의한 이탈은 그 이탈이 \(t\) 검정, 분산분석(analysis of variance), 신뢰구간 같은 후속 추론 절차의 타당성에 의미 있게 영향을 줄 만큼 크다는 뜻이다.

이 구분은 가설검정에서 통계적 유의성과 실질적 유의성을 구분하는 더 넓은 논의를 그대로 반영하지만, 정규성 확인 자체가 예비 단계라는 점에서 정규성 검정의 맥락에서는 특별한 무게를 갖는다.


2. 모수적 절차의 로버스트성

어떤 통계 절차가 가정이 위배되어도 성능(제1종 오류율, 포함확률, 검정력)이 명목값에 가깝게 유지되면 그 절차가 그 가정 위배에 로버스트하다고 한다. 절차마다 비정규성에 대한 로버스트성의 정도가 크게 다르다.

평균에 대한 검정

일표본 \(t\) 검정은 비정규성에 놀랄 만큼 로버스트하며, 특히 대칭분포에서 그렇다. 모의실험 연구에 따르면 \(n = 15\)처럼 작은 표본에서도 바탕 분포가 중간 정도의 꼬리를 갖는 대칭분포라면 \(t\) 검정의 실제 제1종 오류율이 \(\alpha = 0.05\)에 가깝게 유지된다. \(\bar{X}\)의 표집분포(sampling distribution)가 중심극한정리를 통해 정규로 수렴하고 \(t\) 통계량이 이 로버스트성을 물려받기 때문이다.

치우친 분포에서는 \(t\) 검정이 덜 로버스트하다. 모집단이 치우쳐 있으면 작은 \(n\)에서 실제 제1종 오류율이 \(\alpha\)를 넘고, \(n\)이 커지면 줄어든다. 왜도가 중간 정도이면 왜곡이 크지 않다 — 명목 \(\alpha\)가 0.05일 때 실제 0.07 쯤이다. 다만 「강하게 치우쳐 있으면」까지 가면 그 수가 더 이상 0.07 이 아니고, 양측 수치가 꼬리 하나를 거의 다 덮는다. 아래 쪽지가 둘을 수로 가른다.

0.07 은 중간 왜도의 수다 — 그리고 양측 수치가 꼬리를 덮는다

바로 위의 「\(0.07\)」이 어느 왜도의 수인지를 재어 보면 쓸모가 있다. 세 분포를 왜도만 올려 가며 일표본 \(t\) 검정에 걸고, 양측 수준과 두 꼬리를 따로 센다.

import numpy as np
from scipy import stats

R, alpha = 40000, 0.05
rng = np.random.default_rng(149)


def level(draw, mu, n):
    """H0 가 참인 자료에 일표본 t 를 걸고 두 꼬리를 따로 센다."""
    X = draw((R, n))
    T = (X.mean(1) - mu) / (X.std(1, ddof=1) / np.sqrt(n))
    c = stats.t.ppf(1 - alpha / 2, n - 1)
    return np.mean(T < -c), np.mean(T > c)


def lognorm(w):             # 로그정규의 왜도는 (w+2)sqrt(w-1), w = exp(sigma^2)
    s = np.sqrt(np.log(w))
    return (lambda sz: rng.lognormal(0, s, sz)), np.exp(s**2 / 2)

cases = [("지수", 2.0, (lambda sz: rng.exponential(1.0, sz)), 1.0),
         ("로그정규", (1.9 + 2) * np.sqrt(0.9), *lognorm(1.9)),
         ("로그정규", (9.0 + 2) * np.sqrt(8.0), *lognorm(9.0))]

# 한글은 고정폭에서 두 칸을 차지하므로 f-string 자리맞춤이 보이는 열과 어긋난다
print(f"일표본 t · 양측 명목 {alpha} · R = {R}")
print("  분포        왜도     n     양측    왼꼬리  오른꼬리")
for nm, g1, draw, mu in cases:
    for n in (15, 30, 100):
        lo, hi = level(draw, mu, n)
        print(f"  {nm}{'  ' if nm == '지수' else ''}    {g1:5.1f}  {n:4d}   {lo + hi:.4f}   {lo:.4f}  {hi:.4f}")

출력:

일표본 t · 양측 명목 0.05 · R = 40000
  분포        왜도     n     양측    왼꼬리  오른꼬리
  지수        2.0    15   0.0898   0.0844  0.0054
  지수        2.0    30   0.0728   0.0654  0.0074
  지수        2.0   100   0.0600   0.0475  0.0124
  로그정규      3.7    15   0.1130   0.1101  0.0028
  로그정규      3.7    30   0.0918   0.0874  0.0045
  로그정규      3.7   100   0.0681   0.0599  0.0082
  로그정규     31.1    15   0.2533   0.2532  0.0001
  로그정규     31.1    30   0.2098   0.2094  0.0004
  로그정규     31.1   100   0.1461   0.1447  0.0014

\(0.07\) 은 왜도 \(2\) 에 \(n = 30\) 의 수다. 왜도가 \(31\) 이면 같은 \(n\) 에서 \(0.2098\) 이고, \(n = 100\) 으로 늘려도 \(0.1461\) 이다 — 줄어들기는 하지만 명목의 세 배에 머문다. 「\(n\)이 커지면 줄어든다」는 참말인데 얼마나 느리게 줄어드는지가 왜도의 크기에 달려 있다.

두 꼬리를 따로 보면 더 중요한 것이 나온다. 왜도 \(31\), \(n = 15\) 에서 왼꼬리가 \(0.2532\) 이고 오른꼬리가 \(0.0001\) 이다. 양측 수치 \(0.2533\) 은 사실상 한쪽 꼬리 하나다. 그래서 여기서 \(\alpha = 0.05\) 로 단측검정을 하면 방향에 따라 실제 수준이 \(0.25\) 이거나 \(0.0001\) 이 된다 — 둘 다 \(0.05\) 가 아니고, 양측 수치만 보고 있으면 어느 쪽인지 알 수 없다. 치우친 자료에서 \(t\) 검정이 어긋나는 방식은 수준이 커지는 것이 아니라 비대칭해지는 것이다.

이표본에서는 이야기가 한 번 더 갈린다. \(n_1 = n_2\) 이고 두 집단이 같은 분포이면 두 표본을 맞바꾸는 것만으로 평균차의 부호가 뒤집히고 합동 \(S^2\) 은 그대로이므로, \(t\) 의 귀무분포가 모집단과 무관하게 정확히 \(0\) 에 대칭이다. 그래서 균형 설계는 왜도 \(31\) 에서도 보수적이다(\((20,20)\) 에서 양측 \(0.0284\)). 반면 \((5,35)\) 는 양측이 \(0.0679\) 로 위 띠에 들어오는데 두 꼬리가 \(0.0001\) 과 \(0.0678\) 로 \(900\) 배 갈려 있다. 14.7절 t 검정과 분산분석에서의 정규성의 「그림으로 보는 통계학 1」이 이것을 그림으로 본다 — \(\S 3\) 의 위계에 「균형」이라는 칸이 하나 더 필요하다.

분산에 대한 검정

분산에 관한 검정은 비정규성에 훨씬 민감하다. 단일 분산의 카이제곱 검정과 두 분산을 비교하는 \(F\) 검정은 모두 다음 가정에 기댄다.

\[ \frac{(n-1)S^2}{\sigma^2} \sim \chi^2_{n-1} \]

이 분포 결과는 정규성 아래에서만 정확히 성립한다. 모집단의 꼬리가 두꺼우면 \((n-1)S^2/\sigma^2\)의 실제 분포가 카이제곱보다 두꺼운 꼬리를 갖게 되어 제1종 오류율이 크게 부풀려진다. \(t\) 검정에는 거의 영향을 주지 않는 비정규성이 \(F\) 검정은 심각하게 왜곡할 수 있다.

분산의 F 검정은 로버스트하지 않다

두 모분산을 비교하는 \(F\) 검정은 고전적 절차 가운데 가장 로버스트하지 않은 축에 든다. 가벼운 비정규성만으로도 실제 제1종 오류율이 명목 \(\alpha\)의 두세 배가 될 수 있다. 그래서 실무에서는 레빈 검정이나 브라운–포사이드 검정이 선호된다.

분산분석

일원배치 분산분석(one-way analysis of variance)은 집단 크기가 같고 분포의 모양이 비슷하면 비정규성에 중간 정도로 로버스트하다. \(F\) 통계량은 평균제곱의 비에 기초하며, \(n\)이 너무 작지 않으면 중심극한정리가 분자와 분모를 안정시킨다. 집단 크기가 다르고 비정규성과 이분산이 겹치는 상황이 가장 문제가 된다.


3. 이탈은 언제 문제가 되는가

비정규성의 실질적 영향은 세 요인의 조합에 달려 있다.

  1. 이탈의 유형. 평균 기반 검정에서는 대칭인 두꺼운 꼬리보다 왜도가 더 문제가 된다. 왜도가 표집분포의 중심을 이동시키기 때문이다. 두꺼운 꼬리는 주로 분산 기반 절차에 영향을 준다.

  2. 표본크기. \(n\)이 커질수록 중심극한정리의 보호가 커지지만, 수렴 속도는 이탈의 심각도에 달려 있다. \(t\) 검정에서는 대칭인 두꺼운 꼬리 분포라면 \(n \geq 30\)으로 충분한 경우가 많지만, 치우친 분포는 \(n \geq 100\)이 필요할 수 있다.

  3. 쓰는 절차. 민감도의 위계는 낮은 쪽에서 높은 쪽으로 대략 다음과 같다.

    • 평균에 대한 검정과 신뢰구간(가장 로버스트)
    • 분산분석의 \(F\) 검정(균형 설계에서 중간 정도로 로버스트)
    • 회귀계수(regression coefficient) 검정(중간 정도로 로버스트)
    • 분산에 대한 검정(가장 로버스트하지 않음)

4. 판단의 틀

다음 틀이 탐지된 정규성 이탈이 실질적으로 의미 있는지 판단하는 데 도움이 된다.

1단계: 추론의 목표를 확인한다. 평균을 검정하는가, 평균을 비교하는가, 분산을 검정하는가, 회귀를 수행하는가? 이 답이 절차가 비정규성에 얼마나 민감한지를 결정한다.

2단계: 표본크기를 평가한다. \(n\)이 크면 검정 결과와 무관하게 평균 기반 추론은 중심극한정리의 보호를 받는다.

3단계: 이탈의 성격을 파악한다. 왜도인가, 두꺼운 꼬리인가, 이상치인가, 다봉성인가? 각각 함의가 다르다.

4단계: 크기를 평가한다. 초과첨도가 1 미만이고 왜도의 절댓값이 0.5 미만이면 대체로 가벼운 것으로 본다. 초과첨도가 3을 넘거나 왜도의 절댓값이 1을 넘으면 더 살펴볼 필요가 있다.


AI로 보는 통계학 1. 임계값은 자료만 보고, 무엇에 쓸 것인지는 보지 않는다

바로 위 \(4\) 단계가 수 넷을 준다 — 초과첨도 \(1\) 과 왜도 \(0.5\), 그리고 더 살펴야 하는 쪽의 \(3\) 과 \(1\). 이 네 수는 자료만 보고 정해진다. 그 자료에 무슨 절차를 걸 것인지는 들어오지 않는다.

같은 모양이 기계학습 전처리에 글자 그대로 있다. 열이 수백 개면 Q-Q 그림을 한 장씩 볼 수 없으니, 열마다 scipy.stats.skew 와 scipy.stats.kurtosis 를 재고 임계값을 넘은 열에만 np.log1p 나 sklearn.preprocessing.PowerTransformer 를 씌운다. \(4\) 단계와 입력도 출력도 같다 — 수 둘을 받아 「가볍다」와 「살펴라」로 가른다.

그런데 \(\S 3\) 이 바로 앞에서 「민감도는 쓰는 절차에 달려 있다」고 적었다. 두 말이 함께 참일 수는 없다. 임계값 바로 위에서 재어 보면 어느 쪽이 틀렸는지 나온다. \(t_{10}\) 은 초과첨도가 \(6/(\nu-4) = 1\) 로 정확히 임계값이고, \(\mathrm{Gamma}(16)\) 은 왜도가 \(2/\sqrt{16} = 0.5\) 로 정확히 임계값이다. 둘 다 \(4\) 단계가 「대체로 가볍다」고 부르는 자리다.

import numpy as np
from scipy import stats

n, R, alpha = 30, 40000, 0.05
rng = np.random.default_rng(14)


def rates(draw, mu, s2):
    """H0 가 참인 자료에 평균의 t 검정과 분산의 카이제곱 검정을 둘 다 건다."""
    X = draw((R, n))
    s = X.std(1, ddof=1)
    T = (X.mean(1) - mu) / (s / np.sqrt(n))
    r_t = np.mean(np.abs(T) > stats.t.ppf(1 - alpha / 2, n - 1))
    Q = (n - 1) * s**2 / s2
    lo, hi = stats.chi2.ppf([alpha / 2, 1 - alpha / 2], n - 1)
    return r_t, np.mean((Q < lo) | (Q > hi))


nu, k = 10, 16.0    # 초과첨도 6/(nu-4) = 1.0 이고, 왜도 2/sqrt(k) = 0.5 다
cases = [("t(10) 두꺼운 꼬리", lambda sz: rng.standard_t(nu, sz), 0.0, nu / (nu - 2)),
         ("Gamma(16) 비대칭", lambda sz: rng.gamma(k, 1.0, sz), k, k),
         ("정규 (견줌)", lambda sz: rng.standard_normal(sz), 0.0, 1.0)]

print(f"n = {n}, R = {R}, 명목 alpha = {alpha}  (세 자료 모두 H0 가 참이다)")
for nm, draw, mu, s2 in cases:
    r_t, r_c = rates(draw, mu, s2)
    print(f"  {nm} — 평균의 t 검정 {r_t:.4f} · 분산의 카이제곱 {r_c:.4f}")

출력:

n = 30, R = 40000, 명목 alpha = 0.05  (세 자료 모두 H0 가 참이다)
  t(10) 두꺼운 꼬리 — 평균의 t 검정 0.0495 · 분산의 카이제곱 0.0958
  Gamma(16) 비대칭 — 평균의 t 검정 0.0530 · 분산의 카이제곱 0.0668
  정규 (견줌) — 평균의 t 검정 0.0515 · 분산의 카이제곱 0.0510

「가볍다」가 \(t\) 검정에는 참말이고 분산 검정에는 거짓이다. 평균 쪽은 셋 다 \(0.05\) 근처인데(\(0.0495 \cdot 0.0530 \cdot 0.0515\)) 카이제곱은 임계값 위에서 \(0.0958\) — 명목의 두 배에 가깝다. \(\S 5\) 의 보기 \(1\) 이 \(t_5\)(초과첨도 \(6\))에서 \(0.1713\) 을 보이지만, 여기 \(0.0958\) 은 그 쪽 끝이 아니라 \(4\) 단계가 안전하다고 적어 둔 자리에서 나온 수다.

두 번째가 더 고약하다. 임계값을 넘었는지는 참값이 아니라 그 표본에서 잰 추정값으로 판정한다.

rng2 = np.random.default_rng(140)
X = rng2.standard_t(nu, (R, n))
print(f"t(10) 의 초과첨도 참값은 {6 / (nu - 4):.1f} 이다. n = {n} 표본에서 재면")
for bias in (True, False):
    g2 = stats.kurtosis(X, axis=1, bias=bias)
    print(f"  bias={bias} — 추정 평균 {g2.mean():.3f} · 「1 미만」 판정 {np.mean(g2 < 1):.1%}")

Y = rng2.gamma(k, 1.0, (R, n))
g1 = np.abs(stats.skew(Y, axis=1))
print(f"Gamma(16) 의 왜도 참값은 {2 / np.sqrt(k):.1f} 이다. 같은 n 에서")
print(f"  추정 평균 {g1.mean():.3f} · 「0.5 미만」 판정 {np.mean(g1 < 0.5):.1%}")

출력:

t(10) 의 초과첨도 참값은 1.0 이다. n = 30 표본에서 재면
  bias=True — 추정 평균 0.292 · 「1 미만」 판정 81.8%
  bias=False — 추정 평균 0.577 · 「1 미만」 판정 74.2%
Gamma(16) 의 왜도 참값은 0.5 이다. 같은 n 에서
  추정 평균 0.461 · 「0.5 미만」 판정 61.8%

왜도와 첨도(kurtosis)의 표본추정은 \(n = 30\) 에서 아래로 당겨진다. 참값이 정확히 임계값인데 표본의 \(81.8\%\)(왜도는 \(61.8\%\))가 「임계값 미만」으로 찍히고, bias=False 로 편향보정을 켜도 \(74.2\%\) 다. 그래서 두 결함이 같은 방향으로 겹친다 — 임계값 자체가 분산 절차에 느슨하고, 판정은 그 느슨한 임계값 아래로 한 번 더 떨어진다.

\(4\) 단계의 수를 버릴 일은 아니다. 열이 하나 모자란 것이다. 평균을 추론할 것이면 임계값은 오히려 느슨해도 되고(\(\S 5\) 에서 \(t_5\) 자료의 \(t\) 검정이 \(0.0487\) 이다), 분산이나 분산비를 다룰 것이면 임계값이 훨씬 아래여야 한다. 한 쌍의 수로 \(\S 3\) 의 위계 넷을 다 가르려는 것이 애초에 되지 않는 일이다.

확인한 곳 — scipy 1.13.1 의 stats.skew·stats.kurtosis 기본값(Fisher 정의, bias=True)과 scikit-learn 1.4.2 의 PowerTransformer. 그림과 표의 수는 모두 직접 계산한 값이다


5. 기각률과 포함률을 나란히 놓아 보면

이 틀이 말이 아니라 사실임을 확인하는 가장 직접적인 방법이 있다. 같은 자료에서 정규성 검정이 기각하는 비율과 그 자료로 만든 95% \(t\) 신뢰구간이 참값을 덮는 비율을 동시에 재는 것이다. 앞쪽이 통계적 유의성, 뒤쪽이 실질적 유의성이다.

가벼운 이탈과 심한 이탈에서 정규성 검정의 기각률과 t 구간 포함률을 함께 보인 그림

왼쪽은 대수정규 \(\sigma = 0.2\), 왜도 \(0.61\)인 가벼운 이탈이다. 주황 곡선(기각률)은 \(n = 100\)에서 \(0.55\), \(n = 200\)에서 \(0.85\), \(n = 500\)부터는 사실상 \(1.0\)이다. 그런데 파란 곡선(포함률)은 어떤가. \(n = 15\)에서 \(0.949\), \(n = 200\)에서 \(0.953\), \(n = 1000\)에서 \(0.945\)로 내내 \(0.95\) 위아래에 붙어 있다. \(n = 500\) 이후로는 정규성 검정이 100% 기각하는데 신뢰구간은 약속한 성능을 정확히 내고 있다. 여기서 "정규성이 기각되었으니 \(t\) 구간을 버리고 부트스트랩(bootstrap)으로 가자"고 결정한다면 아무 문제도 없는 절차를 버리는 것이다. 이것이 실질적으로 무의미한 통계적 유의성이다.

오른쪽은 대수정규 \(\sigma = 0.8\), 왜도 \(3.69\)인 심한 이탈이다. 이번에는 기각률이 \(n = 15\)에서 벌써 \(0.69\)이고 \(n = 30\)에서 \(0.96\)이다. 포함률도 함께 망가진다. \(n = 15\)에서 \(0.886\), \(n = 30\)에서 \(0.906\)으로 약속한 \(0.95\)에서 뚜렷하게 모자란다. 95%라고 말하면서 실제로는 89%만 덮는 구간을 쓰고 있는 것이다. \(n = 200\)쯤 되어야 \(0.940\)까지 회복된다. 여기서는 검정의 기각이 진짜 경고다.

두 칸의 차이를 만든 것은 검정이 아니라 이탈의 크기다. 두 경우 모두 \(n\)이 충분히 크면 정규성 검정은 100% 기각한다. 그 기각만 보고는 왼쪽인지 오른쪽인지 구별할 수 없다. 구별해 주는 것은 왜도 \(0.61\)과 \(3.69\)라는 효과 크기다. 앞의 4단계 틀이 \(p\) 값이 아니라 \(g_1\)과 \(g_2\)의 크기를 묻는 이유가 여기에 있다. 검정은 "다르다"까지만 말하고, "얼마나 다른가"는 효과 크기가 말한다. 결정을 내리는 데 필요한 것은 후자다.

보기 1. 평균 검정과 분산 검정의 로버스트성. 꼬리가 두꺼운 \(t_5\) 자료 \(n = 30\)개에 평균에 대한 \(t\) 검정과 분산에 대한 카이제곱 검정을 둘 다 귀무가설이 참인 상태로 걸어, 제1종 오류율을 반복 10,000회로 잰다. \(t\) 검정은 \(0.0487\), 카이제곱 검정은 \(0.1713\)이 나온다.

(1) 카이제곱 검정이 가정하는 \(\operatorname{Var}(S^2)\)와 \(t_5\) 자료에서의 실제 \(\operatorname{Var}(S^2)\)를 각각 닫힌 꼴로 구해 비를 내시오. (\(t_\nu\)에서 \(\sigma^2 = \frac{\nu}{\nu-2}\), \(\mu_4 = \frac{3\nu^2}{(\nu-2)(\nu-4)}\)를 쓰라.)

(2) (1)의 비로 기각률을 정규근사해 예측하면 얼마인가. 모의값 \(0.1713\)과 맞는가. 맞지 않으면 왜 맞지 않는지 밝히시오.

풀이
import numpy as np
from scipy import stats

# ===================================================================
# 정규성이 깨졌을 때 두 검정이 얼마나 다르게 버티는가
#
# 같은 자료에 평균에 대한 t 검정과 분산에 대한 카이제곱 검정을 함께
# 돌린다. 둘 다 귀무가설이 참인데, t 검정의 오류율은 0.05 근처에
# 머물고 분산 검정의 오류율은 크게 벗어난다.
#
# 평균은 중심극한정리의 보호를 받지만 분산은 그렇지 않기 때문이다.
# "정규성이 필요하다"는 말의 무게가 검정마다 다르다는 뜻이다.
# ===================================================================

np.random.seed(42)
n = 30
alpha = 0.05
n_simulations = 10_000
df_true = 5  # 꼬리가 두꺼운 t 분포

rejections_t = 0
rejections_chi2 = 0

for _ in range(n_simulations):
    sample = stats.t.rvs(df=df_true, size=n)

    # 평균이 0 인지 검정한다. t 분포의 평균은 참으로 0 이므로 귀무가설이 참이다.
    _, p_t = stats.ttest_1samp(sample, popmean=0)
    if p_t < alpha:
        rejections_t += 1

    # 분산이 df/(df-2) 인지 검정한다. 이것이 t 분포의 참 분산이므로
    # 이쪽도 귀무가설이 참이다. 조건을 똑같이 맞춘 것이다.
    true_var = df_true / (df_true - 2)
    chi2_stat = (n - 1) * np.var(sample, ddof=1) / true_var
    p_chi2 = 2 * min(
        stats.chi2.cdf(chi2_stat, df=n - 1),
        1 - stats.chi2.cdf(chi2_stat, df=n - 1)
    )
    if p_chi2 < alpha:
        rejections_chi2 += 1

if __name__ == "__main__":
    print(f"Data: t-distribution with df = {df_true}, n = {n}")
    print(f"Nominal alpha: {alpha}")
    print(f"Actual Type I error (t-test):          "
          f"{rejections_t / n_simulations:.4f}")
    print(f"Actual Type I error (chi-squared test): "
          f"{rejections_chi2 / n_simulations:.4f}")

출력:

Data: t-distribution with df = 5, n = 30
Nominal alpha: 0.05
Actual Type I error (t-test):          0.0487
Actual Type I error (chi-squared test): 0.1713

\(t\) 검정의 \(0.0487\)은 명목 \(0.05\)에서 몬테카를로(Monte Carlo) 표준오차 \(\sqrt{0.05 \times 0.95/10000} = 0.00218\)의 \(0.6\)배밖에 떨어져 있지 않다. 일치한다. 반면 카이제곱 검정의 \(0.1713\)은 명목값의 \(3.4\)배이고 표준오차 60배 바깥이다.

(1) 해석적으로. 카이제곱 검정은 \((n-1)S^2/\sigma^2 \sim \chi^2_{n-1}\)을 가정하므로 \(\operatorname{Var}\bigl((n-1)S^2/\sigma^2\bigr) = 2(n-1)\), 곧

\[ \operatorname{Var}(S^2) \;\overset{\text{가정}}{=}\; \frac{2\sigma^4}{n-1} \]

을 믿는다. 그런데 독립표본(independent samples)에서 참값은 4차 적률이 결정한다.

\[ \operatorname{Var}(S^2) = \frac{1}{n}\Bigl(\mu_4 - \frac{n-3}{n-1}\sigma^4\Bigr) = \frac{\mu_4}{n} - \frac{(n-3)\sigma^4}{n(n-1)} \]

정규분포라면 \(\mu_4 = 3\sigma^4\)이므로 이 식이 \(\frac{\sigma^4}{n}\cdot\frac{3(n-1)-(n-3)}{n-1} = \frac{2\sigma^4}{n-1}\)로 줄어들어 가정과 정확히 맞는다. 곧 카이제곱의 척도는 \(\mu_4 = 3\sigma^4\)이라는 정규성의 한 귀결에만 기대고 있다.

\(t_5\)에서는 \(\sigma^2 = \frac{5}{3}\), \(\mu_4 = \frac{3 \cdot 25}{3 \cdot 1} = 25\)이므로 \(g_2 = \frac{25}{(5/3)^2} - 3 = 6\)이고

\[ \operatorname{Var}(S^2) = \frac{25}{30} - \frac{27 \cdot (25/9)}{30 \cdot 29} = 0.747126, \qquad \frac{2\sigma^4}{n-1} = \frac{2 \cdot 25/9}{29} = 0.191571 \]

이다. 비는 \(3.900\)배, 표준편차로는 \(\sqrt{3.900} = 1.975\)배다. 일반적으로 \(n\)이 크면 비가 \(\frac{g_2 + 2}{2}\)로 가는데 \(g_2 = 6\)에서 정확히 \(4\)이고, \(n = 30\)에서 \(3.900\)인 것은 그 극한에 거의 닿은 값이다. 카이제곱은 \(S^2\)의 변동을 실제의 절반으로 근사한다. 그러니 그 척도로 재면 기각이 잦아지는 것이 당연하다.

(2) \(S^2\)가 근사적으로 정규라고 보고 예측해 보자. 기각역(rejection region)이 \(\pm z_{0.975}\) 곱하기 가정된 표준편차인데 실제 표준편차가 \(1.975\)배이므로

\[ 2\,\Phi\!\left(-z_{0.975}\sqrt{\frac{0.191571}{0.747126}}\right) = 2\,\Phi(-1.96 \times 0.5064) = 0.3210 \]

이다. 이 예측은 모의값과 맞지 않는다. \(0.3210\) 대 \(0.1713\)으로 거의 두 배 과대예측이다.

import numpy as np
from scipy import stats

nu, n, alpha = 5, 30, 0.05
sigma2 = nu / (nu - 2)                        # t_5 의 참 분산
mu4 = 3 * nu ** 2 / ((nu - 2) * (nu - 4))     # 4차 적률 (nu > 4 에서만 유한)
g2 = mu4 / sigma2 ** 2 - 3
print(f"t_{nu}:  sigma^2 = {sigma2:.4f}   mu4 = {mu4:.4f}   초과첨도 = {g2:.1f}")

# S^2 의 분산. 카이제곱이 가정하는 값과 실제 값을 나란히 적는다.
var_chi2 = 2 * sigma2 ** 2 / (n - 1)
var_true = mu4 / n - sigma2 ** 2 * (n - 3) / (n * (n - 1))
print("\nVar(S^2):")
print(f"  카이제곱이 가정하는 값  2 sigma^4/(n-1)   = {var_chi2:.6f}")
print(f"  실제값  mu4/n - sigma^4 (n-3)/(n(n-1))    = {var_true:.6f}")
print(f"  근사식  sigma^4 (g2 + 2)/n                = "
      f"{sigma2 ** 2 * (g2 + 2) / n:.6f}")
print(f"  비  {var_true / var_chi2:.3f} 배   (표준편차로는 "
      f"{np.sqrt(var_true / var_chi2):.3f} 배)")

# 그 비로 기각률을 정규근사해 보고, 모의값과 맞는지 본다.
pred = 2 * stats.norm.cdf(-stats.norm.ppf(1 - alpha / 2)
                          * np.sqrt(var_chi2 / var_true))
print(f"\n정규근사 예측 기각률 = {pred:.4f}")

rng = np.random.default_rng(55)
R = 400000
S2 = rng.standard_t(nu, size=(R, n)).var(axis=1, ddof=1)
lo = stats.chi2.ppf(alpha / 2, n - 1) * sigma2 / (n - 1)
hi = stats.chi2.ppf(1 - alpha / 2, n - 1) * sigma2 / (n - 1)
print(f"카이제곱 기각역: S^2 < {lo:.4f} 또는 S^2 > {hi:.4f}")
print(f"  모의 (R = {R}):  아래쪽 {np.mean(S2 < lo):.4f}"
      f"   위쪽 {np.mean(S2 > hi):.4f}   합 {np.mean((S2 < lo) | (S2 > hi)):.4f}")
print(f"  정규 자료라면 각각 {alpha / 2}, {alpha / 2}, 합 {alpha}")

# 예측이 어긋난 까닭: S^2 의 분포가 정규와 거리가 멀다.
# t_5 는 6차 적률이 없으므로 S^2 의 왜도가 유한하지 않고, 모의 왜도는
# 씨앗마다 들쭉날쭉하다. Var(S^2) 의 모의 추정값도 함께 흔들린다.
print("\n씨앗을 바꾸어 본다 (각 R = 400000)")
for seed in (55, 56, 57, 58, 59):
    rng = np.random.default_rng(seed)
    s2 = rng.standard_t(nu, size=(R, n)).var(axis=1, ddof=1)
    print(f"  seed {seed}:  E[S^2] {s2.mean():.4f}"
          f"   모의 Var(S^2) {s2.var():.4f}"
          f"   모의 왜도 {stats.skew(s2):5.1f}   최대 S^2 {s2.max():4.0f}")
print(f"  이론:      E[S^2] {sigma2:.4f}   Var(S^2) {var_true:.4f}   왜도 유한하지 않다")

출력:

t_5:  sigma^2 = 1.6667   mu4 = 25.0000   초과첨도 = 6.0

Var(S^2):
  카이제곱이 가정하는 값  2 sigma^4/(n-1)   = 0.191571
  실제값  mu4/n - sigma^4 (n-3)/(n(n-1))    = 0.747126
  근사식  sigma^4 (g2 + 2)/n                = 0.740741
  비  3.900 배   (표준편차로는 1.975 배)

정규근사 예측 기각률 = 0.3210
카이제곱 기각역: S^2 < 0.9222 또는 S^2 > 2.6277
  모의 (R = 400000):  아래쪽 0.0907   위쪽 0.0825   합 0.1732
  정규 자료라면 각각 0.025, 0.025, 합 0.05

씨앗을 바꾸어 본다 (각 R = 400000)
  seed 55:  E[S^2] 1.6647   모의 Var(S^2) 0.7191   모의 왜도  17.7   최대 S^2  145
  seed 56:  E[S^2] 1.6641   모의 Var(S^2) 0.6853   모의 왜도   9.5   최대 S^2   80
  seed 57:  E[S^2] 1.6671   모의 Var(S^2) 0.7156   모의 왜도  11.8   최대 S^2   92
  seed 58:  E[S^2] 1.6689   모의 Var(S^2) 0.7878   모의 왜도  24.1   최대 S^2  160
  seed 59:  E[S^2] 1.6667   모의 Var(S^2) 0.6765   모의 왜도   6.9   최대 S^2   55
  이론:      E[S^2] 1.6667   Var(S^2) 0.7471   왜도 유한하지 않다

(1)의 유도는 맞는다. 분산의 비 \(3.900\)과 근사식 \(\sigma^4(g_2+2)/n = 0.7407\)이 정확식 \(0.7471\)과 1% 안에서 일치하고, \(E[S^2]\)의 모의값이 다섯 씨앗에서 \(1.6641\)–\(1.6689\)로 이론값 \(5/3 = 1.6667\)을 감싼다.

어긋난 것은 (2)의 정규근사다. 모의 기각률은 \(0.1732\)이고(\(R = 400{,}000\)이므로 표준오차 \(0.0006\)), 보기의 \(0.1713\)과도 맞는다. 예측 \(0.3210\)이 틀린 까닭은 \(S^2\)의 분포가 정규와 전혀 다르기 때문이다. 표에서 보듯 \(S^2\)의 모의 왜도가 씨앗에 따라 \(6.9\)에서 \(24.1\)까지 요동하고, 최댓값이 \(55\)에서 \(160\)까지 간다. 참값 \(1.667\) 주위에 모여 있어야 할 양이 그런 값을 내는 것은 분포가 극단적으로 오른쪽으로 끌려 있다는 뜻이다.

이것은 모의실험의 흠이 아니라 \(t_5\)의 성질이다. \(S^2\)의 왜도는 모집단의 6차 적률 \(\mu_6\)에 달려 있는데, \(t_\nu\)는 \(k < \nu\)인 적률만 가지므로 \(\nu = 5\)에서 \(\mu_6\)이 존재하지 않는다. 그래서 표본왜도가 수렴할 대상이 없고 씨앗마다 다른 값이 나온다. 같은 이유로 \(\operatorname{Var}(S^2)\)의 모의 추정값도 \(0.6765\)–\(0.7878\)로 흔들린다(\(S^2\)의 표본분산(sample variance)이 유한한 분산을 가지려면 \(\mu_8\)이 필요하다). 닫힌 꼴 \(0.747126\)이 정확하고, 모의 추정은 모의만큼만 정확하다.

분포가 오른쪽으로 끌려 있으면 정규근사의 두쪽 계산이 성립하지 않는다. 실제 기각은 아래쪽 \(0.0907\), 위쪽 \(0.0825\)로 양쪽 모두 명목 \(0.025\)의 세 배 넘게 부풀어 있지만, 합이 정규근사가 말하는 \(0.32\)까지 가지는 않는다. 한쪽으로 긴 꼬리가 확률질량을 아주 먼 곳에 몰아 두기 때문에, 임계값 바로 바깥 구간에 들어오는 빈도는 정규 모양에서 기대할 만큼 높지 않다.

요점은 숫자의 크기가 아니라 방향이다. \(t\) 검정은 \(0.0487\)로 멀쩡하고 카이제곱 검정은 \(0.17\)로 망가진다. 이유는 한 문장으로 적힌다. \(t\) 검정이 기대는 양은 \(\bar X\)이고 그 표집분포는 중심극한정리가 돌봐 주지만, 카이제곱 검정이 기대는 양은 \(S^2\)이고 그 척도는 \(\mu_4 = 3\sigma^4\)을 직접 요구한다. 같은 자료, 같은 비정규성인데 한 절차는 멀쩡하고 다른 절차는 완전히 망가진다.


연습문제

연습문제 1. 4단계 틀을 적용하기

다음 세 상황에서 정규성 검정이 \(p = 0.001\)로 기각했다. 본문 4절의 틀로 각각 어떻게 대응할지 적어라.

(a) \(n = 800\), 왜도 \(0.3\), 초과첨도 \(0.4\). 목표는 평균의 \(95\%\) 신뢰구간.

(b) \(n = 25\), 왜도 \(2.1\), 초과첨도 \(6.8\). 목표는 두 집단 평균의 비교.

(c) \(n = 400\), 왜도 \(0.1\), 초과첨도 \(5.0\). 목표는 두 집단 분산의 비교.

풀이

(a) 평균 기반 추론이고 \(n\)이 크며 이탈이 가볍다(왜도 \(< 0.5\), 초과첨도 \(< 1\)). \(p\) 값이 작은 것은 표본이 커서 미세한 이탈까지 탐지한 결과다. \(t\) 구간을 그대로 쓴다. 본문 그림의 왼쪽 칸이 정확히 이 상황이다.

(b) 가장 걱정스러운 조합이다. 왜도가 크고(\(2.1\)) 표본이 작다(\(25\)). 평균 기반 절차라도 왜도는 작은 \(n\)에서 실제 오류율을 부풀린다. 부트스트랩 구간이나 순열검정(permutation test), 또는 로그변환 후 분석을 고려한다. 변환하면 "무엇의 평균인가" 가 달라진다는 점은 함께 보고해야 한다.

(c) 가장 위험하다. 분산 비교는 두꺼운 꼬리에 가장 민감한 절차인데 초과첨도가 \(5.0\)이다. \(n = 400\)도 구해 주지 못한다. 연습문제 4에서 보듯 왜곡의 크기는 \(n\)이 아니라 \((g_2+2)/2\)가 정하기 때문이다. \(F\) 검정을 버리고 레빈 또는 브라운–포사이드를 쓴다. \(\square\)


연습문제 2. 민감도의 위계

본문 3절은 절차들을 로버스트한 순서로 늘어놓았다.

(a) 그 순서를 다시 적고, 가장 로버스트한 것과 가장 취약한 것이 무엇에 기대는지 한 줄씩 적어라.

(b) "표본이 크면 어떤 절차든 괜찮다" 는 말이 왜 틀렸는지 설명하라.

(c) 중심극한정리가 돌봐 주는 양과 돌봐 주지 않는 양을 각각 하나씩 들어라.

풀이

(a) 로버스트한 쪽에서 취약한 쪽으로

  1. 평균에 대한 검정·신뢰구간 — \(\bar X\)의 표집분포에 기대고, 그것은 중심극한정리가 돌본다.
  2. 분산분석의 \(F\) 검정(균형 설계) — 분자·분모가 모두 평균 꼴이라 부분적으로 보호받는다.
  3. 회귀계수 검정 — 계수가 가중평균 꼴이라 역시 부분적으로 보호받는다.
  4. 분산에 대한 검정 — \((n-1)S^2/\sigma^2 \sim \chi^2\)이라는 분포 가정 자체에 기댄다.

(b) 중심극한정리는 평균 꼴의 통계량에만 작동한다. 분산 검정의 척도는 \(\mu_4 = 3\sigma^4\)이라는 정규성의 귀결을 직접 요구하는데, 이 등식은 \(n\)을 아무리 키워도 참이 되지 않는다. 본문 보기 1 이 보인 대로 왜곡의 크기가 \((g_2+2)/2\)로 \(n\)에 의존하지 않는다.

(c) 돌봐 주는 양: 표본평균(sample mean) \(\bar X\), 두 평균의 차, 회귀계수(설계가 나쁘지 않다면). 돌봐 주지 않는 양: 표본분산 \(S^2\)의 분포 모양, 최댓값·최솟값 같은 극값통계량, 분위수(quantile) 추정량의 정규성(이쪽은 다른 정리가 필요하다). \(\square\)


연습문제 3. 어떤 자료에 정규성 검정을 수행했더니 이상치(outlier) 하나가 발견되었다. 이상치를 포함하면 \(p\) 값이 0.01이지만 이상치를 제거하면 \(p\) 값이 0.20으로 올라간다. 이를 어떻게 해석하고 처리해야 하는가?

풀이
  • 이상치를 뺀 나머지 자료에서는 정규성을 기각하지 못했다. 그것이 정규성을 확인해 주지는 않는다 — 연습문제 8 (c) 가 그 구별을 다룬다.
  • 이상치를 포함하면 자료가 정규분포를 따르지 않는다고 나오므로 그 이상치를 자세히 조사해야 한다.
  • 이상치가 오염되었거나 잘못 기록된 것으로 밝혀지면 오류를 고치거나 그 자료점을 제거한 뒤 분석을 진행한다.
  • 이상치가 오염된 것도 잘못 기록된 것도 아니라면, 필요에 따라 이상치를 포함한 결과와 제외한 결과를 모두 보고한다.

연습문제 4. 왜곡의 크기는 첨도가 정한다

본문 보기 1 은 \(\operatorname{Var}(S^2)\)의 실제값과 카이제곱이 가정하는 값의 비가 \(n\)이 크면 \((g_2+2)/2\)로 간다고 했다.

(a) \(\operatorname{Var}(S^2) = \frac1n\bigl(\mu_4 - \frac{n-3}{n-1}\sigma^4\bigr)\)에서 이 극한을 유도하라.

(b) 균등분포(\(g_2 = -1.2\)), 라플라스(\(g_2 = 3\)), 지수(\(g_2 = 6\))에서 비를 구하라.

(c) 비가 \(1\)보다 작은 경우 카이제곱 검정은 어떻게 되는가? 그것이 "안전하다" 는 뜻인가?

풀이

(a) \(n \to \infty\)이면 \(\frac{n-3}{n-1} \to 1\)이므로

\[ \operatorname{Var}(S^2) \approx \frac{\mu_4 - \sigma^4}{n} = \frac{\sigma^4(g_2 + 3 - 1)}{n} = \frac{\sigma^4(g_2+2)}{n} \]

이고, 가정값은 \(\frac{2\sigma^4}{n-1} \approx \frac{2\sigma^4}{n}\)이므로 비가 \(\frac{g_2+2}{2}\)다. \(n\)이 약분되어 사라진다는 것이 핵심이다.

(b)

분포 \(g_2\) 비 \((g_2+2)/2\)
균등 \(-1.2\) 0.40
정규 0 1.00
라플라스 \(+3\) 2.50
지수 \(+6\) 4.00

(c) 비가 \(1\)보다 작으면 \(S^2\)이 카이제곱이 예상하는 것보다 덜 흔들린다. 그러면 기각이 드물어져 1종 오류율이 명목값 아래로 내려간다(연습문제 5 에서 균등분포가 \(0.0032\)). 1종 오류만 보면 "안전" 하지만, 검정력을 잃는다. 실제로 분산이 다른데도 잡아내지 못한다. 보수적인 검정은 공짜가 아니며, 명목 수준을 지키지 못하는 것은 양방향 모두 결함이다. \(\square\)


연습문제 5. 분포를 바꿔 가며 두 검정을 재기

본문 보기 1 은 \(t_5\) 하나에서만 두 검정을 견주었다. 다섯 분포로 넓혀 \(n = 30\)에서 1종 오류율을 재고, 연습문제 4 의 예측 비와 맞는지 보라.

풀이
import numpy as np
from scipy import stats

rng = np.random.default_rng(1)
n, REP, alpha = 30, 40000, 0.05

# (분포 이름, 표본추출 함수, 참 분산, 초과첨도)
dists = [
    ("정규",    lambda size: rng.normal(0, 1, size),        1.0,      0.0),
    ("균등",    lambda size: rng.uniform(-1, 1, size),      1 / 3,   -1.2),
    ("라플라스", lambda size: rng.laplace(0, 1, size),       2.0,      3.0),
    ("지수",    lambda size: rng.exponential(1, size),      1.0,      6.0),
    ("t_5",     lambda size: rng.standard_t(5, size),       5 / 3,    6.0),
]

print("분포       초과첨도  예측 비 (g2+2)/2   t 검정 오류율   카이제곱 오류율")
for name, draw, var, g2 in dists:
    x = draw((REP, n))
    mu0 = 1.0 if name == "지수" else 0.0      # 각 분포의 참 평균
    m, s = x.mean(axis=1), x.std(axis=1, ddof=1)
    tstat = (m - mu0) / (s / np.sqrt(n))
    rej_t = np.mean(np.abs(tstat) > stats.t.ppf(0.975, n - 1))
    chi = (n - 1) * s ** 2 / var
    lo, hi = stats.chi2.ppf([alpha / 2, 1 - alpha / 2], n - 1)
    rej_c = np.mean((chi < lo) | (chi > hi))
    print(f"{name:8s}  {g2:+6.1f}      {(g2 + 2) / 2:6.2f}        "
          f"{rej_t:.4f}          {rej_c:.4f}")

출력:

분포       초과첨도  예측 비 (g2+2)/2   t 검정 오류율   카이제곱 오류율
정규          +0.0        1.00        0.0497          0.0512
균등          -1.2        0.40        0.0510          0.0032
라플라스        +3.0        2.50        0.0475          0.1913
지수          +6.0        4.00        0.0737          0.2839
t_5         +6.0        4.00        0.0478          0.1727

세 가지를 읽을 수 있다.

  1. \(t\) 검정은 꼬리에 끄떡없다. 라플라스(\(g_2 = 3\))와 \(t_5\)(\(g_2 = 6\))에서 모두 \(0.047\)–\(0.048\)로 명목값을 지킨다. 대칭이기만 하면 꼬리가 아무리 두꺼워도 괜찮다.
  2. \(t\) 검정을 흔드는 것은 왜도다. 유일하게 벗어난 것이 지수분포의 \(0.0737\)인데, 지수는 다섯 중 유일하게 치우친 분포다(\(g_1 = 2\)). 본문 3절이 "평균 기반 검정에서는 왜도가 더 문제" 라고 한 것이 이 한 줄에 드러난다.
  3. 카이제곱 검정은 예측대로 망가진다. 비가 \(2.50\)인 라플라스에서 \(0.19\), \(4.00\)인 지수와 \(t_5\)에서 \(0.28\)과 \(0.17\)이다. 지수와 \(t_5\)는 \(g_2\)가 같은데 왜곡의 크기가 다른데, 왜도까지 겹친 지수 쪽이 더 나쁘다. 균등분포에서는 반대로 \(0.0032\)로 명목값의 \(1/15\) 까지 내려가 지나치게 보수적이다.

정규분포에서 두 검정이 모두 \(0.05\) 근처(\(0.0497\), \(0.0512\))인 것이 대조군 구실을 한다. 같은 자료, 같은 비정규성인데 한 절차는 멀쩡하고 다른 절차는 망가진다. \(\square\)


연습문제 6. 기각률과 포함률을 함께 재기

본문 5절의 그림을 직접 만든다. 대수정규 \(\sigma \in \{0.2, 0.5, 0.8\}\), \(n \in \{15, 30, 100\}\) 에서 샤피로–윌크 기각률과 \(t\) 구간 포함률을 함께 재고, 두 곡선이 \(n\)에 따라 반대 방향으로 가는 까닭을 설명하라.

풀이
import numpy as np
from scipy import stats

rng = np.random.default_rng(0)
REP = 20000

def run(sigma, n):
    """대수정규 자료에서 t 구간의 포함률과 샤피로-윌크 기각률을 함께 잰다."""
    x = rng.lognormal(0, sigma, size=(REP, n))
    mu = np.exp(sigma ** 2 / 2)                 # 참 평균
    m, s = x.mean(axis=1), x.std(axis=1, ddof=1)
    half = stats.t.ppf(0.975, n - 1) * s / np.sqrt(n)
    cover = np.mean((m - half <= mu) & (mu <= m + half))
    # 샤피로는 표본마다 따로 돌려야 해서 느리다. 앞의 2000 개만 쓴다.
    rej = np.mean([stats.shapiro(row).pvalue < 0.05 for row in x[:2000]])
    g1 = (np.exp(sigma ** 2) + 2) * np.sqrt(np.exp(sigma ** 2) - 1)
    return g1, cover, rej

print("  sigma  왜도      n     포함률   샤피로 기각률")
for sigma in (0.2, 0.5, 0.8):
    for n in (15, 30, 100):
        g1, c, r = run(sigma, n)
        print(f"  {sigma:<5} {g1:5.2f}  {n:5d}    {c:.3f}      {r:.3f}")

출력:

  sigma  왜도      n     포함률   샤피로 기각률
  0.2    0.61     15    0.948      0.115
  0.2    0.61     30    0.950      0.187
  0.2    0.61    100    0.948      0.558
  0.5    1.75     15    0.924      0.403
  0.5    1.75     30    0.936      0.728
  0.5    1.75    100    0.948      0.998
  0.8    3.69     15    0.891      0.706
  0.8    3.69     30    0.909      0.959
  0.8    3.69    100    0.930      1.000

\(n\)이 커지면 기각률은 올라가고 포함률도 올라간다. 방향이 반대인 것이 아니라, 좋아지는 것과 나빠지는 것이 동시에 일어난다.

  • 기각률이 오르는 것은 검정의 검정력이 커지기 때문이다. 이탈은 그대로인데 그것을 탐지할 힘이 커진다.
  • 포함률이 오르는 것은 \(\bar X\)의 표집분포가 중심극한정리로 정규에 가까워지기 때문이다. 문제가 실제로 줄어든다.

그래서 \(\sigma = 0.2\)의 \(n = 100\) 줄이 결정적이다. 샤피로가 \(56\%\) 기각하는데 포함률은 \(0.948\)로 완벽하다. 검정은 점점 더 시끄럽게 경고하는데 그 경고가 가리키는 문제는 점점 사라지고 있다. 반대로 \(\sigma = 0.8\)의 \(n = 15\)에서는 포함률이 \(0.891\)로 실제로 망가져 있고 기각률 \(0.71\)이 진짜 경고다.

결정을 \(p\) 값이 아니라 왜도 \(0.61\) 대 \(3.69\)에 걸어야 하는 까닭이 이 표에 있다. \(\square\)


연습문제 7. 왜도가 \(t\) 검정을 어떻게 흔드는가

연습문제 5 에서 지수분포만 \(t\) 검정의 오류율이 \(0.0737\)로 부풀었다.

(a) 치우친 모집단에서 \(t\) 통계량의 분자와 분모가 같은 방향으로 함께 움직이는 현상을 설명하라.

(b) 그 결과 양쪽 꼬리의 기각률이 비대칭이 되는데, 어느 쪽이 더 큰지 예상하고 까닭을 적어라.

(c) 단측검정을 쓸 때 이 비대칭이 왜 더 위험한지 말하라.

풀이

(a) 오른쪽으로 치우친 분포에서 큰 관측값이 섞인 표본은 \(\bar X\)도 크고 \(S\)도 크다. 두 양이 양의 상관을 갖는다. 정규분포에서는 \(\bar X\)와 \(S^2\)이 독립이라 이런 일이 없다. \(t = (\bar X - \mu)/(S/\sqrt n)\)에서 분자가 클 때 분모도 커지므로 비는 생각만큼 커지지 않고, 반대로 \(\bar X\)가 작을 때는 \(S\)도 작아 비가 더 음수로 간다.

(b) 왼쪽 꼬리의 기각이 더 많다. \(\bar X < \mu\)인 표본은 작은 \(S\)를 동반해 \(t\)가 과장되게 음수로 나오기 때문이다. 오른쪽으로 치우친 모집단에서 \(t\) 통계량의 분포는 왼쪽으로 치우친다는, 처음 들으면 거꾸로인 듯한 결과다.

(c) 단측검정은 한쪽 꼬리만 쓰므로 비대칭이 상쇄되지 않는다. 오른쪽으로 치우친 자료에서 \(H_a: \mu < \mu_0\)를 왼쪽 꼬리로 검정하면 실제 오류율이 명목 \(0.05\)를 크게 넘고, 반대쪽 단측검정은 지나치게 보수적이 된다. 양측검정에서는 두 왜곡이 부분적으로 상쇄되어 \(0.0737\) 정도로 보이지만, 단측으로 쪼개 보면 한쪽이 \(0.06\), 다른 쪽이 \(0.01\) 식으로 갈린다. 치우친 자료에 단측검정을 쓸 때는 방향까지 따져야 한다. \(\square\)


연습문제 8. 이상치 하나의 무게

본문 연습문제 3 은 이상치 하나가 \(p\) 값을 \(0.20\)에서 \(0.01\)로 바꾼 상황을 다뤘다.

(a) \(n = 50\)인 자료에 이상치 하나가 들어왔을 때 표본왜도 \(g_1\)과 표본첨도 \(g_2\)가 각각 얼마나 움직일 수 있는지 차수로 논하라.

(b) 왜 정규성 검정이 이상치에 유독 민감한가?

(c) "이상치를 빼니 정규가 되었다" 는 보고가 왜 그 자체로는 결론이 될 수 없는지 적어라.

풀이

(a) 표본적률은 중심화된 편차의 거듭제곱 평균이다. 표준편차 \(k\)배 떨어진 점 하나는 \(g_1\)에 대략 \(k^3/n\), \(g_2\)에 대략 \(k^4/n\)만큼 기여한다. \(n = 50\)에서 \(k = 4\)인 점 하나면 \(g_1\)에 \(64/50 = 1.3\), \(g_2\)에 \(256/50 = 5.1\)이 더해진다. 한 점이 "가벼운 이탈"을 "심한 이탈"로 바꾸기에 충분하다.

(b) 샤피로–윌크를 비롯한 정규성 검정은 순서통계량의 양 끝에 큰 가중치를 준다. 정규분포에서 가장 멀어지기 쉬운 자리가 꼬리이기 때문인데, 바로 그 자리에 이상치가 놓인다. 게다가 (a)처럼 적률 기반 검정은 4제곱까지 쓰므로 한 점의 영향이 거리의 네제곱으로 커진다.

(c) 세 가지가 빠져 있기 때문이다.

  1. 그 점이 왜 생겼는가. 기록 오류인지, 다른 모집단에서 온 것인지, 그냥 꼬리에서 나온 정상 관측인지에 따라 처리가 완전히 달라진다.
  2. 결론이 바뀌는가. 이상치를 넣고 뺀 두 분석의 결과(추정값, 구간, 결정)를 비교해야 한다. \(p\) 값만 비교하는 것은 의미가 없다.
  3. 뺀 뒤의 추론이 정직한가. 자료를 보고 점을 빼면 그 뒤의 \(p\) 값과 신뢰구간은 더 이상 명목 수준을 갖지 않는다. 뺐다면 그 사실과 기준을 반드시 보고해야 한다.

본문 연습문제 3 의 권고("둘 다 보고한다")가 이 세 가지를 한꺼번에 처리하는 가장 단순한 길이다. \(\square\)


연습문제 9. 왜도가 오류율을 흔드는 크기를 식으로

\(t\) 통계량의 분포에 대한 에지워스 전개의 1차 항은 왜도 \(g_1\)과 \(n\)으로 적힌다. 단측 \(p\) 값의 오차가 대략

\[ P(T > z) - \bigl(1 - \Phi(z)\bigr) \approx \frac{g_1}{6\sqrt n}\,(2z^2 + 1)\,\varphi(z) \]

꼴임이 알려져 있다.

(a) 이 식에서 오차가 \(n\)에 대해 어떤 속도로 사라지는지 적고, 연습문제 6 의 포함률 표와 견주어라.

(b) 왜도 \(g_1 = 2\)(지수분포), \(n = 30\), \(z = 1.96\)에서 한쪽 꼬리의 오차를 구하고, 양측 오류율의 예측값을 적어라. 연습문제 5 의 \(0.0737\)과 견주어라.

(c) 이 식이 말해 주는 실무 규칙 하나를 적어라. "치우친 분포는 \(n \ge 100\)" 같은 경험칙을 이 식으로 정당화할 수 있는가?

풀이

(a) 오차가 \(g_1/\sqrt n\)에 비례하므로 \(O(n^{-1/2})\) 로 사라진다. 꼬리가 두꺼운 대칭분포에서는 \(g_1 = 0\)이라 이 항이 사라지고 다음 항(\(g_2/n\), 곧 \(O(n^{-1})\))이 남는데, 이것이 연습문제 5 에서 라플라스와 \(t_5\)의 \(t\) 검정이 멀쩡했던 까닭이다. 연습문제 6 의 표에서 \(\sigma = 0.8\)(\(g_1 = 3.69\)) 줄의 포함률이 \(0.891 \to 0.909 \to 0.930\)으로 느리게 회복되는 것도 \(\sqrt n\) 속도와 맞는다. \(n\)을 네 배로 해야 오차가 절반이 된다.

(b) \(\varphi(1.96) = 0.0584\)이므로

\[ \frac{2}{6\sqrt{30}}\,(2 \times 1.96^2 + 1)\times 0.0584 = \frac{2}{32.86} \times 8.683 \times 0.0584 = 0.0309 \]

이다. 한쪽 꼬리가 명목 \(0.025\)에서 \(0.031\)만큼 어긋난다는 뜻인데, 부호는 꼬리마다 반대이므로 한쪽은 커지고 다른 쪽은 작아진다. 양측 합의 1차 항은 상쇄되어 사라지고, 남는 것은 2차 항이다. 그래서 양측 오류율이 \(0.0737\)로 명목값보다 크긴 해도 한쪽 꼬리의 불일치(\(0.031\))만큼 크지는 않다. 양측검정이 왜도에 부분적으로 면역인 까닭이 여기 있다.

(c) 규칙은 "\(g_1/\sqrt n\)을 보라" 는 것이다. 이 비가 대략 \(0.2\) 아래면 1차 오차가 작다. \(g_1 = 2\)이면 \(n \ge 100\)이어야 \(2/10 = 0.2\)가 되므로, "치우친 분포는 \(n \ge 100\)" 이라는 경험칙은 왜도가 \(2\) 안팎일 때의 이야기다. 왜도가 \(4\)라면 같은 기준으로 \(n \ge 400\)이 필요하다. 경험칙을 숫자 하나로 외우는 대신 \(g_1/\sqrt n\)을 계산하는 편이 언제나 낫다. \(\square\)


연습문제 10. 사전검정 자체가 만드는 문제

"정규성 검정을 먼저 하고, 기각되면 비모수검정으로 간다" 는 2단계 절차를 생각한다.

(a) 최종 결과의 1종 오류율이 두 검정 각각의 수준과 다른 까닭을 설명하라.

(b) 이 절차가 만드는 조건부 문제를 적어라. 정규성 검정이 통과한 표본들은 어떤 표본들인가?

(c) 본문의 권고("자동으로 모수적 방법을 버리지 말라")를 이 분석과 이어, 실무에서 어떻게 하는 것이 나은지 적어라.

풀이

(a) 최종 절차는 "정규성 검정의 결과에 따라 두 검정 중 하나" 라는 무작위화된 검정 이고, 그 1종 오류율은 두 수준의 단순한 평균이 아니다. 두 단계가 같은 자료를 쓰므로 서로 종속이기 때문이다. 정규성 검정의 결과와 본 검정의 통계량이 상관되어 있으면 어느 방향으로든 왜곡이 생긴다.

(b) 통과한 표본들은 유독 정규처럼 보이는 표본들이다. 꼬리가 짧고 이상치가 없는 쪽으로 걸러진 것이다. 그런 표본에서 계산한 \(S^2\)은 평균적으로 작으므로, 이어지는 \(t\) 검정의 분모가 작아져 통계량이 부풀고 1종 오류율이 올라간다. 걸러 내기 자체가 편향을 만든다. 같은 구조가 "등분산 사전검정 후 \(t\) 검정" 에서도 나타나며, 그것이 웰치 검정을 기본값으로 쓰라는 권고의 근거다.

(c) 셋을 묶어 적는다.

  1. 절차를 자료를 보기 전에 정한다. 평균 비교라면 처음부터 웰치 검정이나 부트스트랩을 쓰기로 정해 두면 사전검정이 필요 없다.
  2. 검정이 아니라 크기로 판단한다. 꼭 들여다보아야 한다면 \(p\) 값이 아니라 \(g_1\), \(g_2\)와 그림을 본다. 연습문제 6 의 표가 보이듯 같은 \(p\) 값이 전혀 다른 상황에서 나온다.
  3. 민감도 분석으로 대신한다. 모수적 방법과 비모수적 방법을 둘 다 돌려 결론이 같은지 보고, 다르면 그 사실을 보고한다. 하나를 고르는 결정을 자료에 떠넘기지 않는 것이 핵심이다. \(\square\)

정리하며

정규성에서의 모든 이탈이 똑같은 무게를 갖지는 않는다. 비정규성의 실질적 유의성은 어떤 통계 절차를 쓰는지, 표본이 얼마나 큰지, 어떤 유형의 이탈인지에 달려 있다. 평균 기반 검정은 폭넓은 비정규 분포에 로버스트하지만 분산 기반 검정은 취약하다. 정규성 검정이 기각했을 때의 적절한 대응은 자동으로 모수적 방법을 버리는 것이 아니라, 그 구체적인 이탈이 당면한 구체적인 분석에 문제가 되는지 평가하는 것이다.

다음 쪽 올바른 검정 선택하기로 넘어간다. 「기각해도 쓸 수 있다」까지 왔으면 남는 물음은 어느 검정으로 볼 것인가다. 네 검정이 서로 다른 이탈에 민감하므로 고르는 일이 결과를 바꾼다.