통계적 추론에서의 중심적 역할¶

정규성이 중요한 이유¶

가장 널리 쓰이는 통계 절차 상당수가 자료 또는 자료의 어떤 함수가 정규분포를 따른다는 가정에 기댄다. 이 가정은 단순한 기술적 세부가 아니다. 그 방법들이 내놓는 \(p\)값, 신뢰구간, 검정통계량이 타당한지를 곧바로 결정한다. 정규성이 성립하면 고전적 추론을 떠받치는 이론적 표집분포가 정확하다. 정규성이 무너지면 그로부터 얻은 결론이 오도할 수 있다.

정규성 가정이 어디서 들어오며 각 절차가 위배에 얼마나 민감한지 이해하면, 정규성 검정이 언제 필요하고 언제 가정을 안전하게 완화할 수 있는지 판단할 수 있다.

흔한 추론 절차에서의 정규성¶

일표본·이표본 t 검정¶

일표본 \(t\) 검정은 모평균 \(\mu\)가 가설값 \(\mu_0\)과 같은지 평가한다. 검정통계량은

여기서 \(\bar{X}\)는 표본평균, \(S\)는 표본표준편차, \(n\)은 표본크기이다. \(X_1, X_2, \ldots, X_n \overset{\text{iid}}{\sim} N(\mu, \sigma^2)\)이라는 가정 아래에서 통계량 \(t\)는 표본크기 \(n\)과 무관하게 자유도 \(n - 1\)의 \(t\) 분포를 정확히 따른다.

평균 \(\mu_1\)과 \(\mu_2\)를 비교하는 이표본 \(t\) 검정도 마찬가지로 두 모집단의 정규성을 요구한다. 모집단 분포가 정규이고 분산이 같으면 합동 검정통계량

가 자유도 \(n_1 + n_2 - 2\)의 \(t\) 분포를 따른다. 여기서 \(S_p\)는 합동 표준편차이다.

F 검정과 분산분석¶

일원배치 분산분석에서 \(F\) 통계량은 집단 간 분산과 집단 내 분산을 비교한다.

여기서 MSB는 집단 간 평균제곱, MSW는 집단 내 평균제곱이다. 모든 집단 평균이 같다는 귀무가설 아래에서, 그리고 각 집단의 관측값이 분산이 같은 정규 모집단에서 독립적으로 뽑혔다는 가정 아래에서, 통계량 \(F\)는 자유도 \(k - 1\)과 \(N - k\)의 \(F\) 분포를 따른다. \(k\)는 집단의 개수, \(N\)은 전체 표본크기이다.

신뢰구간¶

모분산을 모를 때 모평균에 대한 \(100(1 - \alpha)\%\) 신뢰구간은 다음 형태이다.

(반복표집에서 그런 구간의 \(100(1 - \alpha)\%\)가 참 \(\mu\)를 포함한다는) 포함 보장은 \(\bar{X}\)의 표집분포가 정규이고 \(S^2\)이 \(\bar{X}\)와 독립이라는 데 달려 있다. 두 성질 모두 바탕 자료의 정규성에서 따라 나온다.

정당화로서의 중심극한정리¶

중심극한정리(CLT)는 엄격한 정규성 요건을 중요한 방식으로 완화해 준다. 평균 \(\mu\), 유한 분산 \(\sigma^2\)을 갖는 독립동일분포 확률변수 \(X_1, X_2, \ldots, X_n\)에 대해

이 분포수렴은 \(n\)이 충분히 크면 모집단 분포의 모양과 무관하게 표준화한 표본평균의 표집분포가 근사적으로 정규임을 뜻한다. 실무에서는 이 사실이, 자료 자체가 정규가 아니더라도 \(n\)이 충분히 크다면 \(z\) 검정과 근사적 \(t\) 검정을 쓰는 것을 정당화한다.

다만 CLT에는 중요한 단서가 따른다.

• "충분히 크다"는 모집단의 모양에 달려 있다. 정규에 가까운 대칭분포라면 \(n \geq 20\)으로 충분할 수 있다. 심하게 치우쳤거나 꼬리가 두꺼운 분포라면 \(n\)이 수백 개 필요할 수 있다.
• CLT는 표본평균에 적용되며 다른 통계량에는 적용되지 않는다. 표본분산, 중앙값, 상관계수 같은 통계량은 각자의 점근분포를 가지며 정규성이나 다른 조건을 요구할 수 있다.
• 정확한 추론과 근사적 추론. \(n\)이 작으면 CLT 근사를 믿을 수 없고, 정규성을 요구하는 정확한 분포 결과가 필수적이 된다.

정규성이 무너지면 무엇이 깨지는가¶

정규성 가정이 위배되면 여러 문제가 생길 수 있다.

제1종 오류율의 부풀림. 참 표집분포의 꼬리가 가정한 \(t\) 분포보다 두꺼우면 실제 유의수준이 명목 \(\alpha\)를 넘을 수 있다. 검정이 마땅한 것보다 자주 귀무가설을 기각한다는 뜻이다.

떨어진 검정력. 실제 분포가 치우쳐 있으면 \(t\) 검정은 정규성을 가정하지 않는 대안 절차(비모수 검정 등)에 비해 검정력을 잃을 수 있다.

타당하지 않은 신뢰구간. 자료의 분포가 충분히 비정규이면 \(t\) 기반 신뢰구간의 포함확률이 \(1 - \alpha\) 아래로 떨어질 수 있으며, 특히 작은 표본에서 그렇다.

분산 기반 절차의 민감성. 분산의 동일성에 대한 \(F\) 검정과 단일 분산에 대한 카이제곱 검정은 비정규성에 특히 민감하다. 중간 정도의 이탈만으로도 \(p\)값이 심각하게 왜곡될 수 있다.

표본을 늘리면 무엇이 낫고 무엇이 그대로인가¶

위 경고는 말로만 들으면 정도의 차이처럼 들린다. 실제로는 종류의 차이다. 아래 그림은 평균 \(1\), 분산 \(1\)인 지수분포에서 표본을 뽑아 두 가지 검정을 각각 40000번 되풀이한 결과이다. 둘 다 귀무가설이 참인 상황이므로(\(\mu = 1\)이고 \(\sigma^2 = 1\)이다) 기각률은 약속한 \(0.05\)여야 한다. 같은 자료에 평균에 대한 \(t\) 검정과 분산에 대한 카이제곱 검정을 함께 걸었으므로, 두 곡선의 차이는 모집단 탓이 아니라 오로지 검정이 자료의 무엇에 기대는가의 차이다.

파란 곡선을 먼저 보라. \(n = 10\)에서 실제 오류율이 \(0.097\)로 약속한 값의 두 배 가까이 된다. 그러나 \(n\)이 커지면서 꾸준히 내려와 \(n = 80\)에서 \(0.057\), \(n = 400\)에서 \(0.051\)에 이른다. 비정규성이 일으킨 왜곡이 표본을 늘리는 것만으로 사라졌다. 앞 절에서 본 \(n = 15\)의 \(0.090\)도 이 곡선 위의 한 점일 뿐이다. 이것이 CLT의 보호다.

주황 곡선에는 그런 보호가 없다. \(n = 10\)에서 \(0.232\)로 출발해 표본을 늘릴수록 올라가서 \(n = 800\)에서 \(0.323\)이 된다. 5%라고 약속한 검정이 실제로는 세 번에 한 번씩 참인 귀무가설을 기각한다. 표본 800개면 어떤 기준으로도 큰 표본이지만 아무 도움이 되지 않았다. \((n-1)S^2/\sigma^2\)이 \(\chi^2_{n-1}\)을 따른다는 결과는 근사가 아니라 정규성에서만 나오는 정확한 항등식이고, 정규성이 없으면 \(n\)을 아무리 키워도 그 항등식이 되살아나지 않기 때문이다.

실무적으로 이 그림은 정규성 검사의 우선순위를 정해 준다. 평균을 비교하는 것이 목적이고 \(n\)이 넉넉하다면 정규성 위배는 대체로 관리 가능한 위험이다. 분산이나 분산비를 검정하는 것이 목적이라면 표본크기는 변명이 되지 못하며, 정규성 진단은 선택이 아니라 필수다.

실무 지침¶

다음 지침이 정규성 검정이 언제 가장 중요한지 판단하는 데 도움이 된다.

1. 작은 표본(\(n < 30\)): CLT의 보호가 거의 없다. 모수적 절차를 적용하기 전에 시각적 방법(Q-Q 그림, 히스토그램)과 형식적 검정(Shapiro-Wilk)으로 정규성을 확인하라.
2. 중간 표본(\(30 \leq n \leq 100\)): 평균 기반 추론에는 CLT가 어느 정도 보호를 제공하지만 분산 기반 추론에는 여전히 근사적 정규성이 필요하다. 시각적 진단으로 빠르게 확인하라.
3. 큰 표본(\(n > 100\)): 평균 기반 추론은 대체로 로버스트하다. 다만 형식적 정규성 검정의 검정력이 매우 커져 사소한 이탈에도 정규성을 기각할 수 있다. 통계적 유의성보다 그 이탈이 실질적으로 의미 있는지에 집중하라.

import numpy as np
from scipy import stats

# ===================================================================
# 정규성이 깨지면 t 검정의 제1종 오류율이 어떻게 되는가
#
# 귀무가설이 참인 자료에서 검정을 되풀이해, 5%로 약속한 오류율이 실제로
# 지켜지는지 센다. 모집단만 바꾸고 나머지는 모두 같게 두었다.
# ===================================================================

np.random.seed(42)
n = 15
alpha = 0.05
n_simulations = 10_000

# 정규모집단: 오류율이 0.05 에 붙어야 한다. 이것이 기준선이다.
rejections_normal = 0
for _ in range(n_simulations):
    sample = np.random.normal(loc=0, scale=1, size=n)
    _, p = stats.ttest_1samp(sample, popmean=0)
    if p < alpha:
        rejections_normal += 1

# 지수모집단: 평균을 0 으로 맞췄으므로 귀무가설은 여전히 참이다.
# 달라진 것은 모양뿐인데, n=15 로 작아 중심극한정리가 아직 듣지 않는다.
# 그래서 오류율이 0.05 에서 벗어난다.
rejections_exp = 0
for _ in range(n_simulations):
    sample = np.random.exponential(scale=1, size=n) - 1  # mean = 0
    _, p = stats.ttest_1samp(sample, popmean=0)
    if p < alpha:
        rejections_exp += 1

if __name__ == "__main__":
    print(f"Type I error rate (normal data):      "
          f"{rejections_normal / n_simulations:.4f}")
    print(f"Type I error rate (exponential data):  "
          f"{rejections_exp / n_simulations:.4f}")
    print(f"Nominal alpha:                         {alpha:.4f}")

Type I error rate (normal data):      0.0527
Type I error rate (exponential data):  0.0900
Nominal alpha:                         0.0500

import numpy as np
from scipy import stats

R = 200_000
z = stats.norm.ppf(0.975)
coef = (2 / 6) * (2 * z**2 + 1) * stats.norm.pdf(z)   # gamma1 = 2 (지수분포)
print(f"명목: 양쪽 0.050, 한쪽 0.025")
print(f"MC SE: 양쪽 {np.sqrt(0.05*0.95/R):.5f},  한쪽 {np.sqrt(0.025*0.975/R):.5f}")
print(f"에지워스 1차 예측 계수 = (gamma1/6)(2z^2+1)phi(z) = {coef:.4f}\n")

print("   n   아래쪽    위쪽     합      sqrt(n)*(아래-0.025)  sqrt(n)*(위-0.025)")
rng = np.random.default_rng(77)
for n in [15, 30, 60, 120, 240, 480]:
    tc = stats.t.ppf(0.975, n - 1)
    lo = hi = done = 0
    while done < R:
        b = min(20_000, R - done)
        x = rng.exponential(1.0, size=(b, n)) - 1        # 평균 0, 귀무가설 참
        t = x.mean(1) / (x.std(1, ddof=1) / np.sqrt(n))
        lo += int((t < -tc).sum()); hi += int((t > tc).sum()); done += b
    lo, hi = lo / R, hi / R
    print(f"{n:4d}  {lo:.5f}  {hi:.5f}  {lo+hi:.5f}        "
          f"{np.sqrt(n)*(lo-0.025):+.4f}             {np.sqrt(n)*(hi-0.025):+.4f}")

명목: 양쪽 0.050, 한쪽 0.025
MC SE: 양쪽 0.00049,  한쪽 0.00035
에지워스 1차 예측 계수 = (gamma1/6)(2z^2+1)phi(z) = 0.1692

   n   아래쪽    위쪽     합      sqrt(n)*(아래-0.025)  sqrt(n)*(위-0.025)
  15  0.08370  0.00504  0.08874        +0.2273             -0.0773
  30  0.06580  0.00721  0.07301        +0.2234             -0.0974
  60  0.05194  0.01043  0.06237        +0.2087             -0.1129
 120  0.04390  0.01346  0.05736        +0.2070             -0.1264
 240  0.03797  0.01586  0.05383        +0.2009             -0.1416
 480  0.03419  0.01812  0.05231        +0.2012             -0.1507

위 모의실험은 \(n\)이 작고 모집단이 치우쳐 있을 때 \(t\) 검정의 실제 제1종 오류율이 명목 \(\alpha = 0.05\)에서 눈에 띄게 벗어날 수 있음을 보여준다. 지수분포 자료에서 실제 기각률은 \(0.090\)으로 명목값의 거의 두 배이다. 정규분포 자료에서는 기대대로 경험적 기각률이 \(0.053\)으로 0.05에 가깝다.

연습문제¶

정리하며¶

정규성 가정은 \(t\) 검정, \(F\) 검정, 신뢰구간의 바탕이 되는 정확한 분포 결과를 통해 통계적 추론에 들어온다. CLT는 큰 표본과 평균 기반 절차에 대해 이 요건을 완화해 주지만, 작은 표본의 추론, 분산 기반 검정, 표본평균을 넘어서는 절차에서는 여전히 정규성에 주의해야 한다. 따라서 정규성 검정은 추상적인 연습이 아니라 통계적 결론의 타당성을 지키는 실용적 안전장치이다.