콘텐츠로 이동

대수정규에서의 비교: 왜도가 극단일 때

개요

들어가는 이야기 — 로버스트하다는 넷 가운데 셋이 무너진다

\(\text{Lognormal}(0,1)\) 에서 세 집단을 각 \(n = 30\) 씩 뽑아 등분산을 참으로 만들고 네 검정을 돌린다. 왜도(skewness)가 \(6.19\), 초과첨도가 \(110.9\) 로 이 책에서 다루는 가장 치우친 분포이며, 소득·보험청구액·입원기간처럼 실무에서 흔히 마주치는 모양이기도 하다.

결과는 바틀렛 \(0.7320\), 평균 중심 레빈 \(0.2605\), 플리그너–킬린 \(0.1140\), 브라운–포사이드 \(0.0295\) 다. 네 검정 가운데 셋이 무너진다. 순위로 바꾸어 비모수(nonparametric)로 만든 플리그너–킬린조차 명목 \(5\%\) 를 두 배 넘게 어긴다. 중앙값 중심화를 쓰는 하나만 남는다.

표본을 늘리는 것이 답이 아니라는 것도 여기서 드러난다. 집단크기를 \(20\) 에서 \(30\) 으로 늘렸는데 바틀렛이 \(0.675\) 에서 \(0.732\) 로 올라간다. 극한을 계산하면 \(0.9483\) 이니, \(n\) 을 아무리 키워도 등분산인 세 집단의 \(95\%\) 에서 「분산이 다르다」고 답하는 쪽으로 간다.

그러면 순위가 꼬리는 막아 주었는데 왜도는 막지 못하는 까닭이 무엇이고, 중앙값 중심화는 그 자리에서 무엇을 다르게 하는가. 왜도가 극단으로 갈 때 로버스트하다고 알려진 방법들이 부딪히는 벽이 어디인지를 이 쪽이 네 검정의 틀을 나란히 적어 수로 긋는다.

모집단의 왜도를 0.30 에서 13.15 까지 키우며 네 검정의 기각률을 그린 그림. 분산은 어느 자리에서나 세 집단이 같은데 바틀렛이 먼저, 평균 중심 레빈이 다음, 플리그너–킬린이 마지막으로 두 배 선을 넘고 브라운–포사이드만 아래에 남는다

한 자리의 수가 아니라 왜도를 연속으로 키워 보면 무너지는 차례가 드러난다. 왜도 \(0.95\) 에서 바틀렛이 먼저 두 배 선을 넘고(\(0.152\)), \(1.75\) 에서 평균 중심 레빈이 넘으며(\(0.123\)), 순위로 바꾼 플리그너–킬린은 \(3.26\) 까지 버티다 넘는다(\(0.082\)). 분산은 어느 자리에서나 세 집단이 정확히 같다. 왜도 \(6.18\) 인 자리가 들머리의 대수정규이고 거기서 넷이 \(0.724\) · \(0.248\) · \(0.113\) · \(0.036\) 이다 — 넷 가운데 셋이 무너진다는 말이 그 줄이다. 순위가 꼬리는 막아 주었는데 왜도는 막지 못하는 까닭이 이 그림의 물음이다. 집단 셋, 집단당 \(30\) 개, 반복 \(5{,}000\) 회.

이 한 분포를 따로 보는 까닭이 있다. 앞 쪽의 표를 위에서 아래로 훑으면 왜도가 심해질수록 검정들이 차례로 무너지는데, 대수정규에 이르면 네 검정 가운데 셋이 무너진다. 순위로 바꾸어 비모수로 만든 플리그너–킬린조차 명목 5%를 지키지 못한다. 중앙값 중심화를 쓰는 브라운–포사이드 하나만 남는다.

그래서 이 쪽은 "어느 검정이 더 나은가"를 묻지 않는다. 그 물음은 앞 쪽이 답했다. 여기서 묻는 것은 로버스트하다고 알려진 방법들도 어디에서 한계에 부딪히는가이다. 표본크기를 \(n = 30\)으로 두어 앞 쪽(\(n = 20\))보다 조금 넉넉하게 잡았는데, 그런데도 결과가 나아지지 않는다는 점이 이 쪽의 답이기도 하다.

같은 설정을 세 쪽이 이어서 본다

이 쪽(\(n = 30\))은 15.4절 바틀렛 검정 비정규성 민감도(\(n = 20\))가 세 검정으로 본 자리를 네 검정으로 넓힌 것이고, 집단크기를 움직이며 보는 것은 레빈 검정 모의실험(\(n = 10\)–\(100\))이다. \(n\) 을 \(20\) 에서 \(30\) 으로 늘렸는데도 바틀렛이 \(0.675\) 에서 \(0.732\) 로 올라간다는 것이 이 쪽의 답이다.


1. 비교하는 검정들

분산 동질성에 대한 네 가지 주요 검정은 다음과 같다.

검정 정규성 로버스트성
바틀렛 필요 비정규성에 로버스트하지 않음
레빈 (평균) 불필요 왜도에서 무너진다 (\(0.19\)–\(0.25\))
브라운–포사이드 (중앙값 레빈) 불필요 모든 줄에서 명목선을 지킨다
플리그너–킬린 불필요 대칭에서는 좋고 왜도에서 부푼다 (\(0.09\)–\(0.10\))

가운데 칸이 가르는 것은 정규성(normality) 하나다. 「가정이 없다」는 뜻이 아니다 — 네 검정 모두 15.1절 공통 가정의 독립성(independence)과 확률표집에 그대로 기대고 있고, 그 쪽의 표가 보이듯 종속 자료에서는 레빈과 브라운–포사이드도 제1종 오류(type I error)가 부풀고 비확률표집에서는 넷 다 추론이 편향된다. 오른쪽 칸이 재는 것은 정규성이 깨졌을 때 버티는 정도일 뿐이다.

정규성과 귀무가설(null hypothesis) \(H_0: \sigma_1^2 = \cdots = \sigma_k^2\) 아래에서 네 검정 모두 대략 \(\alpha\)의 비율로 기각해야 한다. 비정규성 아래에서는 바틀렛이 가장 크게 부풀고, 나머지 셋도 정도만 다르다 — 왜도가 큰 자료에서 레빈이 \(0.19\)–\(0.25\), 플리그너–킬린이 \(0.09\)–\(0.10\) 까지 가고, 브라운–포사이드만 모든 줄에서 명목선을 지킨다.


2. 수학적 틀

네 검정은 공통의 관점으로 볼 수 있다. 집단 중심으로부터의 편차에 기반한 변환값 \(Z_{ij}\)를 정의하고 \(Z_{ij}\)의 집단평균이 다른지 검정하는 것이다.

\[ Z_{ij} = |X_{ij} - c_i|, \]

여기서 \(c_i\)는 집단평균(레빈) 또는 집단중앙값(브라운–포사이드·플리그너–킬린)이고, 플리그너–킬린은 그렇게 만든 \(Z_{ij}\)를 다시 순위로 바꾼다. 바틀렛 검정은 대신 로그가능도비에 직접 작동한다.

다음 모의실험은 집단분산이 모두 같은 치우친(대수정규) 분포에서 네 검정의 거짓 양성률을 비교한다.

보기 1. 네 검정의 거짓 양성률. 세 집단을 모두 \(\text{Lognormal}(0,1)\) 에서 \(n = 30\) 씩 뽑으므로 분산이 참으로 같다. 반복 \(2000\) 회, \(\alpha = 0.05\) 다.

(1) 이론값과 반복 \(2000\) 회의 몬테카를로(Monte Carlo) 표준오차를 적고, 바틀렛 통계량의 극한분포를 \(\operatorname{Var}(S^2) \approx \sigma^4(\beta_2-1)/n\) 에서 유도해 극한 크기를 계산하시오. 정규모집단에서 \(\alpha\) 가 나오는지로 검산하시오.

(2) 모의실험으로 확인하고, \(n\) 을 키워 가며 세 검정 가운데 나아지는 것과 나빠지는 것을 가르시오.

풀이

(1) 이론값은 \(0.05\) 다. 세 집단이 같은 모집단에서 나왔으니 \(H_0\) 이 참이고, 보정이 제대로 된 검정이라면 명목값만큼만 기각해야 한다. 반복 \(B = 2000\) 회의 표준오차는

\[ \mathrm{SE} = \sqrt{\frac{0.05 \times 0.95}{2000}} = 0.00487 \]

이므로 \(0.05 \pm 0.010\) 바깥의 값은 우연이 아니다.

아래 유도는 15.4절 비정규성 아래의 한계 보기 1 과 같은 극한에 이른다. 다만 출발점이 다르다 — 그쪽은 \(\operatorname{Var}(\ln S^2)\) 를 쓰고 여기서는 \(\operatorname{Var}(S^2)\) 를 쓴다. 두 길이 같은 곳에서 만나는 것이 서로의 검산이다.

바틀렛의 극한 크기를 유도한다. 집단크기가 모두 \(n\) 이라 하고 \(\nu = n-1\) 이라 쓰자. \(s_i^2 = \sigma^2(1+u_i)\) 로 두면 \(E[u_i] = 0\) 이고 5.2절·5.6절의 결과

\[ \operatorname{Var}(S^2) \approx \frac{\sigma^4(\beta_2-1)}{n} \quad\Longrightarrow\quad \operatorname{Var}(u_i) \approx \frac{\beta_2-1}{n} \]

이다. 합동분산(pooled variance)은 \(s_p^2 = \sigma^2(1+\bar u)\) 이므로 바틀렛 통계량의 분자가

\[ \nu\sum_{i=1}^{k}\bigl[\ln(1+\bar u) - \ln(1+u_i)\bigr] \]

이고, \(\ln(1+x) = x - \tfrac{x^2}{2} + O(x^3)\) 을 넣으면 일차항이 \(k\bar u - \sum_i u_i = 0\) 으로 통째로 사라진다. 남는 이차항은

\[ \nu\left[\frac{\sum_i u_i^2 - k\bar u^2}{2}\right] = \frac{\nu}{2}\sum_{i=1}^{k}(u_i - \bar u)^2 \]

다. \(u_i\) 가 독립이고 \(n\) 이 크면 근사적으로 정규이므로 \(\sum_i (u_i-\bar u)^2 \approx \dfrac{\beta_2-1}{n}\chi^2_{k-1}\) 이고, 보정계수는 \(C \to 1\) 이다. 따라서

\[ T \;\longrightarrow\; \frac{\beta_2-1}{2}\,\chi^2_{k-1} \]

가 된다. 정규 이론은 이 배율을 \(1\) 로 믿는다. \(\beta_2 = 3\) 일 때 \((\beta_2-1)/2 = 1\) 이기 때문이다. 그러므로 극한 크기는

\[ P\!\left(\frac{\beta_2-1}{2}\chi^2_{k-1} > \chi^2_{1-\alpha,\,k-1}\right) = P\!\left(\chi^2_{k-1} > \frac{2\,\chi^2_{1-\alpha,\,k-1}}{\beta_2-1}\right) \]

이고 \(n\) 이 아예 들어 있지 않다. 5.10절이 \(F\) 검정에 대해 유도한

\[ 2\left[1-\Phi\!\left(1.96\sqrt{\frac{2}{\beta_2-1}}\right)\right] \]

와 같은 구조다. 임계값은 정규 이론이 정하고 실제 산포는 첨도(kurtosis)가 정하며, 둘의 비가 \(n\) 과 무관하게 고정된다. 분산 검정에는 중심극한정리(central limit theorem)의 보호가 없다.

검산. \(\beta_2 = 3\) 을 넣으면 \(2/(\beta_2-1) = 1\) 이라 \(P(\chi^2_{k-1} > \chi^2_{1-\alpha,k-1}) = \alpha\) 가 정확히 나온다.

로그정규에 넣으면. \(\text{LogN}(0,\sigma^2)\) 의 첨도는 \(\beta_2 = e^{4\sigma^2} + 2e^{3\sigma^2} + 3e^{2\sigma^2} - 3\) 이고 \(\sigma = 1\) 에서

\[ \beta_2 = e^4 + 2e^3 + 3e^2 - 3 = 113.94 \]

다. \(k = 3\), \(\alpha = 0.05\) 이면 \(\chi^2_{0.95,2} = 5.9915\) 이므로 극한 크기가 \(P(\chi^2_2 > 2 \times 5.9915/112.94) = P(\chi^2_2 > 0.1061) = 0.9483\) 이다. \(n\) 을 아무리 키워도 등분산인 세 집단의 \(95\%\) 에서 "분산이 다르다"고 답하는 쪽으로 간다.

(2) 돌린다.

import numpy as np
from scipy import stats

# 1부: 제1종 오류율. 세 집단을 모두 같은 로그정규에서 뽑으므로 분산은
# 참으로 같다. 기각 비율이 0.05 를 크게 넘는 검정은 정규성에 매여 있다는 뜻이다.
rng = np.random.default_rng(42)
n_sims, n, alpha = 2000, 30, 0.05
results = {"Bartlett": 0, "Levene (mean)": 0,
           "Brown-Forsythe": 0, "Fligner-Killeen": 0}

for _ in range(n_sims):
    g1 = rng.lognormal(0, 1, n)
    g2 = rng.lognormal(0, 1, n)
    g3 = rng.lognormal(0, 1, n)

    _, p = stats.bartlett(g1, g2, g3)
    if p < alpha:
        results["Bartlett"] += 1

    _, p = stats.levene(g1, g2, g3, center='mean')
    if p < alpha:
        results["Levene (mean)"] += 1

    _, p = stats.levene(g1, g2, g3, center='median')
    if p < alpha:
        results["Brown-Forsythe"] += 1

    _, p = stats.fligner(g1, g2, g3)
    if p < alpha:
        results["Fligner-Killeen"] += 1

for name, count in results.items():
    print(f"{name:20s}: false-positive rate = {count/n_sims:.4f}")

# ---- (1) 몬테카를로 오차로 재고, 바틀렛의 극한값을 계산한다 ----
# 반복 2000 회이므로 0.05 근처의 표준오차는 sqrt(.05*.95/2000) = 0.0049 다.
print(f"\n명목 0.05, 반복 {n_sims} 회의 몬테카를로 표준오차 = "
      f"{np.sqrt(0.05 * 0.95 / n_sims):.5f}")
print(f"{'검정':>18}{'크기':>9}{'SE':>9}{'0.05 로부터':>14}{'명목의 배수':>12}")
for name, count in results.items():
    r = count / n_sims
    se = np.sqrt(r * (1 - r) / n_sims)
    print(f"{name:>18}{r:>9.4f}{se:>9.5f}{(r - 0.05) / se:>11.1f} SE{r / 0.05:>12.2f}")

# 로그정규(0,1) 의 첨도와, 그것이 정하는 바틀렛의 극한 크기
b2 = np.exp(4) + 2 * np.exp(3) + 3 * np.exp(2) - 3
crit = stats.chi2(2).ppf(1 - alpha)
print(f"\n로그정규(0,1) 의 첨도 beta_2 = {b2:.4f}")
print(f"예측: T / ((beta_2-1)/2) -> chi2_2 이므로 E[T] -> beta_2 - 1 = {b2 - 1:.2f}")
print(f"극한 크기 = P(chi2_2 > 2 * {crit:.4f} / (beta_2 - 1)) = "
      f"{stats.chi2(2).sf(2 * crit / (b2 - 1)):.4f}")
print(f"검산 (정규, beta_2 = 3): P(chi2_2 > 2*{crit:.4f}/2) = "
      f"{stats.chi2(2).sf(2 * crit / 2):.4f}")

# ---- (2) 표본을 키우면 나아지는가. 세 검정을 n 으로 훑는다 ----
# rng 와 따로 쓰는 생성기여야 위쪽 출력이 바뀌지 않는다.
rng_b = np.random.default_rng(2024)
B = 2000
print(f"\n로그정규 세 집단, 등분산, 반복 {B} 회")
print(f"{'n':>6}{'Bartlett':>20}{'Brown-Forsythe':>22}{'Fligner-Killeen':>22}")
for nn in (30, 120, 480):
    rej = {"ba": 0, "bf": 0, "fk": 0}
    for _ in range(B):
        g = [rng_b.lognormal(0, 1, nn) for _ in range(3)]
        rej["ba"] += stats.bartlett(*g)[1] < alpha
        rej["bf"] += stats.levene(*g, center='median')[1] < alpha
        rej["fk"] += stats.fligner(*g)[1] < alpha
    cells = ""
    for k in ("ba", "bf", "fk"):
        r = rej[k] / B
        cells += f"{r:>14.4f} (SE {np.sqrt(r * (1 - r) / B):.4f})"
    print(f"{nn:>6}{cells}")

출력:

Bartlett            : false-positive rate = 0.7320
Levene (mean)       : false-positive rate = 0.2605
Brown-Forsythe      : false-positive rate = 0.0295
Fligner-Killeen     : false-positive rate = 0.1140

명목 0.05, 반복 2000 회의 몬테카를로 표준오차 = 0.00487
                검정       크기       SE      0.05 로부터      명목의 배수
          Bartlett   0.7320  0.00990       68.9 SE       14.64
     Levene (mean)   0.2605  0.00981       21.4 SE        5.21
    Brown-Forsythe   0.0295  0.00378       -5.4 SE        0.59
   Fligner-Killeen   0.1140  0.00711        9.0 SE        2.28

로그정규(0,1) 의 첨도 beta_2 = 113.9364
예측: T / ((beta_2-1)/2) -> chi2_2 이므로 E[T] -> beta_2 - 1 = 112.94
극한 크기 = P(chi2_2 > 2 * 5.9915 / (beta_2 - 1)) = 0.9483
검산 (정규, beta_2 = 3): P(chi2_2 > 2*5.9915/2) = 0.0500

로그정규 세 집단, 등분산, 반복 2000 회
     n            Bartlett        Brown-Forsythe       Fligner-Killeen
    30        0.7145 (SE 0.0101)        0.0400 (SE 0.0044)        0.1150 (SE 0.0071)
   120        0.8025 (SE 0.0089)        0.0430 (SE 0.0045)        0.1495 (SE 0.0080)
   480        0.8715 (SE 0.0075)        0.0450 (SE 0.0046)        0.1700 (SE 0.0084)

검산이 먼저 통과한다. \(\beta_2 = 3\) 을 넣은 극한 크기가 정확히 \(0.0500\) 이다. 유도한 식이 정규모집단에서 명목값을 되돌려 주므로 꼴이 맞다.

네 수치를 몬테카를로 자로 재면. 바틀렛은 \(0.05\) 에서 \(68.9\) 표준오차, 레빈(평균)은 \(21.4\) 표준오차 위에 있다. 우연일 가능성이 없다. 플리그너–킬린은 \(9.0\) 표준오차 위로 명목값의 \(2.28\) 배, 브라운–포사이드만 \(-5.4\) 표준오차로 아래쪽에 있다. 넷 가운데 거짓 양성을 만들지 않는 것이 하나뿐이다.

\(n\) 을 키우면 셋이 세 방향으로 갈린다.

  • 바틀렛: \(0.7145 \to 0.8025 \to 0.8715\). 표본을 열여섯 배 키웠는데 더 나빠진다. (1)에서 유도한 극한 \(0.9483\) 을 향해 올라가고 있다. 수렴이 느린 것은 로그정규의 4차 적률이 \(e^8 \approx 2981\) 로 거대해 \(u_i\) 의 정규근사가 늦기 때문이다. 이것이 "표본이 크니 괜찮겠지"가 정규성 가정에 통하지 않는다는 말의 수치다.
  • 브라운–포사이드: \(0.0400 \to 0.0430 \to 0.0450\). 명목선 \(0.05\) 를 향해 아래에서 올라간다. 표집분포(sampling distribution)가 옳고 유한표본에서만 조금 어긋나는 것이므로 \(n\) 이 고쳐 준다. 이것이 근사 오차다.
  • 플리그너–킬린: \(0.1150 \to 0.1495 \to 0.1700\). 명목선에서 멀어진다. \(n = 30\) 과 \(n = 480\) 의 차가 \(0.055\) 이고 두 표준오차를 합쳐도 \(0.011\) 이니 다섯 배 넘는 거리다. 우연이 아니다.

마지막 줄은 이 쪽 본문(아래)의 설명을 한 걸음 더 밀어 준다. 본문은 플리그너–킬린의 \(\chi^2_{k-1}\) 근사가 부정확해진다고 적었는데, 그 부정확이 표본을 키워도 사라지지 않는다. 중심이 중앙값이라 안전한데도 그렇다. 편차 \(\lvert X_{ij} - \tilde X_i\rvert\) 자체가 극단적으로 치우쳐 있으면 어느 집단이 상위 순위를 몰아 차지하는 변동이 \(n\) 과 함께 줄지 않는다는 뜻이고, 성격으로는 바틀렛 쪽(모형 오설정)에 가깝다. 다만 크기가 \(0.17\) 과 \(0.87\) 로 자릿수가 다르다.

분산이 실제로 다른 정규 자료에서의 검정력 비교는 다음과 같다.

보기 2. 네 검정의 검정력. 이번에는 정규모집단이고 표준편차를 \(1,\ 1.5,\ 2\) 로 실제로 다르게 두었다. 같은 \(n = 30\), 반복 \(2000\) 회다.

(1) 네 검정의 검정력 순서를 돌려 보기 전에 예측하고 근거를 밝히시오. 반복 \(2000\) 회에서 검정력 \(0.85\) 쯤의 몬테카를로 표준오차도 적으시오.

(2) 확인하고, 이 표를 근거로 검정을 고르면 안 되는 까닭 두 가지를 수치로 보이시오. 하나는 보기 1 의 표와 모집단이 다르다는 것이고, 다른 하나는 이 표의 간격 가운데 일부가 검정력 차이가 아니라 크기 차이라는 것이다.

풀이

(1) 순서는 미리 정해진다. 네 검정이 자료에서 쓰는 정보의 양이 사다리를 이룬다.

검정 보는 양 버리는 것
바틀렛 \(\ln s_i^2\) 없음 (정규모형의 충분통계량)
레빈 (평균) \(\lvert x_{ij} - \bar x_i\rvert\) 제곱 척도
브라운–포사이드 \(\lvert x_{ij} - \tilde x_i\rvert\) 제곱 척도 + 평균의 효율
플리그너–킬린 편차의 순위 위의 모두 + 크기 정보

바틀렛은 정규모형의 가능도비(likelihood ratio) 검정이다. \((\bar x_i, s_i^2)\) 가 정규모형의 충분통계량(sufficient statistic)이므로 — 모수에 관한 정보가 이 요약에 빠짐없이 담기므로 — 자료에 든 분산 정보를 하나도 버리지 않는다. 그 아래로 내려갈 때마다 정보를 한 겹씩 내놓는다. 그러므로 자료가 정말 정규일 때는

\[ \text{바틀렛} > \text{레빈(평균)} > \text{브라운–포사이드} > \text{플리그너–킬린} \]

순서를 예측한다. 보기 1 에서 이 사다리가 거꾸로 작동하는 것을 보았으니, 같은 사다리가 정규에서는 바로 작동하는지 확인하는 셈이다.

몬테카를로 표준오차. \(p = 0.85\), \(B = 2000\) 에서

\[ \mathrm{SE} = \sqrt{\frac{0.85 \times 0.15}{2000}} = 0.00798 \]

이므로 \(0.016\) 보다 작은 간격은 읽어서는 안 된다.

(2) 돌린다. 아래 코드는 보기 1 의 rng, n_sims, n, alpha 를 그대로 이어받는다.

# 2부: 검정력. 이번에는 정규모집단이고 표준편차를 1, 1.5, 2 로 실제로
# 다르게 두었다. 오류율만 보고 검정을 고를 수 없는 까닭이 여기 있다 —
# 보수적인 검정은 오류율은 낮지만 차이도 잘 못 잡는다.
results_power = {"Bartlett": 0, "Levene (mean)": 0,
                 "Brown-Forsythe": 0, "Fligner-Killeen": 0}

for _ in range(n_sims):
    g1 = rng.normal(0, 1.0, n)
    g2 = rng.normal(0, 1.5, n)
    g3 = rng.normal(0, 2.0, n)

    _, p = stats.bartlett(g1, g2, g3)
    if p < alpha:
        results_power["Bartlett"] += 1

    _, p = stats.levene(g1, g2, g3, center='mean')
    if p < alpha:
        results_power["Levene (mean)"] += 1

    _, p = stats.levene(g1, g2, g3, center='median')
    if p < alpha:
        results_power["Brown-Forsythe"] += 1

    _, p = stats.fligner(g1, g2, g3)
    if p < alpha:
        results_power["Fligner-Killeen"] += 1

for name, count in results_power.items():
    print(f"{name:20s}: power = {count/n_sims:.4f}")

# ---- 크기를 맞춘 뒤의 검정력. 따로 쓰는 생성기여야 위쪽이 바뀌지 않는다 ----
# 정규 H0 에서 각 검정의 p 값 5% 분위수를 임계값으로 다시 잡으면, 네 검정의
# 실제 크기가 정확히 0.05 가 된다. 그 임계값으로 검정력을 다시 센다.
rng_c = np.random.default_rng(777)
names = ["Bartlett", "Levene (mean)", "Brown-Forsythe", "Fligner-Killeen"]


def four_pvalues(g):
    return [stats.bartlett(*g)[1],
            stats.levene(*g, center='mean')[1],
            stats.levene(*g, center='median')[1],
            stats.fligner(*g)[1]]


P0 = np.array([four_pvalues([rng_c.normal(0, 1, n) for _ in range(3)])
               for _ in range(n_sims)])                      # 정규 H0
P1 = np.array([four_pvalues([rng_c.normal(0, s, n) for s in (1.0, 1.5, 2.0)])
               for _ in range(n_sims)])                      # 정규 H1
thresh = np.quantile(P0, alpha, axis=0)

print(f"\n{'검정':>18}{'정규 크기':>11}{'보정 임계값':>11}{'명목 검정력':>13}{'보정 검정력':>13}")
for i, nm in enumerate(names):
    size = (P0[:, i] < alpha).mean()
    pw = (P1[:, i] < alpha).mean()
    pw_cal = (P1[:, i] < thresh[i]).mean()
    print(f"{nm:>18}{size:>11.4f}{thresh[i]:>11.4f}{pw:>13.4f}{pw_cal:>13.4f}")
print(f"\n검정력 0.85 쯤의 몬테카를로 표준오차 = "
      f"{np.sqrt(0.85 * 0.15 / n_sims):.5f}")

출력:

Bartlett            : power = 0.9215
Levene (mean)       : power = 0.8490
Brown-Forsythe      : power = 0.8155
Fligner-Killeen     : power = 0.7810

                검정      정규 크기     보정 임계값       명목 검정력       보정 검정력
          Bartlett     0.0485     0.0511       0.9220       0.9240
     Levene (mean)     0.0515     0.0471       0.8505       0.8450
    Brown-Forsythe     0.0420     0.0597       0.8185       0.8480
   Fligner-Killeen     0.0420     0.0613       0.7845       0.8160

검정력 0.85 쯤의 몬테카를로 표준오차 = 0.00798

(1)의 예측이 맞는다. \(0.9215 > 0.8490 > 0.8155 > 0.7810\) 으로 사다리 순서 그대로다. 이웃한 간격이 \(0.0725\), \(0.0335\), \(0.0345\) 이고 표준오차가 \(0.008\) 이니 세 간격 모두 우연이 아니다. 정규 자료에서는 정보를 버린 만큼 정확히 손해를 본다.

새로 돌린 둘째 표의 명목 검정력 \(0.9220,\ 0.8505,\ 0.8185,\ 0.7845\) 도 첫 표와 \(0.005\) 안에서 맞는다. 씨앗이 다른 두 번의 모의실험이 같은 답을 주었으니 수치가 안정적이다.

첫째 까닭: 두 표의 모집단이 다르다. 보기 1 의 크기는 로그정규에서, 이 쪽의 검정력은 정규에서 쟀다. 둘째 표의 "정규 크기" 칸이 그 사실을 드러낸다. 네 검정이 정규 자료에서는 \(0.0420\)–\(0.0515\) 로 모두 명목값을 지킨다. 바틀렛의 \(0.0485\) 가 옳은 크기이므로 그 \(0.9215\) 는 정직하게 번 검정력이다. 문제는 실제 자료가 정규가 아닐 때이고, 그때 바틀렛의 크기는 \(0.7320\) 이 된다. 검정력은 크기가 맞는다는 조건 아래에서만 뜻이 있는 수이며, 두 표를 나란히 두고 "검정력이 높으니 바틀렛"이라고 읽는 것은 조건을 지운 읽기다.

둘째 까닭: 간격의 일부가 검정력이 아니라 크기다. 브라운–포사이드와 플리그너–킬린은 정규에서도 \(0.0420\) 으로 조금 보수적이다. 임계값을 정규 \(H_0\) 의 \(p\) 값 \(5\%\) 분위수(quantile)로 다시 잡으면 네 검정의 크기가 정확히 \(0.05\) 가 되는데, 그 임계값이 바틀렛은 \(0.0511\) 로 거의 그대로인 반면 브라운–포사이드는 \(0.0597\), 플리그너–킬린은 \(0.0613\) 으로 느슨해진다. 그렇게 크기를 맞추면

  • 브라운–포사이드 \(0.8185 \to 0.8480\) (\(+0.030\))
  • 플리그너–킬린 \(0.7845 \to 0.8160\) (\(+0.032\))
  • 바틀렛 \(0.9220 \to 0.9240\), 레빈(평균) \(0.8505 \to 0.8450\) (둘 다 표준오차 안)

이다. 브라운–포사이드의 검정력 손실 가운데 \(0.030\) 은 정보를 버린 값이 아니라 그저 보수적이었던 값이다. 바틀렛에 대한 열세가 \(0.104\) 에서 \(0.076\) 으로 줄고, 레빈(평균)과는 \(0.8480\) 대 \(0.8450\) 으로 사실상 같아진다(차 \(0.003\), 표준오차 \(0.008\) 안이라 구별할 수 없다).

그러므로 이 쪽이 네 검정에 매기는 값은 이렇다. 정규 자료에서 바틀렛의 우위는 실재하고 \(0.076\) 쯤이다. 그러나 브라운–포사이드가 로버스트 셋 가운데 검정력을 가장 적게 잃는다는 사실은 크기를 맞추고 나서야 보인다. 그리고 선택의 근거는 결국 보기 1 의 표다. 로그정규에서 \(0.7320\) 과 \(0.0295\) 의 차이는 검정력 \(0.076\) 으로 메울 수 있는 크기가 아니다. 크기가 깨진 검정의 검정력은 숫자로서 뜻이 없다.


3. 어느 자리에서 어느 검정이 이기는가

대수정규 크기 (\(H_0\)) 정규 검정력 (\(H_a\))
바틀렛 0.732 0.922
레빈 (평균) 0.261 0.849
브라운–포사이드 0.030 0.816
플리그너–킬린 0.114 0.781
  • 정규성과 등분산 아래: 네 검정 모두 대략 \(\alpha = 0.05\)로 기각한다.
  • 비정규성(대수정규)과 등분산 아래: 바틀렛의 거짓 양성률이 \(0.732\)로 심하게 부풀려지고, 레빈(평균)도 \(0.261\)로 문제가 있다.
  • 정규성과 이분산 아래(검정력): 바틀렛의 검정력이 가장 높고(정규성 아래에서 최적이므로) 레빈(평균), 브라운–포사이드, 플리그너–킬린 순이다.

왜 하필 중앙값 중심화가 이 극단적 분포에서 결정적인지는 집단 중심 자체의 안정성을 보면 알 수 있다. 같은 조건(\(n = 30\), \(\text{Lognormal}(0,1)\))에서 표본평균(sample mean)과 표본중앙값의 표집분포를 4000번 그려 보았다.

대수정규에서 표본평균과 표본중앙값의 안정성, 그리고 네 검정의 거짓 양성률

왼쪽에서 주황(표본평균)이 초록(표본중앙값)보다 훨씬 넓게 퍼져 있다. 표준편차가 \(0.414\) 대 \(0.232\)로 1.8배 차이이고, 모양도 오른쪽으로 길게 끌린다. 대수정규의 오른쪽 꼬리에서 큰 값이 하나 뽑히면 그 표본의 평균이 통째로 끌려가기 때문이다.

이 변동이 왜 검정을 망가뜨리는가. 레빈 검정은 각 집단에서 \(Z_{ij} = |X_{ij} - \bar{X}_i|\)를 만든 뒤 \(\bar{Z}_i\)들을 비교한다. 중심 \(\bar{X}_i\)가 집단마다 제멋대로 흔들리면 그 집단의 모든 편차가 함께 흔들리고, \(\bar{Z}_i\) 사이의 차이가 실제 산포 차이가 아니라 중심 추정의 잡음을 반영하게 된다. 분산분석(analysis of variance) F 통계량의 분자는 그 차이를 신호로 읽는다. 세 집단이 같은 모집단에서 왔는데도 \(0.2605\)의 비율로 기각하는 이유다.

오른쪽 막대가 결론이다. 중심을 평균에서 중앙값으로 바꾸는 것만으로 \(0.2605\)가 \(0.0295\)로 내려간다. 바틀렛의 \(0.7320\)과 견주면 더 극적이다. 네 검정을 가르는 것은 정교함이 아니라 중심을 어디에 두느냐라는 한 가지 선택이다.

플리그너–킬린이 \(0.1140\)으로 중간에 머무는 것은 다른 이유에서다. 이 검정도 중앙값 중심 편차를 쓰므로 중심은 안전하다. 문제는 그다음이다. 대수정규의 편차 \(|X_{ij} - \tilde{X}_i|\) 자체가 여전히 극단적으로 치우쳐 있어서, 어느 한 집단이 우연히 상위 순위를 몰아 차지하는 일이 자주 생긴다. 그러면 정규점수의 집단평균 \(\bar{a}_i\)가 표본마다 크게 흔들리고 \(\chi^2_{k-1}\) 근사가 부정확해진다. 순위로 바꾸는 것은 크기의 영향을 없애 주지만, 어느 집단이 큰 쪽을 차지하는가라는 변동까지 없애지는 못한다.

플리그너–킬린이 언제나 가장 로버스트한 것은 아니다

표에서 플리그너–킬린의 대수정규 크기가 0.114로 명목값의 두 배가 넘는다. 브라운–포사이드의 \(0.030\)보다 나쁘다.

"플리그너–킬린이 가장 로버스트하다"는 서술은 대칭인 두꺼운 꼬리에 대해서는 맞다. 15.5절 플리그너–킬린 검정 연습문제 2에서 코시 자료에 대해 FK가 \(0.044\)로 BF의 \(0.022\)보다 명목값에 가까웠다.

그러나 강한 왜도에서는 반대이다. \(\text{Lognormal}(0,1)\)은 왜도 \(6.18\), 초과첨도 \(110.9\)로 극단적으로 치우쳐 있는데, 이때 FK의 순위 변환이 오히려 부족하다. 편차 \(|x - \tilde{x}|\) 자체가 강하게 치우쳐 있어 정규점수의 집단평균이 표본마다 크게 흔들리기 때문이다.

자료 브라운–포사이드 플리그너–킬린
Cauchy (대칭, 극단 꼬리) 0.022 0.044
\(\chi^2_4\) (왜도 중간) 0.041 0.055
Exponential (왜도 강함) 0.048 0.087
Lognormal(0,1) (왜도 극단) 0.030 0.114

결론: 왜도가 주된 문제이면 브라운–포사이드, 대칭인 두꺼운 꼬리가 주된 문제이면 플리그너–킬린을 쓰라. 어느 쪽인지 모른다면 브라운–포사이드가 안전한 기본값이다. 이 표에서 유일하게 모든 행에서 통제되는 검정이기 때문이다.

절충이 명확하다. 바틀렛은 정규성이 성립할 때 검정력에서 이기지만 그렇지 않으면 파국적으로 실패한다. 범용으로는 브라운–포사이드가 로버스트성과 검정력의 균형이 가장 좋다.

AI로 보는 통계학 1. 전처리가 검정을 고치고, 묻는 것을 바꾼다

위 표에서 순위로 바꾸어 비모수로 만든 플리그너–킬린이 명목 \(5\%\) 를 지키지 못했다. 「분포를 모르면 순위로 가면 된다」가 여기서 깨진 것이다. 그런데 기계학습 전처리에는 같은 발상이 함수로 들어 있다 — 자료를 전체 순위로 바꾸어 정규분위수에 얹는 변환이다. 집단 표지를 쓰지 않으므로 검정 앞에 두어도 되는 전처리다.

그 전처리를 먼저 하고 브라운–포사이드를 돌리면 어떻게 되는지, 그리고 이 분포를 안다고 할 때 쓸 수 있는 로그 변환과 견주어 보자.

import numpy as np
from scipy import stats

def one(rng, n=30, k=3, ratio=1.0):
    s = [1.0] * (k - 1) + [ratio ** 0.5]
    g = [np.exp(rng.normal(0, si, n)) for si in s]
    bf = stats.levene(*g, center="median")[1] < 0.05
    fk = stats.fligner(*g)[1] < 0.05
    allx = np.concatenate(g)
    z = stats.norm.ppf(stats.rankdata(allx) / (len(allx) + 1))
    bf_rank = stats.levene(*np.split(z, k), center="median")[1] < 0.05
    bf_log = stats.levene(*[np.log(x) for x in g], center="median")[1] < 0.05
    return bf, fk, bf_rank, bf_log

print("                       BF     FK    순위후BF  로그후BF")
for ratio, tag in ((1.0, "H0 참 (거짓 양성)"), (2.0, "분산비 2 (검정력)"), (4.0, "분산비 4 (검정력)")):
    rng = np.random.default_rng(15)
    a = np.array([one(rng, ratio=ratio) for _ in range(3000)])
    print(f"{tag:22} {a[:,0].mean():.3f}  {a[:,1].mean():.3f}   {a[:,2].mean():.3f}    {a[:,3].mean():.3f}")

출력:

                       BF     FK    순위후BF  로그후BF
H0 참 (거짓 양성)           0.040  0.124   0.043    0.042
분산비 2 (검정력)            0.174  0.308   0.340    0.389
분산비 4 (검정력)            0.429  0.579   0.887    0.933

순위 변환이 검정을 고친다. 거짓 양성은 \(0.043\) 으로 지키면서 분산비 \(4\) 의 검정력이 \(0.429\) 에서 \(0.887\) 로 두 배가 된다. 까닭은 단순하다 — 변환이 자료를 정규 쪽으로 되돌려 놓으므로 뒤에 오는 \(F\) 가 제 조건을 되찾는다. \(\S 3\) 이 중심의 변동으로 설명한 그 문제를 변환이 앞에서 없앤 셈이다.

그런데 로그 변환이 더 낫다(\(0.933\)). 이 자료가 대수정규라는 것을 알면 그 길이 정확하고, 순위는 분포를 모를 때 치르는 값이다. 「모르면 순위로」가 공짜가 아니라는 뜻이다.

더 큰 값은 다른 데 있다. 두 변환 모두 「무엇의 분산인가」를 바꾼다. 로그 척도의 등분산은 비례 산포가 같다는 뜻으로 읽을 수 있어 해석이 남지만, 순위 척도의 분산은 원래 단위와 끊어져 있다. 보험청구액의 분산이 지점마다 같은지 묻다가 청구액 순위의 분산이 같은지를 묻게 되는 것이고, 둘은 같은 물음이 아니다. 게다가 순위 변환은 전체 자료를 보아야 정의되므로 관측값이 하나 더 들어오면 변환 자체가 바뀐다 — 검정을 반복할 때마다 척도가 움직인다.


연습문제

연습문제 1. 위 거짓 양성 모의실험을 \(n = 30\) 대신 \(n = 100\)으로 실행하라. 표본크기를 늘리면 대수정규 자료에서 바틀렛 검정의 제1종 오류 조절이 개선되는가? 설명하라.

풀이
import numpy as np
from scipy import stats

rng = np.random.default_rng(0)
n_sims, n, alpha = 5000, 100, 0.05
rej = 0

for _ in range(n_sims):
    g1 = rng.lognormal(0, 1, n)
    g2 = rng.lognormal(0, 1, n)
    g3 = rng.lognormal(0, 1, n)
    _, p = stats.bartlett(g1, g2, g3)
    if p < alpha:
        rej += 1

print(f"Bartlett false-positive rate (n=100): {rej/n_sims:.4f}")

출력:

Bartlett false-positive rate (n=100): 0.8134

\(n\)을 늘려도 바틀렛의 제1종 오류가 개선되지 않는다. 오히려 \(n = 30\)의 \(0.732\)에서 \(n = 100\)의 \(0.813\)으로 악화된다.

\(n\) 20 30 100
바틀렛 크기 0.675 0.732 0.813

(\(n = 20\) 값은 15.4절 바틀렛 검정 연습문제 4에서 얻은 것이다.)

이유. 15.3절 비정규성에 대한 민감도 연습문제 4에서 유도했듯, 명목 분포와 실제 분포의 산포 비율이

\[ \frac{\operatorname{Var}(\ln S^2)_{\text{실제}}}{\operatorname{Var}(\ln S^2)_{\text{명목}}} = \frac{\gamma_2 + 2}{2} \]

로 \(n\)에 의존하지 않는다. \(n\)이 커지면 명목 \(\chi^2\) 분포가 좁아지는데 실제 분포는 같은 비율로 넓은 상태를 유지하므로, 임계값 밖으로 나가는 질량의 비율이 커진다.

이는 모형 가정 위반이지 유한표본 인공물이 아니다. 자료를 아무리 모아도 잘못된 표집분포는 옳아지지 않으며, 오히려 잘못된 결론을 더 확신 있게 내리게 된다. \(\square\)

연습문제 2. \(k = 2\)개 집단인 경우 F 검정(이표본판)을 비교에 추가하라. 대수정규 자료에서 그 제1종 오류율이 바틀렛과 어떻게 비교되는가?

풀이
import numpy as np
from scipy import stats

rng = np.random.default_rng(0)
n_sims, n, alpha = 5000, 30, 0.05
rej_f, rej_b = 0, 0

for _ in range(n_sims):
    g1 = rng.lognormal(0, 1, n)
    g2 = rng.lognormal(0, 1, n)
    F = np.var(g1, ddof=1) / np.var(g2, ddof=1)
    p_f = 2 * min(stats.f(n-1, n-1).cdf(F), stats.f(n-1, n-1).sf(F))
    _, p_b = stats.bartlett(g1, g2)
    if p_f < alpha:
        rej_f += 1
    if p_b < alpha:
        rej_b += 1

print(f"F-test:   {rej_f/n_sims:.4f}")
print(f"Bartlett: {rej_b/n_sims:.4f}")

출력:

F-test:   0.5108
Bartlett: 0.5108

두 값이 완전히 동일하다. 소수점 이하까지 같다.

우연이 아니다. 15.4절 바틀렛 검정 연습문제 5에서 증명했듯, \(k = 2\)이고 \(n_1 = n_2\)이면 바틀렛 통계량이 F 통계량의 엄격히 단조인 함수이다. 따라서 두 검정의 기각역(rejection region)이 정확히 일치하고, 모든 표본에서 같은 결론을 낸다.

두 검정 모두 크기가 \(0.511\)이다. 등분산인 자료의 절반 이상에서 기각한다. 대수정규 자료에 분산 검정을 적용할 때 정규성 기반 방법을 쓰면 안 되는 이유를 보여준다. \(\square\)

연습문제 3. 집단 표준편차가 \(\sigma_1 = 1\), \(\sigma_2 = 1.5\), \(\sigma_3 = 2\)이고 자료가 \(t_5\) 분포에서 올 때 각 검정의 검정력을 추정하는 모의실험을 설계하라. 전체적으로 어느 검정이 가장 좋은지 논하라.

풀이
import numpy as np
from scipy import stats

rng = np.random.default_rng(0)
n_sims, n, alpha = 5000, 30, 0.05
power = {"Bartlett": 0, "Levene": 0, "BF": 0, "FK": 0}

for _ in range(n_sims):
    g1 = stats.t(df=5).rvs(n, random_state=rng) * 1.0
    g2 = stats.t(df=5).rvs(n, random_state=rng) * 1.5
    g3 = stats.t(df=5).rvs(n, random_state=rng) * 2.0
    _, p = stats.bartlett(g1, g2, g3)
    if p < alpha:
        power["Bartlett"] += 1
    _, p = stats.levene(g1, g2, g3, center='mean')
    if p < alpha:
        power["Levene"] += 1
    _, p = stats.levene(g1, g2, g3, center='median')
    if p < alpha:
        power["BF"] += 1
    _, p = stats.fligner(g1, g2, g3)
    if p < alpha:
        power["FK"] += 1

for name, count in power.items():
    print(f"{name:10s}: {count/n_sims:.4f}")

출력:

Bartlett  : 0.8578
Levene    : 0.7096
BF        : 0.6584
FK        : 0.6616
검정 기각률 (\(H_a\)) \(t_5\) 아래 크기 (\(H_0\))
바틀렛 0.858 0.267
레빈 (평균) 0.710 0.054
브라운–포사이드 0.658 0.042
플리그너–킬린 0.662 0.040

(크기는 15.5절 비교 페이지의 \(t_5\) 행에서 가져왔다.)

바틀렛이 겉보기 "검정력"이 가장 높아 보이지만 오도적이다. 크기가 이미 \(0.267\)로 부풀려져 있기 때문이다. 등분산인 자료의 27%를 기각하던 검정이 이분산에서 86%를 기각한 것은 대단한 성취가 아니다.

크기가 통제된 세 검정만 비교하면 레빈(평균)이 \(0.710\)으로 가장 강력하다. \(t_5\)는 대칭이므로 평균 중심화가 무너지지 않고, 중앙값·순위 변환이 버리는 정보를 활용하기 때문이다.

브라운–포사이드(\(0.658\))와 플리그너–킬린(\(0.662\))은 사실상 같다.

전체적 권고. 자료가 대칭이면서 꼬리만 두껍다고 확신할 수 있으면 레빈(평균)이 최선이다. 왜도 가능성이 있으면 브라운–포사이드로 가야 한다. 본문 표에서 대수정규일 때 레빈(평균)의 크기가 \(0.261\)까지 치솟았음을 기억하라. \(\square\)

연습문제 4. 브라운–포사이드 검정이 평균 중심 레빈 검정보다 왜도에 로버스트한 이유를 수학적으로 설명하라.

풀이

치우친 분포에서는 평균이 꼬리 쪽으로 끌려가므로 절대편차 \(Z_{ij} = |X_{ij} - \bar{X}_i|\)가 그 비대칭을 물려받는다. 긴 꼬리 쪽의 관측값들이 체계적으로 더 큰 \(Z_{ij}\) 값을 만들어 낸다. 이는 \(Z_{ij}\)의 집단내 변동을 부풀리고 분산분석 F 통계량에 영향을 준다.

중앙값은 50백분위수이므로 극단값의 크기에 영향받지 않는다. 중앙값으로 중심화하면 원래의 \(X_{ij}\)가 치우쳐 있어도 \(Z_{ij}\)가 더 대칭적으로 분포한다.

형식적으로 \(X\)가 분포 \(F\)를 가지면

\[ E[|X - \text{median}|] \le E[|X - \mu|] \]

이다(중앙값이 기대절대편차를 최소화하므로). 따라서 중앙값 중심 편차의 분산이 더 작고 꼬리에 덜 민감하다. 이것이 \(H_0\) 아래에서 검정통계량(test statistic)의 더 나은 보정으로 이어진다.

더 근본적인 이유: 표집 안정성. 위 부등식은 모집단 수준의 진술이다. 실무에서 더 중요한 것은 추정된 중심의 표집변동이다.

  • 치우친 분포에서 \(\bar{X}_i\)는 표본마다 크게 흔들린다. 특히 극단값 하나가 포함되었는지 여부가 평균을 크게 바꾼다.
  • 중앙값은 붕괴점(breakdown point)이 50%이므로 극단값 몇 개에 거의 영향받지 않는다.

\(\bar{X}_i\)가 흔들리면 그 집단의 모든 \(Z_{ij}\)가 함께 이동한다. 이 공통 이동이 \(\bar{Z}_i\)들을 실제보다 흩어지게 만들어 F 통계량의 분자를 부풀린다. 15.5절 로버스트 방법의 비교 연습문제 1에서 논한 \(\bar{X}\)와 \(S^2\)의 상관이 바로 이 현상이다.

본문 표의 수치가 이를 확인해 준다. 대수정규에서 레빈(평균) \(0.261\) 대 브라운–포사이드 \(0.030\)으로 아홉 배 차이이다. \(\square\)

연습문제 5. 결과가 오른쪽으로 치우쳐 있다고 알려진 임상시험 자료(예: 입원 기간)를 분석한다고 하자. 후속 분석을 결정하기 전에 세 처치군의 등분산을 확인해야 한다. 어떤 검정을 권하며 그 이유는 무엇인가? 대안을 최소 두 가지 논하라.

풀이

입원 기간처럼 오른쪽으로 치우친 임상 자료에는 브라운–포사이드 검정(scipy.stats.levene에 center='median')을 권한다. 왜도 아래에서 제1종 오류율을 잘 조절하면서 참된 분산 차이를 탐지할 합리적인 검정력을 유지한다.

본문 표가 이를 뒷받침한다. 극단적으로 치우친 대수정규 자료에서 브라운–포사이드만이 \(0.030\)으로 통제되고, 플리그너–킬린(\(0.114\)), 레빈 평균(\(0.261\)), 바틀렛(\(0.732\))은 모두 부풀려진다.

대안 1: 플리그너–킬린 검정. 중앙값으로부터의 절대편차의 순위에 기반한 비모수 검정이다. 이상치(outlier)이 있을 수 있을 때 적절하다. 다만 위에서 보았듯 극단적 왜도에서는 오히려 브라운–포사이드보다 크기 조절이 나쁘다. "가장 로버스트하다"는 통념에 기대어 무조건 선택해서는 안 된다.

대안 2: 로그 변환 후 바틀렛. 왜도가 대수정규 같은 기제에서 온다면 로그 변환이 자료를 대칭화하여 더 강력한 바틀렛 검정을 타당하게 쓸 수 있다. 위험은 변환이 자료를 완전히 정규화하지 못할 수 있다는 점과, 추론이 로그 척도에서 이루어진다는 점이다.

입원 기간의 경우 로그 변환이 특히 자연스럽다. 대수정규 모형이 생존시간·대기시간 자료에 잘 맞는 것으로 알려져 있기 때문이다. 다만 변환 후에도 반드시 정규성을 확인해야 하며(14장), 0값이 있으면 \(\log(x+c)\) 형태의 조정이 필요하다.

대안 3: 부트스트랩(bootstrap) 검정. 15.6절의 부트스트랩 분산 검정은 분포 가정을 하지 않는다. 다만 강한 왜도에서 크기가 다소 부풀려질 수 있으므로(15.6절 부트스트랩 분산 검정 연습문제 3에서 지수분포(exponential distribution) 0.082) 만능은 아니다.

가장 나은 대응은 이 질문을 피하는 것이다

"등분산을 확인한 뒤 후속 분석을 결정한다"는 두 단계 절차 자체가 15.7절 분산분석 사전검정에서 논한 문제를 안고 있다.

임상시험이라면 분석계획서를 사전에 확정해야 하므로 더욱 그렇다. 처음부터 웰치 분산분석(또는 로그 변환 후 표준 분산분석)을 쓰기로 명시하면 이 판정이 필요 없어진다.

등분산 검정 결과는 방법 선택의 근거가 아니라 자료의 특성을 서술하는 보조 정보로 보고하는 것이 옳다. 집단별 표준편차와 상자그림(box plot)을 함께 제시하면 독자가 스스로 판단할 수 있다.

바틀렛 검정과 F 검정은 치우친 자료에 직접 적용해서는 안 된다. 신뢰할 수 없는 \(p\) 값을 낳기 때문이다. \(\square\)

연습문제 6. 보기 1 의 풀이는 집단크기가 모두 \(n\) 일 때 바틀렛 통계량이

\[ T \;\longrightarrow\; \frac{\beta_2-1}{2}\,\chi^2_{k-1} \]

로 간다고 했다. 이것을 \(k = 2\) 에 쓴다.

(1) 연습문제 2 는 \(k = 2\), \(n_1 = n_2\) 이면 바틀렛과 두 분산의 \(F\) 검정이 같은 기각역을 가진다고 했다. 두 사실을 합쳐 로그정규\((0,1)\) 자료에서 \(F\) 검정의 극한 크기를 구하고, 보기 1 의 풀이에 적힌 정규근사 꼴 \(2[1-\Phi(1.96\sqrt{2/(\beta_2-1)})]\) 와 같은 값이 나오는지 확인하시오. (\(\chi^2_{0.95,1} = 3.8415\), \(\beta_2 = 113.94\).)

(2) (1)의 값을 연습문제 2 가 \(n = 30\) 에서 실제로 잰 \(0.5108\) 과 견주시오. 불일치의 방향이 보기 1 의 바틀렛(\(n = 30\) 에서 \(0.7145\), 극한 \(0.9483\))과 같은가?

(3) 같은 극한식에서 집단 수만 늘리면 어떻게 되는가. \(\chi^2_{0.95,k-1}\) 이 \(k = 2,\,3,\,5\) 에서 각각 \(3.8415,\ 5.9915,\ 9.4877\) 임을 쓰고 극한 크기를 구한 뒤, \(k \to \infty\) 에서 그것이 \(1\) 로 가는 까닭을 밝히시오. (\(\chi^2_2\) 의 생존함수(survival function)는 \(e^{-x/2}\), \(\chi^2_4\) 는 \(e^{-x/2}(1+x/2)\) 다. 큰 \(k\) 에서 \(\chi^2_{0.95,k-1} \approx (k-1) + 1.645\sqrt{2(k-1)}\) 을 써도 된다.)

풀이

(1) \(k = 2\) 이면 극한이 \(\frac{\beta_2-1}{2}\chi^2_1\) 이고 임계값은 \(\chi^2_{0.95,1} = 3.8415\) 다. 그러므로

\[ P\!\left(\frac{\beta_2-1}{2}\chi^2_1 > 3.8415\right) = P\!\left(\chi^2_1 > \frac{2 \times 3.8415}{112.9364}\right) = P(\chi^2_1 > 0.068035) \]

이다. \(\chi^2_1 = Z^2\) 이므로 \(P(\lvert Z \rvert > \sqrt{0.068035}\,) = P(\lvert Z\rvert > 0.26083) = 2[1-\Phi(0.26083)] = 2(1 - 0.60288) = 0.7942\) 다.

연습문제 2 가 \(k = 2\), \(n_1 = n_2\) 에서 두 검정의 기각역이 일치한다고 했으므로 \(F\) 검정의 극한 크기도 똑같이 \(0.7942\) 다.

정규근사 꼴과 맞는지 본다. \(1.96\sqrt{2/(\beta_2-1)} = 1.96 \times \sqrt{0.0177093} = 1.96 \times 0.133076 = 0.26083\) 으로 위에서 나온 \(\sqrt{2\chi^2_{0.95,1}/(\beta_2-1)}\) 과 같은 수다. 같을 수밖에 없다. \(\sqrt{\chi^2_{0.95,1}} = \sqrt{3.8415} = 1.95996\) 이 바로 양쪽꼬리 \(5\%\) 의 정규 임계값이기 때문이다. 두 꼴은 같은 식을 \(\chi^2_1\) 로 쓴 것과 \(Z\) 로 쓴 것의 차이일 뿐이다.

(2) 같은 방향이다. 둘 다 유한표본 값이 극한보다 아래에 있다.

\(n = 30\) 실측 극한 극한까지 남은 거리
\(F\) 검정 (\(k = 2\)) 0.5108 0.7942 0.2834
바틀렛 (\(k = 3\)) 0.7145 0.9483 0.2338

로그정규의 \(4\) 차 적률이 \(e^8 = 2980.96\) 으로 거대해 \(S^2\) 의 정규근사가 느리고, 그래서 \(n = 30\) 에서는 극한이 가리키는 파국에 아직 덜 도달한 상태다. 읽어야 할 뜻은 분명하다. \(0.5108\) 은 최악의 값이 아니라 가는 길 위의 값이다. 표본을 키우면 \(0.79\) 쪽으로 올라간다(보기 1 의 \((2)\) 가 바틀렛에 대해 보인 그대로다).

(3) 집단이 많아질수록 나빠진다. \(2\chi^2_{0.95,k-1}/(\beta_2-1) = \chi^2_{0.95,k-1}/56.4682\) 를 임계값으로 \(\chi^2_{k-1}\) 의 상단확률을 재면

  • \(k = 2\): \(P(\chi^2_1 > 3.8415/56.4682) = P(\chi^2_1 > 0.068035) = 0.7942\)
  • \(k = 3\): \(P(\chi^2_2 > 5.9915/56.4682) = P(\chi^2_2 > 0.106105) = e^{-0.053053} = 0.9483\)
  • \(k = 5\): \(P(\chi^2_4 > 9.4877/56.4682) = P(\chi^2_4 > 0.168032) = e^{-0.084016}(1 + 0.084016) = 0.919417 \times 1.084016 = 0.9967\)

이다. \(k \to \infty\) 에서는 임계값이 \(\chi^2_{0.95,k-1}/56.4682 \approx [(k-1) + 1.645\sqrt{2(k-1)}]/56.4682\) 인데, 재는 쪽 \(\chi^2_{k-1}\) 의 평균은 \(k-1\) 이고 표준편차는 \(\sqrt{2(k-1)}\) 이다. 표준화하면

\[ \frac{(k-1)/56.4682 - (k-1)}{\sqrt{2(k-1)}} \approx -0.9823\,\frac{k-1}{\sqrt{2(k-1)}} = -0.6947\sqrt{k-1} \;\longrightarrow\; -\infty \]

이므로 극한 크기가 \(1\) 로 간다. 임계값이 평균의 \(1.8\%\) 밖에 안 되는 자리에 놓여 있고, 집단이 늘면 그 간격이 표준편차 단위로 더 벌어진다.

집단마다 \(\ln s_i^2\) 가 명목보다 \(56.5\) 배 넓게 흔들리는 것을 \(k-1\) 개 더하는 것이니, 더하는 항이 많아질수록 명목 임계값이 상대적으로 더 우스워진다. 집단이 많은 설계에서 바틀렛을 쓰는 것이 더 위험하다는 실무적 결론이 여기서 나온다. \(\square\)

연습문제 7. 보기 1 이 유도한 극한 크기를 \(k = 3\), \(\alpha = 0.05\) 에 고정하고 첨도의 함수로 본다.

(1) \(\chi^2_2\) 의 생존함수가 \(e^{-x/2}\) 임을 써서 극한 크기가 닫힌 꼴

\[ \text{size}(\beta_2) = \exp\!\left(-\frac{\chi^2_{0.95,2}}{\beta_2-1}\right) = \exp\!\left(-\frac{5.9915}{\beta_2-1}\right) \]

로 쓰임을 보이고, \(\beta_2 = 3\) 과 \(\beta_2 = 113.94\) 에서 보기 1 의 \(0.0500\) 과 \(0.9483\) 을 되돌려 주는지 확인하시오.

(2) 실제 크기가 명목값의 두 배(\(0.10\))가 되는 첨도 \(\beta_2\) 를 구하시오. 초과첨도 \(\gamma_2 = \beta_2 - 3\) 으로는 얼마인가.

(3) 2장의 하한 \(\beta_2 \ge 1 + \gamma_1^2\) 을 써서 왜도만으로 극한 크기의 하한을 주는 식을 쓰고, 지수분포(\(\gamma_1 = 2\))와 로그정규\((0,1)\)(\(\gamma_1 = 6.1849\))에 적용하시오. 또 왜도가 어느 값을 넘으면 (2)의 두 배 크기가 첨도를 모르고도 보장되는지 구하시오.

풀이

(1) 보기 1 의 극한에서 기각 확률은

\[ P\!\left(\frac{\beta_2-1}{2}\chi^2_2 > \chi^2_{0.95,2}\right) = P\!\left(\chi^2_2 > \frac{2\chi^2_{0.95,2}}{\beta_2-1}\right) = \exp\!\left(-\frac{\chi^2_{0.95,2}}{\beta_2-1}\right) \]

이다. 마지막 등호에서 \(\chi^2_2\) 의 생존함수 \(e^{-x/2}\) 가 지수의 \(2\) 를 지워 준다. \(k = 3\) 일 때만 이렇게 깔끔한 꼴이 나온다. 자유도 \(2\) 의 카이제곱이 평균 \(2\) 의 지수분포이기 때문이다.

검산한다.

  • \(\beta_2 = 3\): \(\exp(-5.9915/2) = \exp(-2.99573) = 0.0500\). 정규모집단에서 명목값을 정확히 되돌려 준다.
  • \(\beta_2 = 113.94\): \(\exp(-5.9915/112.9364) = \exp(-0.053053) = 0.9483\). 보기 1 의 \(0.9483\) 과 같다.

이 함수는 \(\beta_2\) 에 대해 증가하고, \(\beta_2 = 3\) 에서 \(0.05\) 로 출발해 \(\beta_2 \to \infty\) 에서 \(1\) 로 간다. 바틀렛의 운명이 첨도 하나에 매달려 있다는 말을 식 하나로 적은 것이다.

(2) 초과첨도 \(0.60\) 이면 벌써 두 배다. \(\exp(-5.9915/(\beta_2-1)) = 0.10\) 을 풀면

\[ \frac{5.9915}{\beta_2-1} = \ln 10 = 2.302585 \quad\Longrightarrow\quad \beta_2 - 1 = 2.6021 \quad\Longrightarrow\quad \beta_2 = 3.6021 \]

이므로 \(\gamma_2 = 0.6021\) 이다. 이것이 이 문제의 핵이다. 지수분포(\(\gamma_2 = 6\))나 \(t_5\)(\(\gamma_2 = 6\))처럼 눈에 띄는 분포가 필요한 것이 아니다. 초과첨도 \(0.6\) 은 상자그림으로 알아볼 수 없고, 14장의 정규성 검정도 \(n = 30\) 에서 잡아낼 가망이 거의 없는 크기다. 그런 정도의 비정규성이 이미 명목 \(5\%\) 를 \(10\%\) 로 만든다.

(3) 왜도만으로 하한이 정해진다. size\((\beta_2)\) 가 증가함수이고 2장의 하한에서 \(\beta_2 - 1 \ge \gamma_1^2\) 이므로

\[ \text{size} \;\ge\; \exp\!\left(-\frac{5.9915}{\gamma_1^2}\right) \]

이다. 첨도를 전혀 몰라도 왜도만 알면 쓸 수 있는 하한이다.

분포 \(\gamma_1\) 하한 \(\exp(-5.9915/\gamma_1^2)\) 실제 \(\beta_2\) 실제 극한 크기
Exponential 2 0.2236 9 0.4729
Lognormal\((0,1)\) 6.1849 0.8550 113.94 0.9483

로그정규의 경우 첨도를 계산하기 전에 왜도 \(6.18\) 하나로 "크기가 최소 \(0.855\)" 가 확정된다. 하한이 느슨하지 않다는 뜻이다.

두 배 크기가 보장되는 왜도는 (2)의 \(\gamma_1^2 \ge 2.6021\) 에서

\[ \lvert \gamma_1 \rvert \;\ge\; \sqrt{2.6021} = 1.6131 \]

이다. 왜도가 \(1.61\) 을 넘는 분포는 꼬리가 어떻게 생겼든 바틀렛의 극한 크기가 명목값의 두 배 이상이다. 소득·청구액·대기시간처럼 오른쪽으로 끌리는 자료는 거의 전부 이 선을 넘는다.

이것이 이 장의 긴장을 가장 짧게 적은 결론이다. 분산 검정이 깨지는 까닭은 보통 "두꺼운 꼬리"로 설명되지만, \(\beta_2 \ge 1 + \gamma_1^2\) 을 거치면 왜도 하나만으로도 충분하다. 그리고 왜도는 꼬리와 달리 눈으로 바로 보인다. \(\square\)

연습문제 8. 보기 1 의 극한 \(T \to \frac{\beta_2-1}{2}\chi^2_{k-1}\) 은 분포의 첨도 하나만 본다. 그렇다면 첨도가 같고 모양은 전혀 다른 두 분포가 같은 극한 크기를 가져야 한다. \(t_d\) 의 첨도가 \(\beta_2 = 3 + 6/(d-4)\) 이므로 \(t_5\) 는 \(\beta_2 = 9\) 이고 지수분포도 \(\beta_2 = 9\) 다. 하나는 대칭이고 꼬리가 두꺼우며, 다른 하나는 꼬리가 가볍고 오른쪽으로 치우쳐 있다.

(1) 두 분포에 대한 바틀렛의 극한 크기를 연습문제 7(1)의 닫힌 꼴로 구하시오.

(2) 바틀렛의 실제 크기를 정규·지수·\(t_5\)·로그정규에서 \(n = 30,\ 120,\ 480\) 으로 재어 (1)과 견주시오. 반복은 \(20{,}000\) 회로 하고, 집단크기가 모두 같을 때의 바틀렛 통계량을 직접 벡터화해 쓰되 scipy.stats.bartlett 과 일치하는지 확인하시오.

(3) 같은 곳으로 가는데 가는 속도가 크게 다르다. 그 차이를 \(X^2\) 의 왜도로 설명하시오.

풀이

(1) 둘 다 \(0.4729\) 다. \(\beta_2 = 9\) 를 연습문제 7(1)에 넣으면

\[ \exp\!\left(-\frac{5.9915}{9-1}\right) = \exp(-0.748933) = 0.4729 \]

이다. 극한식에 들어가는 분포 정보가 \(\beta_2\) 뿐이므로 대칭인 \(t_5\) 와 치우친 지수분포가 같은 목적지를 받는다.

(2) 돌린다.

import numpy as np
from scipy import stats


# 보기 1 의 극한은 beta_2 하나만 본다. 그러면 첨도가 같고 모양은 전혀 다른
# 두 분포가 같은 곳으로 가야 한다. 지수분포와 t(5) 가 그 쌍이다.
def bartlett_T(X):                       # X: (reps, k, n) -> (reps,)
    _, k, n = X.shape
    s2 = X.var(axis=2, ddof=1)
    sp2 = s2.mean(axis=1)                # 집단크기가 같으므로 단순평균
    num = k * (n - 1) * np.log(sp2) - (n - 1) * np.log(s2).sum(axis=1)
    C = 1 + (k / (n - 1) - 1 / (k * (n - 1))) / (3 * (k - 1))
    return num / C


def skew_sq(m2, m4, m6):                 # X^2 의 왜도. 수렴 속도를 가늠하는 양
    return (m6 - 3 * m4 * m2 + 2 * m2 ** 3) / (m4 - m2 ** 2) ** 1.5


rng = np.random.default_rng(15)
chk = rng.lognormal(0, 1, (5, 3, 30))
print("scipy 와 일치하는가(오차 1e-10 안) = "
      f"{np.allclose(bartlett_T(chk), [stats.bartlett(*x)[0] for x in chk], atol=1e-10)}")

alpha, k, reps, chunk = 0.05, 3, 20000, 2000
crit = stats.chi2(k - 1).ppf(1 - alpha)
e = np.exp(1.0)
dists = [("Normal", lambda r, n: rng.normal(0, 1, (r, k, n)), 3.0, (1, 3, 15)),
         ("Exponential", lambda r, n: rng.exponential(1, (r, k, n)), 9.0,
          (2, 24, 720)),
         ("t(5)", lambda r, n: rng.standard_t(5, (r, k, n)), 9.0,
          (5 / 3, 25, np.inf)),
         ("Lognormal", lambda r, n: rng.lognormal(0, 1, (r, k, n)),
          e ** 4 + 2 * e ** 3 + 3 * e ** 2 - 3, (e ** 2, e ** 8, e ** 18))]

print(f"\n바틀렛, k = 3, 등분산, 반복 {reps} 회, alpha = {alpha}")
print(f"{'분포':>12}{'beta_2':>9}{'skew(X^2)':>11}{'극한':>8}"
      f"{'n=30':>8}{'n=120':>8}{'n=480':>8}{'n=30/극한':>11}")
for name, draw, b2, mom in dists:
    size = []
    for n in (30, 120, 480):
        rej = sum((bartlett_T(draw(chunk, n)) > crit).sum()
                  for _ in range(reps // chunk))
        size.append(rej / reps)
    lim = np.exp(-crit / (b2 - 1))
    print(f"{name:>12}{b2:>9.2f}{skew_sq(*mom):>11.2f}{lim:>8.4f}"
          f"{size[0]:>8.4f}{size[1]:>8.4f}{size[2]:>8.4f}{size[0] / lim:>11.3f}")
print(f"\n반복 {reps} 회의 몬테카를로 표준오차: 0.05 에서 "
      f"{np.sqrt(0.05 * 0.95 / reps):.4f}, 0.5 에서 {np.sqrt(0.25 / reps):.4f}")

출력:

scipy 와 일치하는가(오차 1e-10 안) = True

바틀렛, k = 3, 등분산, 반복 20000 회, alpha = 0.05
          분포   beta_2  skew(X^2)      극한    n=30   n=120   n=480    n=30/극한
      Normal     3.00       2.83  0.0500  0.0487  0.0490  0.0508      0.974
 Exponential     9.00       6.62  0.4729  0.4093  0.4501  0.4646      0.866
        t(5)     9.00        inf  0.4729  0.2406  0.3137  0.3609      0.509
   Lognormal   113.94     414.36  0.9483  0.7185  0.8183  0.8695      0.758

반복 20000 회의 몬테카를로 표준오차: 0.05 에서 0.0015, 0.5 에서 0.0035

먼저 자가 검산 둘이 통과한다. 벡터화한 통계량이 scipy.stats.bartlett 과 \(10^{-10}\) 안에서 같고, 정규 행이 \(0.0487,\ 0.0490,\ 0.0508\) 로 세 표본크기에서 모두 명목값을 지킨다(표준오차 \(0.0015\)). 유도한 극한식도 정규에서 \(0.0500\) 을 준다. 틀이 맞다.

극한 예측이 맞는 방향으로 간다. 네 분포 모두 \(n\) 이 커질수록 자기 극한값으로 올라간다.

분포 극한 \(n=30\) \(n=120\) \(n=480\)
Normal 0.0500 0.0487 0.0490 0.0508
Exponential 0.4729 0.4093 0.4501 0.4646
\(t_5\) 0.4729 0.2406 0.3137 0.3609
Lognormal\((0,1)\) 0.9483 0.7185 0.8183 0.8695

(3) 첨도는 목적지를, 그 위의 적률은 속도를 정한다. 지수분포와 \(t_5\) 는 목적지가 같은데 \(n = 30\) 에서 \(0.4093\) 대 \(0.2406\) 으로 \(1.7\) 배 차이가 난다. 표준오차가 \(0.0035\) 쯤이니 우연이 아니다.

까닭은 극한식이 무엇을 쓰고 무엇을 안 쓰는지에 있다. 유도에 들어간 것은 \(\operatorname{Var}(S^2) \approx \sigma^4(\beta_2-1)/n\) 하나, 즉 \(S^2\) 의 2차 정보뿐이다. 그 뒤에 \(u_i\) 가 근사적으로 정규라는 가정을 썼는데, 그 근사가 얼마나 빨리 좋아지는지는 \(S^2\) 의 3차 정보, 즉 \(X^2\) 의 왜도가 정한다. 출력의 skew(X^2) 칸이 그것이다.

분포 \(\operatorname{skew}(X^2)\) \(n=30\) 크기 / 극한
Normal 2.83 0.974
Exponential 6.62 0.866
Lognormal\((0,1)\) 414.36 0.758
\(t_5\) \(\infty\) 0.509

두 칸의 순서가 정확히 반대다. \(t_5\) 는 \(E\lvert X\rvert^p\) 가 \(p < 5\) 에서만 유한하므로 \(E[X^6] = \infty\) 이고, 따라서 \(X^2\) 의 왜도가 아예 존재하지 않는다. 3차 적률이 없으면 베리–에센 꼴의 수렴 속도 보장(3차 적률이 유한하면 정규근사의 오차가 \(1/\sqrt n\) 의 속도로 줄어든다는 정리)이 없어서 \(S^2\) 의 정규근사가 가장 느리다. 지수분포는 모든 적률이 유한하고 \(E[X^6] = 720\) 으로 작아 가장 빠르다. 로그정규는 모든 적률이 유한하지만 \(E[X^6] = e^{18} = 6.57 \times 10^7\) 로 거대해 그 사이에 놓인다.

읽어야 할 뜻. 첫째, \(n = 30\) 에서 잰 크기는 그 검정의 최종 상태가 아니다. \(t_5\) 의 \(0.2406\) 은 극한 \(0.4729\) 의 절반밖에 안 되는 지점이고(연습문제 3 의 표가 인용한 \(t_5\) 크기 \(0.267\) 과 같은 자리다 — 반복 수가 달라 소수 둘째 자리만 다르다), 표본을 키우면 반드시 나빠진다. 둘째, 첨도가 같다는 것은 운명이 같다는 뜻이지 지금 상태가 같다는 뜻이 아니다. 치우친 지수분포가 대칭인 \(t_5\) 보다 \(n = 30\) 에서 더 나쁜 크기를 내는 것은 왜도 탓이 아니다. 꼬리가 가벼워 \(4\) 차보다 높은 적률이 모두 유한한 덕에 종착점에 더 가까이 와 있을 뿐이고, 두 분포의 종착점은 똑같이 \(0.4729\) 다. 유한표본 크기를 비교할 때는 첨도 말고도 볼 것이 남아 있다는 뜻이다. \(\square\)

연습문제 9. 2절은 \(Z_{ij} = \lvert X_{ij} - c_i \rvert\) 에서 중심 \(c_i\) 만 갈아 끼우면 레빈 계열 검정이 된다고 했다. 평균과 중앙값 사이에는 절사평균이 있다. 중심을 평균 \(\to\) \(10\%\) 절사평균 \(\to\) \(25\%\) 절사평균 \(\to\) 중앙값으로 옮기며 세 가지를 \(n = 30\), 반복 \(20{,}000\) 회로 재라. (ㄱ) 정규 자료의 크기, (ㄴ) 로그정규\((0,1)\) 자료의 크기, (ㄷ) 정규 자료에서 \(\sigma = 1,\,1.5,\,2\) 에 대한 검정력이다.

(1) 본문이 말한 트레이드오프(trade-off) — 왜도에서의 크기와 정규에서의 검정력 — 이 직선이 아님을 수치로 보이시오. 중앙값까지 가지 않고 멈추는 것이 이득인가?

(2) scipy.stats.levene(..., center='trimmed') 는 중심만 바꾸지 않고 자료 자체를 잘라 낸다(trimboth 로 양끝을 떼고 남은 것으로 \(Z_{ij}\) 를 만든다). 그 판을 같은 표에 더해, 정규 자료에서조차 크기가 명목값의 세 배를 넘는 것을 보이고 까닭을 설명하시오.

풀이

돌린다. 2절의 틀을 그대로 코드로 옮기고 중심만 바꾼다.

import numpy as np
from scipy import stats


# 2절의 틀 그대로다. 중심 c_i 만 갈아 끼우고 자료는 건드리지 않는다.
def center_of(X, kind, p):
    if kind == "median":
        return np.median(X, axis=2, keepdims=True)
    if kind == "trimmed":                       # 양끝 int(n*p) 개를 뺀 평균
        n = X.shape[2]
        cut = int(p * n)
        return np.sort(X, axis=2)[:, :, cut:n - cut].mean(axis=2, keepdims=True)
    return X.mean(axis=2, keepdims=True)


def levene_p(X, kind="mean", p=0.0, cut_data=False):
    """Z_ij = |X_ij - c_i| 에 일원분산분석 F 를 건다. (reps,) p 값."""
    if cut_data:                                # scipy 의 center='trimmed'
        n = X.shape[2]
        cut = int(p * n)
        X = np.sort(X, axis=2)[:, :, cut:n - cut]
        Z = np.abs(X - X.mean(axis=2, keepdims=True))
    else:
        Z = np.abs(X - center_of(X, kind, p))
    k, m = Z.shape[1], Z.shape[2]
    grp = Z.mean(axis=2, keepdims=True)
    ssb = (m * (grp - Z.mean(axis=(1, 2), keepdims=True)) ** 2).sum(axis=(1, 2))
    ssw = ((Z - grp) ** 2).sum(axis=(1, 2))
    return stats.f(k - 1, k * m - k).sf((k * m - k) / (k - 1) * ssb / ssw)


alpha, k, reps, n = 0.05, 3, 20000, 30
rng = np.random.default_rng(15)
chk = rng.lognormal(0, 1, (5, k, n))
print(f"{'scipy 대조':>20}{'일치(1e-10 안)':>16}")
for nm, kw, sci in [("center='mean'", dict(kind="mean"), dict(center="mean")),
                    ("center='median'", dict(kind="median"), dict(center="median")),
                    ("center='trimmed'", dict(kind="trimmed", p=0.10, cut_data=True),
                     dict(center="trimmed", proportiontocut=0.10))]:
    mine = levene_p(chk, **kw)
    theirs = np.array([stats.levene(*x, **sci)[1] for x in chk])
    print(f"{nm:>20}{str(np.allclose(mine, theirs, atol=1e-10)):>16}")

X0 = rng.lognormal(0, 1, (reps, k, n))                      # 로그정규, 등분산
Y0 = rng.normal(0, 1, (reps, k, n))                         # 정규, 등분산
Y1 = rng.normal(0, 1, (reps, k, n)) * np.array([1.0, 1.5, 2.0])[:, None]

rows = [("평균", dict(kind="mean")),
        ("10% 절사평균", dict(kind="trimmed", p=0.10)),
        ("25% 절사평균", dict(kind="trimmed", p=0.25)),
        ("중앙값", dict(kind="median")),
        ("scipy trimmed 10%", dict(kind="trimmed", p=0.10, cut_data=True)),
        ("scipy trimmed 25%", dict(kind="trimmed", p=0.25, cut_data=True))]
print(f"\n세 집단 n = {n}, 반복 {reps} 회, alpha = {alpha}")
print(f"{'중심 c_i':>20}{'정규 크기':>11}{'로그정규 크기':>15}{'정규 검정력':>13}")
for nm, kw in rows:
    print(f"{nm:>20}{(levene_p(Y0, **kw) < alpha).mean():>11.4f}"
          f"{(levene_p(X0, **kw) < alpha).mean():>15.4f}"
          f"{(levene_p(Y1, **kw) < alpha).mean():>13.4f}")
print(f"\n표준오차: 크기 0.05 에서 {np.sqrt(0.05 * 0.95 / reps):.4f}, "
      f"검정력 0.85 에서 {np.sqrt(0.85 * 0.15 / reps):.4f}")

출력:

            scipy 대조     일치(1e-10 안)
       center='mean'            True
     center='median'            True
    center='trimmed'            True

세 집단 n = 30, 반복 20000 회, alpha = 0.05
              중심 c_i      정규 크기        로그정규 크기       정규 검정력
                  평균     0.0523         0.2480       0.8567
            10% 절사평균     0.0498         0.0878       0.8506
            25% 절사평균     0.0470         0.0534       0.8435
                 중앙값     0.0406         0.0398       0.8227
   scipy trimmed 10%     0.1567         0.3998       0.8369
   scipy trimmed 25%     0.2444         0.4185       0.7137

표준오차: 크기 0.05 에서 0.0015, 검정력 0.85 에서 0.0025

(1) 트레이드오프는 직선이 아니다. 위 네 줄을 손잡이 순서로 다시 적는다.

중심 \(c_i\) 정규 크기 로그정규 크기 정규 검정력
평균 0.0523 0.2480 0.8567
\(10\%\) 절사평균 0.0498 0.0878 0.8506
\(25\%\) 절사평균 0.0470 0.0534 0.8435
중앙값 0.0406 0.0398 0.8227

왼쪽 끝에서 오른쪽 끝으로 가는 동안 로그정규 크기는 \(0.2480 \to 0.0398\) 로 \(0.208\) 내려가고 정규 검정력은 \(0.8567 \to 0.8227\) 로 \(0.034\) 내려간다. 그런데 두 변화가 같은 속도로 일어나지 않는다.

  • 평균 \(\to\) \(25\%\) 절사평균: 로그정규 크기가 \(0.2480 \to 0.0534\) 로 \(0.195\) 내려가는데(전체 하락의 \(94\%\)) 검정력은 \(0.8567 \to 0.8435\) 로 \(0.013\) 만 잃는다(전체 손실의 \(39\%\)).
  • \(25\%\) 절사평균 \(\to\) 중앙값: 크기는 \(0.0534 \to 0.0398\) 로 \(0.014\) 밖에 더 내려가지 않는데 검정력은 \(0.8435 \to 0.8227\) 로 \(0.021\) 을 더 잃는다(검정력 표준오차 \(0.0025\) 이므로 확실한 차이다).

즉 마지막 한 걸음이 가장 비싸고 가장 덜 번다. \(25\%\) 절사평균에서 멈추면 로그정규 크기 \(0.0534\) 로 명목값을 사실상 지키면서 중앙값보다 검정력을 \(0.021\) 더 갖는다. 보기 2 가 크기를 맞춘 뒤 브라운–포사이드와 레빈(평균)이 사실상 같아진다고 했던 결과와 이어진다. 중앙값의 손실분 가운데 일부는 보수성(정규 크기 \(0.0406\))이고, 절사평균은 그 보수성을 덜 안고 간다.

다만 추천을 뒤집을 만한 차이는 아니다. \(0.021\) 은 보기 2 에서 바틀렛이 브라운–포사이드에 대해 가진 우위(\(0.076\))의 사분의 일쯤이고, 절사 비율 \(25\%\) 라는 조율모수(tuning parameter)를 자료를 보고 정해야 하는 부담이 새로 생긴다. 중앙값은 조율모수가 없는 선택이라는 점이 본문의 기본값 추천을 여전히 지탱한다.

(2) 자료를 자르면 검정이 망가진다. 표의 마지막 두 줄이다.

중심 정규 크기 로그정규 크기 정규 검정력
scipy trimmed 10% 0.1567 0.3998 0.8369
scipy trimmed 25% 0.2444 0.4185 0.7137

정규 자료에서 크기가 \(0.1567\) 과 \(0.2444\) 다. 명목값의 세 배에서 다섯 배다. 중심만 절사평균으로 바꾼 윗줄들이 \(0.0498\), \(0.0470\) 이었던 것과 견주면 범인은 분명하다. 중심의 로버스트성이 아니라 자료를 잘라 낸 것이다.

까닭은 \(F\) 통계량의 분모에 있다. 레빈 계열의 분모는

\[ \sum_{i}\sum_{j} (Z_{ij} - \bar Z_i)^2 \big/ (N-k) \]

로 \(\bar Z_i\) 가 흔들리는 폭을 재는 자다. 그런데 양끝을 떼어 내면 떼어 낸 것이 바로 가장 큰 \(Z_{ij}\) 들이므로 분모가 체계적으로 작아진다. 한편 분자의 \(\bar Z_i\) 는 절사표본의 평균절대편차로 여전히 표본마다 흔들린다. 자는 줄었는데 재는 양은 그만큼 줄지 않았으니 \(F\) 가 부풀고, 자유도까지 절사 후 개수 \(N_{\text{trim}} - k\) 로 작아져 \(F\) 분포의 임계값도 함께 작아진다. 두 효과가 같은 방향으로 겹친다.

\(25\%\) 절사가 \(10\%\) 절사보다 더 나쁜 것(\(0.2444\) 대 \(0.1567\))이 이 설명과 맞는다. 더 많이 떼어 낼수록 분모가 더 줄기 때문이다. 또 이 판은 검정력도 잃는다(\(0.7137\)). 크기가 깨진 검정의 검정력은 숫자로서 뜻이 없다는 보기 2 의 원칙대로라면 그 수는 읽을 것도 없다.

원래 브라운–포사이드(1974)가 제안한 절사평균판은 중심에만 절사평균을 쓰고 \(Z_{ij}\) 는 모든 관측값에서 만든다. 윗줄 네 개가 그 판이고 크기가 멀쩡하다. 교훈은 2절의 틀이 말하는 그대로다. 갈아 끼워도 되는 것은 중심 \(c_i\) 하나이고, 자료를 건드리면 표집분포 \(F_{k-1,N-k}\) 가 더는 맞지 않는다. \(\square\)

연습문제 10. 보기 1 의 극한을 그대로 읽으면 바틀렛을 고치는 방법이 보인다. \(T\big/\frac{\beta_2-1}{2}\) 가 \(\chi^2_{k-1}\) 로 가므로 통계량을 \((\beta_2-1)/2\) 로 나누면 된다. 이 "첨도 보정 바틀렛"이 왜 \(n = 30\) 에서 쓸 수 없는지 따진다. \(k = 3\), \(\alpha = 0.05\), 로그정규\((0,1)\)(\(\beta_2 = 113.94\))로 둔다.

(1) 보정에 쓰는 제수와, 보정된 검정이 실제로 쓰는 임계값을 구하시오. 그리고 보정을 모르고 scipy.stats.bartlett 의 \(p\) 값만 보는 사람이 같은 기각역을 얻으려면 어느 \(p\) 임계값을 써야 하는지 구하시오.

(2) 실제로는 \(\beta_2\) 를 표본에서 추정해야 한다. \(n\) 개 관측값의 표본첨도 \(b_2 = m_4/m_2^2\) (\(m_r\) 은 \(r\) 차 표본중심적률)가

\[ b_2 \;\le\; \frac{1+(n-1)^3}{n(n-1)} \]

를 넘지 못함을 보이시오. 최댓값이 한 점만 떨어져 있고 나머지 \(n-1\) 개가 한 점에 모인 배치에서 나온다는 사실은 받아들여도 된다. \(n = 30\) 의 상한을 참값 \(113.94\) 와 견주고, 상한이 참값을 넘기려면 \(n\) 이 얼마나 되어야 하는지도 구하시오.

(3) \(n = 30\) 에서 가능한 가장 큰 첨도 추정값을 썼다고 해도 보정된 검정의 극한 크기가 얼마가 되는지 구하고, 이 쪽이 내린 결론과 이으시오.

풀이

(1) 제수는 \(56.4682\), 임계값은 \(338.33\), 그에 맞는 \(p\) 임계값은 \(3.4 \times 10^{-74}\) 다.

제수는

\[ \frac{\beta_2-1}{2} = \frac{112.9364}{2} = 56.4682 \]

다. 보정된 검정은 \(T/56.4682 > \chi^2_{0.95,2} = 5.9915\) 일 때 기각하므로 원래 통계량으로 쓰면

\[ T > 56.4682 \times 5.9915 = 338.33 \]

이다. 한편 scipy.stats.bartlett 이 돌려주는 \(p\) 값은 \(p = P(\chi^2_2 > T) = e^{-T/2}\) 이므로, 같은 기각역을 \(p\) 값으로 적으면

\[ p < e^{-338.33/2} = e^{-169.16} = 3.41 \times 10^{-74} \]

다. \(0.05\) 와 \(10^{-74}\) 는 자릿수로 \(73\) 칸 떨어져 있다. 이것이 연습문제 8 이 \(n = 30\) 에서 잰 크기 \(0.7185\) 를 다른 방식으로 적은 것이다. 바틀렛은 조금 어긋난 검정이 아니라 다른 척도를 쓰고 있는 검정이다.

(2) 표본첨도에는 천장이 있다. 받아들여도 된다고 한 배치를 그대로 계산한다. \(n-1\) 개가 \(0\) 에, 한 개가 \(a > 0\) 에 있다고 하자. 평균은 \(\bar x = a/n\) 이므로 편차는 \(-a/n\) 이 \(n-1\) 개, \(a(n-1)/n\) 이 한 개다. 따라서

\[ m_2 = \frac{1}{n}\left[(n-1)\frac{a^2}{n^2} + \frac{a^2(n-1)^2}{n^2}\right] = \frac{a^2(n-1)}{n^3}\bigl[1 + (n-1)\bigr] = \frac{a^2(n-1)}{n^2} \]

이고

\[ m_4 = \frac{1}{n}\left[(n-1)\frac{a^4}{n^4} + \frac{a^4(n-1)^4}{n^4}\right] = \frac{a^4(n-1)}{n^5}\bigl[1 + (n-1)^3\bigr] \]

이다. 둘을 나누면 \(a\) 가 약분되어

\[ b_2 = \frac{m_4}{m_2^2} = \frac{a^4(n-1)\bigl[1+(n-1)^3\bigr]/n^5}{a^4(n-1)^2/n^4} = \frac{1+(n-1)^3}{n(n-1)} \]

를 얻는다. 이 배치가 최댓값을 주므로 모든 표본에서 \(b_2\) 는 이 값을 넘지 못한다.

\(n = 30\) 에 넣으면

\[ b_2 \le \frac{1 + 29^3}{30 \times 29} = \frac{24390}{870} = 28.0345 \]

다. 참값 \(113.94\) 의 사분의 일에도 못 미친다. 추정량이 가질 수 있는 값의 범위 자체가 모수를 담고 있지 않다는 뜻이고, 이것은 편향이 크다는 말보다 더 센 말이다. 상한이 대략 \(n-2\) 로 자라므로 상한이 \(113.94\) 를 넘으려면

\[ \frac{1+(n-1)^3}{n(n-1)} > 113.94 \]

에서 \(n = 115\) 는 \(113.01\), \(n = 116\) 은 \(114.01\) 이므로 \(n \ge 116\) 이 필요하다. 참값에 닿을 가능성이 생기기만 하는 데도 집단마다 백 명이 넘게 필요하다.

(3) 가장 유리한 경우를 줘도 크기가 \(0.49\) 다. \(b_2 = 28.0345\) 를 썼다고 하면 제수가

\[ \frac{b_2-1}{2} = \frac{27.0345}{2} = 13.5172 \]

이고 기각역은 \(T > 13.5172 \times 5.9915 = 80.99\) 다. 그런데 \(T\) 의 참된 극한분포는 여전히 \(56.4682\,\chi^2_2\) 이므로 실제 크기는

\[ P\!\left(56.4682\,\chi^2_2 > 80.99\right) = P(\chi^2_2 > 1.43424) = e^{-0.71712} = 0.4882 \]

다. 일어날 수 없는 최선의 추정값을 줘도 등분산인 세 집단의 절반을 기각한다. 제수가 \(56.47\) 이어야 하는데 천장이 \(13.52\) 라 \(4.18\) 배 부족하고, 그 비율이 그대로 크기에 남는다.

결론은 이 쪽의 결론과 같은 곳에 닿는다. 바틀렛을 첨도로 보정하는 길은 식으로는 한 줄이지만, 그 한 줄에 필요한 \(\beta_2\) 가 \(n = 30\) 에서는 원리적으로 추정되지 않는다. \(4\) 차 적률을 재려면 \(4\) 차 적률만큼 꼬리를 본 자료가 있어야 하고, 꼬리가 두꺼운 분포일수록 그 요구가 더 커진다. 보정이 가장 절실한 곳에서 보정이 가장 불가능하다.

남는 길은 \(4\) 차 적률을 아예 쓰지 않는 것이다. 중앙값 중심화는 \(\beta_2\) 를 추정하지도, 가정하지도 않는다. 본문이 적은 "네 검정을 가르는 것은 정교함이 아니라 중심을 어디에 두느냐라는 한 가지 선택이다"가 이 계산의 다른 표현이다. \(\square\)


정리하며

네 검정을 같은 조건에서 견주었다.

  • 분포를 바꿔 가며 제1종 오류율을 잰다. 정규·로그정규·\(t\) 자료에서 각각 돌리면 표의 주장이 수치로 확인된다.
  • 정규 자료에서는 넷이 모두 명목 수준을 지킨다. 차이는 검정력에서만 나타나며 바틀렛이 앞선다.
  • 비정규 자료에서 갈린다. 바틀렛의 오류율이 폭증하고(\(0.732\)), 왜도가 극단이면 순위 기반도 함께 무너진다 — 이 쪽이 잰 대로 대수정규에서 플리그너–킬린이 \(0.1140\) 으로 명목값의 두 배가 넘는다(명목에서 \(9.0\) 표준오차). 중앙값 중심화를 쓰는 브라운–포사이드 하나만 \(0.030\) 으로 남는다. 이 쪽의 요점이 그것이다.
  • 검정력 비교는 오류율이 맞을 때만 의미가 있다. 오류율이 \(20\%\) 인 검정의 높은 기각률은 검정력이 아니라 거짓 양성이다. 이 순서를 지키는 것이 비교의 기본이다.
  • 모의실험 코드를 재사용할 수 있다. 자신의 자료와 비슷한 분포로 바꿔 돌리면 어느 검정을 쓸지 근거를 갖고 정할 수 있다.

다음 절 레빈 모의실험으로 넘어간다.