콘텐츠로 이동

두 분산에 대한 F-검정

개요

들어가는 이야기 — 가정을 지켜 주어야 할 검정이 자기 가정에 더 약하다

이 검정이 쓰이는 자리는 하나다. 스튜던트 \(t\) 검정이 깔고 있는 등분산 가정을 확인하려고 쓴다. 그런데 \(n_1 = 15\), \(n_2 = 12\) 에서 표준편차가 \(1.3\) 과 \(0.9\) — 분산으로는 두 배 넘게 — 여도 단측 \(p = 0.112914\) 로 기각하지 못하고, 기각하려면 표준편차가 \(1.65\) 배는 되어야 한다. 눈에 보이는 차이를 못 잡는다는 뜻이다. 기각하지 못했다고 두 분산이 같다고 적으면 그 약함을 결론으로 바꾸는 셈이 된다.

왼쪽은 참 표준편차의 비에 따라 F 검정이 기각할 확률을 그린 곡선으로, 1.444 배에서 21.7 퍼센트이고 2 배에서도 60 퍼센트 남짓이다. 오른쪽은 두 분산이 정확히 같은 다섯 분포에서 실제로 기각한 비율을 그린 가로 막대로, 정규가 4.8 퍼센트인데 로그정규는 48.1 퍼센트다

왼쪽이 한 고장이다. \(n_1 = 15,\ n_2 = 12\) 에서 표준편차가 \(1.3\) 대 \(0.9\) — 분산으로는 \(2.09\) 배 — 여도 기각할 확률이 \(21.7\%\) 뿐이다. 오른쪽이 반대쪽 고장이다. 두 분산이 정확히 같은 모집단인데 분포만 바꾸면 명목 \(5\%\) 검정이 로그정규에서 \(48.1\%\) 를 기각한다 — 열 배다. 균등에서는 거꾸로 \(0.6\%\) 로 내려가 지나치게 조심스러워진다. 오른쪽은 이 쪽 연습문제 6 의 모의와 같은 설정(\(n_1 = n_2 = 20\))으로 다시 돌린 것이다.

반대쪽 고장이 더 나쁘다. 두 분산이 정확히 같은 로그정규 모집단에서 명목 \(5\%\) 검정의 실제 기각률이 \(0.4813\) 으로, 절반 가까이 기각한다. 가정을 지켜 주어야 할 검정이 자기 가정에는 더 약하다면, 이 검정은 언제 쓰는 것인가. 등분산 검정을 먼저 돌려 보고 \(t\) 검정의 종류를 고르면 안 되는 까닭이 여기서 나온다. 이 쪽이 \(F\) 검정을 세우고 그 물음에 답한다. 분산분석표마다 찍히는 그 \(F\) 라는 글자를 누가 왜 붙였고 당사자가 왜 싫어했는지는 아래 상자가 따라간다.

합동 이표본 \(t\)-검정을 비롯한 여러 통계 절차가 두 모집단의 분산이 같다고 가정한다. 그런 방법을 적용하기 전에 이 가정이 합당한지 형식적으로 검정할 방법이 필요하다. 두 분산에 대한 F-검정이 바로 그것으로, 정규분포를 따르는 두 모집단의 변동성을 비교하는 가설검정이다. 가정 확인 말고도 분산의 비교는 품질관리(한 제조 공정이 다른 공정보다 변동이 큰가?)와 실험 설계(처리가 평균만이 아니라 변동성에도 영향을 주는가?)에서 자연스럽게 등장한다. 이 쪽은 이 검정을 여러 가설검정 가운데 하나로 수행한다. 분산 자체가 관심사일 때는 15.3절 이표본 F 검정이고, 거기서는 기각역(rejection region)을 양쪽으로 제대로 잡는 일과 검정력까지 다룬다. 이 검정이 정규성(normality)에 얼마나 기대는지를 수로 재는 것은 15.3절 비정규성에 대한 민감도다.


1. 물음과 그 전제 — 두 분산이 같은가

F-검정에는 다음 조건이 필요하다.

  1. 정규성: 두 모집단이 모두 정규분포를 따른다. \(X_1 \sim N(\mu_1, \sigma_1^2)\), \(X_2 \sim N(\mu_2, \sigma_2^2)\).
  2. 독립성(independence): 두 표본이 서로 독립이고, 각 표본 안의 관측값도 독립이다.
  3. 확률표본추출: 두 표본 모두 각 모집단에서 단순확률표본추출로 얻었다.

\(X_{1,1}, \ldots, X_{1,n_1}\)을 첫 모집단에서 뽑은 크기 \(n_1\)의 확률표본, \(X_{2,1}, \ldots, X_{2,n_2}\)를 둘째 모집단에서 뽑은 크기 \(n_2\)의 확률표본이라 하자. 표본분산(sample variance)을 다음과 같이 정의한다.

\[ S_1^2 = \frac{1}{n_1 - 1}\sum_{j=1}^{n_1}(X_{1,j} - \bar{X}_1)^2, \qquad S_2^2 = \frac{1}{n_2 - 1}\sum_{j=1}^{n_2}(X_{2,j} - \bar{X}_2)^2 \]

귀무가설(null hypothesis)은 두 모분산이 같다는 것이다.

\[ H_0: \sigma_1^2 = \sigma_2^2 \]

대립가설(alternative hypothesis)은 다음 세 형태 중 하나이다.

  • 양측: \(H_a: \sigma_1^2 \neq \sigma_2^2\)
  • 우측: \(H_a: \sigma_1^2 > \sigma_2^2\)
  • 좌측: \(H_a: \sigma_1^2 < \sigma_2^2\)

2. 통계량 — 분산이 같다면 비가 1 에 가깝다

F-검정의 직관은 단순하다: 두 모집단의 분산이 같다면 표본분산의 비가 1에 가까워야 한다. 1에서 크게 벗어나면 \(H_0\)에 반하는 증거가 된다.

검정통계량(test statistic)은 두 표본분산의 비다.

\[ F = \frac{S_1^2}{S_2^2} \]

3. 표집분포 — 자유도 두 개를 가진 F 분포다

\(H_0: \sigma_1^2 = \sigma_2^2\) 과 정규성 가정 아래에서 이 통계량은 분자 자유도 \(n_1 - 1\), 분모 자유도 \(n_2 - 1\) 인 \(F\)-분포를 따른다.

\[ F \sim F_{n_1 - 1,\; n_2 - 1} \]

이 결과는 정규모집단에서 \((n_i - 1)S_i^2 / \sigma_i^2 \sim \chi^2_{n_i - 1}\)이고, 각각을 자유도로 나눈 독립인 두 카이제곱 확률변수의 비가 F-분포를 정의한다는 사실에서 나온다.

보기 1. 분산비 검정 계산기. 아래 함수의 주석은 "자유도의 순서가 중요하다. 바꿔 넣으면 오류 없이 조용히 틀린 p 값이 나온다"고 경고한다. 그 경고가 정확히 무엇을 말하는지 따져 둔다.

(1) \(1/F_{d_1,d_2} \sim F_{d_2,d_1}\)을 써서, 두 집단의 역할을 바꾸면서 자유도와 대립가설의 방향을 함께 바꾸면 p 값이 변하지 않음을 보이시오. 양측 p 값에도 같은 불변성이 성립하는가?

(2) \(n_1 = 15\), \(s_1 = 1.3\), \(n_2 = 12\), \(s_2 = 0.9\)에서 그 불변성을 확인하고, 자유도를 함께 바꾸는 것을 잊었을 때 나오는 틀린 p 값이 얼마나 어긋나는지 재시오.

풀이

(1) 해석적으로. \(F_{d_1,d_2}\)는 독립인 두 카이제곱의 비 \((U/d_1)/(V/d_2)\)이고(\(U \sim \chi^2_{d_1}\), \(V \sim \chi^2_{d_2}\)), 역수를 취하면 \((V/d_2)/(U/d_1)\)이므로

\[ \frac{1}{F_{d_1,d_2}} \sim F_{d_2,d_1} \]

이다. 그러므로 임의의 \(x > 0\)에서

\[ P\bigl(F_{d_1,d_2} \ge x\bigr) = P\!\left(\frac{1}{F_{d_1,d_2}} \le \frac{1}{x}\right) = P\!\left(F_{d_2,d_1} \le \frac{1}{x}\right) \]

이 근사가 아니라 등식으로 성립한다.

이제 두 호출을 견준다. 첫 호출은 \(F = s_1^2/s_2^2\)을 자유도 \((d_1, d_2)\)로 읽어 우측 꼬리확률 \(P(F_{d_1,d_2} \ge F)\)를 준다. 집단을 바꾼 호출은 통계량이 \(s_2^2/s_1^2 = 1/F\), 자유도가 \((d_2, d_1)\)이고 방향이 좌측이므로 \(P(F_{d_2,d_1} \le 1/F)\)를 준다. 위 등식이 바로 이 둘이 같다는 말이다. \(\square\)

양측 p 값은 \(2\min\{G(F),\, 1-G(F)\}\) 꼴인데(\(G\)는 해당 \(F\) 분포의 분포함수) 집단을 바꾸면 두 꼬리가 서로 자리를 맞바꾼다. \(\min\)은 두 인수의 순서에 무관하므로 양측 p 값도 불변이다.

자유도를 바꾸지 않으면 무엇이 깨지는가. 통계량만 \(1/F\)로 바꾸고 자유도를 \((d_1,d_2)\)로 둔 채 좌측 꼬리를 읽으면 \(P(F_{d_1,d_2} \le 1/F)\)를 계산하게 되는데, 이것은 \(P(F_{d_2,d_1} \le 1/F)\)와 다른 수다. \(d_1 \ne d_2\)이면 두 분포가 다르기 때문이다. 예외 없이 틀리지만 오류도 경고도 나지 않는다.

(2) 수치적으로. 먼저 함수다.

from scipy.stats import f

def test_ratio_two_variances(n1, s1, n2, s2, theta0=1.0,
                              alt="two-sided", alpha=0.05):
    """H0: sigma1^2 / sigma2^2 = theta0. **정규모집단**을 가정한다.

    F-검정은 정규성에서 벗어나는 데 특히 약하다. 꼬리가 조금만 두꺼워도
    제1종 오류율이 크게 부풀기 때문에, 실무에서 등분산 사전검정으로 쓰는 것은
    권장되지 않는다(그냥 Welch를 쓰는 편이 낫다).
    s1, s2에는 ddof=1로 계산한 표본표준편차를 넣는다.
    """
    # 자유도의 **순서**가 중요하다. 분자 쪽이 df1이다.
    # s1과 s2를 바꿔 넣으면 자유도도 함께 바꿔야 하며, 그러지 않으면
    # 오류 없이 조용히 틀린 p 값이 나온다.
    df1, df2 = n1 - 1, n2 - 1
    F_stat = (s1 ** 2 / s2 ** 2) / theta0
    if alt == "two-sided":
        p = 2 * min(f.cdf(F_stat, df1, df2),
                     1 - f.cdf(F_stat, df1, df2))
    elif alt == "less":
        p = f.cdf(F_stat, df1, df2)
    else:
        p = 1 - f.cdf(F_stat, df1, df2)
    return F_stat, p, (p < alpha)

이제 (1)을 확인한다.

import numpy as np

# (1) 1/F_{d1,d2} ~ F_{d2,d1} 을 꼬리확률로 확인한다.
d1, d2 = 14, 11
print("     x    P(F_{14,11} >= x)   P(F_{11,14} <= 1/x)")
for x in (0.5, 1.0, 2.0864197530864197, 5.0):
    print(f"{x:7.4f}        {f.sf(x, d1, d2):.12f}      {f.cdf(1 / x, d2, d1):.12f}")

# 집단을 바꿀 때 세 대립가설이 모두 짝을 맞추는가
print("\n집단을 바꾸고 자유도와 방향까지 함께 바꾼 경우")
for alt_a, alt_b in (("greater", "less"), ("less", "greater"),
                     ("two-sided", "two-sided")):
    _, pa, _ = test_ratio_two_variances(15, 1.3, 12, 0.9, alt=alt_a)
    _, pb, _ = test_ratio_two_variances(12, 0.9, 15, 1.3, alt=alt_b)
    print(f"  {alt_a:>9} / {alt_b:<9}  p = {pa:.15f}  {pb:.15f}"
          f"   차 = {abs(pa - pb):.2e}")

# 자유도를 함께 바꾸는 것을 잊으면
print("\n자유도를 바꾸지 않고 s1, s2 만 맞바꾼 경우 (틀린 계산)")
F_wrong = 0.9**2 / 1.3**2
for alt in ("less", "two-sided"):
    _, p_ok, _ = test_ratio_two_variances(12, 0.9, 15, 1.3, alt=alt)
    p_bad = (f.cdf(F_wrong, d1, d2) if alt == "less"
             else 2 * min(f.cdf(F_wrong, d1, d2), f.sf(F_wrong, d1, d2)))
    print(f"  {alt:>9}:  올바른 p = {p_ok:.6f},  틀린 p = {p_bad:.6f}"
          f"   (상대오차 {abs(p_bad - p_ok) / p_ok:.1%})")

출력:

     x    P(F_{14,11} >= x)   P(F_{11,14} <= 1/x)
 0.5000        0.888783358782      0.888783358782
 1.0000        0.509190497951      0.509190497951
 2.0864        0.112914221518      0.112914221518
 5.0000        0.005436708133      0.005436708133

집단을 바꾸고 자유도와 방향까지 함께 바꾼 경우
    greater / less       p = 0.112914221518176  0.112914221518176   차 = 4.16e-17
       less / greater    p = 0.887085778481824  0.887085778481824   차 = 0.00e+00
  two-sided / two-sided  p = 0.225828443036351  0.225828443036351   차 = 8.33e-17

자유도를 바꾸지 않고 s1, s2 만 맞바꾼 경우 (틀린 계산)
       less:  올바른 p = 0.112914,  틀린 p = 0.098065   (상대오차 13.2%)
  two-sided:  올바른 p = 0.225828,  틀린 p = 0.196131   (상대오차 13.2%)

항등식이 네 자리 모두에서 성립한다. \(x = 0.5, 1, 2.0864, 5\)에서 두 확률이 소수 열두째 자리까지 같다. \(x = 1\)에서 \(0.509190\)으로 \(0.5\)가 아닌 것도 눈여겨볼 만하다. \(F_{14,11}\)의 중앙값은 1이 아니다(1 이상일 확률이 절반을 넘으므로 1보다 조금 크다).

세 대립가설이 모두 짝을 맞춘다. 차가 \(10^{-17}\) 수준으로, 부동소수점 반올림뿐이다. 양측도 \(0.225828443036351\)로 같아 (1)의 \(\min\) 논증이 확인된다.

자유도를 바꾸는 것을 잊으면 \(13.2\%\) 어긋난다. 올바른 단측 p 값 \(0.112914\) 대신 \(0.098065\)가 나온다. 이 자료에서는 둘 다 \(0.05\)보다 커서 판정이 같지만, 경계 근처였다면 결론이 갈렸을 것이다. 오류 메시지가 없는 틀림이 가장 위험하다. 함수를 쓸 때 \(n\)과 \(s\)를 짝으로 묶어 넘기는 습관이 그 자리를 막는다.


4. 검정 — F 는 1 을 중심으로 대칭이 아니다

\(d_1 = n_1 - 1\), \(d_2 = n_2 - 1\)일 때 \(F_{\alpha, d_1, d_2}\)를 \(F_{d_1, d_2}\) 분포의 상위 \(\alpha\) 임계값이라 하자.

  • 양측 (\(H_a: \sigma_1^2 \neq \sigma_2^2\)): \(F > F_{\alpha/2, d_1, d_2}\) 또는 \(F < F_{1 - \alpha/2, d_1, d_2}\)이면 \(H_0\)을 기각한다.
  • 우측 (\(H_a: \sigma_1^2 > \sigma_2^2\)): \(F > F_{\alpha, d_1, d_2}\)이면 \(H_0\)을 기각한다.
  • 좌측 (\(H_a: \sigma_1^2 < \sigma_2^2\)): \(F < F_{1 - \alpha, d_1, d_2}\)이면 \(H_0\)을 기각한다.

F 분포의 비대칭성과 양측 기각역

양측 기각역을 쓸 때 가장 먼저 눈에 띄는 것은 두 임계값이 1에서 같은 거리에 있지 않다는 점이다. (a)에서 \(d_1 = 9\), \(d_2 = 11\)일 때 아래쪽 임계값은 \(0.256\), 위쪽 임계값은 \(3.588\)이다. 1에서 아래쪽까지는 \(0.744\), 위쪽까지는 \(2.588\)로 위쪽이 3.5배 멀다. 정규분포나 \(t\)-분포에서는 임계값을 \(\pm c\) 한 쌍으로 적을 수 있었지만 \(F\)-분포에서는 그럴 수 없다. 대칭인 것은 꼬리에 둔 확률(각각 2.5%)이지 1로부터의 거리가 아니다.

그렇다고 대칭이 아예 없는 것은 아니다. (b)처럼 가로축을 배수 척도(로그 척도)로 바꾸면 \(F_{4,20}\)과 \(F_{20,4}\)가 1을 기준으로 정확히 서로의 거울상이 된다. \(F\)는 두 분산의 비이므로 자연스러운 척도가 덧셈이 아니라 곱셈이기 때문이다. 분자와 분모를 맞바꾸는 일이 이 척도에서는 좌우 뒤집기에 지나지 않고, 그 결과가 바로 역수 관계 \(F_{1-\alpha/2,\,d_1,d_2} = 1/F_{\alpha/2,\,d_2,d_1}\)이다. 그림의 값으로 확인하면 \(F_{4,20}\)의 아래쪽 2.5% 점 \(0.1168\)이 \(F_{20,4}\)의 위쪽 2.5% 점 \(8.5599\)의 역수와 정확히 같다.

이 관계를 쓸 때 자유도를 함께 맞바꾸는 것이 핵심이다. (c)는 자유도를 그대로 둔 채 역수만 취해 아래쪽 임계값을 \(1/F_{\alpha/2,\,d_1,d_2}\)로 잡았을 때 실제로 어느 정도를 기각하게 되는지 계산한 것이다. \((d_1,d_2)=(4,20)\)에서는 명목 5%가 실제로 14.05%가 되고 \((9,40)\)에서는 10.16%가 되며, 반대로 \((20,4)\)에서는 2.53%, \((40,9)\)에서는 2.78%로 지나치게 보수적이 된다. 위험한 대목은 \(d_1 = d_2\)일 때다. 이때는 두 자유도가 같아 맞바꿀 것이 없으므로 잘못 계산해도 수준이 정확히 0.0500으로 나온다. 표본크기가 같은 보기에서만 연습하면 이 실수가 드러나지 않은 채 남아 있다가, 표본크기가 다른 실제 자료에서 처음으로 대가를 치른다.

양측검정의 관례

흔한 단순화는 더 큰 표본분산을 분자에 두어 \(F \geq 1\)이 되게 하는 것이다. 그러면 오른쪽 꼬리만 확인하면 되고, \(F > F_{\alpha/2, d_1, d_2}\)이면 \(H_0\)을 기각한다.

수치 보기

한 제조사가 두 기계의 일관성을 비교한다. 기계 A는 \(n_1 = 10\)개를 생산했고 표본분산이 \(S_1^2 = 4.2\), 기계 B는 \(n_2 = 12\)개를 생산했고 표본분산이 \(S_2^2 = 1.8\)이다. \(\alpha = 0.05\)에서 \(H_0: \sigma_1^2 = \sigma_2^2\) 대 \(H_a: \sigma_1^2 \neq \sigma_2^2\)을 검정하라.

검정통계량은

\[ F = \frac{S_1^2}{S_2^2} = \frac{4.2}{1.8} = 2.333 \]

자유도는 \(d_1 = 9\), \(d_2 = 11\)이다. 임계값은 \(F_{0.025, 9, 11} \approx 3.59\)이다. \(2.333 < 3.59\)이므로 5% 유의수준에서 \(H_0\)을 기각하지 못한다. 두 기계의 변동성이 다르다고 결론지을 증거가 부족하다.

그림으로 보는 통계학 1. 칭찬으로 붙인 글자를 본인이 싫어했다

위 그림에서 본 비대칭 — 임계값 둘이 \(1\) 을 두고 전혀 대칭이 아닌 것 — 은 표를 만들어 쓰던 시절에 성가신 일이었다. 그래서 피셔는 이 분포를 \(F\) 로 표에 올리지 않았다.

\(F\) 라는 글자를 쓴 사람은 피셔가 아니라 조지 스네데커다. \(1934\) 년 『분산분석(analysis of variance)과 공분산분석의 계산과 해석』에서 분산비를 표로 만들면서 피셔를 기리는 뜻으로 그 머리글자를 붙였다. 오늘 분산분석표마다 찍히는 그 \(F\) 다.

정작 피셔는 두 가지 모두에 시큰둥했다. 그가 \(1922\) 년에 꺼내어 표로 만들어 쓰던 것은 분산비가 아니라

\[ z = \tfrac{1}{2}\ln F \]

였고, 분산비를 표로 만드는 편이 낫다는 데 설득되지 않았으며, 칭찬으로 붙인 글자라 해도 \(F\) 라는 선택이 마음에 들지 않았다. 그가 스네데커에게 보낸 \(1938\) 년 편지와 뒷날 헥스톨–스미스에게 보낸 편지에 그 말이 남아 있다.

같은 귀무분포를 F 척도와 z 척도에 올린 네 판

피셔가 고집한 데에는 이유가 있었다. 같은 귀무분포를 두 척도에 올린 것이 위 그림이다. \(d_1 = d_2 = 10\) 에서 \(F\) 의 왜도(skewness)는 \(+3.36\) 이고 양측 임계값은 \(0.269\) 와 \(3.717\) — \(1\) 에서의 거리가 \(0.73\) 대 \(2.72\) 로 네 배 가까이 어긋난다. 같은 분포를 \(z\) 로 옮기면 왜도가 \(-0.004\) 로 사라지고 임계값도 \(\pm 0.656\) 으로 꼭 대칭이 된다. \(d_1 = 5\), \(d_2 = 20\) 처럼 자유도가 다를 때도 왜도가 \(+2.08\) 에서 \(-0.49\) 로 줄어든다.

표를 손으로 뒤지고 값 사이를 눈대중으로 메우던 시절에 이 차이는 작지 않았다. 대칭이고 정규에 가까운 양은 표가 짧아도 되고 보간이 안전하다. 로그를 씌우는 일이 계산을 늘리는 것 같지만, 로그표는 어차피 책상 위에 있었다.

그런데도 스네데커의 \(F\) 가 이겼다. 자유도 두 개마다 임계값 하나를 적어 두면 되는 표에서는 독자가 로그를 되돌릴 일이 아예 없기 때문이고, 무엇보다 \(F\) 는 분산비 그 자체여서 읽는 사람이 「두 배 넘게 흩어졌다」처럼 곧바로 옮겨 읽을 수 있다. 이름을 받은 사람이 반대한 쪽이 이름과 함께 살아남은 셈이다.

확인한 곳 — \(F\) 분포를 표로 만들고 \(F\) 라는 글자를 도입한 것이 G. W. Snedecor 의 『Calculation and Interpretation of Analysis of Variance and Covariance』(\(1934\))이고 그 글자가 피셔를 기리는 뜻이었다는 것, 피셔 자신은 분산비가 아니라 \(z = \frac12\ln F\) 를 표로 만들어 썼다는 것, 그리고 분산비를 표로 만드는 편이 낫다는 데 설득되지 않았고 칭찬으로 붙인 글자라 해도 \(F\) 라는 선택이 마음에 들지 않았다는 것은 Dave Giles, 「Whose F Distribution Was It?」 에서 읽었다. 그 글은 근거로 피셔가 \(1938\) 년 스네데커에게 보낸 편지와 뒷날 헥스톨–스미스에게 보낸 편지(애들레이드 대학 디지털 도서관의 피셔 서한집)를 든다 — 나는 그 편지 원본을 보지 않았다. 그림의 왜도와 임계값은 모두 직접 계산한 값이다

보기 2. 두 분산에 대한 F-검정. \(n_1 = 15\)에서 \(s_1 = 1.3\), \(n_2 = 12\)에서 \(s_2 = 0.9\)를 얻어 \(H_0\colon \sigma_1^2 = \sigma_2^2\) 대 \(H_a\colon \sigma_1^2 > \sigma_2^2\)을 검정한다.

(1) \(F\)와 단측 p 값을 구하고, \(\alpha = 0.05\)에서 기각하려면 관측된 \(s_1/s_2\)가 얼마 이상이어야 하는지 구하시오.

(2) 이 p 값은 두 모집단이 정규라는 가정 위에 서 있다. 가정이 깨졌을 때의 실제 오류율을 첨도만으로 예측하고, 이 표본크기에서 모의실험으로 확인하시오.

풀이

(1) 해석적으로. 통계량은

\[ F = \frac{s_1^2}{s_2^2} = \frac{1.69}{0.81} = 2.086420 \]

이고 자유도는 \((14, 11)\)이다. 단측 p 값은 \(P(F_{14,11} \ge 2.086420) = 0.112914\)로 기각하지 못한다.

기각의 임계값은 \(F_{0.95}(14,11) = 2.738648\)이므로, 관측된 표준편차의 비가

\[ \frac{s_1}{s_2} \ge \sqrt{2.738648} = 1.654886 \]

이어야 한다. 관측값은 \(1.3/0.9 = 1.444444\)로 모자란다. 표준편차가 \(1.44\)배, 분산으로는 \(2.09\)배 차이인데도 기각하지 못하며, 기각하려면 표준편차가 \(1.65\)배는 되어야 한다. 양측이라면 채택역이 \(F\)로 \((0.323145,\ 3.358810)\), 표준편차의 비로는 \((0.568,\ 1.833)\)이다. 열다섯 개와 열두 개로는 "산포가 1.8배까지 달라도 통과"인 셈이다.

(2) 첨도(kurtosis)가 모든 것을 정한다. 평균 검정에서는 표본이 커지면 중심극한정리(central limit theorem)가 비정규성을 씻어 주지만, \(F\) 검정은 분자와 분모가 둘 다 2차 적률이라 그 보호를 받지 못한다. 5.10절 S₁²/S₂²의 표집분포 (비정규 모집단)에서 유도한 결과를 옮기면, \(\log(S_1^2/S_2^2)\)의 참 표준편차가 정규이론이 믿는 것의

\[ r = \sqrt{\frac{\beta_2 - 1}{2}} \]

배이고(\(\beta_2\)는 모집단 첨도), 따라서 명목 \(\alpha\) 양측검정(two-sided test)의 극한 오류율이

\[ 2\left[1 - \Phi\!\left(\frac{z_{1-\alpha/2}}{r}\right)\right] = 2\left[1 - \Phi\!\left(z_{1-\alpha/2}\sqrt{\frac{2}{\beta_2-1}}\right)\right] \]

이다. 단측은 같은 식에서 \(z_{1-\alpha/2}\)를 \(z_{1-\alpha}\)로 바꾼 한쪽 꼬리다. 표본크기가 들어가지 않는다. 자료를 아무리 모아도 이 값으로 가고, 정규(\(\beta_2 = 3\))에서만 \(r = 1\)이 되어 명목이 지켜진다.

\(\alpha = 0.05\)에서 다섯 모집단의 극한 양측 오류율은 균등(\(\beta_2 = 1.8\)) \(0.0019\), 정규 \(0.0500\), 지수와 \(t_5\)(\(\beta_2 = 9\)) \(0.3271\), 로그정규(\(\beta_2 = 113.9\)) \(0.7942\)다.

수치적으로.

F_stat, p, reject = test_ratio_two_variances(
    n1=15, s1=1.3, n2=12, s2=0.9, theta0=1.0, alt="greater"
)
print("F:", F_stat, "p:", p, "reject:", reject)

# 두 집단의 역할을 바꾸면 F는 역수가 되고 대립가설의 방향도 뒤집힌다.
# 제대로 바꾸면 p 값은 같아야 한다.
F2, p2, reject2 = test_ratio_two_variances(
    n1=12, s1=0.9, n2=15, s2=1.3, theta0=1.0, alt="less"
)
print("F:", F2, "p:", p2, "reject:", reject2)

출력:

F: 2.0864197530864197 p: 0.11291422151817565 reject: False
F: 0.47928994082840237 p: 0.11291422151817561 reject: False
import numpy as np
from scipy import stats

n1, n2 = 15, 12
d1, d2 = n1 - 1, n2 - 1

# 기각에 필요한 관측 분산비
up_one = stats.f.ppf(0.95, d1, d2)
hi = stats.f.ppf(0.975, d1, d2)
lo = stats.f.ppf(0.025, d1, d2)
print(f"관측된 s1/s2 = {1.3 / 0.9:.6f},  s1^2/s2^2 = {1.3**2 / 0.9**2:.6f}")
print(f"단측 5% 임계값  F_0.95(14,11) = {up_one:.6f}"
      f"  →  s1/s2 가 {np.sqrt(up_one):.6f} 이상이어야 기각")
print(f"양측 5% 채택역  ({lo:.6f}, {hi:.6f})"
      f"  →  s1/s2 로는 ({np.sqrt(lo):.6f}, {np.sqrt(hi):.6f})")

# 정규성이 깨지면 이 임계값이 무슨 뜻을 잃는가
rng = np.random.default_rng(11)
B = 200_000
gens = (
    ("정규", 3.0, lambda size: rng.standard_normal(size)),
    ("균등", 1.8, lambda size: rng.uniform(0, 1, size)),
    ("t(5)", 9.0, lambda size: rng.standard_t(5, size)),
    ("지수", 9.0, lambda size: rng.exponential(1.0, size)),
    ("로그정규", 113.9, lambda size: rng.lognormal(0.0, 1.0, size)),
)
print(f"\nH0 가 참인 자료로 재는 실제 오류율 (반복 {B:,} 회, 오차 약 ±0.001)")
print(f"{'모집단':>9} {'beta2':>7} {'양측 실제':>10} {'양측 극한':>10}"
      f" {'단측 실제':>10} {'단측 극한':>10}")
for name, b2, gen in gens:
    x1, x2 = gen((B, n1)), gen((B, n2))
    F = x1.var(1, ddof=1) / x2.var(1, ddof=1)
    r = np.sqrt(2 / (b2 - 1))
    print(f"{name:>9} {b2:7.1f} {np.mean((F < lo) | (F > hi)):10.4f} "
          f"{2 * stats.norm.sf(1.959964 * r):10.4f} "
          f"{np.mean(F > up_one):10.4f} {stats.norm.sf(1.644854 * r):10.4f}")

출력:

관측된 s1/s2 = 1.444444,  s1^2/s2^2 = 2.086420
단측 5% 임계값  F_0.95(14,11) = 2.738648  →  s1/s2 가 1.654886 이상이어야 기각
양측 5% 채택역  (0.323145, 3.358810)  →  s1/s2 로는 (0.568458, 1.832706)

H0 가 참인 자료로 재는 실제 오류율 (반복 200,000 회, 오차 약 ±0.001)
      모집단   beta2      양측 실제      양측 극한      단측 실제      단측 극한
       정규     3.0     0.0496     0.0500     0.0504     0.0500
       균등     1.8     0.0076     0.0019     0.0119     0.0047
     t(5)     9.0     0.1403     0.3271     0.1088     0.2054
       지수     9.0     0.2465     0.3271     0.1723     0.2054
     로그정규   113.9     0.4405     0.7942     0.2743     0.4134

(1)이 맞는다. \(F = 2.086420\), 단측 \(p = 0.112914\)이고 둘째 호출이 \(F\)의 역수 \(0.479290\)에서 같은 p 값을 준다(보기 1의 항등식). 기각 임계값 \(s_1/s_2 \ge 1.654886\)도 확인되었다.

(2)에서 정규 줄만 명목을 지킨다. 양측 \(0.0496\), 단측 \(0.0504\)로 반복 20만 회의 몬테카를로(Monte Carlo) 오차 \(\pm0.001\) 안에서 \(0.05\)다. 나머지는 모두 벗어난다. 지수모집단에서 양측 실제 오류율이 \(0.2465\), 로그정규에서 \(0.4405\)다. 명목 5% 검정이 실제로는 25%와 44%다.

그런데 실제값이 극한값보다 작다. 지수에서 \(0.2465\) 대 \(0.3271\), 로그정규에서 \(0.4405\) 대 \(0.7942\)다. 두 값이 서로 어긋난 것이 아니라 5.10절이 설명한 수렴 방향이다. \(n\)이 작을 때는 \(F\) 분포 자체가 넓어 왜곡을 가려 주고, 표본을 키우면 그 가림막이 걷히면서 오류율이 올라간다. 5.10절의 모의실험에서 지수모집단이 \(n = 20\)에서 \(0.264\), \(n = 50\)에서 \(0.298\), \(n = 200\)에서 \(0.320\)으로 극한 \(0.327\)에 다가갔다. 여기 \((15, 12)\)의 \(0.2465\)는 그 수열의 앞자리에 놓이는 값이다.

균등 줄은 반대 방향의 같은 고장이다. \(\beta_2 = 1.8 < 3\)이라 실제 오류율이 \(0.0076\)으로 내려앉는다. 거짓 양성은 줄지만 그만큼 검정력을 버린 것이고, 첨도가 3에서 벗어나면 어느 쪽이든 명목이 지켜지지 않는다는 점이 요점이다.

그래서 이 함수의 독스트링이 말하는 바가 옳다. 등분산을 확인하려고 \(F\) 검정을 먼저 돌리는 것은, 정규성이라는 더 센 가정을 확인하지 않은 채 쓰는 일이 된다. 스튜던트 \(t\)를 쓸지 말지 고민하는 대신 웰치를 쓰면 그 고민 자체가 없어진다(5.7절 X̄₁ - X̄₂의 표집분포 (이분산과 불균형)).

왜도가 F 검정에 무엇을 하는가

등분산일 때 분산비의 표집분포

\(H_0\)이 참이면 \(S_1^2/S_2^2\)은 1 근처에 있으리라 기대하기 쉽다. 왼쪽 그림은 그 기대가 절반만 맞다는 것을 보여 준다. \(n_1 = n_2 = 10\)일 때 이 비의 중앙값은 정확히 1이지만, 가장 흔히 나오는 값, 곧 최빈값(mode)은 0.64이고 평균은 1.29다. 정규난수로 20만 쌍을 만들어 재 보면 중앙값 1.003, 평균 1.287, 1보다 클 확률 0.502로 이론값과 일치한다. 1보다 클 확률과 작을 확률은 정확히 반반인데도 모양은 전혀 대칭이 아니다. 아래쪽은 0이라는 벽에 눌려 있고 위쪽은 열려 있기 때문이다.

오른쪽 그림은 두 분산이 정말 같을 때 분산비가 들어가는 95% 범위를 표본크기별로 그린 것이다. \(n_1 = n_2 = 10\)이면 그 범위가 \((0.25,\ 4.03)\)이다. 두 공정의 산포가 완전히 같아도, 열 개씩 재어서는 분산비가 4분의 1에서 4배 사이 어디든 나올 수 있다. 1에서 아래로는 0.75, 위로는 3.03이니 덧셈으로 재면 네 배 차이지만, 나눗셈으로 재면 양쪽 모두 4.03이다. 이 그림의 가로축이 로그 척도인 것은 그 때문이다. 분산비의 산포는 덧셈이 아니라 곱셈으로 읽어야 좌우가 맞는다.

그래서 분산비의 신뢰구간도 점추정값을 한가운데 두지 않는다. 연습문제 13에서 얻는 \(\sigma_1^2/\sigma_2^2\)의 95% 구간 \((0.783,\ 4.501)\)을 보면, 점추정값 1.836에서 아래로 1.05, 위로 2.67로 덧셈 거리가 2.5배 차이 난다. 그런데 나눗셈으로 읽으면 아래로 \(\div 2.35\), 위로 \(\times 2.45\)로 거의 같다. 분산비는 "몇을 더하고 뺀 범위"가 아니라 "몇 배에서 몇 배 사이"로 보고해야 한다. 표본을 키워도 이 성질은 사라지지 않는다. \(n_1 = n_2 = 100\)에서도 등분산 아래의 95% 범위가 \((0.67,\ 1.49)\)로 여전히 1을 곱셈으로 감싸며, 표준편차로 옮기면 0.82배에서 1.22배에 해당한다.


5. 주의: 비정규성에 대한 민감성

F-검정은 정규성에서 벗어나는 데 극도로 민감하다. 바탕 모집단에 약한 왜도나 두꺼운 꼬리만 있어도 실제 제1종 오류율이 명목 수준 \(\alpha\)를 훨씬 넘을 수 있다. 모의실험 연구들은 적당히 치우친 분포에서 \(H_0\) 아래의 참 기각률이 명목값의 두세 배가 될 수 있음을 보였다.

이런 취약함 때문에 실무에서는 더 로버스트한 대안을 선호한다.

  • 레빈 검정은 각 관측값을 집단 평균(또는 중앙값)으로부터의 절대편차로 바꾼 뒤 그 편차에 표준적인 분산분석 F-검정을 적용한다. 비정규성에 로버스트하다.
  • 브라운–포사이드 검정은 평균 대신 집단 중앙값으로부터의 편차를 쓰는 레빈 검정의 변형으로, 치우친 분포에서 한층 더 로버스트하다.

F-검정을 언제 쓸 것인가

두 모집단이 정규라고 볼 근거가 설계에서 나올 때만 고전적인 F-검정을 쓰고, 그렇지 않으면 처음부터 레빈이나 브라운–포사이드 검정을 택한다. 정규성 검정으로 갈라서는 안 된다 — 연습문제 14의 점검표가 「등분산 사전검정 후 검정 선택」을 첫 잘못으로 꼽는 것과 같은 병이고, 어느 쪽이든 자료를 보고 절차를 고르면 \(\alpha\) 를 잃는다.


연습문제

연습문제 1. 정규모집단에서 뽑은 독립인 두 표본에서 \(s_1^2 = 25\) (\(n_1 = 16\)), \(s_2^2 = 10\) (\(n_2 = 21\))을 얻었다. \(\alpha = 0.05\)에서 \(H_0: \sigma_1^2 = \sigma_2^2\) 대 \(H_a: \sigma_1^2 \neq \sigma_2^2\)을 검정하라.

풀이

F-통계량은 이렇게 된다.

\[ F = \frac{s_1^2}{s_2^2} = \frac{25}{10} = 2.5 \]

\(H_0\) 아래에서 \(F \sim F_{n_1 - 1, n_2 - 1} = F_{15, 20}\)이다.

\(\alpha = 0.05\)의 양측검정에서 임계값은 \(F_{0.025, 15, 20} \approx 2.57\)과 \(F_{0.975, 15, 20} \approx 1/F_{0.025, 20, 15} \approx 1/2.76 \approx 0.362\)이다.

\(0.362 < 2.5 < 2.57\)이므로 검정통계량이 채택역 안에 있다. 5% 수준에서 \(H_0\)을 기각하지 못한다. 분산이 다르다고 결론지을 증거가 부족하다.


연습문제 2. 지금까지의 결과를 모아, 분산 비교가 필요한 실제 상황과 그때의 절차를 정리하라.

풀이

먼저 물을 것 — 분산 차이가 정말 연구 질문인가, 아니면 다른 검정의 가정 확인인가?

분산을 비교하려는 목적은?
    │
    ├─ 평균 검정의 가정 확인 ──────→ 하지 마라. 웰치를 쓴다.
    │                                (연습문제 10)
    │
    ├─ 분산 자체가 연구 질문
    │      │
    │      ├─ 자료가 정규에 가까운가
    │      │      ├─ 예 ────────→ F 검정 + 분산비 신뢰구간
    │      │      └─ 아니오 ────→ 브라운·포사이드 + 부트스트랩 구간
    │      │
    │      └─ 표본이 충분한가 (분산비 2에 군당 68개)
    │             └─ 아니면 "결정 불가"로 보고
    │
    └─ 이상치·꼬리가 진짜 관심 ───→ 분위수 비교, 로버스트 산포 측도

분산 자체가 연구 질문인 예.

분야 질문
품질관리 새 공정이 기존보다 일관적인가
교육 새 교수법이 성취도 격차를 줄이는가
금융 두 자산의 변동성이 다른가
의학 약물 반응의 개인차가 큰가(맞춤의학의 근거)
측정 두 기기의 재현성이 같은가

이런 경우 분산은 부차적 가정이 아니라 주된 결과다.

절차 여섯 단계.

  1. 자료를 그린다. 상자그림(box plot)과 정규분위수그림. 이상치(outlier) 하나가 \(S^2\)을 지배하는지 본다.
  2. 정규성을 판단한다. 검정보다 그림이 낫다. 왜도와 꼬리를 본다.
  3. 검정을 고른다. 정규에 가까우면 F, 아니면 브라운–포사이드.
  4. 구간을 함께 보고한다. \(p\)만으로는 "얼마나 다른가"를 알 수 없다.
  5. 표준편차 척도로 해석한다. 분산비 4는 표준편차 2배다. 독자가 이해하기 쉽다.
  6. 표본이 작으면 한계를 명시한다. 군당 20개로는 분산비 2를 30%만 잡는다.

자주 하는 실수 다섯.

  1. "\(p>0.05\)이니 등분산" — 연습문제 8·9가 따지는, 가장 흔하고 가장 해로운 오해.
  2. 큰 쪽을 분자에 두고 상단 \(\alpha\) 임계값 사용 — 수준이 두 배(연습문제 7).
  3. 비정규 자료에 F 검정 — 로그정규에서 수준 0.48(연습문제 6).
  4. 이상치 제거 후 재검정 — 분산 비교에서 이상치는 제거 대상이 아니라 자료의 일부일 때가 많다.
  5. 분산비와 표준편차비를 혼동 — 분산비 4를 "4배 차이"로 읽으면 안 된다. 표준편차로는 2배다.

한 문장. 분산 비교는 평균 비교보다 훨씬 까다롭다. 정규성에 예민하고, 검정력이 낮으며, 해석도 덜 직관적이다. 그러므로 정말 필요한 때만 하고, 가정 확인용으로는 아예 하지 않는다.


연습문제 3. 두 분산을 비교하는 F-검정이 정규성에서 벗어나는 데 민감한 이유를 설명하라. 어떤 대안 검정이 더 로버스트한가?

풀이

F-검정은 \(H_0\) 아래에서 비 \(s_1^2/s_2^2\)가 F-분포를 따른다는 데 기대며, 이는 두 모집단이 정확히 정규일 것을 요구한다. 표본분산은 (편차의 제곱을 쓰므로) 두꺼운 꼬리와 이상치에 민감하고, 그 비의 F-분포는 특히 취약하다: 정규성에서 조금만 벗어나도 제1종 오류율이 크게 부풀 수 있다.

모의실험 연구에 따르면 꼬리가 두꺼운 분포(예: 자유도가 작은 \(t\)-분포)에서는 명목 \(\alpha = 0.05\)인 F-검정의 실제 기각률이 15–20%를 넘을 수 있다.

로버스트한 대안은 이렇다.

  • 레빈 검정: 집단 평균으로부터의 절대편차에 기반한다.
  • 브라운–포사이드 검정: 집단 중앙값으로부터의 절대편차에 기반한다(더 로버스트하다).
  • 바틀렛 검정: 정규성 아래에서 검정력이 더 크지만 비정규성에는 역시 민감하다.

연습문제 4. 표본분산의 카이제곱분포(chi-squared distribution)에서 F-검정통계량을 유도하라. 즉 정규성 아래에서 \((s_1^2/\sigma_1^2)/(s_2^2/\sigma_2^2) \sim F_{n_1-1, n_2-1}\)임을 보여라.

풀이

정규성 아래에서 이렇게 된다.

\[ \frac{(n_1-1)s_1^2}{\sigma_1^2} \sim \chi^2_{n_1-1}, \quad \frac{(n_2-1)s_2^2}{\sigma_2^2} \sim \chi^2_{n_2-1} \]

이고 (표본이 독립이므로) 둘은 독립이다. 정의에 의해 각각을 자유도로 나눈 독립인 두 카이제곱 확률변수의 비는 F-분포를 따른다.

\[ F = \frac{\chi^2_{n_1-1}/(n_1-1)}{\chi^2_{n_2-1}/(n_2-1)} = \frac{s_1^2/\sigma_1^2}{s_2^2/\sigma_2^2} \]

\(H_0: \sigma_1^2 = \sigma_2^2\) 아래에서 이는 \(F = s_1^2/s_2^2 \sim F_{n_1-1, n_2-1}\)로 간단해진다. \(\square\)


연습문제 5. \(F = s_1^2/s_2^2 \sim F_{d_1, d_2}\)이면 \(1/F = s_2^2/s_1^2 \sim F_{d_2, d_1}\)임을 보여라. 이 성질이 양측검정에서 왜 중요한가?

풀이

독립인 \(U \sim \chi^2_{d_1}\), \(V \sim \chi^2_{d_2}\)에 대해 \(F = (U/d_1)/(V/d_2)\)이면,

\[ \frac{1}{F} = \frac{V/d_2}{U/d_1} \sim F_{d_2, d_1} \]

이다. 분자와 분모의 역할을 바꾼 F-분포의 정의에서 곧바로 나온다.

F-분포가 대칭이 아니므로 이 성질이 양측검정에서 중요하다. 아래쪽 임계값 \(F_{1-\alpha/2, d_1, d_2}\)은 \(1/F_{\alpha/2, d_2, d_1}\)로 계산할 수 있는데, 많은 표가 위쪽 꼬리 임계값만 제공하므로 유용하다. 또한 이 때문에 관례적으로 더 큰 분산을 분자에 두어(\(F \geq 1\)) 양측검정을 위쪽 꼬리만 보는 형태로 바꾼다.


연습문제 6. 연습문제 3의 "실제 기각률이 15~20%를 넘을 수 있다"는 주장을 모의실험으로 확인하라. 여러 분포에서 F 검정과 로버스트 대안들의 제1종 오류율을 비교하라.

풀이
import numpy as np
from scipy import stats

rng = np.random.default_rng(2024)
M, n1, n2 = 20_000, 20, 20

def gen(name, size):
    if name == "정규":    return rng.standard_normal(size)
    if name == "균등":    return rng.uniform(-1, 1, size)
    if name == "t(5)":    return rng.standard_t(5, size)
    if name == "지수":    return rng.exponential(1, size)
    if name == "로그정규": return rng.lognormal(0, 1, size)

print(f"{'분포':>8s} {'F 검정':>8s} {'Levene':>8s} {'B-F':>8s} {'Bartlett':>9s}")
for name in ["정규", "균등", "t(5)", "지수", "로그정규"]:
    f = lev = bf = bar = 0
    for _ in range(M):
        x, y = gen(name, n1), gen(name, n2)     # 두 분산이 실제로 같다
        F = x.var(ddof=1) / y.var(ddof=1)
        p = 2 * min(stats.f.cdf(F, n1 - 1, n2 - 1),
                    stats.f.sf(F, n1 - 1, n2 - 1))
        f   += p < 0.05
        lev += stats.levene(x, y, center='mean').pvalue < 0.05
        bf  += stats.levene(x, y, center='median').pvalue < 0.05
        bar += stats.bartlett(x, y).pvalue < 0.05
    print(f"{name:>8s} {f / M:8.4f} {lev / M:8.4f} "
          f"{bf / M:8.4f} {bar / M:9.4f}")
      분포     F 검정   Levene      B-F  Bartlett
      정규   0.0491   0.0539   0.0386    0.0491
      균등   0.0046   0.0556   0.0344    0.0046
    t(5)   0.1590   0.0559   0.0395    0.1590
      지수   0.2677   0.1438   0.0465    0.2677
    로그정규   0.4813   0.1905   0.0391    0.4813

주장이 오히려 보수적이었다.

분포 F 검정 진단
정규 0.0491 정확
균등(첨도 \(<3\)) 0.0046 극단적으로 보수적
\(t_5\)(첨도 \(>3\)) 0.1590 명목의 3배
지수 0.2677 명목의 5배
로그정규 0.4813 명목의 10배

로그정규에서는 두 분산이 정확히 같은데도 절반 가까이 기각한다. 이 검정은 쓸 수 없다.

첨도가 원인이다. \(S^2\)의 분산은 모집단 첨도 \(\beta_2\)에 의존한다.

\[ \operatorname{Var}(S^2)=\frac{\sigma^4}{n}\Bigl(\beta_2-\frac{n-3}{n-1}\Bigr) \]

F 분포는 정규의 \(\beta_2=3\)을 전제로 유도됐다. 첨도가 크면 \(S^2\)이 실제보다 훨씬 많이 흔들리는데 F 분포는 그 변동을 모르므로 과대기각한다. 첨도가 작으면(균등의 \(\beta_2=1.8\)) 반대로 과소기각한다.

따라서 "F 검정은 항상 과대기각한다"는 말은 틀렸다. 첨도의 방향에 따라 양쪽으로 어긋난다. 어느 쪽이든 믿을 수 없다는 것이 요점이다.

로버스트 대안의 성적.

  • 브라운–포사이드(중앙값 기준 레빈, center='median'): 모든 분포에서 0.034~0.047. 유일하게 안전하다. 다만 약간 보수적이다.
  • 레빈(평균 기준): 대칭분포에서는 좋지만 치우친 분포에서 무너진다(로그정규 0.1905).
  • 바틀렛: F 검정과 완전히 같은 결과를 냈다. 두 집단이고 \(n_1=n_2\)이면 두 검정이 \(|\log(S_1^2/S_2^2)|\)의 단조함수로 동치이기 때문이다. 따라서 바틀렛은 로버스트한 대안이 아니다.

권고. 분산 비교가 필요하면 브라운–포사이드를 쓴다. F 검정은 정규성을 따로 확인했을 때만 쓴다.


연습문제 7. "큰 분산을 분자에 둔다"는 관례를 쓸 때 임계값을 어떻게 잡아야 하는가? 잘못 잡으면 어떻게 되는지 모의실험으로 보여라.

풀이

관례의 내용. \(F=\max(S_1^2,S_2^2)/\min(S_1^2,S_2^2)\ge1\)로 두면 위쪽 꼬리만 보면 된다. 표가 위쪽 임계값만 싣던 시절의 실용적 장치다.

함정. 이렇게 만든 \(F\)는 \(F_{d_1,d_2}\)를 따르지 않는다. 두 비 중 큰 쪽을 고른 최댓값이기 때문이다. 그런데도 상단 \(\alpha\) 임계값을 쓰면 수준이 두 배가 된다.

import numpy as np
from scipy import stats

rng = np.random.default_rng(11)
M, n1, n2 = 50_000, 15, 15
a = b = c = 0
for _ in range(M):
    x, y = rng.standard_normal(n1), rng.standard_normal(n2)
    s1, s2 = x.var(ddof=1), y.var(ddof=1)

    if s1 >= s2:                        # 큰 쪽을 분자로
        F, d1, d2 = s1 / s2, n1 - 1, n2 - 1
    else:
        F, d1, d2 = s2 / s1, n2 - 1, n1 - 1

    a += F > stats.f.ppf(0.95, d1, d2)    # ① 상단 0.05  ← 흔한 실수
    b += F > stats.f.ppf(0.975, d1, d2)   # ② 상단 0.025 ← 올바름

    F_fixed = s1 / s2                     # ③ 분자를 고정한 정식 양측
    p = 2 * min(stats.f.cdf(F_fixed, n1 - 1, n2 - 1),
                stats.f.sf(F_fixed, n1 - 1, n2 - 1))
    c += p < 0.05

print(f"① 큰 쪽 분자 + 상단 0.05   기각률 {a / M:.4f}")
print(f"② 큰 쪽 분자 + 상단 0.025  기각률 {b / M:.4f}")
print(f"③ 분자 고정 + 정식 양측    기각률 {c / M:.4f}")
① 큰 쪽 분자 + 상단 0.05   기각률 0.1008
② 큰 쪽 분자 + 상단 0.025  기각률 0.0508
③ 분자 고정 + 정식 양측    기각률 0.0508

①은 수준이 정확히 두 배(0.101)다. ②와 ③은 일치한다.

왜 정확히 두 배인가. \(H_0\) 아래에서 \(S_1^2>S_2^2\)와 \(S_1^2<S_2^2\)가 각각 확률 \(1/2\)이고, 두 경우가 대칭이다. "큰 쪽/작은 쪽"의 비가 상단 \(\alpha\) 임계값을 넘을 확률은

\[ P\Bigl(\tfrac{S_1^2}{S_2^2}>c\Bigr)+P\Bigl(\tfrac{S_2^2}{S_1^2}>c\Bigr)=2\alpha \]

가 된다. 두 꼬리를 한 꼬리인 척 본 것이다.

실무 규칙.

  1. 관례를 쓸 거면 \(\alpha/2\) 임계값을 쓴다.
  2. 단측검정에는 관례를 쓰면 안 된다. "1군의 분산이 더 크다"를 검정하려면 분자를 가설이 정한 대로 고정해야 한다. 자료를 보고 큰 쪽을 분자로 올리면 그 순간 단측검정이 아니다.
  3. 소프트웨어를 쓰면 이 문제가 없다. scipy로 양측 \(p\)를 직접 계산하면 된다.

연습문제 8. 분산비 \(\sigma_1^2/\sigma_2^2\)의 신뢰구간을 유도하고, 연습문제 1의 자료에 적용하라. 구간의 포함률이 비정규성에서 어떻게 되는지도 확인하라.

풀이

유도. 연습문제 4에서

\[ \frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2}\sim F_{d_1,d_2}, \qquad d_1=n_1-1,\ d_2=n_2-1 \]

이므로

\[ P\Bigl(F_{\alpha/2,d_1,d_2}<\frac{S_1^2/S_2^2}{\sigma_1^2/\sigma_2^2}<F_{1-\alpha/2,d_1,d_2}\Bigr)=1-\alpha \]

이고, 가운데를 \(\sigma_1^2/\sigma_2^2\)에 대해 풀면

\[ \frac{S_1^2/S_2^2}{F_{1-\alpha/2,d_1,d_2}}<\frac{\sigma_1^2}{\sigma_2^2}<\frac{S_1^2/S_2^2}{F_{\alpha/2,d_1,d_2}} \]

나누는 임계값의 첨자가 뒤집힌다는 점에 주의한다. 여기서 \(F_{q,d_1,d_2}\) 는 아래쪽 누적확률이 \(q\) 인 분위수다 — 본문 4절이 쓴 상위 \(\alpha\) 임계값 표기와 첨자의 뜻이 반대이고, 아래 코드의 ppf(0.975)·ppf(0.025) 가 이 표기와 맞는다.

import numpy as np
from scipy import stats

s1sq, n1 = 25.0, 16
s2sq, n2 = 10.0, 21
F = s1sq / s2sq
d1, d2 = n1 - 1, n2 - 1
lo = F / stats.f.ppf(0.975, d1, d2)
hi = F / stats.f.ppf(0.025, d1, d2)
print(f"F = {F}")
print(f"σ1²/σ2² 의 95% 구간  ({lo:.4f}, {hi:.4f})")
print(f"σ1/σ2   의 95% 구간  ({np.sqrt(lo):.4f}, {np.sqrt(hi):.4f})")
F = 2.5
σ1²/σ2² 의 95% 구간  (0.9716, 6.8898)
σ1/σ2   의 95% 구간  (0.9857, 2.6248)

구간이 1을 아슬아슬하게 포함한다(하한 0.972). 연습문제 1에서 기각하지 못한 것과 일치한다.

구간이 훨씬 많은 것을 말해 준다. \(p>0.05\)만 보면 "분산이 같을지도"로 끝나지만, 구간은 비가 0.97배에서 6.9배 사이라고 알려준다. 7배까지 가능한 상황에서 "분산이 같다"고 가정하는 것은 무모하다. 기각하지 못한 것을 등분산의 근거로 삼으면 안 된다는 점이 여기서 분명해진다.

표준편차 척도로 보는 편이 해석하기 쉽다. 제곱근을 취해 \((0.99,\ 2.62)\)다.

비정규성에서의 포함률.

rng = np.random.default_rng(5)
M = 20_000
for name, gen in [("정규", lambda n: rng.standard_normal(n)),
                  ("t(5)", lambda n: rng.standard_t(5, n)),
                  ("균등", lambda n: rng.uniform(-1, 1, n))]:
    cov = 0
    for _ in range(M):
        x, y = gen(16), gen(21)          # 참 비 = 1
        f = x.var(ddof=1) / y.var(ddof=1)
        l = f / stats.f.ppf(0.975, 15, 20)
        h = f / stats.f.ppf(0.025, 15, 20)
        cov += (l <= 1 <= h)
    print(f"{name:>5s}  포함률 {cov / M:.4f}")
   정규  포함률 0.9497
 t(5)  포함률 0.8462
   균등  포함률 0.9940

검정과 같은 병을 앓는다. 이 구간도 \(F\) 분포에 의존하므로 \(t_5\)에서 포함률이 0.846까지 떨어진다. 분산비의 구간 추정도 정규성 없이는 믿을 수 없다.

대안. 부트스트랩(특히 BCa)이나 보넷(2006)의 첨도 보정 구간을 쓴다.


연습문제 9. F 검정의 검정력을 계산하고, 주어진 분산비를 탐지하는 데 필요한 표본크기를 구하라. 결과가 시사하는 바를 논하라.

풀이

검정력 공식. 참 비를 \(r=\sigma_1^2/\sigma_2^2\)라 하면 \(\dfrac{S_1^2/S_2^2}{r}\sim F_{d_1,d_2}\)이므로

\[ \text{검정력}=P\Bigl(\frac{F_{d_1,d_2}\cdot r}{1}<F_{\alpha/2}\Bigr)+P\bigl(F_{d_1,d_2}\cdot r>F_{1-\alpha/2}\bigr) \]

비중심 분포가 필요 없다. 중심 \(F\) 분포를 \(r\)만큼 늘여 보면 된다.

from scipy import stats

def power_F(n1, n2, ratio, alpha=0.05):
    """참 분산비가 ratio 일 때 양측 F 검정의 검정력."""
    d1, d2 = n1 - 1, n2 - 1
    lo = stats.f.ppf(alpha / 2, d1, d2)
    hi = stats.f.ppf(1 - alpha / 2, d1, d2)
    return stats.f.cdf(lo / ratio, d1, d2) + stats.f.sf(hi / ratio, d1, d2)

print(f"{'군당 n':>7s} {'비=1.5':>8s} {'비=2':>8s} {'비=3':>8s} {'비=4':>8s}")
for n in [10, 20, 30, 50, 100, 200]:
    row = " ".join(f"{power_F(n, n, r):8.4f}" for r in [1.5, 2, 3, 4])
    print(f"{n:7d} {row}")

print()
for r in [1.5, 2, 3, 4]:
    for n in range(4, 5_000):
        if power_F(n, n, r) >= 0.80:
            print(f"분산비 {r} 탐지에 필요한 군당 표본 {n}개 (검정력 80%)")
            break
   군당 n    비=1.5      비=2      비=3      비=4
     10   0.0854   0.1584   0.3347   0.4964
     20   0.1352   0.3083   0.6441   0.8375
     30   0.1862   0.4478   0.8285   0.9559
     50   0.2880   0.6703   0.9673   0.9976
    100   0.5183   0.9293   0.9997   1.0000
    200   0.8140   0.9982   1.0000   1.0000

분산비 1.5 탐지에 필요한 군당 표본 193개 (검정력 80%)
분산비 2 탐지에 필요한 군당 표본 68개 (검정력 80%)
분산비 3 탐지에 필요한 군당 표본 28개 (검정력 80%)
분산비 4 탐지에 필요한 군당 표본 19개 (검정력 80%)

분산 검정은 평균 검정보다 훨씬 둔하다. 분산이 2배 차이나도(표준편차로는 1.41배) 군당 50개로 검정력이 0.67에 그친다. 평균 비교에서는 같은 표본으로 중간 크기 효과를 충분히 잡는다.

왜 그런가. \(S^2\)의 상대표준오차가 대략 \(\sqrt{2/(n-1)}\)인데, \(n = 50\) 에서도 이 값이 \(\sqrt{2/49} \approx 0.20\) 이다. 쉰 개를 재고도 분산을 \(20\%\) 안팎의 오차로밖에 모르는 셈이니, 두 배가 안 되는 비를 가려내기 어렵다. 분산은 2차 적률이라 표본 하나가 주는 정보가 적다.

이것이 등분산 사전검정의 치명적 약점이다. 군당 10개에서 분산비 2를 탐지할 확률이 0.158이다. 즉

  • 분산이 실제로 2배 달라도 84%의 확률로 "같다"고 넘어간다.
  • 그러고는 스튜던트 \(t\) 검정을 쓴다.

"기각하지 못함"이 "같음"의 근거가 될 수 없다는 원칙이 여기서 가장 뼈아프게 적용된다.

거꾸로, \(n\)이 아주 크면 실질적으로 무의미한 차이(비 1.05)도 유의해진다. 그러면 이번엔 불필요하게 스튜던트 \(t\)를 버린다. 어느 쪽이든 사전검정은 제 역할을 못 한다.


연습문제 10. "먼저 F 검정으로 등분산을 확인하고, 통과하면 스튜던트 \(t\) 검정, 아니면 웰치 검정"이라는 2단계 절차의 제1종 오류율을 모의실험으로 조사하라.

풀이
import numpy as np
from scipy import stats

rng = np.random.default_rng(31)
M = 20_000

print(f"{'n1,n2':>9s} {'σ2/σ1':>7s} {'스튜던트 t':>8s} {'Welch':>8s} {'2단계':>8s}")
for n1, n2 in [(10, 10), (10, 30), (30, 10)]:
    for r in [1.0, 2.0, 4.0]:
        a = b = c = 0
        for _ in range(M):
            x = rng.standard_normal(n1)          # 두 평균이 같다 (H0 참)
            y = rng.standard_normal(n2) * r
            p_pool = stats.ttest_ind(x, y, equal_var=True).pvalue
            p_welch = stats.ttest_ind(x, y, equal_var=False).pvalue
            s1, s2 = x.var(ddof=1), y.var(ddof=1)
            F = s1 / s2
            p_F = 2 * min(stats.f.cdf(F, n1 - 1, n2 - 1),
                          stats.f.sf(F, n1 - 1, n2 - 1))
            p_two = p_welch if p_F < 0.05 else p_pool   # 2단계 절차
            a += p_pool < 0.05
            b += p_welch < 0.05
            c += p_two < 0.05
        print(f"{n1:4d},{n2:<4d} {r:7.1f} {a / M:8.4f} "
              f"{b / M:8.4f} {c / M:8.4f}")
    n1,n2   σ2/σ1   스튜던트 t    Welch      2단계
  10,10       1.0   0.0527   0.0517   0.0524
  10,10       2.0   0.0530   0.0490   0.0502
  10,10       4.0   0.0609   0.0503   0.0507
  10,30       1.0   0.0488   0.0495   0.0503
  10,30       2.0   0.0089   0.0491   0.0392
  10,30       4.0   0.0029   0.0476   0.0476
  30,10       1.0   0.0512   0.0525   0.0530
  30,10       2.0   0.1499   0.0529   0.0717
  30,10       4.0   0.2402   0.0476   0.0483

웰치는 아홉 칸 모두에서 0.048~0.053이다. 흠잡을 데가 없다.

스튜던트 \(t\)는 표본크기가 다를 때 무너진다.

표에서 \(r = \sigma_2/\sigma_1\)이므로 분산이 큰 쪽은 언제나 둘째 표본, 곧 \(n_2\)인 쪽이다.

  • 큰 표본에 큰 분산(\(n_1{=}10\), \(n_2{=}30\) · \(r=2\)): 0.0089로 극단적으로 보수적.
  • 작은 표본에 큰 분산(\(n_1{=}30\), \(n_2{=}10\) · \(r=2\)): 0.1499로 명목의 3배. 위험하다.

방향이 이렇게 갈리는 이유는 합동분산(pooled variance) \(S_p^2\)이 자유도로 가중하기 때문이다. 큰 표본의 분산이 크면 \(S_p^2\)이 작은 집단의 참분산보다 과대평가되어 표준오차가 부풀고 검정이 보수적이 되며, 작은 표본의 분산이 크면 그 큰 분산이 가중에서 밀려나 표준오차가 과소평가되고 검정이 명목 수준보다 자주 기각한다.

  • \(n_1=n_2\)이면 \(r=4\)에서도 0.0609로 견딜 만하다. 스튜던트 \(t\)가 "동일 표본크기에서는 로버스트하다"는 말의 근거다.

2단계 절차는 절반만 고친다. 2단계 절차가 가장 크게 어긋나는 칸(\(n_1{=}30\), \(n_2{=}10\) · \(r=2\))에서 0.1499를 0.0717로 낮췄지만 여전히 명목의 1.4배다. (\(n_1{=}10\), \(n_2{=}30\) · \(r=2\))에서는 0.0392로 이번엔 지나치게 보수적이다.

왜 못 고치는가. 연습문제 9의 검정력 공식을 \(n_1=30\), \(n_2=10\)에 적용하면(\(\sigma_1^2/\sigma_2^2 = 1/4\), 곧 \(r=2\)) 그 분산 차이를 탐지할 확률이 \(0.75\)다. 분산 차이를 놓친 나머지 25%가 그대로 스튜던트 \(t\)로 넘어가 오류를 만든다. 게다가

  1. 선택 자체가 조건화를 만든다. "F가 유의하지 않았다"는 조건 아래에서는 \(S_1^2/S_2^2\)가 1 근처로 잘려 있고, 그 조건부 분포에서 스튜던트 \(t\)가 명목 수준을 지키지 않는다.
  2. 두 단계가 같은 자료를 쓴다. 사전검정과 본검정이 독립이 아니다.

결론 — 사전검정하지 말고 그냥 웰치를 쓴다.

스튜던트 \(t\) 2단계 웰치
등분산일 때 검정력 최선 최선에 근접 거의 같음
이분산일 때 수준 무너짐 지키지 못함 정확
절차의 단순함 단순 복잡 단순

등분산일 때 웰치가 잃는 검정력은 미미하다. 잃을 것이 거의 없고 얻을 것이 많다. R의 t.test가 웰치를 기본값으로 삼는 이유다(scipy의 ttest_ind는 기본값이 합동이라 위 코드처럼 equal_var=False를 명시해야 한다).

연습문제 11. 두 생산라인의 표본에서 \(s_1 = 4.2\) (\(n_1 = 20\)), \(s_2 = 3.1\) (\(n_2 = 25\))을 얻었다. \(\alpha = 0.05\)에서 \(H_0\colon \sigma_1^2 = \sigma_2^2\) 대 \(H_a\colon \sigma_1^2 \neq \sigma_2^2\)을 검정하라.

풀이

F-통계량은

\[ F = \frac{4.2^2}{3.1^2} = \frac{17.64}{9.61} \approx 1.836. \]

자유도는 \((19, 24)\)이다. 양측검정의 p 값은 \(2 \times \min(P(F \leq 1.836),\, P(F \geq 1.836))\)이다. 표나 소프트웨어로 구하면 \(P(F_{19,24} \geq 1.836) \approx 0.080\)이므로 양측 p 값은 약 \(0.160\)이다. \(0.160 > 0.05\)이므로 \(H_0\)을 기각하지 못한다. \(\square\)


연습문제 12. \(\alpha = 0.10\), \(n_1 = 10\), \(n_2 = 8\)인 양측 F-검정에서 \(P(F_L < F < F_U) = 0.90\)이 되는 임계값 \(F_L\)과 \(F_U\)를 구하라.

풀이

자유도는 \((\nu_1, \nu_2) = (9, 7)\)이다. 아래에서 \(F_{0.95,\,\nu_1,\,\nu_2}\) 는 아래쪽 누적확률이 \(0.95\) 인 분위수다. 위쪽 임계값은

\[ F_U = F_{0.95,\,9,\,7} \approx 3.677. \]

아래쪽 임계값은 역수 성질을 쓴다.

\[ F_L = \frac{1}{F_{0.95,\,7,\,9}} \approx \frac{1}{3.293} \approx 0.304. \]

채택역은 \(0.304 < F < 3.677\)이다. 관측된 F가 이 구간 밖이면 \(H_0\)을 기각한다. \(\square\)


연습문제 13. 연습문제 5의 성질 \(1/F\sim F_{\nu_2,\nu_1}\)을 수치로 확인하고, 이를 이용해 양측 임계값을 구하는 함수를 작성하라. 연습문제 11과 12의 답을 이 함수로 검산하라.

풀이

확인할 항등식.

\[ F_{\alpha/2,\,\nu_1,\nu_2}=\frac{1}{F_{1-\alpha/2,\,\nu_2,\nu_1}} \]

즉 아래쪽 임계값은 자유도를 뒤바꾼 위쪽 임계값의 역수다. 여기서도 연습문제 8·12처럼 첨자는 아래쪽 누적확률이다.

import numpy as np
from scipy import stats

print(f"{'ν1':>4s} {'ν2':>4s} {'F(0.025)':>10s} {'F(0.975)':>10s} "
      f"{'1/F(0.975; ν2,ν1)':>19s}")
for v1, v2 in [(9, 7), (19, 24), (15, 20), (5, 5), (30, 10)]:
    lo = stats.f.ppf(0.025, v1, v2)
    hi = stats.f.ppf(0.975, v1, v2)
    check = 1 / stats.f.ppf(0.975, v2, v1)
    print(f"{v1:4d} {v2:4d} {lo:10.5f} {hi:10.5f} {check:19.5f}")

def f_test_var_ratio(s1, n1, s2, n2, alpha=0.05):
    """양측 F 검정. (F, p, 아래 임계값, 위 임계값) 을 돌려준다."""
    d1, d2 = n1 - 1, n2 - 1
    F = s1**2 / s2**2
    p = 2 * min(stats.f.cdf(F, d1, d2), stats.f.sf(F, d1, d2))
    return (F, p,
            stats.f.ppf(alpha / 2, d1, d2),
            stats.f.ppf(1 - alpha / 2, d1, d2))

F, p, lo, hi = f_test_var_ratio(4.2, 20, 3.1, 25)
print(f"\n연습문제 1: F={F:.4f}  p={p:.4f}  기각역 밖: ({lo:.4f}, {hi:.4f})")
print(f"  → {'기각' if not (lo < F < hi) else '기각하지 못함'}")

_, _, lo, hi = f_test_var_ratio(1, 10, 1, 8, alpha=0.10)
print(f"연습문제 2: α=0.10, ν=(9,7)  F_L={lo:.4f}  F_U={hi:.4f}")
  ν1   ν2   F(0.025)   F(0.975)   1/F(0.975; ν2,ν1)
   9    7    0.23826    4.82322             0.23826
  19   24    0.40778    2.34515             0.40778
  15   20    0.36286    2.57310             0.36286
   5    5    0.13993    7.14638             0.13993
  30   10    0.39822    3.31102             0.39822

연습문제 1: F=1.8356  p=0.1600  기각역 밖: (0.4078, 2.3452)
  → 기각하지 못함
연습문제 2: α=0.10, ν=(9,7)  F_L=0.3037  F_U=3.6767

마지막 두 열이 소수점 다섯째 자리까지 일치한다. 항등식이 확인됐다. 출력 끝의 「연습문제 1」·「연습문제 2」 줄은 각각 이 쪽의 연습문제 11·12 의 자료를 넣은 것이다.

\(\nu_1=\nu_2=5\)인 행에 주목하라. 임계값이 \((0.140,\ 7.146)\)이다. 분산비가 7배가 넘어야 기각한다는 뜻이다. 자유도가 작을 때 F 검정이 얼마나 둔한지 보여 준다.

왜 항등식이 유용한가.

  1. 옛 표에는 위쪽 꼬리만 실려 있었다. 아래쪽 임계값을 이 관계로 구했다.
  2. 수치적으로 안정적이다. 아주 작은 분위수(quantile)를 직접 계산하는 것보다 역수를 취하는 쪽이 정밀도가 높을 수 있다.
  3. 개념적으로, 어느 집단을 "1번"이라 부르든 결론이 같아야 한다는 대칭성을 보장한다.

연습문제 11을 다시 보면. \(F=1.836\)이 \((0.408,\ 2.345)\) 안에 있어 기각하지 못한다. 다만 \(p=0.160\)이고 연습문제 8·9에서 본 대로 "기각하지 못함"이 "분산이 같음"은 아니다. 실제로 \(\sigma_1^2/\sigma_2^2\)의 95% 구간은

\[ \Bigl(\frac{1.836}{2.345},\ \frac{1.836}{0.408}\Bigr)=(0.783,\ 4.501) \]

로, 4.5배 차이까지 자료와 양립한다.


연습문제 14. 분산비 검정을 쓸 때의 점검 목록을 만들어라.

풀이

사용 전 점검.

  • [ ] 이것이 진짜 연구 질문인가? 평균 검정의 가정 확인이 목적이라면 하지 말고 웰치를 쓴다.
  • [ ] 두 표본이 독립인가? 대응 자료라면 차이의 분산을 봐야 한다.
  • [ ] 각 표본이 확률표본인가? 군집이나 시계열 구조가 있으면 유효 표본크기가 작다.
  • [ ] 정규성을 그림으로 확인했는가? 정규분위수그림이 검정보다 유용하다.
  • [ ] 이상치가 분산을 지배하지 않는가? 하나의 관측값이 \(S^2\)의 절반을 만들 수 있다.
  • [ ] 표본이 충분한가? 분산비 2를 80% 검정력으로 잡으려면 군당 68개가 필요하다.

검정 선택.

조건 검정
정규에 가깝고 집단 2개 F 검정
비정규, 집단 2개 브라운–포사이드
집단 3개 이상, 정규 바틀렛
집단 3개 이상, 비정규 브라운–포사이드
심한 왜도 로그변환 후 검정, 또는 부트스트랩
이상치 있음 로버스트 산포 측도(MAD, \(Q_n\)) 비교

보고 시 점검.

  • [ ] 분산비의 신뢰구간을 함께 보고했는가
  • [ ] 표준편차 척도로도 제시했는가(분산비 4 = 표준편차 2배)
  • [ ] 어느 검정을 왜 썼는지 밝혔는가
  • [ ] "기각하지 못함"을 "같음"으로 쓰지 않았는가
  • [ ] 표본크기가 작다면 한계를 명시했는가

자주 하는 실수 다섯.

  1. 등분산 사전검정 후 검정 선택 — 2단계 절차의 문제(연습문제 10).
  2. 큰 쪽을 분자에 두고 상단 \(\alpha\) 임계값 — 수준이 두 배.
  3. 비정규 자료에 F 검정 — 로그정규에서 수준 0.48까지.
  4. \(p>0.05\)를 등분산의 증거로 사용 — 가장 흔하고 해로운 오해.
  5. 분산비를 배수로 잘못 읽기 — 분산비 4는 산포가 4배가 아니라 2배다.

핵심 요약 세 줄.

  1. 분산 비교는 평균 비교보다 훨씬 어렵다. 정규성에 예민하고 검정력이 낮다.
  2. 가정 확인용으로는 쓰지 않는다. 웰치 검정과 브라운–포사이드 검정처럼 가정을 덜 요구하는 방법을 기본으로 삼는다.
  3. 분산 자체가 관심일 때는 구간과 실무적 의미를 함께 본다. 공정능력이나 품질 지표로 환산하면 \(p\) 값보다 훨씬 많은 것을 말해 준다.

연습문제 15. 독립인 두 카이제곱 확률변수의 비에서 F-검정통계량을 유도하라.

풀이

정규성 아래에서 \(i = 1, 2\)에 대해 \((n_i - 1)S_i^2/\sigma_i^2 \sim \chi^2_{n_i - 1}\)이고 둘은 독립이다. F-분포는 독립인 두 카이제곱 변수를 각각의 자유도로 나눈 비로 정의된다.

\[ F = \frac{\chi^2_{n_1-1}/(n_1-1)}{\chi^2_{n_2-1}/(n_2-1)} = \frac{(n_1-1)S_1^2/\sigma_1^2/(n_1-1)}{(n_2-1)S_2^2/\sigma_2^2/(n_2-1)} = \frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2}. \]

\(H_0\colon \sigma_1^2/\sigma_2^2 = \theta_0\) 아래에서 이는 \(F = (S_1^2/S_2^2)/\theta_0 \sim F_{n_1-1,\,n_2-1}\)로 간단해진다. \(\square\)


연습문제 16. 분산에 대한 F-검정이 평균에 대한 t-검정보다 비정규성에 민감한 이유를 설명하라. 어떤 대안이 있는가?

풀이

t-검정은 중심극한정리 덕분에 \(n\)이 적당하면 \(\bar{X}\)의 표집분포(sampling distribution)가 근사적으로 정규이므로 웬만한 비정규성에 로버스트하다. 그러나 \(S^2\)의 분포는 모집단의 첨도에 의존한다. 꼬리가 두꺼운 분포에서는 \(S^2\)의 변동이 카이제곱분포가 예측하는 것보다 훨씬 커서 F-비가 왜곡된다. 따라서 분산에 대한 F-검정은 비정규성 아래에서 제1종 오류율이 부풀려진다.

대안은 이렇다.

  • 레빈 검정: 평균으로부터의 절대편차를 쓰며 비정규성에 로버스트하다.
  • 브라운–포사이드 검정: 레빈 검정에서 평균 대신 중앙값을 쓴다.
  • 바틀렛 검정: 가능도비(likelihood ratio) 검정이며 비정규성에는 여전히 민감하지만 분산분석 맥락에서 흔히 쓰인다.
  • 부트스트랩 방법: 재표본추출에 기반한 비모수적 분산 비교. \(\square\)

연습문제 17. \(F \sim F_{\nu_1, \nu_2}\)이면 \(1/F \sim F_{\nu_2, \nu_1}\)임을 보여라.

풀이

정의에 의해 독립인 \(U \sim \chi^2_{\nu_1}\), \(V \sim \chi^2_{\nu_2}\)에 대해 \(F = (U/\nu_1)/(V/\nu_2)\)이다. 그러면

\[ \frac{1}{F} = \frac{V/\nu_2}{U/\nu_1}, \]

이는 \(\chi^2_{\nu_2}/\nu_2\)와 \(\chi^2_{\nu_1}/\nu_1\)의 비이다. 정의에 의해 이것이 \(F_{\nu_2,\nu_1}\)이다. \(\square\)


연습문제 18. 집단이 셋 이상일 때 모든 쌍에 F 검정을 하면 어떻게 되는가? 옴니버스 검정과 비교하라.

풀이
import numpy as np
from scipy import stats
from itertools import combinations

rng = np.random.default_rng(2718)
M, n = 10_000, 20

print(f"{'집단 수':>7s} {'쌍':>4s} {'쌍별 F(무보정)':>15s} {'본페로니':>10s} "
      f"{'바틀렛':>8s} {'B-F':>8s}")
for k in [2, 3, 5, 8]:
    n_pair = k * (k - 1) // 2
    a = b = c = d = 0
    for _ in range(M):
        g = [rng.standard_normal(n) for _ in range(k)]   # 모든 분산이 같다
        ps = []
        for i, j in combinations(range(k), 2):
            F = g[i].var(ddof=1) / g[j].var(ddof=1)
            ps.append(2 * min(stats.f.cdf(F, n - 1, n - 1),
                              stats.f.sf(F, n - 1, n - 1)))
        ps = np.array(ps)
        a += (ps < 0.05).any()
        b += (ps < 0.05 / n_pair).any()
        c += stats.bartlett(*g).pvalue < 0.05
        d += stats.levene(*g, center='median').pvalue < 0.05
    print(f"{k:7d} {n_pair:4d} {a / M:15.4f} {b / M:10.4f} "
          f"{c / M:8.4f} {d / M:8.4f}")
   집단 수    쌍       쌍별 F(무보정)       본페로니      바틀렛      B-F
      2    1          0.0489     0.0489   0.0489   0.0390
      3    3          0.1237     0.0449   0.0538   0.0392
      5   10          0.2795     0.0390   0.0498   0.0325
      8   28          0.4994     0.0310   0.0498   0.0284

집단이 8개면 분산이 모두 같은데도 50%의 확률로 "어떤 쌍이 다르다"는 결론이 나온다.

\(k\) 쌍 개수 무보정 FWER
2 1 0.049
3 3 0.124
5 10 0.280
8 28 0.499

쌍의 개수가 \(k^2\)에 비례해 늘기 때문이다. 다만 쌍들이 서로 상관돼 있어(\(S_1^2/S_2^2\)와 \(S_1^2/S_3^2\)이 \(S_1^2\)을 공유) \(1-(1-\alpha)^{28}=0.76\)까지는 가지 않는다.

세 가지 해법.

1 — 본페로니. FWER이 0.031~0.045로 수준을 지킨다. 다만 \(k\)가 커질수록 보수적이 된다(0.031).

2 — 바틀렛 옴니버스. 0.049~0.054로 가장 정확하다. "어딘가 분산이 다른가"라는 하나의 질문에 답한다. 단, 연습문제 6에서 본 대로 정규성에 예민하다.

3 — 브라운–포사이드. 0.028~0.039로 약간 보수적이지만 비정규성에 강하다. 실무의 기본 선택이다.

옴니버스와 쌍별의 역할이 다르다.

질문 방법
"분산이 모두 같은가" 옴니버스(바틀렛·B-F)
"어느 집단이 다른가" 쌍별 + 다중비교 보정
ANOVA의 가정 확인 하지 말고 웰치 ANOVA를 쓴다

마지막 행이 중요하다. 일원배치 ANOVA 전에 등분산을 검정하는 것은 연습문제 10의 2단계 절차와 같은 문제를 일으킨다. 웰치 ANOVA를 기본으로 쓰면 그 단계 자체가 필요 없다.

쌍별 비교가 정말 필요한 경우. 품질관리에서 "어느 라인이 변동이 큰가"를 찾아 개선해야 할 때처럼, 후속 조치의 대상을 특정해야 하는 상황이다. 이때는 보정을 하되 탐색적이라고 명시한다.


연습문제 19. 공정능력지수 \(C_p\)를 두 공정에서 비교하는 문제로 분산비 검정을 적용하라. 유의성과 실무적 의미를 함께 논하라.

풀이

정의. 규격 하한 LSL, 상한 USL에 대해

\[ C_p=\frac{\text{USL}-\text{LSL}}{6\sigma}, \qquad C_{pk}=\min\Bigl(\frac{\text{USL}-\mu}{3\sigma},\ \frac{\mu-\text{LSL}}{3\sigma}\Bigr) \]

\(C_p\)는 산포만, \(C_{pk}\)는 중심 이탈까지 반영한다. \(C_p\)가 \(\sigma\)의 역수에 비례하므로, 두 공정의 \(C_p\) 비는 표준편차 비의 역수다.

import numpy as np
from scipy import stats

LSL, USL = 9.5, 10.5
processes = [("기존 공정", 10.00, 0.12, 30),
             ("신 공정", 10.02, 0.09, 30)]

for name, mu, s, n in processes:
    cp = (USL - LSL) / (6 * s)
    cpk = min(USL - mu, mu - LSL) / (3 * s)
    ppm = (stats.norm.cdf(LSL, mu, s) + stats.norm.sf(USL, mu, s)) * 1e6
    print(f"{name}: 평균 {mu:.3f}  SD {s:.3f}  "
          f"Cp={cp:.4f}  Cpk={cpk:.4f}  불량 {ppm:.1f} ppm")

s1, n1 = 0.12, 30
s2, n2 = 0.09, 30
d1, d2 = n1 - 1, n2 - 1
F = s1**2 / s2**2
p = 2 * min(stats.f.cdf(F, d1, d2), stats.f.sf(F, d1, d2))
lo = F / stats.f.ppf(0.975, d1, d2)
hi = F / stats.f.ppf(0.025, d1, d2)
print(f"\n분산비 F = {F:.4f},  p = {p:.4f}")
print(f"  σ1²/σ2² 의 95% CI ({lo:.4f}, {hi:.4f})")
print(f"  σ1/σ2   의 95% CI ({np.sqrt(lo):.4f}, {np.sqrt(hi):.4f})")
print(f"  Cp 비(기존/신) = {1 / np.sqrt(F):.4f}, "
      f"95% CI ({1 / np.sqrt(hi):.4f}, {1 / np.sqrt(lo):.4f})")
기존 공정: 평균 10.000  SD 0.120  Cp=1.3889  Cpk=1.3889  불량 30.9 ppm
신 공정: 평균 10.020  SD 0.090  Cp=1.8519  Cpk=1.7778  불량 0.1 ppm

분산비 F = 1.7778,  p = 0.1271
  σ1²/σ2² 의 95% CI (0.8462, 3.7351)
  σ1/σ2   의 95% CI (0.9199, 1.9326)
  Cp 비(기존/신) = 0.7500, 95% CI (0.5174, 1.0871)

통계적으로는 유의하지 않다(\(p=0.127\)). 그런데 실무적으로는 이야기가 다르다.

기존 신 의미
\(C_p\) 1.389 1.852 1.33 → 1.67 등급 상승
\(C_{pk}\) 1.389 1.778 중심이 약간 벗어나도 여전히 우수
이론 불량률 30.9 ppm 0.1 ppm 약 300배 차이

불량률 300배 차이가 "유의하지 않다"로 보고된다. 이것이 이 문제의 핵심이다.

왜 이런 일이 생기는가.

  1. F 검정의 검정력이 낮다. 연습문제 9의 검정력 공식으로 재면 분산비 1.78을 군당 30개로 잡을 확률은 0.33으로, 셋에 한 번꼴이다.
  2. \(C_p\)는 \(\sigma\)의 꼬리에 민감하다. 정규 가정 아래 \(\pm3\sigma\) 바깥의 확률은 \(\sigma\)가 25% 줄면 극적으로 작아진다. 선형이 아닌 관계다.

따라서 결정을 \(p\) 값에 맡기면 안 된다.

  • 구간이 말해 주는 것: \(C_p\) 비의 95% 구간이 \((0.517,\ 1.087)\)이다. 즉 신 공정이 최대 1.9배 좋을 수도, 약간 나쁠 수도 있다. 아직 결정 불가다.
  • 필요한 조치: 표본을 늘린다. 연습문제 9의 계산으로 분산비 1.78을 80% 검정력으로 잡으려면 군당 97개가 필요하다.

실무 절차.

  1. 먼저 관리상태를 확인한다. 공정이 통계적 관리상태에 있지 않으면 \(C_p\) 자체가 무의미하다.
  2. 정규성을 확인한다. \(C_p\)의 불량률 해석은 정규성에 전적으로 의존한다. 치우친 공정에서는 \(C_p\)가 크게 오도한다.
  3. \(C_p\)와 \(C_{pk}\)를 함께 본다. \(C_p\)만 좋고 \(C_{pk}\)가 나쁘면 중심을 맞추는 것이 우선이다(여기서는 신 공정의 평균 10.02가 약간 벗어나 \(C_{pk}\)가 \(C_p\)보다 낮다).
  4. 구간으로 보고한다. \(C_p\)의 점추정(point estimation)만 보고하는 것은 \(n=30\)에서 위험하다.
  5. 비용으로 환산한다. 30.9 ppm과 0.1 ppm의 차이가 연간 얼마인지가 실제 의사결정 근거다.

통계적 유의성과 실무적 중요성이 어긋나는 전형적인 사례다. 여기서는 실무적 중요성이 압도적으로 크고 통계적 증거가 부족한 쪽이므로, 답은 "기각하지 못했으니 기존 공정 유지"가 아니라 "자료를 더 모으라"다.


연습문제 20. 연습문제 6이 말한 비정규성 민감도를 고치는 방법으로, 로그 분산비의 첨도 보정 구간을 구현하고 포함률을 재어라.

풀이

아이디어. \(\log S^2\)은 \(S^2\)보다 훨씬 정규에 가깝고, 그 분산이 모집단 첨도 \(\beta_2\)로 표현된다(아래 식의 \(\kappa_j\) 가 \(j\) 째 모집단의 첨도다).

\[ \operatorname{Var}(\log S_j^2)\approx\frac{1}{n_j}\Bigl(\kappa_j-\frac{n_j-3}{n_j-1}\Bigr) \]

정규분포는 \(\beta_2=3\)이라 이 값이 대략 \(2/(n-1)\)이 된다. 첨도를 자료에서 추정해 꽂으면 비정규성을 보정할 수 있다(슈메이커의 방법).

import numpy as np
from scipy import stats

def ci_F(x, y, alpha=0.05):
    """고전적 F 구간."""
    n1, n2 = len(x), len(y)
    f = x.var(ddof=1) / y.var(ddof=1)
    return (f / stats.f.ppf(1 - alpha / 2, n1 - 1, n2 - 1),
            f / stats.f.ppf(alpha / 2, n1 - 1, n2 - 1))

def ci_log_normal(x, y, alpha=0.05):
    """정규성을 가정한 로그 분산비 구간 (κ=3 고정)."""
    n1, n2 = len(x), len(y)
    c = np.log(x.var(ddof=1) / y.var(ddof=1))
    se = np.sqrt(2 / (n1 - 1) + 2 / (n2 - 1))
    z = stats.norm.ppf(1 - alpha / 2)
    return np.exp(c - z * se), np.exp(c + z * se)

def ci_kurtosis(x, y, alpha=0.05):
    """첨도를 자료에서 추정해 보정한 구간."""
    def kur(a):
        m = a.mean()
        return ((a - m)**4).mean() / (((a - m)**2).mean())**2

    n1, n2 = len(x), len(y)
    c = np.log(x.var(ddof=1) / y.var(ddof=1))
    se = np.sqrt((kur(x) - (n1 - 3) / (n1 - 1)) / n1
                 + (kur(y) - (n2 - 3) / (n2 - 1)) / n2)
    z = stats.norm.ppf(1 - alpha / 2)
    return np.exp(c - z * se), np.exp(c + z * se)

rng = np.random.default_rng(99)
M, n = 10_000, 30
gens = {"정규":     lambda k: rng.standard_normal(k),
        "균등":     lambda k: rng.uniform(-1, 1, k),
        "t(5)":     lambda k: rng.standard_t(5, k),
        "지수":     lambda k: rng.exponential(1, k),
        "로그정규": lambda k: rng.lognormal(0, 1, k)}

print(f"{'분포':>8s} {'F 구간':>9s} {'로그(κ=3)':>11s} {'첨도 보정':>11s}")
for name, gen in gens.items():
    a = b = c = 0
    for _ in range(M):
        x, y = gen(n), gen(n)            # 참 분산비 = 1
        lo, hi = ci_F(x, y);          a += lo <= 1 <= hi
        lo, hi = ci_log_normal(x, y); b += lo <= 1 <= hi
        lo, hi = ci_kurtosis(x, y);   c += lo <= 1 <= hi
    print(f"{name:>8s} {a / M:9.4f} {b / M:11.4f} {c / M:11.4f}")
      분포      F 구간     로그(κ=3)       첨도 보정
      정규    0.9469      0.9419      0.9205
      균등    0.9973      0.9963      0.9512
    t(5)    0.8319      0.8232      0.8912
      지수    0.7260      0.7163      0.8508
    로그정규    0.4742      0.4665      0.7415

첨도 보정이 크게 개선한다.

분포 F 구간 첨도 보정 개선
정규 0.947 0.921 \(-0.026\)(약간 손해)
\(t_5\) 0.832 0.891 \(+0.06\)
지수 0.726 0.851 \(+0.13\)
로그정규 0.474 0.742 \(+0.27\)

그래도 충분하지 않다. 로그정규에서 0.742는 여전히 0.95와 멀다. 첨도 자체를 30개로 추정하는 것이 불안정하기 때문이다. 4차 적률은 표본이 아주 커야 안정된다.

정규에서 0.921로 약간 손해를 본다. 알려진 \(\beta_2=3\) 대신 추정값을 쓴 대가다.

부트스트랩과 비교.

rng = np.random.default_rng(1234)

def ci_boot(x, y, B, alpha, rng):
    """로그 분산비의 백분위 부트스트랩 구간."""
    n1, n2 = len(x), len(y)
    bs = np.empty(B)
    for b in range(B):
        xb = x[rng.integers(0, n1, n1)]
        yb = y[rng.integers(0, n2, n2)]
        bs[b] = np.log(xb.var(ddof=1) / yb.var(ddof=1))
    lo, hi = np.percentile(bs, [100 * alpha / 2, 100 * (1 - alpha / 2)])
    return np.exp(lo), np.exp(hi)

M, n = 2_000, 30
for name, gen in [("정규",     lambda k: rng.standard_normal(k)),
                  ("t(5)",     lambda k: rng.standard_t(5, k)),
                  ("로그정규", lambda k: rng.lognormal(0, 1, k))]:
    c = 0
    for _ in range(M):
        x, y = gen(n), gen(n)
        lo, hi = ci_boot(x, y, 399, 0.05, rng)
        c += lo <= 1 <= hi
    print(f"{name:>8s} 부트스트랩 포함률 {c / M:.4f}")
      정규 부트스트랩 포함률 0.9250
    t(5) 부트스트랩 포함률 0.9175
    로그정규 부트스트랩 포함률 0.8860

부트스트랩이 가장 고르다(0.886~0.925). 어느 분포에서도 크게 무너지지 않지만, 어디서도 0.95에 정확히 닿지 않는다. BCa 보정을 더하면 개선된다.

결론.

상황 권장
정규성이 확인됨 F 구간
가벼운 이탈, \(n\ge30\) 첨도 보정
심한 왜도 부트스트랩(BCa)
\(n\)이 작고 비정규 분산비의 구간 추정을 포기하거나 순위 기반 방법

가장 중요한 교훈. 분산비의 추론은 어떤 방법으로도 평균 비교만큼 신뢰할 수 없다. 2차 적률에 관한 추론은 본질적으로 4차 적률에 의존하고, 4차 적률은 추정하기 어렵다.

연습문제 21. 보기 1 은 \(s_1 = 1.3\), \(s_2 = 0.9\) 에서 \(F = 2.086420\) 을 얻고 단측 \(p = 0.112914\) 로 기각하지 못했다. 그런데 「\(0.4\) 라는 차이가 충분히 큰가」는 그 차이만 보고는 답할 수 없는 물음이다.

(1) 관측된 비 \(F = 2.086420\) 을 그대로 둔 채 자유도만 \(n_1 = n_2 = n\) 으로 바꾸어 단측 \(p\) 값을 \(n = 2, 15, 16, 20, 21, 22, 23, 30, 40, 1000\) 에서 적으시오. \(\alpha = 0.05\) 에서 판정이 처음 뒤집히는 \(n\) 을 찾고, 양 끝의 \(p\) 값을 견주시오.

(2) 이렇게 \(n\) 을 바꾸어 가며 보는 일이 연습문제 9 의 검정력 표와 무엇이 다른지 한 줄로 말하시오. 둘 다 \(n\) 을 키우는데 묻는 것이 다르다.

(3) 「\(\alpha\) 는 검정 전에 정한다」는 규약이 왜 이 문제에서 특히 중요한지 적으시오.

풀이

(1) 뒤집히는 자리는 \(n = 22\) 다.

from scipy import stats

F_obs = (1.3 / 0.9) ** 2          # 보기 1 과 같은 비 — 자료는 그대로 둔다

# 한글은 고정폭에서 두 칸을 차지하므로 f-string 자리맞춤이 보이는 열과 어긋난다
print("     n      자유도       단측 p    판정")
for n in (2, 15, 16, 20, 21, 22, 23, 30, 40, 1000):
    p = stats.f.sf(F_obs, n - 1, n - 1)
    print(f"{n:6d}   ({n-1:3d},{n-1:3d})   {p:.4f}   {'기각' if p < 0.05 else '기각 못 함'}")

lo = next(n for n in range(4, 500) if stats.f.sf(F_obs, n - 1, n - 1) < 0.05)
print(f"\n처음으로 기각하는 n = {lo}   (p = {stats.f.sf(F_obs, lo-1, lo-1):.4f})")
print(f"바로 앞 n = {lo-1} 에서는 p = {stats.f.sf(F_obs, lo-2, lo-2):.4f}")

출력:

     n      자유도       단측 p    판정
     2   (  1,  1)   0.3855   기각 못 함
    15   ( 14, 14)   0.0906   기각 못 함
    16   ( 15, 15)   0.0829   기각 못 함
    20   ( 19, 19)   0.0588   기각 못 함
    21   ( 20, 20)   0.0541   기각 못 함
    22   ( 21, 21)   0.0498   기각
    23   ( 22, 22)   0.0458   기각
    30   ( 29, 29)   0.0261   기각
    40   ( 39, 39)   0.0120   기각
  1000   (999,999)   0.0000   기각

처음으로 기각하는 n = 22   (p = 0.0498)
바로 앞 n = 21 에서는 p = 0.0541

자료는 한 글자도 바뀌지 않았다. 표준편차는 여전히 \(1.3\) 과 \(0.9\) 이고 비도 \(2.086420\) 그대로다. 바뀐 것은 몇 개를 재었다고 말하느냐뿐인데 \(n = 21\) 과 \(n = 22\) 사이에서 「유의하지 않다」가 「유의하다」로 넘어간다. \(p\) 값이 \(0.0541\) 에서 \(0.0498\) 로 움직인 폭은 \(0.004\) 다.

양 끝을 보면 더 분명하다. 둘씩만 재었다면 \(p = 0.3855\) 로 「흔한 일」이고, 천 개씩 재었다면 \(p\) 가 소수 넷째 자리에서 \(0\) 이 되어 「거의 불가능한 일」이 된다. 같은 \(1.3\) 대 \(0.9\) 다. 비대칭으로 \(n_1 = 2\), \(n_2 = 3\) 이면 자유도 \((1, 2)\) 에 \(p = 0.2855\) 다.

그러므로 「\(0.4\) 가 충분히 큰가」는 \(p\) 값이 답할 수 있는 물음이 아니다. \(p\) 값이 답하는 것은 「\(0.4\) 를 이만큼의 자료로 보았을 때 놀라운가」이고, 자료의 양은 묻는 사람이 정한다.

(2) 묻는 것이 반대다. 연습문제 9 의 표는 참 분산비를 \(1.5\)·\(2\)·\(3\)·\(4\) 로 고정하고 「\(n\) 을 키우면 그것을 잡아낼 확률이 얼마나 오르는가」를 묻는다 — 자료를 아직 보지 않은 설계 단계의 물음이다. 여기서는 거꾸로 관측된 비를 고정하고 「같은 결과를 더 큰 표본에서 얻었다면 판정이 어땠을까」를 묻는다. 앞은 \(n\) 을 고르는 데 쓰고, 뒤는 이미 나온 \(p\) 값을 어떻게 읽을지에 쓴다.

(3) 뒤집히는 자리가 눈에 보이기 때문이다. 표를 보고 나면 \(\alpha\) 를 \(0.055\) 로 잡고 싶은 마음이 들고, 그러면 \(n = 21\) 짜리 자료도 기각이 된다. 자료를 본 뒤에 \(\alpha\) 를 고르면 그 순간 \(\alpha\) 는 더 이상 제1종 오류율이 아니다 — 9.1절 귀무가설과 대립가설이 그 까닭을 적는다.

읽는 법은 하나다. \(p\) 값은 「차이가 얼마나 큰가」를 재지 않는다. 그것은 그 차이를 이만큼의 자료로 보았을 때 얼마나 놀라운가를 잰다. 차이의 크기를 말하려면 \(p\) 값이 아니라 효과크기(effect size) — 여기서는 분산비 \(2.086\) 과 그 \(95\%\) 신뢰구간 \((0.621,\ 6.457)\) — 를 적어야 한다. 이 구간은 연습문제 8 의 식에 보기 2 의 양측 채택역 \((0.323145,\ 3.358810)\) 을 넣어 \(2.086420/3.358810\) 과 \(2.086420/0.323145\) 로 얻는다. 그 구간이 1 을 담는다는 사실이 양측 \(p = 0.2258 > 0.05\) 와 같은 말이다(보기 1 의 출력). 표준편차로 \(1.44\) 배라는 관측값이 실은 \(0.79\) 배에서 \(2.54\) 배까지를 다 허용한다.


정리하며

\(F\) 검정은 두 분산의 비를 검정한다.

\[ F=\frac{s_1^2}{s_2^2}\sim F_{n_1-1,\,n_2-1}\quad (H_0\text{ 아래}) \]
  • 정규성이 절대적으로 필요하다. 이 검정은 비정규성에 악명 높을 만큼 민감하며, 꼬리가 조금만 두꺼워도 제1종 오류율이 크게 부풀어 오른다.
  • 그래서 "스튜던트 \(t\) 검정의 사전 확인용"으로 쓰면 안 된다. 사전 검정 자체가 신뢰할 수 없는 데다 2단계 절차가 오류율을 왜곡한다. 그냥 웰치를 쓰는 편이 낫다.
  • 큰 분산을 분자에 두는 관례가 있으며, 그러면 우측 꼬리만 보면 된다. 양측 \(p\) 값은 두 배 한다.
  • 정당한 용도는 분산 자체가 관심사일 때다. 두 공정의 변동 비교, 처리가 평균이 아니라 변동성에 영향을 주는지 확인하는 경우가 그렇다.
  • 로버스트 대안을 쓰라. 레빈 검정이나 브라운–포사이드 검정이 정규성에 훨씬 덜 민감하며, 15장에서 다룬다.

다음 쪽 사례 연구 - 대마 가격의 두 표본 t 검정으로 넘어간다. 이 절이 세운 검정들을 한 자료에 차례로 걸면서, 가정 확인의 순서를 뒤집으면 무엇이 어긋나는지 본다.