F 분포와 자유도¶

이 통계량은 귀무가설 아래에서 \(F_{15, 20}\)을 따른다. \(F_{15,20}\)의 평균은 \(20/18 \approx 1.111\)이다. 관측값 1.607은 평균보다 크지만 임계값 \(F_{0.975}(15, 20) = 2.573\)(\(\alpha = 0.05\) 양측)과 비교해야 한다. \(1.607 < 2.573\)이므로 \(H_0\)을 기각하지 못한다(\(p = 0.318\)).

(1) 평균과 분산. 평균은 연습문제 1 에서 유도한다.

분산은 \(d_2 > 4\) 에서

이다. 표준편차로는 \(\sqrt{0.339506} = 0.5827\) 이다. 평균은 \(d_1\) 에 의존하지 않지만 분산은 의존한다 — 분자 자유도가 작을수록 분자가 불안정해 비가 더 흔들린다.

하단 임계값은 상단 분위수 하나로 얻는다. 역수 성질 \(1/F \sim F(d_2,d_1)\) 에서

이므로 \(1/F_\alpha(d_1,d_2)\) 가 \(F(d_2,d_1)\) 의 상단 \(\alpha\) 점, 곧

이다. 여기서는 \(F_{0.025}(15,20) = 1/F_{0.975}(20,15)\) 이고, 자유도의 순서가 뒤바뀐다는 데 주의해야 한다. 옛 표에 상단 분위수만 실려 있어도 양측검정을 할 수 있었던 것이 이 덕분이다.

(2) 확인한다.

from scipy import stats

# 분자와 분모의 자유도
d1, d2 = 15, 20

# F 분포의 평균은 d2/(d2-2) 로 1 보다 조금 크다. 분산비의 분포이므로
# 아래로는 0 에서 막히고 위로는 열려 있어 오른쪽으로 치우친 탓이다.
print(f"Mean: {stats.f.mean(d1, d2):.4f}")
print(f"Variance: {stats.f.var(d1, d2):.4f}")

alpha = 0.05
f_lower = stats.f.ppf(alpha / 2, d1, d2)
f_upper = stats.f.ppf(1 - alpha / 2, d1, d2)
print(f"Critical values: [{f_lower:.3f}, {f_upper:.3f}]")

# 두 표본분산의 비. 큰 쪽을 분자에 두면 오른쪽 꼬리만 보면 되지만,
# 여기서는 순서를 정해 놓고 양측으로 계산한다.
f_stat = 45 / 28
p_value = 2 * min(stats.f.cdf(f_stat, d1, d2), stats.f.sf(f_stat, d1, d2))
print(f"F-statistic: {f_stat:.3f}")
print(f"P-value: {p_value:.4f}")

# (1) 의 닫힌 꼴과 맞춰 본다.
mean_formula = d2 / (d2 - 2)
var_formula = 2 * d2**2 * (d1 + d2 - 2) / (d1 * (d2 - 2) ** 2 * (d2 - 4))
print(f"\n공식 평균 d2/(d2-2)                       = {mean_formula:.6f}")
print(f"공식 분산 2 d2^2 (d1+d2-2) / (d1 (d2-2)^2 (d2-4)) = {var_formula:.6f}")

# 하단 임계값을 상단 분위수만으로 얻는다: F_a(d1,d2) = 1 / F_{1-a}(d2,d1)
upper_swapped = stats.f.ppf(1 - alpha / 2, d2, d1)      # 자유도를 뒤바꾼 상단 분위수
print(f"\nF_0.975(20,15)      = {upper_swapped:.6f}")
print(f"1 / F_0.975(20,15)  = {1 / upper_swapped:.6f}")
print(f"F_0.025(15,20)      = {f_lower:.6f}")

# 관측값이 평균에서 몇 표준편차 떨어져 있는가
sd = var_formula**0.5
print(f"\n표준편차 = {sd:.4f}")
print(f"(F_obs - 평균)/표준편차 = {(f_stat - mean_formula) / sd:.4f}")

출력:

Mean: 1.1111
Variance: 0.3395
Critical values: [0.363, 2.573]
F-statistic: 1.607
P-value: 0.3184

공식 평균 d2/(d2-2)                       = 1.111111
공식 분산 2 d2^2 (d1+d2-2) / (d1 (d2-2)^2 (d2-4)) = 0.339506

F_0.975(20,15)      = 2.755902
1 / F_0.975(20,15)  = 0.362858
F_0.025(15,20)      = 0.362858

표준편차 = 0.5827
(F_obs - 평균)/표준편차 = 0.8513

세 가지가 모두 맞는다. 공식 평균 \(1.111111\) 과 분산 \(0.339506\) 이 scipy 의 \(1.1111\), \(0.3395\) 와 같고, \(1/F_{0.975}(20,15) = 0.362858\) 이 \(F_{0.025}(15,20) = 0.362858\) 과 소수 여섯째 자리까지 같다.

기각하지 못하는 까닭은 분산이 크기 때문이다. 표준편차가 \(0.5827\) 인데 관측값은 평균에서 겨우 \(0.85\) 표준편차 떨어져 있다. 정규분포라면 \(0.85\) 표준편차는 흔하디흔한 자리다. 채택역 \([0.363,\ 2.573]\) 을 같은 눈금으로 재면 평균에서 아래로 \(1.28\), 위로 \(2.51\) 표준편차까지 뻗어 있으니 \(0.85\) 는 한참 안쪽이다. \(p = 0.3184\) 가 그 말이다.

"관측값이 평균보다 크다"는 것은 아무 증거도 아니다. \(F\) 분포의 평균 \(1.111\) 자체가 1 보다 크고(오른쪽 치우침 때문이다), 그 주위의 산포는 그보다 훨씬 크다. 판정은 언제나 평균이 아니라 임계값으로 해야 한다.

\(F = (U/d_1)/(V/d_2)\)이고 \(U \sim \chi^2_{d_1}\), \(V \sim \chi^2_{d_2}\)가 독립이다. 독립성에 의해

\(E[U] = d_1\)이다. 역수의 기댓값은 역카이제곱분포의 성질에서

이를 직접 계산해 보면, \(V \sim \chi^2_{d_2}\)의 밀도가 \(f(v) = \frac{v^{d_2/2-1}e^{-v/2}}{2^{d_2/2}\Gamma(d_2/2)}\)이므로

적분이 수렴하려면 \(d_2/2 - 2 > -1\), 곧 \(d_2 > 2\)가 필요하다. 따라서

왜 \(d_1\)에 의존하지 않는가. \(U/d_1\)의 기댓값이 \(d_1\)과 무관하게 항상 1이기 때문이다. 곧 분자는 어떤 자유도에서든 평균 1인 확률변수이고, 평균이 1에서 벗어나는 것은 전적으로 분모의 역수 기댓값에서 온다. Jensen 부등식에 의해 \(E[1/W] > 1/E[W] = 1\)이며(\(W = V/d_2\), \(E[W]=1\)), 그 초과분이 \(d_2/(d_2-2) - 1 = 2/(d_2-2)\)이다.

실무적 함의: \(E[F]\)가 1보다 큰 것은 분산 차이의 증거가 아니라 비의 기댓값이 갖는 편향이다. \(d_2 = 5\)이면 \(E[F] = 1.67\)이나 되므로 작은 표본에서 \(F\) 값을 1과 비교할 때 이 점을 유념해야 한다. \(\square\)

증명. \(t\) 분포의 정의에 의해

제곱하면

\(Z^2 \sim \chi^2_1\)이고 \(V \sim \chi^2_\nu\)가 독립이므로, 이는 정확히 \(F_{1,\nu}\)의 정의이다.

수치 확인. \(t_{0.975,10} = 2.2281\)이고 그 제곱은 \(4.9646\)이다. 한편 \(F_{0.95}(1,10) = 4.9646\)이다. 정확히 일치한다. \(t\)의 양측 확률이 \(F\)의 단측 확률에 대응한다는 점에 주목하라. \(F\)가 \(T^2\)이므로 \(T\)의 양쪽 꼬리가 \(F\)의 오른쪽 꼬리 하나로 접힌다.

이표본 \(t\) 검정과 분산분석의 관계. 두 집단(\(k=2\))에 대한 일원분산분석의 F 통계량은

이고, 합동분산 이표본 \(t\) 검정의 통계량은 \(T \sim t_{n_1+n_2-2}\)이다. 두 통계량 사이에는 정확히 \(F = T^2\)이 성립한다.

따라서 두 집단에 대한 분산분석과 양측 이표본 \(t\) 검정은 완전히 같은 검정이다. \(p\)값도 동일하다. 분산분석이 \(t\) 검정을 \(k > 2\)로 일반화한 것이라는 서술의 정확한 의미가 이것이다. \(\square\)

증명. \(F = (U/d_1)/(V/d_2)\)이므로

\(V \sim \chi^2_{d_2}\)이므로 \(E[V/d_2] = 1\)이고 \(\operatorname{Var}(V/d_2) = 2/d_2 \to 0\)이다. 따라서 대수의 법칙에 의해 \(V/d_2 \xrightarrow{p} 1\)이다.

Slutsky 정리에 의해

수치 확인.

from scipy import stats

d1 = 5
print(f"chi2_5 0.95 quantile: {stats.chi2.ppf(0.95, d1):.4f}\n")
for d2 in [10, 100, 10000]:
    print(f"d2 = {d2:>5}: d1 * F_0.95 = {d1 * stats.f.ppf(0.95, d1, d2):.4f}")

출력:

chi2_5 0.95 quantile: 11.0705

d2 =    10: d1 * F_0.95 = 16.6292
d2 =   100: d1 * F_0.95 = 11.5266
d2 = 10000: d1 * F_0.95 = 11.0750

수렴은 하지만 느리다. \(d_2 = 10\)에서 오차가 50%에 이른다. 분모 자유도가 작을 때 분모의 변동이 F 통계량의 꼬리를 크게 부풀리기 때문이다.

실무적 함의. 회귀분석과 분산분석에서 F 검정 대신 카이제곱 근사(Wald 검정 등)를 쓰는 경우가 있는데, 이는 분모 자유도(잔차 자유도)가 충분히 클 때만 정당하다. 잔차 자유도가 수십 수준이면 F 분포를 그대로 쓰는 편이 훨씬 정확하다. \(\square\)

from scipy import stats

print(f"{'d1':>5} {'d2':>5} {'skewness':>10} {'lower':>8} {'upper':>8}")
for d1, d2 in [(5, 10), (15, 20), (50, 50), (200, 200)]:
    sk = stats.f.stats(d1, d2, moments='s')
    lo = stats.f.ppf(0.025, d1, d2)
    up = stats.f.ppf(0.975, d1, d2)
    print(f"{d1:>5} {d2:>5} {sk:>10.4f} {lo:>8.4f} {up:>8.4f}")

출력:

   d1    d2   skewness    lower    upper
    5    10     3.8670   0.1511   4.2361
   15    20     1.7435   0.3629   2.5731
   50    50     0.9218   0.5708   1.7520
  200   200     0.4326   0.7573   1.3204

비대칭의 근원. F 통계량은 두 양수의 비이다. 비는 위쪽으로는 무한대까지 갈 수 있지만 아래쪽으로는 0에서 막혀 있다. 따라서 분포가 필연적으로 오른쪽으로 치우친다.

이 때문에 임계값이 1을 중심으로 대칭이 아니다. \(d_1 = d_2 = 50\)에서 하단 임계값은 1에서 \(0.43\) 떨어져 있지만 상단은 \(0.75\) 떨어져 있다. 상단이 거의 두 배 멀다.

로그 척도에서는 대칭에 가깝다. \(\ln F\)를 생각하면 역수 성질 \(1/F \sim F_{d_2,d_1}\)에 의해 \(d_1 = d_2\)일 때 \(\ln F\)의 분포가 0을 중심으로 정확히 대칭이다. 실제로 \(d_1=d_2=50\)에서 \(\ln(0.5708) = -0.5607\)이고 \(\ln(1.7520) = +0.5607\)로 크기가 정확히 같다.

이것이 분산비를 논할 때 로그 척도가 자연스러운 이유이며, Bartlett 검정이 \(\ln S_i^2\)의 형태를 취하는 것과 같은 배경이다. \(\square\)