콘텐츠로 이동

분산의 표집분포

개요

정규모집단의 참 분산이 25라고 하자. 거기서 10개를 뽑아 표본분산(sample variance)을 계산하면 얼마가 나올까. 뒤에서 직접 계산해 보겠지만 \(S^2\)이 30을 넘을 확률이 29%나 된다. 참값이 25인데 30 너머로 올라가는 일이 열 번에 세 번꼴로 일어나는 것이다. 분산 추정값은 평균 추정값보다 훨씬 심하게 요동친다.

표본분산 \(S^2\)의 표집분포(sampling distribution)는 그 요동을 기술한다. 모분산 \(\sigma^2\)을 얼마나 정밀하게 추정할 수 있는지가 여기서 정해지며, 분산에 관한 신뢰구간과 검정이 모두 그 위에 선다.

그런데 이 쪽은 5장의 성격이 한 번 바뀌는 자리이기도 하다. 지금까지 표본평균(sample mean)을 다룰 때는 중심극한정리(central limit theorem)가 뒤를 받쳐 주었다. 모집단이 어떻게 생겼든 \(n\)만 키우면 \(\bar{X}\)가 정규로 간다는 보장이 있었다. \(S^2\)에는 그런 보장이 없다. 미리 한 줄로 적어 두면 이렇다. 중심극한정리는 1차 적률에만 선물을 주고 2차 적률에는 주지 않는다.


1. n에서 하나를 빼는 이유

\(X_1, X_2, \dots, X_n\)을 평균 \(\mu\), 분산 \(\sigma^2\)인 모집단에서 뽑은 i.i.d. 표본이라 하자. 표본분산은 편차제곱의 합을 \(n\)이 아니라 \(n-1\)로 나눈 값이다.

\[ S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2 \]

정의 1. 표본분산

\[ S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2 \]

분모의 \(n-1\) 을 자유도라 한다.

정리 1. 표본분산은 불편이다

\(X_1, \ldots, X_n\) 이 평균 \(\mu\), 분산 \(\sigma^2 < \infty\) 인 모집단에서 뽑은 i.i.d. 표본이면

\[ E[S^2] = \sigma^2 \]

이다. 모집단의 모양에 아무 조건이 붙지 않는다.

빠져나간 것이 정확히 \(\sigma^2\) 한 몫이다. 모르는 \(\mu\) 자리에 자료에서 계산한 \(\bar X\) 를 넣었는데, \(\bar X\) 는 그 자료에 가장 가까이 붙어 있는 값이라 제곱편차합이 그만큼 작게 나온다. 그 부족분의 평균이 \(\sigma^2\) 이고, 분모에서 1 을 깎아 보충한다. 이것이 \(n\) 이 아니라 \(n-1\) 로 나누는 이유다.

모집단의 모양이 전혀 쓰이지 않는다. 쓰이는 것은 평균의 제곱편차 분해(2.4절 평균, 중앙값, 최빈값 정리 1)와 \(\operatorname{Var}(\bar X) = \sigma^2/n\) 둘뿐이다. 그래서 불편성은 어떤 모집단에서나 성립한다. 문제는 그다음부터다 — 분포를 알려면 가정이 필요하다.

증명과, 잃어버린 자유도 하나를 어떻게 세는지는 5.13절 베셀 수정 정리 1 이 맡는다. 거기서 회귀의 \(n - p\) 로 이어지는 일반화까지 따라간다.


2. 정규모집단에서는 카이제곱이 된다

\(S^2\)의 기댓값과 달리 \(S^2\)의 분포를 알려면 모집단이 정규라는 가정이 필요하다.

정리 2. 정규모집단에서 표본분산은 카이제곱이다

\(X_1, \ldots, X_n \overset{\text{iid}}{\sim} N(\mu, \sigma^2)\) 이면

\[ \frac{(n-1)S^2}{\sigma^2} \sim \chi^2_{n-1} \]

이고, 따라서

\[ \operatorname{Var}(S^2) = \frac{2\sigma^4}{n-1}, \qquad \operatorname{SE}(S^2) = \sigma^2\sqrt{\frac{2}{n-1}} \]

다. 또 \(S^2\) 과 \(\bar X\) 는 독립이다.

증명

자유도가 \(n\) 이 아니라 \(n-1\) 이 되는 자리를 보는 것이 이 증명의 알맹이다. 표준화해 \(Z_i = (X_i - \mu)/\sigma\) 로 두면 \(Z_i \overset{\text{iid}}{\sim} N(0,1)\) 이고, 제곱합의 분해 \(\sum_i (X_i-\mu)^2 = \sum_i (X_i-\bar X)^2 + n(\bar X-\mu)^2\) 의 양변을 \(\sigma^2\) 으로 나누어 \(Z\) 로 적으면

\[ \underbrace{\sum_{i=1}^n Z_i^2}_{\chi^2_n} = \underbrace{\frac{(n-1)S^2}{\sigma^2}}_{?} + \underbrace{n\bar Z^2}_{\chi^2_1} \]

다. 왼쪽은 독립인 표준정규 \(n\) 개의 제곱합이므로 \(\chi^2_n\) 이고(카이제곱분포 정의 1), 오른쪽 둘째 항은 \(\sqrt n\,\bar Z \sim N(0,1)\) 의 제곱이므로 \(\chi^2_1\) 이다.

코크런 정리(Cochran's theorem) — 독립인 표준정규 \(n\) 개의 제곱합이 이차형식 몇 개의 합으로 쪼개지고 그 자유도(행렬의 계수)를 더해 \(n\) 이 되면, 조각들이 서로 독립이고 각각 카이제곱을 따른다는 정리 — 에 따라 오른쪽 두 항은 독립이고 각각 카이제곱을 따른다. 그러면 카이제곱의 가법성(같은 쪽 정리 4)이 자유도 장부를 맞춰 준다.

\[ n = (n-1) + 1 \]

곧 첫 항이 \(\chi^2_{n-1}\) 이다. 독립성(independence)도 코크런 정리가 함께 준다 — \(S^2\) 은 첫 항의 함수이고 \(\bar X\) 는 둘째 항의 함수다.

분산은 카이제곱에서 바로 나온다. \(\operatorname{Var}(\chi^2_{n-1}) = 2(n-1)\) 이므로(같은 쪽 정리 3)

\[ \operatorname{Var}\!\left(\frac{(n-1)S^2}{\sigma^2}\right) = 2(n-1) \quad\Longrightarrow\quad \operatorname{Var}(S^2) = \frac{\sigma^4}{(n-1)^2}\cdot 2(n-1) = \frac{2\sigma^4}{n-1} \]

다. \(\square\)

\(\bar X\) 를 끼워 넣은 대가가 자유도 하나다. 편차 \(n\) 개의 합이 0 이어야 하므로 \(n-1\) 개를 알면 나머지가 정해진다. 그 제약이 제곱합(sum of squares)에서 \(\chi^2_1\) 한 몫을 떼어 간다.

\(\bar X\) 와 \(S^2\) 의 독립성은 정규분포에서만 성립한다. 다른 모집단에서는 둘이 상관되어 있고, 그래서 \(t\) 통계량의 분자와 분모가 얽혀 정확한 \(t\) 분포가 나오지 않는다. 뒤의 쪽들이 그 불일치를 모집단별로 잰다.

위 증명은 독립성을 코크런 정리에 맡겼다. 그 정리를 쓰지 않고 \(S^2\) 과 \(\bar X\) 의 독립성까지 회전 불변성만으로 유도하는 길은 5.6절 S²의 표집분포 (정규분포) 정리 1 이 적어 둔다.

달리 적으면 \(S^2\) 자체가 카이제곱을 척도조정한 것이다.

\[ S^2 \sim \frac{\sigma^2}{n-1} \cdot \chi^2_{n-1} \]

표준오차가 \(O(1/\sqrt n)\) 으로 줄어든다는 점은 표본평균과 같다.


3. 속도는 같고 보호막이 다르다

이 표준오차는 \(n\)이 커질 때 \(O(1/\sqrt{n})\)으로 줄어든다. \(\bar{X}\)의 표준오차 \(\sigma/\sqrt{n}\)과 같은 속도다. 흔히 "분산은 평균보다 추정하기 어렵다"고 말하지만, 적어도 점근적인 수렴 속도 면에서는 둘 사이에 빠르고 느림의 차이가 없다.

결정적인 차이는 속도가 아니라 그 결과를 어떤 조건에서 믿을 수 있는가에 있다.

\(\bar{X}\)는 중심극한정리의 혜택을 본다. \(n\)이 충분히 크기만 하면 모집단 모양과 무관하게 \(\bar{X}\)의 근사적 정규성(normality)이 보장된다. 모집단이 균등이든 지수든 값 두 개짜리 베르누이든 따지지 않는다.

\(S^2\)에는 그런 정리가 없다. 방금 얻은 카이제곱 결과는 정규성 아래에서만 성립한다. 정규가 아닌 모집단에서 \(S^2\)의 분산은 모집단 첨도(kurtosis) \(\beta_2\)에 의존하며

\[ \text{Var}(S^2) = \frac{1}{n}\left(\beta_2 - \frac{n-3}{n-1}\right)\sigma^4 \]

가 된다. 이 식을 읽는 방법이 중요하다. \(\beta_2\)는 4차 적률에서 오는 양이다. 곧 2차 적률인 분산을 추정할 때 그 정밀도를 정하는 것은 4차 적률이며, \(S^2\)은 모집단의 꼬리 두께에 직접 노출되어 있다. 1차 적률을 추정하는 \(\bar{X}\)가 모집단의 모양을 묻지 않았던 것과 정반대다.

불일치의 크기는 배율로 적힌다. 카이제곱이 예측하는 \(2\sigma^4/(n-1)\)과 참값은 배율 \((\beta_2-1)/2\)만큼 차이가 난다. 이 배율은 \(n\)에 의존하지 않는다. \(\bar{X}\)에서는 정리의 수렴이 문제라 표본을 키우면 해결되지만, \(S^2\)에서는 정리의 전제가 문제라 표본을 키워도 해결되지 않는다. 뒤의 모의실험 쪽들에서 균등모집단(\(\beta_2=1.8\))은 배율 0.4, 지수모집단(\(\beta_2=9\))은 배율 4로 나타나는 것을 확인한다.


4. 세 가지 물음

지금까지의 이야기를 세 문제로 확인한다. 앞의 두 문제는 정규모집단에서 카이제곱을 써서 답이 깔끔하게 나오는 경우이고, 셋째 문제는 정규성이라는 한 줄을 빼면 같은 물음에 답할 수 없게 된다는 것을 보여 준다.

보기 1. S²의 기댓값과 분산. \(N(\mu, 25)\)에서 \(n = 10\)인 표본을 뽑는다. \(E[S^2]\)과 \(\text{Var}(S^2)\)을 구하라.

풀이

\(Y \sim \chi^2_{n-1}\)에 대해 \(EY = n-1\)이고 \(\text{Var}(Y) = 2(n-1)\)이다.

\[ E\!\left[\frac{(n-1)S^2}{\sigma^2}\right] = n - 1 \;\;\Longrightarrow\;\; E[S^2] = \sigma^2 = 25 \]
\[ \text{Var}\!\left(\frac{(n-1)S^2}{\sigma^2}\right) = 2(n-1) \;\;\Longrightarrow\;\; \text{Var}(S^2) = \frac{2\sigma^4}{n-1} = \frac{2(25^2)}{9} = \frac{1250}{9} \approx 138.89 \]

보기 2. S²에 관한 확률 (정규모집단). \(N(\mu, 25)\)에서 \(n = 10\)인 표본을 뽑는다. \(P(S^2 > 30)\)을 구하라.

풀이
\[ \frac{(n-1)S^2}{\sigma^2} = \frac{9 \times 30}{25} = 10.8 \]
\[ P(S^2 > 30) = P(\chi^2_9 > 10.8) \approx 0.2897 \]
from scipy import stats

chi2_stat = 9 * 30 / 25
p_value = stats.chi2(df=9).sf(chi2_stat)
print(f"P(S^2 > 30) = {p_value:.4f}")

출력:

P(S^2 > 30) = 0.2897

보기 3. 정규성 가정 없이. 분산이 25인 모집단에서 \(n = 10\)인 표본을 뽑는다(정규성은 가정하지 않는다). \(P(S^2 > 30)\)에 관해 무엇을 말할 수 있는가?

풀이

정규성이 없으면 \(\frac{(n-1)S^2}{\sigma^2}\)은 카이제곱분포(chi-squared distribution)를 따르지 않는다. \(E[S^2] = 25\)임은 알지만, 모집단 모양에 관한 추가 정보 없이는 \(P(S^2 > 30)\)을 구할 수 없다.

\(\text{Var}(S^2)\)을 안다면 체비쇼프 부등식으로 한계를 줄 수 있겠지만, 그 값은 정규가 아닌 모집단의 고차 적률에 의존하며 우리는 그것을 알지 못한다.


5. 모분산의 신뢰구간

카이제곱 결과를 추축량으로 삼으면 \(\sigma^2\)의 신뢰구간이 바로 나온다. (정규성 아래에서) \((n-1)S^2/\sigma^2\)이 \(\chi^2_{n-1}\)을 따르므로

\[ P\!\left(\chi^2_{\alpha/2, \, n-1} \leq \frac{(n-1)S^2}{\sigma^2} \leq \chi^2_{1-\alpha/2, \, n-1}\right) = 1 - \alpha \]

이고, 가운데의 \(\sigma^2\)에 대해 풀어 정리하면 다음을 얻는다.

\[ \left[\frac{(n-1)S^2}{\chi^2_{1-\alpha/2, \, n-1}}, \;\; \frac{(n-1)S^2}{\chi^2_{\alpha/2, \, n-1}}\right] \]

큰 분위수(quantile)가 아래 끝에, 작은 분위수가 위 끝에 나타나는 것은 \(\sigma^2\)이 분모에 있어 부등호가 뒤집히기 때문이다.

Note

카이제곱분포가 비대칭이므로 이 신뢰구간은 \(S^2\)을 중심으로 대칭이 아니다.

이 구간이 무엇에 기대고 있는지도 잊지 말아야 한다. 카이제곱이 전제이므로 모집단이 정규가 아니면 명목 95%가 실제로 95%라는 보장이 없다.


6. 모의실험: 모집단을 바꿔 보면

같은 실험을 두 모집단에서 반복한다. 크기 10짜리 표본을 1만 번 뽑아 그때마다 \(S^2\)을 기록하고 그 분포를 그리는 것이다. 먼저 정규모집단이다.

보기 4. 정규모집단에서 표본분산의 표집분포. \(N(0,1)\)에서 뽑아 만든 모집단 10만 개에서 \(n = 10\)씩 비복원으로 뽑아 \(S^2\)을 계산하는 일을 1만 번 반복한다.

(1) \(E[S^2]\), \(\operatorname{sd}(S^2)\), 왜도, 그리고 최빈값(mode)·중앙값·평균의 순서를 이론으로 적으시오. 아울러 \(P(S^2 > \sigma^2)\)을 구하시오.

(2) 모의실험으로 (1)을 확인하시오.

풀이

(1) 이론값. 정규모집단이므로 \((n-1)S^2/\sigma^2 \sim \chi^2_9\)이 정확하다. 따라서 \(S^2 = \frac{\sigma^2}{9}\chi^2_9\)이고, \(\chi^2_d\)의 평균 \(d\), 분산 \(2d\), 왜도 \(\sqrt{8/d}\)를 옮겨 쓰면 된다.

\[ E[S^2] = \sigma^2 = 1, \qquad \operatorname{Var}(S^2) = \frac{\sigma^4}{81}\cdot 2 \cdot 9 = \frac{2}{9}, \qquad \operatorname{sd}(S^2) = \sqrt{\frac29} = 0.471405 \]
\[ \text{왜도}(S^2) = \sqrt{\frac89} = 0.942809 \]

왜도가 \(0\)이 아니다. 모집단은 완벽히 대칭인데 \(S^2\)의 표집분포는 오른쪽으로 치우쳐 있다. 일반 공식 \(\operatorname{Var}(S^2) = \left(\beta_2 - \frac{n-3}{n-1}\right)\sigma^4/n\)에 \(\beta_2 = 3\)을 넣어도 \((3 - 7/9)/10 = 2/9\)로 같은 값이 나온다.

왜도의 크기는 세 중심위치의 순서로 읽으면 분명하다. \(\chi^2_9\)의 최빈값은 \(d - 2 = 7\), 중앙값은 \(8.3428\), 평균은 \(9\)이므로 \(9\)로 나누어

\[ \text{최빈값 } 0.77778 \;<\; \text{중앙값 } 0.92698 \;<\; \text{평균 } 1 \]

이 된다. 평균이 중앙값보다 \(8\%\) 오른쪽에 있다. 그래서

\[ P(S^2 > \sigma^2) = P\!\left(\chi^2_9 > 9\right) = 0.43727 \]

로 절반이 안 된다. \(S^2\)은 불편추정량(unbiased estimator)이지만 과반의 표본에서 참값보다 작게 나온다는 뜻이다. 불편성이 "절반씩 갈라진다"는 말이 아니라는 것을 보여 주는 숫자다.

비복원으로 뽑으므로 겨냥값은 \(N(0,1)\) 자체가 아니라 실현된 10만 개의 분산이다.

(2) 모의실험.

import matplotlib.pyplot as plt
import numpy as np
from scipy import stats

plt.rcParams["font.sans-serif"] = ["NanumGothic", "Apple SD Gothic Neo", "Malgun Gothic"]
plt.rcParams["font.family"] = "sans-serif"
plt.rcParams["axes.unicode_minus"] = False

np.random.seed(1)

population = stats.norm().rvs(100_000)
sample_size = 10
n_samples = 10_000

# 표본평균 대신 표본분산을 기록한다. ddof=1 이 n-1로 나누는 표본분산이다.
# 아래 그림에서 두 가지를 확인하라.
#   중심: 참 분산 1 근처에 놓인다 (S^2 은 불편추정량이다)
#   모양: 대칭이 아니라 **오른쪽으로 치우쳐 있다**.
#         분산은 음수가 될 수 없어 왼쪽이 0에서 막히기 때문이다.
#         표본평균의 표집분포가 대칭인 것과 대비된다.
sample_vars = [
    np.var(np.random.choice(population, size=sample_size, replace=False), ddof=1)
    for _ in range(n_samples)
]
sample_vars = np.asarray(sample_vars)

# 이론값과 모의값을 나란히 둔다. 비복원이므로 겨냥값은 실현된 10만 개의 적률이다.
df = sample_size - 1
s2_real, b2_real = population.var(), stats.kurtosis(population) + 3
sd_true = np.sqrt((b2_real - (sample_size - 3) / df) * s2_real ** 2 / sample_size)
chi2 = stats.chi2(df)
print(f"실현 모집단 10만 개  분산 = {s2_real:.6f},  첨도 = {b2_real:.4f}")
print(f"E[S^2]    이론 {s2_real:.6f}   모의 {sample_vars.mean():.6f}   (MC오차 {sd_true / np.sqrt(n_samples):.6f})")
print(f"sd(S^2)   이론 {sd_true:.6f}   모의 {sample_vars.std(ddof=1):.6f}   (MC오차 {sd_true / np.sqrt(2 * n_samples):.6f})")
print(f"왜도(S^2) 이론 {np.sqrt(8 / df):.6f}   모의 {stats.skew(sample_vars):.6f}")
print(f"최빈값 {(df - 2) / df:.5f} < 중앙값 {chi2.median() / df:.5f} < 평균 {1.0:.5f}   "
      f"(모의 중앙값 {np.median(sample_vars) / s2_real:.5f})")
print(f"P(S^2 > sigma^2)  이론 {chi2.sf(df):.5f}   모의 {(sample_vars > s2_real).mean():.5f}")

# 위아래 두 패널로 나눈다. 위는 모집단, 아래는 통계량의 표집분포다.
# 둘의 **가로축 눈금이 다르다**는 점에 주의하라.
# 표집분포가 훨씬 좁으므로 같은 축에 그리면 한 점처럼 보인다.
fig, (ax0, ax1) = plt.subplots(2, 1, figsize=(12, 6))

ax0.hist(population, bins=100, density=True, alpha=0.5)
ax0.set_title('Population Distribution (Normal)', fontsize=16)

ax1.hist(sample_vars, bins=100, density=True, alpha=0.5)
ax1.set_title(rf'Sampling Distribution of $S^2$ (n = {sample_size})', fontsize=16)

for ax in (ax0, ax1):
    ax.spines['top'].set_visible(False)
    ax.spines['right'].set_visible(False)

plt.tight_layout()
plt.show()

출력:

실현 모집단 10만 개  분산 = 0.996661,  첨도 = 3.0205
E[S^2]    이론 0.996661   모의 0.999114   (MC오차 0.004720)
sd(S^2)   이론 0.471989   모의 0.473219   (MC오차 0.003337)
왜도(S^2) 이론 0.942809   모의 0.966648
최빈값 0.77778 < 중앙값 0.92698 < 평균 1.00000   (모의 중앙값 0.92563)
P(S^2 > sigma^2)  이론 0.43727   모의 0.43880

Population Distribution (Normal)

다섯 줄이 모두 맞는다. \(E[S^2] = 0.999114\)가 겨냥값 \(0.996661\)에서 몬테카를로(Monte Carlo) 오차 \(0.004720\)의 \(0.52\)배, \(\operatorname{sd}(S^2) = 0.473219\)가 \(0.471989\)에서 오차 \(0.003337\)의 \(0.37\)배 떨어져 있다. 실현된 10만 개의 첨도가 \(3.0205\)로 \(3\)에 가까워 명목 이론값 \(\sqrt{2/9} = 0.471405\)와도 사실상 같다. 꼬리가 가벼운 모집단에서는 10만 개가 모집단을 거의 그대로 대표한다.

왜도가 요점이다. 모의 왜도 \(0.966648\)이 이론 \(0.942809\)와 \(2.5\%\) 차이인데, 왜도 추정값 자체의 몬테카를로 요동이 \(\chi^2_9/9\)에서 \(B = 10{,}000\)일 때 \(0.038\)이므로 \(0.6\)배다. 맞는다. 위 패널의 모집단은 좌우대칭인데 아래 패널은 \(0.94\)만큼 오른쪽으로 끌려 있다. 대칭인 모집단에서 비대칭인 표집분포가 나온 것이고, 까닭은 \(S^2 \ge 0\)이라 왼쪽이 \(0\)에서 막히는 반면 오른쪽은 열려 있기 때문이다.

그 왜도를 수로 읽으면 더 선명하다. 모의 중앙값이 \(\sigma^2\)의 \(0.92563\)배로 이론 \(0.92698\)과 맞는다. 그리고 \(S^2\)이 참값을 넘는 비율이 \(0.43880\)으로 이론 \(0.43727\)과 맞는데(비율의 오차 \(0.00496\)의 \(0.3\)배), 열 번 가운데 대여섯 번(\(0.5627\))은 분산을 작게 추정한다는 뜻이다. 불편성은 평균에 관한 성질이지 "반반"에 관한 성질이 아니다.

위 패널의 모집단은 좌우대칭인데 아래 패널의 \(S^2\) 분포는 오른쪽으로 꼬리를 끈다. 분산이 음수가 될 수 없어 왼쪽이 0에서 막히는 반면 오른쪽은 열려 있기 때문이며, 표본평균의 표집분포가 대칭이었던 것과 대비된다. 중심은 참값 1 근처에 놓여 불편성을 확인해 준다.

다음은 치우친 모집단이다. 대출 신청자의 소득 자료로, 오른쪽으로 길게 늘어진 전형적인 소득 분포다.

보기 5. 치우친 모집단에서 표본분산의 표집분포. 대출 신청자 5만 명의 소득 자료를 모집단으로 삼아 \(n = 10\)씩 비복원으로 뽑아 \(S^2\)을 계산하는 일을 1만 번 반복한다.

(1) 모집단의 첨도를 재고, 거기서 \(\operatorname{sd}(S^2)\)과 카이제곱 예측과의 분산 배율을 이론으로 구하시오.

(2) 모의실험으로 확인하고, 치우친 모집단에서 무엇이 달라지고 무엇이 그대로인지 가리시오.

풀이

(1) 이론값. 모집단이 자료로 주어져 있으므로 적률을 직접 재면 된다. 5만 명의 소득은 평균 \(68{,}761\), 표준편차 \(32{,}872\), 왜도 \(1.0488\), 첨도 \(\beta_2 = 4.0808\)이다. \(\sigma^2 = 1.0805 \times 10^9\)을 공식에 넣으면

\[ \operatorname{Var}(S^2) = \frac{1}{10}\left(4.0808 - \frac{7}{9}\right)\sigma^4, \qquad \operatorname{sd}(S^2) = 6.2101 \times 10^8 \]

이다. 카이제곱 모형이 예측하는 값은 \(\sqrt{2/9}\,\sigma^2 = 5.0938 \times 10^8\)이므로 분산 배율은

\[ \frac{9}{20}\left(4.0808 - \frac79\right) = 1.4863 \]

이고 극한값은 \((\beta_2-1)/2 = 1.5404\)다. 폭으로는 \(\sqrt{1.4863} = 1.22\)배, 곧 \(22\%\) 넓다. 정규모집단의 \(1.00\)에서 벗어났으되 지수모집단의 \(3.97\)만큼은 아니다. 까닭은 소득 자료가 오른쪽으로 치우쳐 있어도 \(199{,}000\)에서 끊겨 있어 첨도가 \(4.08\)에 머물기 때문이다. 왜도가 곧 큰 첨도는 아니다.

모양은 어떨까. \(n = 10\)에서 카이제곱이라면 왜도가 \(\sqrt{8/9} = 0.9428\)이어야 한다. 여기서는 모집단이 치우쳤으니 더 커질 법하지만 얼마나 커질지는 6차 적률이 정하는 일이라 간단한 닫힌 꼴이 없다. 모의실험으로 재어 본다.

(2) 모의실험.

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from scipy import stats

plt.rcParams["font.sans-serif"] = ["NanumGothic", "Apple SD Gothic Neo", "Malgun Gothic"]
plt.rcParams["font.family"] = "sans-serif"
plt.rcParams["axes.unicode_minus"] = False

np.random.seed(1)

url = 'https://raw.githubusercontent.com/gedeck/practical-statistics-for-data-scientists/8a6d3bb6468e979c861d4b37215e1413702dfdfa/data/loans_income.csv'
df = pd.read_csv(url)
population = df['x'].values
sample_size = 10
n_samples = 10_000

sample_vars = [
    np.var(np.random.choice(population, size=sample_size, replace=False), ddof=1)
    for _ in range(n_samples)
]
sample_vars = np.asarray(sample_vars)

# 모집단의 적률과 거기서 나오는 S^2 의 이론값을 적는다.
dof = sample_size - 1
s2_pop = population.var()
b2_pop = stats.kurtosis(population) + 3
sd_true = np.sqrt((b2_pop - (sample_size - 3) / dof) * s2_pop ** 2 / sample_size)
sd_chi2 = np.sqrt(2 / dof) * s2_pop
print(f"소득 모집단 {len(population)} 명:  평균 {population.mean():.0f},  표준편차 {population.std():.0f},  "
      f"왜도 {stats.skew(population):.4f},  첨도 {b2_pop:.4f}")
print(f"E[S^2]   이론 {s2_pop:.4e}   모의 {sample_vars.mean():.4e}   (MC오차 {sd_true / np.sqrt(n_samples):.4e})")
print(f"sd(S^2)  이론 {sd_true:.4e}   모의 {sample_vars.std(ddof=1):.4e}   (MC오차 {sd_true / np.sqrt(2 * n_samples):.4e})")
print(f"카이제곱이 예측하는 sd = {sd_chi2:.4e}")
print(f"분산 배율  이론 {dof / (2 * sample_size) * (b2_pop - (sample_size - 3) / dof):.4f}   "
      f"모의 {(sample_vars.std(ddof=1) / sd_chi2) ** 2:.4f}   극한 {(b2_pop - 1) / 2:.4f}")
print(f"왜도(S^2)  카이제곱이라면 {np.sqrt(8 / dof):.4f}   모의 {stats.skew(sample_vars):.4f}")

# 위아래 두 패널로 나눈다. 위는 모집단, 아래는 통계량의 표집분포다.
# 둘의 **가로축 눈금이 다르다**는 점에 주의하라.
# 표집분포가 훨씬 좁으므로 같은 축에 그리면 한 점처럼 보인다.
fig, (ax0, ax1) = plt.subplots(2, 1, figsize=(12, 6))

ax0.hist(population, bins=100, density=True, alpha=0.5)
ax0.set_title('Population Distribution (Income — Skewed)', fontsize=16)

ax1.hist(sample_vars, bins=100, density=True, alpha=0.5)
ax1.set_title(rf'Sampling Distribution of $S^2$ (n = {sample_size})', fontsize=16)

for ax in (ax0, ax1):
    ax.spines['top'].set_visible(False)
    ax.spines['right'].set_visible(False)

plt.tight_layout()
plt.show()

출력:

소득 모집단 50000 명:  평균 68761,  표준편차 32872,  왜도 1.0488,  첨도 4.0808
E[S^2]   이론 1.0805e+09   모의 1.0845e+09   (MC오차 6.2101e+06)
sd(S^2)  이론 6.2101e+08   모의 6.2921e+08   (MC오차 4.3912e+06)
카이제곱이 예측하는 sd = 5.0938e+08
분산 배율  이론 1.4863   모의 1.5259   극한 1.5404
왜도(S^2)  카이제곱이라면 0.9428   모의 0.9776

치우친 소득 모집단과 표본분산의 표집분포

그대로인 것 — 불편성. 모의 \(E[S^2] = 1.0845 \times 10^9\)이 모집단 분산 \(1.0805 \times 10^9\)에서 몬테카를로 오차 \(6.21 \times 10^6\)의 \(0.64\)배만큼 떨어져 있다. 모집단이 치우쳤다는 사실이 중심에는 아무 영향을 주지 않는다.

달라진 것 — 폭. 모의 \(\operatorname{sd}(S^2) = 6.2921 \times 10^8\)이 이론 \(6.2101 \times 10^8\)과 \(1.3\%\) 차이로 맞고, 카이제곱 예측 \(5.0938 \times 10^8\)보다는 \(24\%\) 크다. 배율로는 모의 \(1.5259\)가 이론 \(1.4863\)과 \(2.7\%\) 차이이며(배율은 표준편차의 제곱이라 상대오차가 두 배로 보인다), 극한 \(1.5404\)에 아래에서 다가가는 중이다. 명목 \(95\%\) 신뢰구간을 카이제곱으로 짜면 폭이 \(1/1.22\)배로 좁아진다.

거의 그대로인 것 — 모양. 뜻밖에도 왜도가 \(0.9776\)으로 카이제곱이 예측하는 \(0.9428\)과 거의 같다. 왜도 추정값의 몬테카를로 요동이 \(0.038\)쯤이니 \(0.9\)배 차이, 곧 구별되지 않는다. \(n = 10\)에서 \(S^2\)의 왜도는 모집단이 아니라 자유도가 정한다. 아래 패널의 모양만 보고는 모집단이 정규였는지 소득이었는지 가려낼 수 없고, 가려내게 해 주는 것은 가로축의 폭뿐이다.

그러므로 이 쪽의 결론을 한 줄로 줄이면 이렇다. \(\bar X\)에서는 모집단의 왜도가 중심극한정리에 씻겨 거의 사라지지만, \(S^2\)에서는 중심에도 모양에도 나타나지 않고 오직 폭에만 남는다. 그리고 폭은 신뢰구간과 검정이 직접 쓰는 양이다.

소득 모집단은 꼬리가 두꺼워 첨도가 크다. 앞에서 본 배율 \((\beta_2-1)/2\)가 그만큼 크게 작용하므로 \(S^2\)의 산포가 정규모집단에서보다 커지고, 카이제곱 공식이 주는 값은 더 이상 맞지 않는다. 다만 그 정도를 가늠해 두자. 이 모집단은 \(\beta_2 = 4.08\)이라 분산 배율이 \(1.49\), 폭으로는 \(22\%\) 넓어지는 수준이다(같은 \(n = 10\) 에서 지수모집단은 \(3.70\) 이라 두 배 반쯤 된다). 모집단의 모양이 \(\bar{X}\)의 표집분포에는 거의 흔적을 남기지 않았지만 \(S^2\)에는 고스란히 남는 것이다.


AI로 보는 통계학 1. 척도가 흔들리면 나눈 값도 흔들린다

개요의 첫 단락이 「분산 추정값은 평균 추정값보다 훨씬 심하게 요동친다」로 시작한다. 신경망의 정규화 층은 그 요동치는 값을 분모로 쓴다. 값들에서 평균을 빼고 표준편차로 나누어 척도를 맞추는 일이고, 그 평균과 표준편차를 그 자리에서 몇 개로 재느냐가 모든 것을 정한다.

표본 수에 따른 S 와 평균의 변동, 배치 크기에 따른 정규화 결과, 그리고 축에 따른 척도의 변동

① 척도는 평균보다 심하게 흔들린다. 정규모집단에서 \(n\) 개로 잰 \(S\) 의 상대 표준편차는 \(1/\sqrt{2(n-1)}\) 에 거의 정확히 맞는다.

\(n\) \(2\) \(8\) \(32\) \(256\)
\(S\) 가 흔들리는 정도 \(70.7\%\) \(26.7\%\) \(12.7\%\) \(4.4\%\)

② 그 척도로 나누면. 같은 값을 그 자리의 평균·표준편차로 정규화하면 결과의 표준편차가 \(1\) 이 되기를 바라는데, 실제로는

배치 크기 \(m\) \(2\) \(8\) \(32\) \(256\)
정규화된 값의 표준편차 \(0.707\) \(0.936\) \(0.985\) \(0.998\)

\(m\) 이 작을수록 \(1\) 에 못 미친다. 나누는 값 안에 자기 자신이 들어 있기 때문이다. 극단에서 이것은 요동이 아니라 아예 벽이 된다 — \(m = 2\) 면 정규화된 값이 \(\pm 1/\sqrt2 = \pm 0.707\) 두 값밖에 될 수 없고, 일반으로 \(\lvert z\rvert \le (m-1)/\sqrt m\) 이다. 재어 보니 \(m = 2\) 에서 \(\lvert z\rvert\) 의 최댓값이 정확히 \(0.7071\) 이었다.

③ 축을 바꾸면 \(n\) 이 바뀐다. 같은 식을 배치 방향이 아니라 특징 방향으로 걸면 재는 개수가 달라진다.

배치 \(8\) 배치 \(32\) 특징 \(256\) 특징 \(1{,}024\)
척도의 상대 표준편차 \(26.7\%\) \(12.7\%\) \(4.4\%\) \(\mathbf{2.2\%}\)

배치를 키우는 것은 메모리를 더 쓰는 일이지만, 축을 바꾸는 것은 공짜다. 언어모형이 배치 정규화 대신 층 정규화를 쓰는 까닭의 하나가 여기 있다 — 한 표본 안의 특징이 수백, 수천 개라 \(n\) 이 처음부터 크다. 그리고 배치 방향을 쓰지 않으므로 추론할 때 배치가 하나여도 같은 식이 그대로 돈다.

\(\S 1\) 이 \(n\) 에서 하나를 빼는 까닭을 따진다. 저 셋은 \(n\) 이 얼마냐를 따지는 셈이고, 같은 공식이 \(n\) 에 따라 쓸 만한 도구가 되기도 하고 \(\pm 0.707\) 두 값을 내놓는 장치가 되기도 한다.


7. 그래서 이 분포로 무엇을 하는가

여기까지가 \(S^2\)의 표집분포다. 정규모집단이면 \((n-1)S^2/\sigma^2\)이 정확히 \(\chi^2_{n-1}\)이고, 아니면 불일치의 배율이 \((\beta_2-1)/2\)로 남으며 표본을 키워도 그 배율은 줄지 않는다. \(\bar X\)에서는 정리의 수렴이 문제라 \(n\)이 고쳐 주지만 \(S^2\)에서는 정리의 전제가 문제라 그렇지 않다는 것, 그것이 이 쪽의 결론이다.

이 분포를 근거로 실제 추론을 하는 일은 뒤에 있다. \(\sigma^2\)의 신뢰구간은 8.2절에서, 분산에 대한 검정은 9.2절에서 다룬다.

다만 그쪽으로 넘어가기 전에 이 쪽의 결론을 한 번 더 새겨 둘 일이다. 카이제곱에 기댄 구간과 검정은 정규성이 조금만 어긋나도 약속한 값을 지키지 못하고, 자료를 더 모아도 사정이 나아지지 않는다. 그래서 분산에 관한 추론은 평균에 관한 추론과 달리 "표본이 크니 괜찮겠지"가 통하지 않으며, 애초에 첨도에 덜 기대는 방법으로 가는 편이 낫다. 그 방법들은 15장이 한 장을 통째로 쓴다.


연습문제

연습문제 1. \(S^2\) 의 산포는 얼마나 빨리 줄어드는가. 보기 1 이 \(N(\mu, 25)\), \(n = 10\) 에서 \(\mathbb{E}[S^2] = 25\), \(\mathrm{Var}(S^2) = 138.9\) 를 셈했다. \(n\) 을 \(25\)·\(50\)·\(100\) 으로 키우며 \(\mathrm{Var}(S^2)\) 과 그 제곱근을 적고, \(S^2\) 의 상대 산포가 평균의 그것보다 몇 배 큰지 견주어라.

풀이

정규성 아래에서 \(\mathrm{Var}(S^2) = 2\sigma^4/(n-1)\) 이므로

\(n\) \(\mathrm{Var}(S^2)\) \(\mathrm{sd}(S^2)\) \(\mathrm{sd}(S^2)/\sigma^2\) \(\mathrm{sd}(\bar X)/\sigma\)
\(10\) \(138.89\) \(11.79\) \(0.471\) \(0.316\)
\(25\) \(52.08\) \(7.22\) \(0.289\) \(0.200\)
\(50\) \(25.51\) \(5.05\) \(0.202\) \(0.141\)
\(100\) \(12.63\) \(3.55\) \(0.142\) \(0.100\)

둘 다 \(1/\sqrt n\) 으로 줄지만 \(S^2\) 쪽이 \(\sqrt 2\) 배 느리다. 넷째 열이 \(\sqrt{2/(n-1)}\) 이고 다섯째 열이 \(1/\sqrt n\) 이니 비가 \(\sqrt{2n/(n-1)} \to \sqrt 2\) 다. 같은 상대 정밀도를 얻으려면 분산 쪽에 표본이 두 배쯤 든다 — 자릿수가 달라지는 것은 아니다.

\(n = 10\) 에서 \(\mathrm{sd}(S^2)/\sigma^2 = 0.47\) 이라는 것은 분산 추정값이 참값의 절반 가까이 흔들린다는 뜻이고, \(n = 100\) 이 되어서야 \(14\%\) 로 내려온다.


연습문제 2. \(P(S^2 > 30)\) 은 \(n\) 과 함께 어떻게 줄어드는가. 보기 2 가 \(n = 10\), \(\sigma^2 = 25\), 정규모집단에서 \(P(S^2 > 30) = 0.290\) 을 셈했다. 같은 기준 \(30\) 을 두고 \(n\) 을 \(25\)·\(50\)·\(100\) 으로 키워 그 확률을 적고, 연습문제 1 의 \(\mathrm{sd}(S^2)\) 과 나란히 읽어라.

풀이

\(\chi^2 = (n-1)s^2/\sigma^2 = (n-1) \times 30/25 = 1.2(n-1)\) 이므로 \(P(S^2 > 30) = P(\chi^2_{n-1} > 1.2(n-1))\) 다.

\(n\) \(\chi^2\) 값 자유도 \(P(S^2 > 30)\)
\(10\) \(10.8\) \(9\) \(0.2897\)
\(25\) \(28.8\) \(24\) \(0.2277\)
\(50\) \(58.8\) \(49\) \(0.1594\)
\(100\) \(118.8\) \(99\) \(0.0854\)

기준이 \(\sigma^2\) 의 \(1.2\) 배라는 것은 고정이고, 줄어드는 것은 \(S^2\) 의 산포뿐이다. 연습문제 1 의 \(\mathrm{sd}(S^2)/\sigma^2\) 이 \(0.47 \to 0.14\) 로 줄어드는 그만큼 이 꼬리확률이 \(0.29 \to 0.09\) 로 내려간다.

눈여겨볼 것은 \(n = 100\) 에서도 열에 하나가 \(30\) 을 넘는다는 점이다. 참 분산이 \(25\) 인데 손에 든 \(S^2\) 이 \(30\) 으로 나오는 일을 「분산이 커졌다」고 읽으면 안 된다는 뜻이다.


연습문제 3. \(\sigma^2\)의 신뢰구간. 정규모집단에서 \(n = 10\), \(s^2 = 16\)을 얻었다. \(\sigma^2\)에 대한 95% 신뢰구간을 구성하라.

풀이

추축량: \((n-1)s^2/\sigma^2 \sim \chi^2_9\).

95% 신뢰구간에는 \(\chi^2_{0.025, 9} = 2.700\)과 \(\chi^2_{0.975, 9} = 19.023\)을 사용한다.

\[ P(2.700 \le 9 s^2/\sigma^2 \le 19.023) = 0.95 \]

부등식을 \(\sigma^2\) 에 대해 풀면 다음과 같다.

\[ \frac{9 s^2}{19.023} \le \sigma^2 \le \frac{9 s^2}{2.700} \]

\(s^2 = 16\)이면 신뢰구간은 \((9 \cdot 16/19.023, 9 \cdot 16/2.700) = (7.57, 53.33)\)이다.

넓고 비대칭이다. 자유도가 작으면 카이제곱이 치우쳐 있기 때문이다. \(n = 10\)에서는 분산이 거의 제약되지 않는다. \(n\)이 커지면 신뢰구간이 좁아진다.


연습문제 4. 정규성 없이. 정규성이 깨지면 \(S^2\) 의 분포가 달라진다. \(\sigma^2 = 25\) 로 맞춘 지수모집단과 로그정규모집단(\(\sigma_{\log} = 1\))에서 \(n = 10\) 일 때 \(\mathrm{Var}(S^2)\) 과 \(P(S^2 > 30)\) 을 모의실험으로 재어 정규 이론값(\(138.9\) 와 \(0.290\))과 견주어라. 두 양 가운데 어느 쪽이 무너지는가.

풀이

정규성이 없으면 \((n-1)S^2/\sigma^2\)은 \(\chi^2_{n-1}\)을 따르지 않는다. 카이제곱 결과는 정규분포에 특유한 것이다.

\(\mathbb{E}[S^2] = \sigma^2\)은 여전히 성립하지만(불편성에는 정규성이 필요 없다), \(S^2\)의 분포는 상당히 다를 수 있다.

\(\mathrm{Var}(S^2)\)을 안다면 체비쇼프 한계를 쓸 수 있지만, 일반적으로 \(\mathrm{Var}(S^2)\)은 모집단의 4차 적률(첨도)에 의존하며 이는 분포 모양에 민감하다.

반복 \(40\) 만 회로 재면 이렇다.

모집단 \(\beta_2\) \(\mathrm{Var}(S^2)\) 정규 대비 \(P(S^2 > 30)\)
정규 \(3\) \(138.9\) \(1.0\) \(0.2890\)
지수 \(9\) \(512\) \(3.7\) 배 \(0.2741\)
로그정규 \(114\) \(5{,}610\) \(40\) 배 \(0.1877\)

이론값과도 맞는다 — \(\mathrm{Var}(S^2) = \sigma^4\bigl[(\beta_2-1)/n + 2/\{n(n-1)\}\bigr]\) 에 지수의 \(\beta_2 = 9\) 를 넣으면 \(513.9\) 다.

무너지는 것은 분산이고 이 꼬리확률은 아니다. \(\mathrm{Var}(S^2)\) 이 \(3.7\) 배·\(40\) 배로 폭발하는데 \(P(S^2 > 30)\) 은 \(0.29 \to 0.27 \to 0.19\) 로 오히려 조금 내려간다. 까닭은 분포가 오른쪽으로 길게 늘어지면서 중앙이 왼쪽으로 몰리기 때문이다 — 산포가 커진 몫이 멀리 있는 꼬리로 가고 \(30\) 이라는 가까운 기준 근처의 질량은 늘지 않는다.

그래서 확률 하나를 재어 보고 「괜찮다」고 판정하면 안 된다. 망가진 것은 \(S^2\) 의 폭이고, 그 폭에 기대는 것이 신뢰구간과 검정이다 — 8.2절 σ²의 신뢰구간이 지수모집단에서 포함률이 \(0.72\) 까지 떨어지는 것을 보인다.

실무: 치우쳤거나 꼬리가 두꺼운 자료에서 \(\sigma^2\) 에 관한 추론은 부트스트랩(bootstrap)이나 보넷 구간으로 간다.


연습문제 5. \(S^2\)과 \(\sigma^2_{\text{MLE}}\). \(\sigma^2\)의 MLE는 분모가 \(n - 1\)이 아니라 \(n\)이다. 편향, 분산, 평균제곱오차(mean squared error)를 비교하라.

풀이

\(S^2 = \frac{1}{n-1}\sum(X_i - \bar X)^2\) (불편): \(\mathbb{E}[S^2] = \sigma^2\), \(\mathrm{Var}(S^2) = 2\sigma^4/(n-1)\).

\(\hat\sigma^2_{\text{MLE}} = \frac{1}{n}\sum(X_i - \bar X)^2 = \frac{n-1}{n} S^2\) (편향): \(\mathbb{E}[\hat\sigma^2_{\text{MLE}}] = (n-1)\sigma^2/n\).

\(\mathrm{Var}(\hat\sigma^2_{\text{MLE}}) = ((n-1)/n)^2 \cdot 2\sigma^4/(n-1) = 2(n-1)\sigma^4/n^2\).

\(\mathrm{MSE}(\hat\sigma^2_{\text{MLE}}) = \mathrm{Var} + \mathrm{bias}^2 = 2(n-1)\sigma^4/n^2 + \sigma^4/n^2 = (2n-1)\sigma^4/n^2\).

\(\mathrm{MSE}(S^2) = \mathrm{Var}(S^2) = 2\sigma^4/(n-1)\).

비를 비교하면 \(\mathrm{MSE}(\hat\sigma^2_{\text{MLE}})/\mathrm{MSE}(S^2) = (2n-1)(n-1)/(2n^2)\)로, 모든 \(n \ge 2\)에서 1보다 작다.

MLE는 편향되어 있지만 평균제곱오차가 더 작다. 분산이 더 작은 것이 편향을 상쇄하고도 남기 때문이다. 편향–분산 트레이드오프(trade-off)의 고전적인 예로, 전체 오차를 줄이기 위해 약간의 편향을 받아들이는 것이다.

그럼에도 대부분의 소프트웨어가 (베셀 수정된) \(S^2\)을 쓰는 이유는 불편성이 깔끔한 성질이고 \(n \to \infty\)이면 평균제곱오차의 차이가 사라지기 때문이다.


연습문제 6. 독립인 두 정규표본에서 \(n_1=12\), \(s_1^2 = 18.4\)와 \(n_2 = 15\), \(s_2^2 = 11.9\)를 얻었다. 공통분산 \(\sigma^2\)의 합동추정값을 구하고, 왜 두 분산의 단순평균을 쓰지 않는지 설명하라. 합동추정량이 불편임을 보여라.

풀이

합동추정값.

\[ s_p^2 = \frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2} = \frac{11(18.4)+14(11.9)}{25} = \frac{202.4+166.6}{25} = 14.76 \]

단순평균 \((18.4+11.9)/2 = 15.15\)와 다르다.

왜 자유도로 가중하는가. \(s_1^2\)은 자유도 11, \(s_2^2\)은 자유도 14로 정밀도가 다르다. 정규모집단에서 \(\operatorname{Var}(S_i^2) = 2\sigma^4/(n_i-1)\)이므로 정밀도가 자유도에 비례하고, 앞서 본 대로 정밀도 가중이 최소분산을 준다. 자유도가 큰 쪽에 더 큰 가중치를 주는 것이 자연스럽다.

\(n_1 = n_2\)이면 두 방법이 일치한다. 표본크기가 크게 다를수록 차이가 커진다.

불편성.

\[ E[S_p^2] = \frac{(n_1-1)E[S_1^2]+(n_2-1)E[S_2^2]}{n_1+n_2-2} = \frac{(n_1-1)\sigma^2+(n_2-1)\sigma^2}{n_1+n_2-2} = \sigma^2 \]

이다. 어떤 가중치를 써도 합이 1이면 불편이지만, 자유도 가중이 그중 분산이 가장 작다. \(\square\)

분모 \(n_1+n_2-2\)가 곧 스튜던트 \(t\) 검정의 자유도다. 각 표본에서 평균을 하나씩 추정하느라 자유도를 하나씩 잃은 결과다.


연습문제 7. 분산을 \(\left(\sum_i x_i^2 - n\bar x^2\right)/(n-1)\)로 계산하는 "간편식"은 수학적으로는 옳지만 수치적으로 위험하다. \(x = (10^8+1,\ 10^8+2,\ 10^8+3)\)에서 무슨 일이 일어나는지 설명하고 안전한 방법을 적어라.

풀이

참값은 \(s^2 = 1\)이다(자료가 \(1,2,3\)을 평행이동한 것이므로).

간편식의 문제. \(\sum x_i^2 \approx 3\times10^{16}\)이고 \(n\bar x^2 \approx 3\times10^{16}\)이다. 거의 같은 두 거대한 수를 빼서 2라는 작은 수를 얻어야 한다. 배정밀도 부동소수점은 유효숫자가 약 16자리이므로 \(10^{16}\) 규모의 수에서는 1의 자리조차 제대로 표현되지 않는다. 그 결과 뺄셈에서 유효숫자가 모두 소멸되어 0이나 음수 같은 엉뚱한 값이 나온다.

import numpy as np
x = np.array([1e8+1, 1e8+2, 1e8+3])
naive = (np.sum(x**2) - len(x)*x.mean()**2) / (len(x)-1)
print(naive)          # 0.0 또는 음수 (환경에 따라 다름)
print(np.var(x, ddof=1))   # 1.0

출력:

0.0
1.0

참값은 1인데 간편식이 0을 준다. 분산이 0이라는 것은 세 값이 모두 같다는 뜻이므로 명백히 틀린 답이다.

안전한 방법 1 — 두 번 훑기. 평균을 먼저 구하고 편차를 제곱한다.

\[ s^2 = \frac{1}{n-1}\sum_i(x_i-\bar x)^2 \]

편차가 \(-1, 0, 1\)로 작아져 상쇄가 일어나지 않는다. NumPy의 var가 이 방식이다.

안전한 방법 2 — 웰퍼드 알고리즘. 자료를 한 번만 훑으면서 갱신한다.

\[ \bar x_k = \bar x_{k-1} + \frac{x_k-\bar x_{k-1}}{k}, \qquad M_k = M_{k-1} + (x_k-\bar x_{k-1})(x_k-\bar x_k) \]

마지막에 \(s^2 = M_n/(n-1)\)이다. 갱신량이 언제나 편차 규모라 안정적이며, 자료를 저장할 필요가 없어 스트리밍 자료에 쓴다.

교훈. 수학적으로 동치인 식이 수치적으로 동치인 것은 아니다. 자료의 평균이 표준편차에 비해 아주 클 때(측정값이 큰 기준선 위의 작은 변동일 때) 특히 위험하다. 자료를 미리 중심화해 두는 것도 좋은 습관이다.


연습문제 8. 도수분포표로만 주어진 자료의 분산을 구하는 공식을 적어라. 구간으로 묶인 자료(예: "20\~30대 15명")에서 분산을 계산할 때 생기는 오차는 어떤 성격인가?

풀이

값 \(v_1,\dots,v_K\)가 각각 \(f_1,\dots,f_K\)번 나타나고 \(n = \sum_k f_k\)일 때

\[ \bar x = \frac{1}{n}\sum_k f_kv_k, \qquad s^2 = \frac{1}{n-1}\sum_k f_k(v_k-\bar x)^2 \]

이다. 관측값 하나하나를 다 쓰는 대신 도수를 가중치로 쓴 것이며, 값이 정확히 알려져 있으면 결과도 정확하다.

구간 자료의 문제. "20세 이상 30세 미만 15명"처럼 구간만 알면 각 관측값을 구간의 중간점 25로 대신할 수밖에 없다. 이때 두 가지 오차가 생긴다.

(1) 구간 내 분산의 소실. 구간 안에서 값들이 흩어져 있는데 모두 중간점으로 눌러 버리므로 산포를 과소평가한다. 구간 안에서 값이 균등하게 퍼져 있다고 보면 잃어버린 분산이 구간 폭 \(w\)에 대해 \(w^2/12\)이다. 이를 되돌려 주는 것이 셰퍼드 보정이다.

\[ s^2_{\text{보정}} = s^2_{\text{구간}} + \frac{w^2}{12} \]

앞서 균등분포에서 본 반올림 오차와 같은 계산이다.

(2) 구간 내 분포의 왜도. 실제 값들이 구간 안에서 균등하지 않으면(예: 소득 구간에서는 낮은 쪽에 몰린다) 중간점 대입이 평균 자체를 편향시킨다. 셰퍼드 보정으로는 고칠 수 없고, 구간이 넓고 분포가 급격히 변하는 곳에서 특히 심하다. 마지막 구간이 "100 이상"처럼 열려 있으면 중간점을 정하는 것 자체가 임의적이다.

실무 권고. 가능하면 원자료를 확보한다. 구간 자료만 있다면 폭이 좁은 구간에서는 셰퍼드 보정으로 충분하고, 소득처럼 심하게 치우친 자료는 구간별로 분포를 가정한 모형(예: 파레토 꼬리)을 적합하는 편이 낫다.


연습문제 9. \(k\)개 집단의 분산분석(analysis of variance)에서 오차 평균제곱 \(\text{MSE}\)가 연습문제 6의 합동분산(pooled variance)을 \(k\)개 집단으로 확장한 것임을 보여라. 이 값이 \(\sigma^2\)의 불편추정량인 것은 귀무가설(null hypothesis)의 참·거짓과 무관함을 설명하라.

풀이

집단 \(i\)의 표본크기가 \(n_i\), 표본분산이 \(s_i^2\)이고 \(N = \sum_i n_i\)라 하자. 집단 내 제곱합은

\[ \text{SSW} = \sum_{i=1}^k\sum_{j=1}^{n_i}(x_{ij}-\bar x_i)^2 = \sum_{i=1}^k(n_i-1)s_i^2 \]

이고 자유도가 \(N-k\)이므로

\[ \text{MSE} = \frac{\text{SSW}}{N-k} = \frac{\sum_i(n_i-1)s_i^2}{\sum_i(n_i-1)} \]

이다. \(k=2\)로 두면 정확히 연습문제 6의 \(s_p^2\)이다. \(\square\)

귀무가설과 무관한 이유. 위 식에는 각 집단의 관측값이 자기 집단 평균 \(\bar x_i\)로부터 얼마나 떨어져 있는지만 들어간다. 집단 평균들이 서로 같든 다르든 그 차이는 계산에 전혀 들어오지 않는다. 따라서 각 \(s_i^2\)이 \(\sigma^2\)의 불편추정량이면 그 가중평균인 MSE도 언제나 불편이다.

반면 집단 간 평균제곱

\[ \text{MSB} = \frac{\sum_i n_i(\bar x_i-\bar{\bar x})^2}{k-1} \]

은 사정이 다르다. \(H_0\)가 참이면 \(E[\text{MSB}] = \sigma^2\)이지만, 거짓이면

\[ E[\text{MSB}] = \sigma^2 + \frac{\sum_i n_i(\mu_i-\bar\mu)^2}{k-1} > \sigma^2 \]

으로 부풀어 오른다.

이것이 \(F\) 검정의 논리 전부다. 분모는 진실과 무관하게 \(\sigma^2\)을 재는 자이고, 분자는 \(H_0\)가 거짓일 때만 커지는 양이다. 둘의 비가 1보다 뚜렷이 크면 평균이 다르다고 판단한다. 그리고 \(F\) 검정이 단측인 이유도 여기 있다. 대립가설(alternative hypothesis) 아래에서 이 비는 언제나 위로만 움직인다.


연습문제 10. 정규성 아래에서 \(S^2\)의 카이제곱분포를 증명하라. 구체적으로 \(X_1, \ldots, X_n\)이 i.i.d. \(N(\mu, \sigma^2)\)이면 \((n-1)S^2/\sigma^2 \sim \chi^2_{n-1}\)임을 보여라.

풀이

다음과 같이 분해한다.

\[ \frac{1}{\sigma^2}\sum_{i=1}^n (X_i - \mu)^2 = \frac{1}{\sigma^2}\sum_{i=1}^n (X_i - \bar X)^2 + \frac{n(\bar X - \mu)^2}{\sigma^2} \]

좌변은 \(\chi^2_n\)이다(표준정규확률변수 \(n\)개의 제곱합). 우변의 두 번째 항은 \(\chi^2_1\)이다(\(\sqrt n(\bar X - \mu)/\sigma \sim N(0, 1)\)의 제곱).

(\(\mathrm{span}\{\mathbf 1\}\)과 그 직교여공간으로의 \(X\)의 직교사영에 적용한) 코크런 정리에 의해 우변의 두 항은 독립이다. 따라서 분포로 적으면

\[ \chi^2_n = \frac{(n-1) S^2}{\sigma^2} + \chi^2_1 \]

이며 우변의 두 카이제곱은 독립이다. 독립인 두 항의 합의 적률생성함수는 곱이므로, \((n-1)S^2/\sigma^2\) 의 적률생성함수를 \(M(t)\) 라 하면 \((1-2t)^{-n/2} = M(t)\,(1-2t)^{-1/2}\) 이다. 곧 \(M(t) = (1-2t)^{-(n-1)/2}\) 로 \(\chi^2_{n-1}\) 의 적률생성함수이고, 따라서 \((n-1) S^2/\sigma^2 \sim \chi^2_{n-1}\)이다.

\(\square\)

이 유도가 \(\sigma^2\)에 관한 정규이론 추론 전체를 떠받치며, \(t\) 분포와 \(F\) 분포가 자연스럽게 나타나는 이유이기도 하다.


정리하며

\(S^2\)은 어떤 모집단에서나 \(\sigma^2\)의 불편추정량이다. 이 성질만은 모집단의 모양을 묻지 않는다. 그러나 그 이상을 말하려는 순간 조건이 붙는다. 정규모집단에서만 \((n-1)S^2/\sigma^2\)이 \(\chi^2_{n-1}\)을 따르고, 그로부터 \(\text{Var}(S^2) = 2\sigma^4/(n-1)\)과 카이제곱 분위수에 기반한 비대칭 신뢰구간이 나온다.

정규성이 없으면 이 가운데 무엇도 보장되지 않는다. \(\bar{X}\)를 지켜 주던 중심극한정리라는 보호막이 \(S^2\)에는 없기 때문이다. 5장을 관통하는 문장으로 적으면 이렇다. 중심극한정리는 1차 적률에만 선물을 주고 2차 적률에는 주지 않는다. \(S^2\)의 분산은 모집단의 4차 적률, 곧 첨도에 직접 노출되어 있고, 표본을 키운다고 그 노출이 사라지지 않는다.

이어지는 다섯 쪽에서 이 점을 파고든다. \(S^2\)의 표준오차를 먼저 보고, 네 모집단(균등·지수·정규·베르누이)에서 표집분포를 모의실험한다. 정규가 아닌 모집단에서 불일치의 크기가 첨도 \(\beta_2\)로 정해지는 배율 \((\beta_2-1)/2\)이며, 그 배율이 표본크기와 무관하게 남는다는 것이 그 결론이다.

다음 쪽 S²의 표준오차로 넘어간다. \(S^2\) 이 참값 둘레에서 얼마나 흔들리는지를 하나의 수로 적는데, 그 식에 모집단의 4 차 적률이 들어오는 것이 요점이다 — 평균의 표준오차에는 없던 항이다.