X̄의 표본분포 (Normal)¶

(1) 이론값. \(N(0,1)\)은 \(\mu = 0\), \(\sigma = 1\)이므로 중심과 폭은 앞의 두 쪽과 똑같은 공식에서 나온다.

달라지는 것은 모양이다. 위 정리 1에 따라 \(\bar X \sim N(0, 1/5)\)이 모든 \(n\)에서 정확히 성립하므로

이고, 이것이 \(n = 5\)에서도 근사가 아니라 등호다.

앞의 두 쪽과 견주면 차이가 분명해진다. 모집단의 왜도를 \(\gamma_1\), 첨도를 \(\beta_2\)라 하면 독립인 합에서 \(\bar X\)의 왜도는 \(\gamma_1/\sqrt{n}\), 초과첨도는 \((\beta_2 - 3)/n\)이다. \(n = 5\)에 넣으면

가 된다. 균등은 대칭이라 왜도는 맞히지만 꼬리가 정규보다 짧고(음의 초과첨도), 지수는 왜도부터 틀린다. 셋 가운데 정규만 두 칸이 모두 \(0\)이고, 그래서 \(n\)을 키울 필요가 없다.

비복원으로 뽑으므로 엄밀하게 겨냥하는 것은 \(N(0,1)\) 자체가 아니라 실현된 유한모집단 1만 개이고, 유한모집단 수정 \(\sqrt{(10000-5)/9999} = 0.99980\)이 붙는다. 소수 넷째 자리에서 겨우 보이는 크기다.

(2) 모의실험.

import matplotlib.pyplot as plt
import numpy as np
from scipy import stats

np.random.seed(1)

sample_size = 5
n_samples = 10_000
n_population = 10_000

# N(0,1)에서 큰 모집단을 만든다.
population = np.random.normal(loc=0, scale=1, size=n_population)

# 표본을 딱 하나 뽑는다. 현실에서 우리가 실제로 갖게 되는 것이 이것뿐이다.
# 아래 가운데 패널에 점 몇 개로 그려진다.
single_sample = np.random.choice(population, size=sample_size, replace=False)

# 표본을 되풀이해 뽑으며 표본평균을 기록한다. 이 값들의 분포가 표집분포다.
sample_means = [
    np.mean(np.random.choice(population, size=sample_size, replace=False))
    for _ in range(n_samples)
]
sample_means = np.asarray(sample_means)

# 이론값과 모의값을 나란히 둔다. 비복원으로 뽑으므로 직접 겨냥하는 것은
# N(0,1) 자체가 아니라 실현된 유한모집단 1만 개이고, 유한모집단 수정이 붙는다.
mu_pop, sd_pop = population.mean(), population.std()
fpc = np.sqrt((n_population - sample_size) / (n_population - 1))
se_realized = sd_pop / np.sqrt(sample_size) * fpc
print(f"N(0,1) 이론        평균 = 0.0000,  sigma/sqrt(n) = {1 / np.sqrt(sample_size):.4f}")
print(f"실현 모집단 1만 개  평균 = {mu_pop:+.4f},  s/sqrt(n)*fpc = {se_realized:.4f}")
print(f"모의 1만 회        평균 = {sample_means.mean():+.4f},  표준편차      = {sample_means.std(ddof=1):.4f}")
print(f"몬테카를로 오차     평균 {se_realized / np.sqrt(n_samples):.4f},  표준편차 {se_realized / np.sqrt(2 * n_samples):.4f}")

# 모양을 잰다. 정규라면 왜도와 초과첨도가 둘 다 0 이어야 한다.
print(f"모의 왜도 = {stats.skew(sample_means):+.4f},  초과첨도 = {stats.kurtosis(sample_means):+.4f}")
ks = stats.kstest(sample_means, "norm", args=(mu_pop, se_realized))
print(f"KS 적합도검정  D = {ks.statistic:.4f},  p = {ks.pvalue:.4f}")

# 모집단과 표집분포를 나란히 그린다.
# 세 패널을 sharex=True 로 묶는 것이 이 그림의 핵심 장치다.
# 가로 눈금이 같아야 세 분포의 **퍼짐**을 직접 견줄 수 있다.
#   위   모집단      : 가장 넓다
#   가운데 표본 하나  : 모집단에서 뽑은 점 몇 개
#   아래  표집분포    : 눈에 띄게 좁다. 이 좁아짐이 sigma/sqrt(n) 이다.
fig, (ax0, ax1, ax2) = plt.subplots(3, 1, figsize=(12, 8), sharex=True)

ax0.hist(population, bins=100, edgecolor="white")
ax0.set_title("Population Distribution N(0, 1)")

ax1.scatter(single_sample, np.zeros_like(single_sample), s=100)
ax1.set_title(f"Sample Distribution (n = {sample_size})")

ax2.hist(sample_means, bins=100, edgecolor="white")
ax2.set_title("Sampling Distribution of X-bar")

plt.tight_layout()
plt.show()

출력:

N(0,1) 이론        평균 = 0.0000,  sigma/sqrt(n) = 0.4472
실현 모집단 1만 개  평균 = +0.0098,  s/sqrt(n)*fpc = 0.4466
모의 1만 회        평균 = +0.0109,  표준편차      = 0.4561
몬테카를로 오차     평균 0.0045,  표준편차 0.0032
모의 왜도 = -0.0069,  초과첨도 = +0.0360
KS 적합도검정  D = 0.0106,  p = 0.2106

중심. 실현된 모집단 1만 개의 평균이 \(+0.0098\)이다. 1만 개를 뽑을 때의 표집오차가 \(1/\sqrt{10000} = 0.01\)이니 \(1\) 표집오차만큼 비껴난 것이고, 비복원 \(\bar X\)가 겨냥하는 것은 \(0\)이 아니라 이 \(+0.0098\)이다. 모의 평균 \(+0.0109\)는 거기서 몬테카를로 오차 \(0.0045\)의 \(0.24\)배만큼 떨어져 있어 잘 맞는다.

폭. 모의 표준편차 \(0.4561\)은 겨냥값 \(0.4466\)보다 \(2.1\%\) 크다. 표준편차 자체의 몬테카를로 오차가 \(\mathrm{SE}/\sqrt{2B} = 0.0032\)이므로 \(3.0\)배 어긋난 셈이고, 1만 번치고는 운이 나쁜 쪽이다. 되풀이를 5만 번으로 늘리면 \(0.4484\), 20만 번으로 늘리면 \(0.4471\)이 되어 겨냥값으로 다가간다. 체계적 차이가 아니라 몬테카를로 요동이다.

모양. 여기가 이 쪽의 요점이다. 왜도 \(-0.0069\)는 표준오차 \(\sqrt{6/B} = 0.0245\)의 \(0.3\)배, 초과첨도 \(+0.0360\)은 표준오차 \(\sqrt{24/B} = 0.0490\)의 \(0.7\)배다. 둘 다 \(0\)과 구별되지 않는다. KS 검정도 \(p = 0.21\)로 기각하지 못한다. 같은 \(n = 5\)에서 균등 모집단이라면 초과첨도가 \(-0.240\)으로 표준오차의 \(5\)배, 지수 모집단이라면 왜도가 \(0.894\)로 표준오차의 \(36\)배가 되어 검정이 가차없이 기각할 값이다.

물론 적합도검정은 정규성을 증명하지 못한다. 기각하지 못했다는 것뿐이다. 정확성을 주는 것은 위 정리 1의 적률생성함수 계산이고, 모의실험은 그것과 어긋나지 않는다는 것만 보일 수 있다. 그리고 이 쪽에서는 그것으로 충분하다. 어긋날 자리가 애초에 없기 때문이다.

여기서 \(\mu = 100\), \(\sigma^2 = 16\), \(n = 25\)이다.

표준화하면:

\(\square\)

\(W = aX + bY\)라 하자. \(W\)의 MGF는:

이며 인수분해에는 독립성을 사용했다. 정규분포의 MGF를 대입하면:

이는 \(N(a\mu_X + b\mu_Y,\; a^2\sigma_X^2 + b^2\sigma_Y^2)\)의 MGF이다. \(\square\)

\(n = 16\)이고 \(X_i \sim N(500, 16)\)이라 하자.

\(Z = (\bar{X} - 500)/1\)일 때 \(P(498 < \bar{X} < 502) = P(-2 < Z < 2)\)를 구하면 된다.

표본평균이 목표치에서 2 ml 이내일 확률은 약 95.44%이다. \(\square\)

모집단이 정규이면 독립인 정규확률변수의 선형결합이 정규이므로 모든 \(n\)에서 \(\bar{X}\)가 정확히 정규분포이다. 이는 정규분포 MGF의 직접적인 성질(동등하게, 합성곱에 대해 닫혀 있다는 성질)이다.

정규가 아닌 모집단(예: Exponential, Uniform)에서는 유한한 \(n\)에 대해 \(\bar{X}\)가 정확히 정규분포가 아니다. 그 분포는 \(n\)과 구체적인 모집단 모양에 의존한다. 다만 \(n \to \infty\)일 때 중심극한정리가 표준화된 \(\bar{X}\)의 \(N(0,1)\)로의 분포수렴을 보장한다.

정규가 아닌 모집단에서 \(n\)이 커지면:

• 표본분포가 더 대칭이 된다(왜도가 \(\gamma_1/\sqrt{n}\)로 감소한다).
• 초과첨도가 (\(1/n\)의 비율로) 0을 향해 줄어든다.
• 모양이 점점 정규분포에 가까워진다.

수렴 속도는 모집단이 얼마나 "정규가 아닌지"에 달려 있다. 심하게 치우쳤거나 꼬리가 두꺼운 모집단은 더 큰 \(n\)을 요구한다. \(\square\)

import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

np.random.seed(1)
population = np.random.normal(loc=0, scale=1, size=10_000)

sample_means = [
    np.mean(np.random.choice(population, size=100, replace=False))
    for _ in range(10_000)
]

empirical_se = np.std(sample_means)
theoretical_se = 1 / np.sqrt(100)

print(f"Theoretical SE: {theoretical_se:.4f}")
print(f"Empirical SE:   {empirical_se:.4f}")

fig, ax = plt.subplots(figsize=(10, 4))
ax.hist(sample_means, bins=60, density=True, alpha=0.5, label="Simulated")
x = np.linspace(-0.5, 0.5, 200)
ax.plot(x, stats.norm.pdf(x, 0, theoretical_se), "r--", lw=2,
        label=f"N(0, {theoretical_se**2:.4f})")
ax.legend()
ax.set_title("Sampling Distribution of X-bar (n = 100)")
plt.show()

출력:

Theoretical SE: 0.1000
Empirical SE:   0.0993

경험적 표준오차가 0.1에 가깝게 나오고 히스토그램이 \(N(0, 0.01)\) 밀도와 사실상 완벽하게 일치하여 정확한 정규성 결과를 확인해 준다. \(\square\)

\(\bar X \sim N(\mu, \sigma^2/n)\)이므로

이다. 따라서 \(\sqrt n \ge 7.84\), 즉 \(n \ge 61.47\)이므로 \(n = 62\) 다.

허용오차를 0.5로 하면

이다. 허용오차를 절반으로 줄이는 데 표본이 4배 필요하다.

일반식은

이다. 두 가지를 짚어 둔다. 첫째, 반올림이 아니라 올림이다. \(n=61\)이면 부등식이 깨진다. 둘째, \(\sigma\)를 알아야 한다는 점이 실무의 걸림돌이다. 보통은 선행 연구나 예비조사의 \(s\)를 쓰거나, 범위를 4로 나눈 어림값을 쓴다. \(\sigma\) 추정이 불확실하면 여유 있게 잡는 편이 안전하며, 자료를 모으면서 표본크기를 다시 계산하는 순차 설계도 쓰인다.

각 표본평균이 정확히 정규이고

이며 두 표본이 독립이다. 연습문제 2에 따라 독립인 정규확률변수의 선형결합(\(a=1\), \(b=-1\))이 다시 정규이므로

이다. 분산은 빼는 것이 아니라 더한다는 점이 요점이다. 독립인 두 확률변수의 차에서도 불확실성은 쌓인다.

정확한 이유. 두 단계 모두에서 근사를 쓰지 않았다. 표본평균의 정규성이 정확하고(정리 1), 정규확률변수의 선형결합이 다시 정규인 것도 정확하다. 표본크기가 2여도 성립한다.

\(\sigma_1, \sigma_2\)를 모르면 사정이 달라진다. \(s_1, s_2\)로 대신하면 분모가 확률변수가 되고, 두 분산이 같다는 가정을 두면 합동분산으로 정확한 \(t_{n_1+n_2-2}\)를 얻지만, 다르면 정확한 분포가 알려져 있지 않다(베렌스-피셔 문제). 그래서 웰치의 근사를 쓴다.

독립이므로

이다. 제약 \(\sum w_i = 1\) 아래에서 라그랑주 승수법을 쓰면 \(2w_i\sigma_i^2 = \lambda\)이므로

이다. 이때의 최소분산은

이다.

수치. \(\sigma^2 = (1, 4, 16)\)이므로 정밀도가 \((1, 0.25, 0.0625)\)이고 합이 \(1.3125\)다.

최소분산은 \(1/1.3125 = 0.762\)로, 가장 좋은 기계 하나만 쓸 때의 분산 1보다 작다.

읽는 법. 가중치가 정밀도(분산의 역수)에 비례한다. 정밀도가 더해진다는 것이 핵심이며, 나쁜 관측값도 버리지 않고 작은 가중치로 포함하는 것이 언제나 이득이다. 위에서 세 번째 기계는 가중치가 5%에 불과하지만 그 5%가 분산을 0.800에서 0.762로 낮춘다.

같은 구조가 여러 곳에서 나타난다. 표본크기가 다른 여러 연구를 합치는 메타분석의 역분산 가중, 베이즈 갱신에서 사전평균과 표본평균을 정밀도로 가중하는 것, 칼만 필터의 예측값과 관측값 결합이 모두 이 공식이다. 가중최소제곱에서 \(w_i = 1/\sigma_i^2\)을 쓰는 것도 마찬가지다.

길 1 — 크라메르-라오 하한. 관측값 하나의 로그밀도는

이고 \(\partial\ln f/\partial\mu = (x-\mu)/\sigma^2\)이므로 피셔 정보량이

이다. \(n\)개 표본에서는 \(nI(\mu) = n/\sigma^2\)이고, 불편추정량의 분산에 대한 하한이

이다. \(\operatorname{Var}(\bar X) = \sigma^2/n\)으로 하한을 정확히 달성하므로 \(\bar X\)가 최소분산불편추정량이다.

등호가 성립하는 조건은 점수함수가 \((\hat\theta-\theta)\)에 비례하는 것인데, 여기서는

로 정확히 그 꼴이다. 이런 일이 일어나는 것은 지수족에서 자연모수에 대응하는 통계량을 쓸 때뿐이다.

길 2 — 레만-셰페 정리. 가능도를 인수분해하면

로 자료가 \(\bar x\)를 통해서만 들어오므로, 피셔-네이만 정리에 의해 \(\bar X\)가 \(\mu\)에 대한 충분통계량이다. 또 정규분포는 완비지수족이므로 \(\bar X\)가 완비이기도 하다.

레만-셰페 정리에 따르면 완비충분통계량의 함수이면서 불편인 추정량은 유일한 최소분산불편추정량이다. \(E[\bar X] = \mu\)이므로 \(\bar X\)가 그것이다. \(\square\)

두 길의 차이. 크라메르-라오는 하한을 제시하고 그것이 달성되는지를 확인하는 방식이라, 하한이 달성되지 않는 문제에서는 결론을 내지 못한다. 레만-셰페는 하한과 무관하게 최적성을 직접 증명하므로 더 일반적이다. 예컨대 \(\text{Uniform}(0,\theta)\)에서 \(\frac{n+1}{n}X_{(n)}\)이 최소분산불편추정량임은 레만-셰페로만 보일 수 있다.

비복원추출이면 관측값들이 음으로 상관되므로 엄밀히는 독립이 아니고, 표본평균의 분산에 유한모집단 수정계수가 붙는다.

\(N = 10{,}000\), \(n = 5\)이면

이므로 분산이 \(0.2\) 대신 \(0.19992\), 표준오차가 \(0.44721\) 대신 \(0.44712\)다. 넷째 자리에서 어긋나며, 10,000번 모의실험의 몬테카를로 오차(표준오차의 약 0.7%)에 완전히 묻힌다. 그대로 써도 된다.

한 가지 더 짚을 점이 있다. 이 코드의 "모집단"은 \(N(0,1)\)에서 뽑은 유한한 10,000개이므로 그 자체의 평균과 표준편차가 정확히 0과 1이 아니다. 실제로 표본평균의 평균은 모집단 \(0\)이 아니라 그 유한 모집단의 평균으로 수렴한다. 그 차이 역시 \(1/\sqrt{10000} = 0.01\) 규모라 눈에 띄지 않는다.

일반 규칙. \(n/N \le 0.05\)이면 수정계수를 무시해도 좋다. 여기서는 \(5/10000 = 0.0005\)로 한참 아래다. 반대로 유한모집단에서 큰 비율을 뽑는 조사(학급 30명 중 20명)라면 반드시 보정해야 하며, 그러지 않으면 표준오차를 과대평가해 불필요하게 넓은 구간을 보고하게 된다.