반복추출 개념¶

(1) 이론값. \(\text{Uniform}(0,1)\)은 \(\mu = 1/2\)이고

이다. \(\bar X\)의 중심과 폭은 모집단의 모양과 무관하게 정해진다.

비복원으로 뽑으므로 엄밀하게는 유한모집단 수정이 붙지만 \(\sqrt{(10000-5)/9999} = 0.9998\)이라 보이지 않는다.

모양은 다르다. 균등분포는 왜도가 0이라 \(\bar X\)도 대칭이고, 다섯 개의 합은 어윈-홀 분포(4차 조각별 다항식)여서 \(n = 5\)만으로도 이미 종 모양에 가깝다. 아래 연습문제 4가 이 분포를 정규근사와 견준다.

(2) 모의실험.

import matplotlib.pyplot as plt
import numpy as np

# 같은 결과가 다시 나오도록 난수 씨앗을 고정한다.
np.random.seed(1)

# 모집단 크기, 표본크기, 반복 횟수를 정한다.
sample_size = 5        # Size of a single random sample
n_samples = 10_000     # Number of samples to draw for the sampling distribution
n_population = 10_000  # Size of the population to simulate

def plot_distributions():
    """
    Generates a plot showing the population distribution, sample distribution,
    and sampling distribution.
    """
    # 균등분포에서 큰 모집단을 만든다. 1만 개면 사실상 무한 모집단으로 본다.
    population = np.random.uniform(size=(n_population,))

    # 모집단에서 표본 하나를 뽑는다. 가운데 패널에 그릴 자료다.
    single_sample = np.random.choice(population, size=sample_size, replace=False)

    # 같은 일을 여러 번 되풀이하며 그때마다 표본평균을 기록한다.
    sample_means = [
        np.mean(np.random.choice(population, size=sample_size, replace=False))
        for _ in range(n_samples)
    ]

    # 이론값과 모의값을 나란히 둔다. 비복원으로 뽑으므로 직접 겨냥하는 것은
    # Uniform(0,1) 자체가 아니라 **실현된 유한모집단 1만 개**의 평균과 표준편차다.
    mu_pop, sd_pop = population.mean(), population.std()
    se = sd_pop / np.sqrt(sample_size)
    print(f"Uniform(0,1) 이론   평균 = 0.5000,  sigma/sqrt(n) = {1 / np.sqrt(12 * sample_size):.4f}")
    print(f"실현 모집단 1만 개  평균 = {mu_pop:.4f},  s/sqrt(n)     = {se:.4f}")
    print(f"모의 1만 회         평균 = {np.mean(sample_means):.4f},  표준편차      = {np.std(sample_means, ddof=1):.4f}")
    print(f"모의 평균의 몬테카를로 오차 = {se / np.sqrt(n_samples):.4f}")

    # 세 칸을 위아래로 놓는다. 모집단 → 표본 하나 → 표집분포 순이다.
    fig, (ax0, ax1, ax2) = plt.subplots(3, 1, figsize=(12, 8), sharex=True)

    # 첫째 칸: 모집단의 모양.
    ax0.hist(population, bins=np.linspace(0, 1, 100))
    ax0.set_title('Population Distribution', fontsize=20)

    # 둘째 칸: 표본 하나를 점으로 흩뿌린다.
    ax1.scatter(single_sample, np.zeros_like(single_sample), s=100)
    ax1.set_title(f'Sample Distribution of {sample_size} Samples', fontsize=20)

    # 셋째 칸: 표본평균들의 히스토그램, 곧 표집분포다.
    ax2.hist(sample_means, bins=np.linspace(0, 1, 100))
    ax2.set_title('Sampling Distribution of $\\bar{X}$', fontsize=20)

    # 축 이름과 간격을 다듬는다.
    for ax in (ax0, ax1, ax2):
        ax.spines['left'].set_visible(False)
        ax.spines['right'].set_visible(False)
        ax.spines['top'].set_visible(False)
        ax.spines['bottom'].set_position('zero')
        ax.set_yticks([])

    plt.tight_layout()
    plt.show()

if __name__ == "__main__":
    plot_distributions()

출력:

Uniform(0,1) 이론   평균 = 0.5000,  sigma/sqrt(n) = 0.1291
실현 모집단 1만 개  평균 = 0.4980,  s/sqrt(n)     = 0.1287
모의 1만 회         평균 = 0.4993,  표준편차      = 0.1268
모의 평균의 몬테카를로 오차 = 0.0013

세 줄을 세로로 읽는 것이 요령이다. 가운데 줄이 왜 따로 있는지부터 보자. 모집단은 \(\text{Uniform}(0,1)\) 자체가 아니라 거기서 뽑아 실현된 1만 개이고, 그 평균이 \(0.4980\)으로 \(0.5\)에서 조금 비껴나 있다. 1만 개를 뽑을 때의 표집오차가 \(\sigma/\sqrt{10000} = 0.0029\)이므로 \(0.7\) 표집오차만큼 어긋난 것이다. 비복원추출의 \(\bar X\)가 겨냥하는 것은 이 \(0.4980\)이지 \(0.5\)가 아니다.

셋째 줄이 둘째 줄을 재현하는지 보면 된다. 모의 평균 \(0.4993\)은 \(0.4980\)에서 몬테카를로 오차 \(0.0013\)의 1배만큼 떨어져 있어 잘 맞는다. 모의 표준편차 \(0.1268\)은 이론값 \(0.1287\)보다 \(1.4\%\) 작은데, 표준편차 자체의 몬테카를로 오차가 대략 \(\mathrm{SE}/\sqrt{2B} = 0.0009\)이므로 두 배쯤 어긋난 셈이다. 되풀이를 5만 번으로 늘리면 \(0.1290\), 20만 번으로 늘리면 \(0.1286\)이 되어 이론값으로 수렴한다. 체계적 차이가 아니라 몬테카를로 오차다.

그림의 세 칸을 위에서 아래로 훑어보라. 모집단은 0과 1 사이에 고르게 퍼진 평평한 모양이고, 가운데의 표본 다섯 개도 그 구간 아무 데나 흩어져 있다. 그런데 맨 아래 칸의 표본평균들은 평평하지도 않고 넓지도 않다. 종 모양이며 \(0.5\) 언저리에 \(\sqrt{5} = 2.24\)배 좁게 모여 있다. 모집단에서 물려받지 않은 모양이 통계량의 층에서 새로 생겨난 것이고, 중심극한정리를 미리 엿보는 셈이다.

(1) 이론값. \(\text{Exp}(1)\)은 \(\mu = 1\), \(\sigma = 1\)이므로

이다. 치우친 모집단이어도 이 두 값은 균등 때와 똑같은 공식에서 나온다. 중심과 폭은 모집단의 모양을 전혀 보지 않는다.

달라지는 것은 모양이다. 독립인 합의 3차 중심적률은 더해지고 분산도 더해지므로 왜도는 \(\sqrt{n}\)으로 줄어든다(아래 연습문제 9).

\(0\)이 아니다. 정규분포라면 왜도가 0이어야 하므로, \(n = 30\)에서 치우침이 줄기는 했으나 사라지지는 않았다는 예측이다.

(2) 모의실험.

import matplotlib.pyplot as plt
import numpy as np
from scipy import stats

# 같은 결과가 다시 나오도록 난수 씨앗을 고정한다.
np.random.seed(1)

# 모집단 크기, 표본크기, 반복 횟수를 정한다.
sample_size = 30
n_samples = 10_000
n_population = 10_000

def plot_distributions():
    """
    Generates a plot showing the population distribution, sample distribution,
    and sampling distribution for an exponential population.
    """
    # 지수분포에서 큰 모집단을 만든다. 오른쪽으로 길게 늘어진 모양이다.
    population = stats.expon().rvs((n_population,))

    # 모집단에서 표본 하나를 뽑는다. 가운데 패널에 그릴 자료다.
    single_sample = np.random.choice(population, size=sample_size, replace=False)

    # 같은 일을 여러 번 되풀이하며 그때마다 표본평균을 기록한다.
    sample_means = [
        np.mean(np.random.choice(population, size=sample_size, replace=False))
        for _ in range(n_samples)
    ]

    # 중심·폭·모양을 한 줄씩 맞춰 본다. 기준은 실현된 유한모집단이다.
    mu_pop, sd_pop = population.mean(), population.std()
    se = sd_pop / np.sqrt(sample_size)
    sk_pop = stats.skew(population)
    print(f"Exp(1) 이론        평균 = 1.0000,  sigma/sqrt(n) = {1 / np.sqrt(sample_size):.4f},  왜도 = {2 / np.sqrt(sample_size):.4f}")
    print(f"실현 모집단 1만 개 평균 = {mu_pop:.4f},  s/sqrt(n)     = {se:.4f},  왜도 = {sk_pop / np.sqrt(sample_size):.4f}")
    print(f"모의 1만 회        평균 = {np.mean(sample_means):.4f},  표준편차      = {np.std(sample_means, ddof=1):.4f},  왜도 = {stats.skew(sample_means):.4f}")

    # 세 칸을 위아래로 놓는다. 모집단 → 표본 하나 → 표집분포 순이다.
    fig, (ax0, ax1, ax2) = plt.subplots(3, 1, figsize=(12, 8), sharex=True)

    # 첫째 칸: 모집단의 모양.
    _, bins, _ = ax0.hist(population, bins=100)
    ax0.set_title('Population Distribution', fontsize=20)

    # 둘째 칸: 표본 하나를 점으로 흩뿌린다.
    ax1.scatter(single_sample, np.zeros_like(single_sample), s=100)
    ax1.set_title(f'Sample Distribution of {sample_size} Samples', fontsize=20)

    # 셋째 칸: 표본평균들의 히스토그램, 곧 표집분포다.
    ax2.hist(sample_means, bins=bins)
    ax2.set_title('Sampling Distribution of $\\bar{X}$', fontsize=20)

    # 축 이름과 간격을 다듬는다.
    for ax in (ax0, ax1, ax2):
        ax.spines['left'].set_visible(False)
        ax.spines['right'].set_visible(False)
        ax.spines['top'].set_visible(False)
        ax.spines['bottom'].set_position('zero')
        ax.set_yticks([])

    plt.tight_layout()
    plt.show()

if __name__ == "__main__":
    plot_distributions()

출력:

Exp(1) 이론        평균 = 1.0000,  sigma/sqrt(n) = 0.1826,  왜도 = 0.3651
실현 모집단 1만 개 평균 = 0.9885,  s/sqrt(n)     = 0.1791,  왜도 = 0.3505
모의 1만 회        평균 = 0.9869,  표준편차      = 0.1776,  왜도 = 0.3347

세 줄이 줄줄이 맞는다. 모의 평균 \(0.9869\)는 실현 모집단의 \(0.9885\)에서 몬테카를로 오차 \(0.0018\)의 0.9배만큼 떨어져 있고, 모의 표준편차 \(0.1776\)도 \(0.1791\)과 \(0.8\%\) 안에서 맞는다. 명목 이론값 \(1.0000\)과 \(0.1826\)에서 비껴난 것은 모집단 1만 개를 뽑을 때 들어온 표집오차 \(1/\sqrt{10000} = 0.01\) 때문이며, \(0.9885\)는 그 오차의 1.2배 안에 있다.

왜도가 이 보기의 알맹이다. 모집단의 왜도가 \(1.92\)였으니 이론은 \(1.92/\sqrt{30} = 0.3505\)를 예측했고, 모의값은 \(0.3347\)이 나왔다. 왜도 추정의 몬테카를로 오차가 대략 \(\sqrt{6/B} = 0.0245\)이므로 \(0.65\) 표준오차 차이다. 예측이 맞았다.

맨 위 칸의 모집단은 0 근처에 몰려 있고 오른쪽으로 꼬리가 길게 뻗어 누가 보아도 정규분포와 거리가 멀다. 맨 아래 칸의 표본평균들은 겉보기에 종 모양이다. 치우침이 \(1.92\)에서 \(0.33\)으로 여섯 배 가까이 씻겨 나갔다. 그러나 \(0\)은 아니다. 눈으로는 정규분포와 구별되지 않아도 꼬리에서는 여전히 어긋나며, 그 어긋남이 신뢰구간의 포함률에 어떻게 나타나는지를 아래 연습문제 9가 다룬다. \(n = 30\)은 중심극한정리가 작동하기 시작한 지점이지 끝난 지점이 아니다.

(1) 이론값. \(\text{Bernoulli}(p)\)는 \(\mu = p\), \(\sigma^2 = p(1-p)\)이므로 \(p = 0.3\)에서 \(\sigma = \sqrt{0.21} = 0.45826\)이고

이다. 베르누이의 왜도는

이므로 \(\text{왜도}(\bar X) = 0.87287/\sqrt{30} = 0.15936\)이다. 지수 때의 \(0.365\)보다 작으니 모양은 더 빨리 정규에 다가간다.

그런데 모집단의 성질 하나는 공식으로 지워지지 않는다. 표본 30개가 모두 0 아니면 1이므로 그 합이 \(0, 1, \dots, 30\) 중 하나이고, 따라서

이다. 가질 수 있는 값이 31개뿐인 이산확률변수다. 정규분포는 연속이므로 이 점에서는 아무리 \(n\)을 키워도 둘이 같아지지 않는다.

(2) 모의실험.

import matplotlib.pyplot as plt
import numpy as np
from scipy import stats

# 같은 결과가 다시 나오도록 난수 씨앗을 고정한다.
np.random.seed(1)

# 모집단 크기, 표본크기, 반복 횟수를 정한다.
sample_size = 30
n_samples = 10_000
n_population = 10_000

def plot_distributions():
    """
    Generates a plot showing the population distribution, sample distribution,
    and sampling distribution for a Bernoulli population.
    """
    # 베르누이 모집단을 만든다. 값은 0과 1 둘뿐이다.
    population = stats.binom(n=1, p=0.3).rvs((n_population,))

    # 모집단에서 표본 하나를 뽑는다. 가운데 패널에 그릴 자료다.
    single_sample = np.random.choice(population, size=sample_size, replace=False)

    # 같은 일을 여러 번 되풀이하며 그때마다 표본평균을 기록한다.
    sample_means = [
        np.mean(np.random.choice(population, size=sample_size, replace=False))
        for _ in range(n_samples)
    ]

    # 중심·폭·모양에 더해, 표본평균이 실제로 어떤 값들을 가졌는지도 센다.
    mu_pop, sd_pop = population.mean(), population.std()
    se = sd_pop / np.sqrt(sample_size)
    sk_pop = stats.skew(population)
    print(f"Bernoulli(0.3) 이론 평균 = 0.3000,  sigma/sqrt(n) = {np.sqrt(0.3 * 0.7 / sample_size):.4f},  왜도 = {0.4 / np.sqrt(0.21) / np.sqrt(sample_size):.4f}")
    print(f"실현 모집단 1만 개  평균 = {mu_pop:.4f},  s/sqrt(n)     = {se:.4f},  왜도 = {sk_pop / np.sqrt(sample_size):.4f}")
    print(f"모의 1만 회         평균 = {np.mean(sample_means):.4f},  표준편차      = {np.std(sample_means, ddof=1):.4f},  왜도 = {stats.skew(sample_means):.4f}")
    ks = np.unique(np.round(np.array(sample_means) * sample_size).astype(int))
    print(f"표본평균이 실제로 가진 값은 k/30 꼴,  k = {ks.min()} .. {ks.max()} 의 {len(ks)}가지")

    # 세 칸을 위아래로 놓는다. 모집단 → 표본 하나 → 표집분포 순이다.
    fig, (ax0, ax1, ax2) = plt.subplots(3, 1, figsize=(12, 8), sharex=True)

    # 첫째 칸: 모집단의 모양.
    _, bins, _ = ax0.hist(population, bins=100)
    ax0.set_title('Population Distribution', fontsize=20)

    # 둘째 칸: 표본 하나를 점으로 흩뿌린다.
    ax1.scatter(single_sample, np.zeros_like(single_sample), s=100)
    ax1.set_title(f'Sample Distribution of {sample_size} Samples', fontsize=20)

    # 셋째 칸: 표본평균들의 히스토그램, 곧 표집분포다.
    ax2.hist(sample_means, bins=10)
    ax2.set_title('Sampling Distribution of $\\bar{X}$', fontsize=20)

    # 축 이름과 간격을 다듬는다.
    for ax in (ax0, ax1, ax2):
        ax.spines['left'].set_visible(False)
        ax.spines['right'].set_visible(False)
        ax.spines['top'].set_visible(False)
        ax.spines['bottom'].set_position('zero')
        ax.set_yticks([])

    plt.tight_layout()
    plt.show()

if __name__ == "__main__":
    plot_distributions()

출력:

Bernoulli(0.3) 이론 평균 = 0.3000,  sigma/sqrt(n) = 0.0837,  왜도 = 0.1594
실현 모집단 1만 개  평균 = 0.2951,  s/sqrt(n)     = 0.0833,  왜도 = 0.1640
모의 1만 회         평균 = 0.2953,  표준편차      = 0.0831,  왜도 = 0.1288
표본평균이 실제로 가진 값은 k/30 꼴,  k = 1 .. 18 의 18가지

여기서 가운데 줄의 구실이 가장 또렷하게 드러난다. 모의 평균은 \(0.2953\)으로 명목값 \(0.3\)이 아니라 실현 모집단의 \(0.2951\)과 맞는다. 모의 평균의 몬테카를로 오차가 \(0.0833/\sqrt{10000} = 0.0008\)이므로 \(0.2951\)에서는 \(0.3\) 표준오차, \(0.3\)에서는 \(6\) 표준오차 떨어져 있다. 모집단 1만 개를 만들 때 1이 \(3000\)개가 아니라 \(2951\)개 나왔고, 비복원추출의 \(\bar X\)는 그 \(0.2951\)을 겨냥한다. 어긋남의 크기 \(0.0049\)는 모집단을 만들 때의 표집오차 \(\sqrt{0.21/10000} = 0.0046\)으로 정확히 설명된다. 표준편차는 \(0.0831\)로 예측값 \(0.0833\)과 거의 같고, 왜도는 \(0.1288\)로 예측값 \(0.1640\)에서 왜도의 몬테카를로 오차(\(\approx 0.0245\))의 \(1.4\)배만큼 떨어져 있다.

위 칸의 모집단은 막대 두 개가 전부이고, 가운데 칸의 표본 30개도 0 아니면 1이라 점이 두 자리에만 겹쳐 찍힌다. 그런데 아래 칸의 표본평균들은 \(0.3\) 근처에 종 모양으로 모여 있다. 여기서도 모집단의 모양은 사라졌다.

끝까지 남는 것은 이산성이다. 1만 번을 돌렸는데 표본평균이 가진 서로 다른 값은 \(k/30\) 꼴로 \(k = 1\)부터 \(18\)까지 18가지뿐이었다. 그래서 히스토그램이 매끄러운 곡선이 아니라 띄엄띄엄한 막대로 남는다. 평균과 분산과 왜도는 공식이 다스리지만 값이 놓일 자리는 모집단이 정하며, 중심극한정리는 그것까지 씻어 내지 못한다. 5.5절에서 \(\hat p\)의 신뢰구간을 다룰 때 이 이산성이 포함률을 들쭉날쭉하게 만드는 범인으로 다시 나타난다.

동일한 확률을 갖는 \(3^2 = 9\)가지 결과가 있다:

import itertools as it
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd

def main():
    sample_space = np.array([1, 2, 3])

    # 표본이 아주 작아 **가능한 모든 경우를 다 적을 수 있다.**
    # product(..., repeat=2) 가 복원추출로 두 개를 뽑는 3^2 = 9가지를 만든다.
    # 모의실험이 아니라 완전열거이므로 여기서 얻는 표집분포는 근사가 아니라 정확하다.
    columns = ["first", "second", "average"]
    df = pd.DataFrame(columns=columns)
    for first, second in it.product(sample_space, repeat=2):
        dg = pd.DataFrame([[first, second, (first + second) / 2]], columns=columns)
        df = pd.concat([df, dg], ignore_index=True)
    print(df, end="\n\n")

    fig, ax = plt.subplots(figsize=(12, 3))
    # 표본평균이 1, 1.5, 2, 2.5, 3 다섯 값만 가지므로 구간 경계를
    # 값에서 0.25씩 왼쪽으로 밀어 각 값이 자기 막대 가운데에 오게 한다.
    bins = np.array([1.0, 1.5, 2.0, 2.5, 3.0, 3.5]) - 0.25
    ax.hist(df.average, bins=bins, density=True, alpha=0.7)
    ax.set_title(r"Sampling Distribution of $\bar{X}$")
    ax.spines["top"].set_visible(False)
    ax.spines["right"].set_visible(False)
    plt.show()

if __name__ == "__main__":
    main()

출력:

  first second  average
0     1      1      1.0
1     1      2      1.5
2     1      3      2.0
3     2      1      1.5
4     2      2      2.0
5     2      3      2.5
6     3      1      2.0
7     3      2      2.5
8     3      3      3.0

표본분포가 가질 수 있는 값은 \(\{1.0, 1.5, 2.0, 2.5, 3.0\}\)이고 확률은 \(\{1/9, 2/9, 3/9, 2/9, 1/9\}\)이다. 평균은 \(E[\bar{X}] = 2 = \mu\)이며, \(\bar{X}\)가 불편임을 확인해 준다.

(a) 표본분포의 평균은 모든 \(n\)에 대해 모평균 100이다. 표본크기와 무관하게 표본분포는 \(\mu\)를 중심으로 하며, \(\bar X\)는 불편이다.

(b) 표준오차는 \(\sigma/\sqrt n = 20/\sqrt n\)이다. \(n\)이 커질수록 줄어든다: \(n = 4 \to \mathrm{SE} = 10\); \(n = 100 \to \mathrm{SE} = 2\); \(n = 10000 \to \mathrm{SE} = 0.2\).

(c) 하나의 표본평균 \(\bar x\)는 약한 큰수의 법칙에 의해 100으로 확률수렴하고, 강한 큰수의 법칙에 의해 거의 확실하게 수렴한다. 표본분포가 좁아진다는 것은 개별 \(\bar x\)가 100에 가까울 가능성이 점점 커진다는 뜻이다.

표준편차 \(\sigma\): 모집단(또는 하나의 표본)의 퍼짐을 잰다. 개별 관측값이 얼마나 흩어져 있는지를 기술한다.

표준오차 \(\sigma/\sqrt n\): 통계량의 표본분포(보통 표본평균)의 퍼짐을 잰다. \(\bar X\)가 표본마다 얼마나 달라지는지를 기술한다.

서로 다른 두 양이다. "SD = 5"라고 보고하는 것은 자료를 기술하는 것이고, "SE = 0.5"라고 보고하는 것은 추정값에 대한 불확실성을 기술하는 것이다.

평균에서 왜 \(\sigma/\sqrt n\)인가? i.i.d. 자료에 대해 \(\mathrm{Var}(\bar X) = \mathrm{Var}((1/n)\sum X_i) = (1/n^2) \cdot n\sigma^2 = \sigma^2/n\)임을 떠올리자. 제곱근을 취하면 SE \(= \sigma/\sqrt n\)이다. \(\sqrt n\) 비율은 "제곱근 개선의 법칙"이다. 표본을 네 배로 늘리면 표준오차가 절반이 된다.

\(\mathrm{Var}(\bar X) = \frac{\sigma^2}{n} \cdot \frac{N - n}{N - 1}\)이며, 뒤의 인수를 유한모집단 수정(FPC) 계수라 한다.

유도: \(X_i\)들은 더 이상 독립이 아니지만(두 번째 추출이 첫 번째에 의존한다) 교환 가능하다. 합의 분산을 계산하면:

\(\mathrm{Var}(\sum X_i) = n\sigma^2 + n(n-1) \mathrm{Cov}(X_1, X_2)\)이다. 대칭성에 의해 \(\sum_{i \ne j} \mathrm{Cov}(X_i, X_j) = -\mathrm{Var}(\sum X_i^{\text{total}})/(N-1)\)이므로 \(\mathrm{Cov}(X_1, X_2) = -\sigma^2/(N-1)\)이다.

따라서 \(\mathrm{Var}(\sum X_i) = n\sigma^2(N-n)/(N-1)\)이고, \(n^2\)으로 나누면 FPC 공식을 얻는다.

실무: \(n/N \le 0.05\)이면 FPC가 1에 가까워 무시할 수 있다. \(n/N\)이 상당히 크면(감사, 재검표 등) FPC가 중요하며 표준오차 공식에 반드시 포함해야 한다.

정확한 분포: i.i.d. Uniform(0, 1) 다섯 개의 합은 \([0, 5]\) 위의 Irwin-Hall 분포이다. 4차 조각별 다항식이고 종 모양이며 2.5를 중심으로 대칭이다. \(1/5\)로 척도조정하면 \([0, 1]\) 위의 \(\bar X\)가 되고 \(1/2\)에서 정점을 이룬다.

중심극한정리 근사: \(\bar X \approx N(1/2, 1/(12 \cdot 5)) = N(0.5, 0.0167)\)이고 표준편차는 \(\approx 0.129\)이다.

비교: 정확한 분포는 \([0, 1]\)에서 유계이지만 정규분포는 \(\pm \infty\)까지 뻗는다. 중앙에서는 둘이 거의 같고, 꼬리에서는 정확한 분포가 \([0, 1]\) 밖에서 확률 0인 반면 정규분포는 그곳에 작은 양의 확률(0 아래 또는 1 위로 약 0.001)을 준다.

\(n = 5\)에서 이미 근사가 꽤 좋다. 균등분포의 대칭성과 유계 지지집합 덕분에 중심극한정리 수렴이 매우 빠르다. 반면 Exponential(1)에서 크기 5인 표본이라면 \(\bar X\)의 분포가 눈에 띄게 치우쳐 정규분포와 거리가 멀 것이다.

분포수렴: \(X_n \xrightarrow{d} X\)일 필요충분조건은 \(F_X\)의 모든 연속점 \(x\)에서 \(F_{X_n}(x) \to F_X(x)\)인 것이다.

이는 확률변수 자체가 아니라 분포에 관한 서술이다. \(X_n\)과 \(X\)가 같은 확률공간 위에 정의될 필요도 없다. CDF가 수렴하기만 하면 된다.

왜 중심극한정리에 알맞은가: 중심극한정리는 \(\sqrt n (\bar X_n - \mu)/\sigma\)의 분포를 고정된 정규분포와 비교한다. \(\bar X_n\)의 실현값이 어떤 특정한 정규확률변수로 수렴한다고 주장하는 것이 아니라, 오직 그 분포가 정규분포에 가까워진다고 말하는 것이다. 실현되는 경로마다 극한 거동이 다르지만 안정되는 것은 분포이다.

거의 확실한 수렴과의 구별: \(\bar X_n \to \mu\)는 거의 확실하게 성립하지만(각 경로가 수렴한다), \(\sqrt n (\bar X_n - \mu)\)는 어디에서도 거의 확실하게 수렴하지 않는다. 계속 요동치는 가운데 그 분포만 정규분포에 가까워진다. 더 강한 형태 없이 오직 분포수렴만 성립하는 것이다.

절차: 모집단에서 크기 \(n\)인 표본을 뽑아 \(\bar X\)를 계산한다. 이를 \(B\)번 반복한다(예: \(B = 10000\)). 그 결과 얻은 \(B\)개의 값이 표본분포를 근사한다.

\(n = 5, 30, 100\)에 대한 그림 세 개:

1. \(\bar X\)의 \(B\)개 값에 대한 히스토그램에 이론적 정규분포 \(N(\mu, \sigma^2/n)\)을 겹쳐 그린다. 중심극한정리 근사의 품질을 눈으로 확인한다.
2. 이론적 정규분포에 대한 Q-Q 그림: 중심극한정리 근사가 잘 맞으면 점들이 직선 위에 놓인다.
3. 세 히스토그램을 나란히(또는 위아래로) 놓는 삼중 비교: (a) 중심이 \(\mu\)에 머물고, (b) 퍼짐이 \(\sigma/\sqrt n\)로 줄어들며, (c) 모양이 점점 정규분포에 가까워짐을 시각적으로 확인한다.

이런 모의실험에서 얻는 주요 관찰:

• 대칭인 모집단(균등, 정규)에서는 \(n = 5\)만으로도 근사적 정규성이 충분할 수 있다.
• 치우친 모집단(지수, 로그정규)에서는 관례적으로 \(n = 30\)을 기준으로 삼지만 여전히 치우침이 눈에 띌 수 있다.
• 꼬리가 두꺼운 모집단(Cauchy, \(t_1\))에서는 어떤 \(n\)으로도 정규성이 나타나지 않는다. 중심극한정리는 유한한 분산을 요구한다.

이런 모의실험 기반 진단이 "\(n \ge 30\)" 같은 경험 법칙을 무턱대고 적용하는 것보다 훨씬 믿을 만하다.

\(\operatorname{SE} = \sigma/\sqrt n\)이므로

표본을 4배로 늘릴 때마다 표준오차가 절반이 된다. 일반적으로 \(\operatorname{SE}\)를 \(1/k\)로 줄이려면 표본을 \(k^2\)배로 늘려야 한다.

조사 설계의 함의. 정밀도의 한계수익이 빠르게 줄어든다.

• 100명에서 400명으로 늘리면 오차한계가 절반이 된다. 비용 대비 효과가 크다.
• 1000명에서 4000명으로 늘려도 역시 절반이 되지만, 추가 비용은 훨씬 크다.
• 10000명에서 오차한계를 10분의 1로 줄이려면 100만 명이 필요하다. 사실상 불가능하다.

그래서 전국 여론조사가 대개 1000명 남짓에서 멈춘다. 그 지점에서 표집오차가 약 3%인데, 그보다 더 줄이려 해도 비용이 급증할뿐더러 표집오차가 아닌 다른 오차(무응답, 표집틀 오차, 질문 문항의 영향)가 이미 3%를 넘기 때문이다. 표본을 키워도 이 오차들은 줄지 않는다.

표본 1만 명인 편향된 조사보다 표본 1000명인 제대로 된 무작위 조사가 낫다. 1936년 《리터러리 다이제스트》가 240만 명을 조사하고도 대통령 선거 예측에 실패한 반면 갤럽이 5만 명으로 맞힌 것이 고전적인 사례다.

부트스트랩을 쓴다. 절차는 이렇다.

1. 관측된 표본 \(x_1,\dots,x_n\)에서 복원추출로 크기 \(n\)인 재표본을 뽑는다.
2. 그 재표본에서 관심 통계량 \(\hat\theta^*\)를 계산한다.
3. 1~2를 \(B\)번(보통 1000~10000번) 되풀이한다.
4. 얻은 \(B\)개의 \(\hat\theta^*\)의 분포를 \(\hat\theta\)의 표본분포의 근사로 쓴다.

왜 통하는가. 원래 하고 싶은 일은 참 모집단 \(F\)에서 표본을 반복해서 뽑아 \(\hat\theta\)의 흩어짐을 보는 것인데, \(F\)를 모르므로 할 수 없다. 부트스트랩은 \(F\) 대신 경험분포 \(\hat F_n\)(관측값 각각에 확률 \(1/n\)을 주는 분포)을 쓴다.

글리벤코-칸텔리 정리에 따라 \(\hat F_n\)이 \(F\)로 (균등하게) 수렴하므로, \(\hat\theta\)가 \(F\)에 대해 충분히 매끄럽게 의존한다면 두 분포도 가까워진다. 재표집은 \(\hat F_n\)에서 표본을 뽑는 일을 컴퓨터로 실행한 것일 뿐이다.

장점. 통계량의 표집분포를 해석적으로 구할 필요가 없다. 중앙값, 사분위수 범위, 상관계수, 두 추정값의 비처럼 공식이 어렵거나 없는 경우에도 그대로 쓸 수 있다.

한계. \(\hat F_n\)이 \(F\)를 잘 대신해야 하므로 \(n\)이 너무 작으면 믿기 어렵다. 또 최댓값처럼 분포의 경계에 의존하는 통계량, 꼬리가 아주 두꺼워 적률이 없는 경우, 관측이 독립이 아닌 경우(시계열·군집자료)에는 그대로 쓰면 안 된다. 시계열에는 블록 부트스트랩처럼 구조를 반영한 변형이 필요하다.

\(X_i\)가 독립이고 같은 분포를 따르며 3차 중심적률이 \(\mu_3\), 분산이 \(\sigma^2\)일 때, 합의 3차 중심적률은 \(n\mu_3\)이고 분산은 \(n\sigma^2\)이므로

이다. 지수분포는 왜도가 2이므로 \(\bar X\)의 왜도가 \(2/\sqrt n\)이다. \(\square\)

규칙의 평가. \(n=30\)에서 왜도가 여전히 0.37이다. 이는 무시할 만한 값이 아니다. 정규분포는 왜도가 0이고, 보통 \(|{\text{왜도}}| < 0.5\)면 "대략 대칭"으로 보지만 그것은 서술적 기준이지 추론의 정확성을 보장하는 기준이 아니다.

실제로 문제가 되는 곳은 꼬리다. 지수 모집단에서 \(n=30\)일 때 명목 95% \(t\) 신뢰구간의 실제 포함확률은 93% 안팎으로 떨어지고, 단측 검정의 오류율은 한쪽으로 치우친다. 중앙 부근의 확률은 잘 맞아도 꼬리에서 어긋나는 것이 중심극한정리 근사의 전형적인 실패 방식이다.

더 나은 규칙. 필요한 \(n\)은 모집단의 왜도에 달려 있다. 위 식에서 \(\bar X\)의 왜도를 0.1 아래로 두려면

이 필요하다. 지수분포(왜도 2)면 \(n \ge 400\), 왜도가 5인 분포면 \(n \ge 2500\)이다. 왜도가 1 이하인 완만한 분포라면 \(n=30\)으로 충분하다.

한마디로 "\(n \ge 30\)"은 모집단이 얼마나 치우쳤는지를 전혀 보지 않는 규칙이라 믿을 수 없다. 표본의 왜도를 실제로 재 보거나, 모의실험으로 포함확률을 확인하거나, 부트스트랩처럼 정규성을 덜 요구하는 방법을 쓰는 편이 낫다.

합에 대해 닫혀 있는(재생성) 분포족이면 표본평균의 정확한 분포를 알 수 있다.

(1) 정규. \(X_i \sim N(\mu,\sigma^2)\)이면

이다. 근사가 아니라 모든 \(n\)에서 정확하다. \(t\) 검정이 작은 표본에서도 정확한 것이 이 덕분이다.

(2) 감마(지수 포함). \(X_i \sim \text{Gamma}(k,\theta)\)이면 \(\sum X_i \sim \text{Gamma}(nk,\theta)\)이므로

이다. 지수분포는 \(k=1\)인 경우다.

(3) 포아송. \(X_i \sim \text{Poisson}(\lambda)\)이면 \(\sum X_i \sim \text{Poisson}(n\lambda)\)이므로 \(\bar X\)는 그 값을 \(n\)으로 나눈 것이다(격자 \(0, 1/n, 2/n, \dots\) 위의 이산분포).

그 밖에 이항, 음이항, 카이제곱, 균등(어윈-홀)도 정확한 분포가 알려져 있다.

코시분포. \(X_i \sim \text{Cauchy}(0,1)\)이면

이다. \(n\)과 전혀 무관하게 같은 분포다. 표본을 100만 개 모아도 표본평균의 분포가 관측값 하나의 분포와 똑같다. 정밀도가 조금도 좋아지지 않는다.

특성함수로 보면 명확하다. 코시분포의 특성함수는 \(\varphi(t) = e^{-|t|}\)이고

으로 \(n\)이 지워진다.

원인은 코시분포에 평균이 없다는 것이다. \(E|X| = \infty\)이므로 큰수의 법칙도 중심극한정리도 적용되지 않는다. 표본을 늘려도 더 극단적인 값이 그만큼 자주 나타나 평균을 계속 흔든다.

실무적 교훈은 이렇다. 중심극한정리는 공짜가 아니다. 유한한 분산이라는 조건이 필요하고, 그 조건이 깨지면 "표본을 늘리면 나아진다"는 직관 자체가 성립하지 않는다. 꼬리가 두꺼운 자료에서는 평균 대신 중앙값이나 절사평균처럼 강건한 통계량을 써야 하며, 코시분포에서도 표본중앙값은 \(n\)과 함께 제대로 수렴한다.