정규분포의 최대가능도¶
개요¶
\(N(5,\ 3^2)\) 에서 셋씩 뽑는 일을 \(20\) 만 번 반복하면 참 분산이 \(9\) 인데 최대가능도가 내놓는 분산의 평균은 \(6.0004\) 다. 반복을 늘려도 그 \(3\) 은 메워지지 않는다 — 가능도가 고르는 분모가 \(n-1\) 이 아니라 \(n\) 이기 때문이고, 제곱근 쪽은 더 심해서 \(n = 3\) 에서 \(\hat\sigma\) 가 \(0.7236\sigma\) 로 \(28\%\) 작게 나온다. 그런데 \(n = 10\) 에서 평균제곱오차를 재면 편향된 쪽이 \(0.190\), 불편인 쪽이 \(0.222\) 로 편향된 추정량이 이긴다. 가장 그럴듯한 모수를 고르는 일은 왜 기댓값을 맞히지 못하면서도 더 나을 수 있는가.
자료에서 평균과 분산을 추정한다. 답은 짐작대로 표본평균(sample mean)과 표본분산인데, 한 글자가 어긋난다. 가능도가 고르는 분산은 제곱편차합을 \(n-1\) 이 아니라 \(n\) 으로 나눈 것이다. 우리가 2장·5장 내내 써 온 \(S^2\) 과 다르다.
이 불일치는 흠이 아니라 이 쪽이 보여 줄 사실이다. 가능도를 최대로 만드는 일과 기댓값을 맞히는 일은 서로 다른 요구이고, 정규분포의 분산에서 그 둘이 갈린다. 갈리는 양이 정확히 \(\frac{n-1}{n}\) 배이며, 베셀 보정이 바로 그것을 되돌리는 일이다.
모수가 둘이라 이 쪽은 다른 분포들보다 길다. 1~3절이 닫힌 꼴과 그 뜻(유도·두 추정량의 성질·최소제곱과의 연결), 4~6절이 얼마나 정밀한가와 왜 치우치는가(피셔 정보·모수화·편향), 7~10절이 가능도의 모양과 쓰임(곡면·신뢰영역·제약·금융)이고, 11절은 공식 표다. 긴 유도는 접어 두었으니 펼쳐 읽으면 된다.
1. 가능도를 세운다¶
관측은 실수 \(n\) 개다.
이들이 평균 \(\mu\), 분산 \(\sigma^2\) 인 정규분포에서 독립으로 나왔다고 본다. 이번에는 모수가 둘이라 가능도가 곡선이 아니라 지형이 된다.
독립이므로 결합밀도는 곱이고, 그것을 \((\mu, \sigma^2)\) 의 함수로 읽은 것이 가능도다.
여기서 로그가 특히 고맙다. 정규밀도에는 지수가 들어 있어 곱이 지저분한데, 로그를 취하면 지수가 그대로 내려와 제곱합(sum of squares)이 된다.
상수는 \(-\frac n2\log(2\pi)\) 이며 \(\mu\) 와 \(\sigma^2\) 에 의존하지 않으므로 최대점에 영향을 주지 않는다. 그래서 떼어 두고 본다. 부호를 뒤집으면 비용함수다.
두 항이 서로 당긴다. 앞항은 \(\sigma^2\) 을 키우고 싶어 하고(제곱합의 무게를 줄이려고), 뒷항은 줄이고 싶어 한다. 그 줄다리기가 멈추는 자리가 \(\hat\sigma^2\) 이다.
모수가 둘이므로 편미분 둘을 함께 \(0\) 으로 놓는다.
정리 1. 정규분포의 최대가능도추정량¶
\(x_1, \ldots, x_n \overset{\text{iid}}{\sim} N(\mu, \sigma^2)\) 에 대해
이다. \(\hat\mu\) 는 \(\sigma^2\) 과 무관하게 정해지고, \(\hat\sigma^2\) 은 \(n\) 으로 나눈다 — 곧 \(\hat\sigma^2\) 은 편향추정량이며 \(E[\hat\sigma^2] = \frac{n-1}{n}\sigma^2\) 다.
증명
비용함수 \(J(\mu, \sigma^2) = \frac{1}{2\sigma^2}\sum_i (x_i-\mu)^2 + \frac n2\log\sigma^2\) 를 최소화한다.
\(\mu\) 쪽. \(\sigma^2 > 0\) 이 곱해진 상수이므로 미분하면
\(\sigma^2\) 이 식에서 통째로 약분된다. 그래서 \(\hat\mu\) 가 \(\sigma^2\) 을 모르고도 정해지고, 등고선의 축이 좌표축과 나란해진다. 같은 결론을 미분 없이 얻을 수도 있다 — 제곱편차합을 최소화하는 값이 평균이기 때문이다(평균, 중앙값, 최빈값 정리 1).
\(\sigma^2\) 쪽. \(v = \sigma^2\) 으로 두고 미분한다.
양변에 \(2v^2\) 을 곱해 정리한 것이다. 두 번 미분하면 \(\hat v\) 에서 \(\partial^2 J/\partial v^2 = n/(2\hat v^2) > 0\) 이므로 최소점이다.
편향. 분자는 \((n-1)S^2\) 이고 \(E[S^2] = \sigma^2\) 이므로(표본분산 정리 1)
다. \(\square\)
MLE 가 불편성을 보장하지 않는다는 가장 흔한 예가 이것이다. 가능도를 최대화하는 일과 기댓값을 맞히는 일은 서로 다른 요구이고, 정규분포의 분산에서 그 둘이 어긋난다. 어긋나는 양이 정확히 \(\frac{n-1}{n}\) 배이며, 2장·5장에서 본 베셀 보정이 바로 그 불일치를 되돌리는 일이다.
그래도 MLE 는 일치추정량(consistent estimator)이다. \(\frac{n-1}{n} \to 1\) 이므로 편향이 0 으로 가고 분산도 0 으로 가므로, 일치성 정리 1 에 따라 \(\hat\sigma^2 \xrightarrow{P} \sigma^2\) 다. 유한표본에서 치우쳐 있을 뿐 큰 표본에서는 바로잡힌다.

모수가 둘이므로 로그가능도가 곡선이 아니라 지형이 된다. 왼쪽 등고선의 가장 안쪽 자리가 위 두 식이 동시에 0이 되는 점이며, 그것이 \((\hat\mu, \hat\sigma)\)다.
등고선의 모양에서 두 가지를 읽을 수 있다. 첫째, 등고선의 축이 좌표축과 나란하다. \(\hat\mu\)가 \(\sigma\)에 의존하지 않는다는 뜻이며, 실제로 위 유도에서 첫 식이 \(\sigma\) 없이 풀렸다. 둘째, 가로보다 세로가 더 길쭉하다. 같은 자료에서 표준편차가 평균보다 덜 정밀하게 추정된다는 뜻이다.
오른쪽은 그 꼭대기가 고른 분포를 자료 위에 얹은 것이다. 최대가능도가 하는 일은 결국 이 곡선을 자료에 가장 잘 맞추는 일이다.
보기 1. 해석적 MLE와 수치적 MLE. \(N(5, 2^2)\)에서 \(n = 50\)을 뽑아 공식으로 구한 MLE 와 넬더–미드 최적화로 구한 값을 견준다.
(1) 분산이 \(n-1\)이 아니라 \(n\)으로 나뉘는 까닭을 미분식의 어느 항에서 그 \(n\) 이 오는지로 짚으시오. 정류점이 경계가 아니라 내부의 전역최대임도 확인하시오.
(2) 두 답이 소수 몇째 자리까지 맞을 것으로 보아야 하는가. 출력의 불일치가 그만큼인지 보시오.
풀이
(1) \(n\) 은 정규화상수에서 온다. 정리 1 의 증명이 \(\hat\mu\)를 꽂아 넣고 \(v = \sigma^2\)으로 미분한 그 식을 다시 본다. \(A = \sum_i (x_i - \bar x)^2\)이라 두면
다. 분모가 \(n\)인 까닭이 여기서 드러난다. 미분식의 \(-n/(2v)\)는 밀도의 정규화상수 \((2\pi\sigma^2)^{-n/2}\)에서 오고, 그 \(n\)이 그대로 답의 분모가 된다. 가능도는 "편차를 작게 보이게 하는 \(v\)"와 "정규화상수를 크게 하는 \(v\)"를 맞바꾸는데, 그 균형점이 \(A/n\)이지 \(A/(n-1)\)이 아니다. 불편성은 최대가능도가 겨냥하는 목표가 아니다.
최대임은 \(d^2\ell/dv^2 = \dfrac{n}{2v^2} - \dfrac{A}{v^3}\)을 \(v = A/n\)에서 재면 \(-\dfrac{n^3}{2A^2} < 0\)이라 확인된다. 경계도 안전하다. \(v \to 0^+\)에서 \(-A/(2v) \to -\infty\)이고 \(v \to \infty\)에서 \(-\frac n2 \ln v \to -\infty\)이므로 내부의 유일한 정류점이 전역최대다.
(2) 수치해는 허용오차만큼만 정확하다. scipy 의 넬더–미드는 기본 수렴 기준이 \(\texttt{xatol} = 10^{-4}\), \(\texttt{fatol} = 10^{-4}\)다. 곧 모수 좌표에서 \(10^{-4}\) 규모의 차이는 "같다"고 보고 멈춘다. 그러니 두 답이 소수 넷째 자리에서 갈리리라 보아야 하고, 그보다 더 맞기를 바라서는 안 된다. 다섯째 자리 이하가 맞는다면 운이다.
두 답을 맞춰 본다.
import numpy as np
from scipy import optimize
def mle_analytical_vs_numerical(seed=42):
"""정규분포 MLE 를 공식으로 구한 값과 수치 최적화로 구한 값을 견준다.
공식이 있는 경우에 둘을 맞춰 보는 것은, 공식이 없는 모형으로 넘어가기
전에 수치 절차가 제대로 돌고 있는지 확인하는 표준적인 방법이다.
"""
rng = np.random.default_rng(seed)
mu_true, sigma_true = 5.0, 2.0
n = 50
data = rng.normal(mu_true, sigma_true, n)
# 공식으로 구한 MLE. 평균은 표본평균, 분산은 n 으로 나눈 표본분산이다.
mu_mle = data.mean()
sigma2_mle = np.mean((data - mu_mle)**2)
# 수치 최적화. 분산은 양수여야 하는데 최적화기는 그런 제약을 모른다.
# 그래서 log(sigma^2) 를 모수로 삼는다. 이러면 어떤 실수를 넣어도
# exp 를 거치며 양수가 되므로 제약 없는 문제가 된다.
def neg_ll(params):
mu, ls2 = params
s2 = np.exp(ls2)
return n/2*np.log(2*np.pi*s2) + np.sum((data-mu)**2)/(2*s2)
res = optimize.minimize(neg_ll, [0, 0], method='Nelder-Mead')
mu_num, s2_num = res.x[0], np.exp(res.x[1])
print(f"Analytical: mu={mu_mle:.6f}, sigma²={sigma2_mle:.6f}")
print(f"Numerical: mu={mu_num:.6f}, sigma²={s2_num:.6f}")
mle_analytical_vs_numerical()
출력:
Analytical: mu=5.182422, sigma²=2.313780
Numerical: mu=5.182447, sigma²=2.313763
불일치가 (2)가 말한 자리에 있다.
둘 다 넬더–미드의 허용오차 \(10^{-4}\)보다 작다. 여섯 자리를 찍어 놓았지만 믿을 수 있는 것은 넷째 자리까지이고, 그 범위에서 두 답은 완전히 같다.
어느 쪽이 "참값"인가에는 답이 있다. 해석적 해다. \(\hat\mu = \bar x\)와 \(\hat\sigma^2 = A/n\)은 유도된 등식이라 반올림 말고는 오차가 없고, 수치해는 격자도 아닌 단체(simplex)를 접어 가며 다가가다 허용오차에서 멈춘 근사다. 베르누이분포의 최대가능도 보기 1 에서 격자 탐색이 해석적 답을 한 칸 비껴갔던 것과 같은 이야기이며, 닫힌 꼴이 있으면 최적화기를 돌릴 까닭이 없다.
다만 닫힌 꼴이면 무엇이든 괜찮다는 뜻으로 넓히면 안 된다. 수학으로 같은 식이 기계에서 다르게 행동하는 일이 있고, 분산이 바로 그 자리다 — 5.13절 소박한 분산추정량이 \(\sum x_i^2 - (\sum x_i)^2/n\) 꼴의 닫힌 식이 어떻게 무너지는지 보인다. 여기서 쓴 \(A = \sum (x_i - \bar x)^2\) 은 편차를 먼저 취하므로 그 함정에 걸리지 않는다.
그렇다면 왜 수치해를 함께 구하는가. 공식이 없는 모형으로 넘어가기 전에 절차를 시험하기 위해서다. 답을 아는 문제에서 최적화기가 맞는 자리로 가는지 확인해 두면, 답을 모르는 문제에서 나온 수를 그만큼 믿을 수 있다.
코드가 \(\sigma^2\) 대신 \(\ln\sigma^2\)을 모수로 삼은 것도 같은 맥락이다. 최적화기는 \(\sigma^2 > 0\)이라는 제약을 모르므로 음수를 시도하다 \(\ln\) 안에서 \(\texttt{nan}\)을 만들 수 있다. \(v = e^{\ell}\)로 바꾸면 어떤 실수를 넣어도 양수가 되어 제약 없는 문제가 된다. 최댓값의 자리는 일대일 변환에 바뀌지 않으므로 (\(\hat v = e^{\hat\ell}\)) 이것은 공짜로 얻는 안전장치다.
일치
해석적 해와 수치해가 소수점 아래 여러 자리까지 일치하여 닫힌 형태 유도가 확인된다.
그림으로 보는 통계학 1. 평균이 답이라고 먼저 정하면 분포가 따라온다
위 \(\S 1\) 은 "오차가 정규다"에서 출발해 "\(\hat\mu = \bar X\)"에 닿았다. 가우스는 이 길을 거꾸로 갔다.
그가 마주한 사정은 이랬다. 천문 관측의 오차가 어떤 분포를 따르는지는 아무도 몰랐다. 그런데 관측자들은 오래전부터 여러 번 잰 값을 산술평균으로 뭉쳐 왔고, 그것이 옳다고 믿어 왔다. 그래서 가우스는 그 믿음을 출발점으로 삼았다 — 산술평균이 최선의 추정값이라고 치자. 그러면 오차의 분포는 무엇이어야 하는가.
답은 하나뿐이다. 정규분포다.
셈은 위 \(\S 1\) 을 한 걸음만 넓히면 나온다. 오차의 밀도를 \(f\), 관측을 \(x_i = \mu + \varepsilon_i\) 라 두면 로그가능도를 미분한 식이
이다. 이 방정식의 해가 어떤 표본에서도 \(\bar x\) 이려면 그 식이 \(\sum_i (x_i - \bar x) = 0\) 과 같아야 하고, 그것은 \(\psi(z) = cz\) — 원점을 지나는 직선 — 을 뜻한다. \(-(\log f)' = cz\) 를 풀면 \(\log f = -cz^2/2 + \text{const}\), 곧 정규밀도다. \(\S 1\) 에서 \(\partial\ell/\partial\mu\) 가 \((x_i - \mu)\) 의 합으로 깔끔하게 떨어진 그 한 줄이 사실은 결론이 아니라 정규분포의 정의였던 셈이다.

① 직선인 것은 하나뿐이다. 그림 ①은 다섯 밀도의 \(\psi\) 다. 정규만 직선이고, 라플라스는 계단이라 부호만 센다. 코시와 \(t_3\) 은 멀어지면 도로 \(0\) 으로 내려오는데, 멀리 떨어진 점을 아예 무시한다는 뜻이다.
② 그래서 추정값이 어디로 가는가. \(n = 9\) 짜리 표본 \(300\) 벌에서 \(\hat\mu\) 와 두 통계량의 최대 차이를 재면
| 오차분포 | 표본평균과의 차 | 표본중앙값과의 차 |
|---|---|---|
| 정규 | \(\mathbf{4\times10^{-8}}\) | \(1.14\) |
| 라플라스 | \(1.33\) | \(\mathbf{7\times10^{-8}}\) |
| 로지스틱 | \(0.60\) | \(1.05\) |
| 코시 | \(1.93\) | \(1.71\) |
| \(t_3\) | \(1.25\) | \(0.75\) |
정규는 평균과, 라플라스는 중앙값과 기계오차까지 같다. 나머지 셋은 어느 쪽도 아니다 — 이름 붙은 통계량으로 적히지 않고, 매번 수치로 풀어야 한다.
③ 거꾸로 읽으면 값이 나온다. 가우스의 논증을 뒤집으면 이렇게 된다 — 평균을 쓰는 것은 오차가 정규라고 말하는 것이다. 아니라면 얼마를 잃는가. 오차의 분산을 \(1\) 로 맞추고 \(n = 20\) 에서 표본평균과 올바른 최대가능도추정(maximum likelihood estimation)을 견주면
| 오차분포 | 표본평균의 상대효율 |
|---|---|
| 정규 | \(1.000\) |
| 로지스틱 | \(0.909\) |
| 라플라스 | \(0.691\) |
| \(t_3\) | \(\mathbf{0.516}\) |
\(t_3\) 에서 평균은 자료의 절반쯤을 버린다. 관측을 두 배로 늘려야 따라잡는다는 뜻이다.
가우스의 논리를 한 줄로 줄이면 이렇다 — 무엇을 최적이라 부를지 먼저 정하면 분포가 따라 나온다. 그 자리는 지금도 그대로 있다. 손실함수를 고르는 일이 그것이고, 13.8절 MAE·MSE·RMSE 가 그 선택을 다룬다. 분포 가정을 피하려고 손실을 고르는 것이 아니라, 손실을 고르는 일이 이미 분포 가정이다.
확인한 곳 — 위 \(\psi\) 유도와 세 그림의 수는 모두 직접 계산한 값이다. 가우스가 \(1809\) 년 『Theoria Motus』에서 산술평균을 공리로 두고 오차법칙을 역으로 이끌어 냈다는 것은 통계사에서 거듭 다루어져 온 서술이며, 이 책의 13.2절 최소제곱 상자가 같은 책의 다른 대목(최소제곱의 우선권)을 다룬다
2. 두 추정량의 성질¶
μ̂ = X̄의 성질¶
| 성질 | 결과 |
|---|---|
| 편향 | \(E[\hat{\mu}] = \mu\) (불편) |
| 분산 | \(\text{Var}(\hat{\mu}) = \sigma^2/n\) |
| 분포 | 정확히 \(\hat{\mu} \sim N(\mu, \sigma^2/n)\) |
| 효율성 | CRLB 달성, MVUE |
| 충분성 | (\(\sigma^2\)이 주어지면) \(\mu\)에 대해 충분 |
| 일치성 | \(\hat{\mu} \xrightarrow{p} \mu\) |
σ̂² (MLE)의 성질¶
| 성질 | 결과 |
|---|---|
| 편향 | \(E[\hat{\sigma}^2] = \frac{n-1}{n}\sigma^2\) (편향됨) |
| 편향의 크기 | \(\text{Bias} = -\sigma^2/n\) |
| 분포 | \(n\hat{\sigma}^2/\sigma^2 \sim \chi^2_{n-1}\) |
| 분산 | \(\text{Var}(\hat{\sigma}^2) = \frac{2(n-1)}{n^2}\sigma^4\) |
| 평균제곱오차 | \(\frac{2n-1}{n^2}\sigma^4\) |
| 일치성 | \(\hat{\sigma}^2 \xrightarrow{p} \sigma^2\) |
| 점근적 불편성 | \(n \to \infty\)일 때 \(E[\hat{\sigma}^2] \to \sigma^2\) |
독립성¶
\(\hat{\mu}\)과 \(\hat{\sigma}^2\)은 (Cochran 정리에 의해) 독립이다. 정규분포에만 있는 특별한 성질이며 \(t\)-분포를 유도하는 데 결정적이다.
3. 최소제곱과의 연결¶
(\(\sigma^2\)을 고정한) \(\mu\)에 대한 비용함수는 다음과 같다.
이는 정확히 최소제곱 목적함수이다. 따라서 정규분포 평균의 MLE는 최소제곱 추정값과 동등하며, 이는 MLE와 회귀분석 사이의 깊은 연결이다.
AI로 보는 통계학 1. 괄호 안의 조건을 거두면
바로 위 줄의 괄호가 작게 적혀 있다 — 「(\(\sigma^2\)을 고정한)」. 딥러닝에서 가장 널리 쓰이는 손실함수가 그 괄호 안에 들어 있다.
평균제곱오차(MSE)로 신경망을 학습시키는 일은 「오차가 정규분포를 따르고 그 분산이 모든 입력에서 같다」고 두고 정규 가능도를 최대화하는 일과 같다. 분산이 상수이면 \(\log \sigma^2\) 항이 \(\mu\) 와 무관해져 위의 \(J(\mu)\) 만 남기 때문이다. 쓰는 사람이 그렇게 가정한 줄 모르고 있을 뿐, MSE 를 고르는 순간 등분산을 가정한 것이다.
괄호를 거두면 어떻게 되는가. \(\sigma^2\) 도 입력의 함수로 두고 음의 로그가능도를 \(\hat\mu\) 로 미분하면
이 되어 오차가 그 자리의 분산으로 나뉜다. 조용한 곳의 자료는 세게, 시끄러운 곳의 자료는 약하게 끌어당기는 것이고, 이것이 가중최소제곱이다. 직접 재어 보았다. 왼쪽 절반은 \(\sigma = 0.1\), 오른쪽 절반은 \(\sigma = 0.7\) 인 자료 \(3{,}000\) 개에 같은 기저함수(basis function)를 주고 한쪽은 분산까지 함께 추정하게, 다른 쪽은 MSE 로 맞추게 했다.

- ① 평균만 보면 둘이 거의 겹친다. 제곱근평균제곱오차가 조용한 구간에서 \(0.0124\) 대 \(0.0167\), 시끄러운 구간에서 \(0.0157\) 대 \(0.0175\) 로 분산을 함께 추정한 쪽이 양쪽 모두에서 조금 낫다. 극적인 차이는 아니다 — 기저함수가 넉넉하면 MSE 도 평균은 잘 찾는다.
- ② 가능도가 실제로 거는 가중이다. 같은 자료 한 점인데 왼쪽 절반에서는 평균 \(43.9\), 오른쪽 절반에서는 \(2.4\) 로 \(18\) 배 차이가 난다. 참값으로 따지면 \((0.7/0.1)^2 = 49\) 배이고, 추정된 \(\hat\sigma\) 가 아직 참값에 못 미쳐 그보다 작게 나왔다.
- ③ 진짜 차이는 여기 있다. 분산을 모형에 넣은 쪽은 \(\hat\sigma(x)\) 가 조용한 구간 \(0.160\), 시끄러운 구간 \(0.655\) 로 잡음 구조 자체를 되찾는다(참값 \(0.1\) 과 \(0.7\)). MSE 쪽은 상수 하나뿐이라 어느 예측이 믿을 만한지 말할 방법이 아예 없다. 같은 평균을 내놓고도 한쪽만 「여기는 모르겠다」고 말할 수 있다.
한 가지 덧붙일 것이 있다. \(\mu\) 와 \(\sigma^2\) 을 동시에 경사하강으로 푸는 일은 닫힌 꼴에서는 없던 어려움을 가져온다. 위 모의에서 잡음 비를 바꿔 가며 여섯 번 돌려 보았더니 그 가운데 둘이 발산했다. \(\hat\sigma^2\) 이 작아지면 기울기가 커지고, 기울기가 커지면 또 흔들리는 되먹임이 생기기 때문이다. 자이처 등(\(2022\))이 이 문제를 정면으로 다루면서, NLL 이 「잘 못 맞힌 자료점의 기울기를 잘 맞힌 점에 견주어 줄이고, 그래서 그 점들을 사실상 적게 뽑는 셈이 된다」고 적고, 분산의 \(\beta\) 거듭제곱으로 가중을 눅이는 \(\beta\)-NLL 을 제안했다. \(\beta = 1\) 이면 평균 쪽 가중이 사라져 MSE 와 같아지되 불확실성 추정 능력은 남는다.
위 줄의 괄호 하나가 그만큼을 담고 있다.
확인한 곳 — M. Seitzer, A. Tangemann, S. Venkatesh, B. Schölkopf, G. Martius (2022) On the Pitfalls of Heteroscedastic Uncertainty Estimation with Probabilistic Neural Networks, ICLR (arXiv:2203.09168). 인용한 문장, 음의 로그가능도를 \(\hat\mu\) 와 \(\hat\sigma^2\) 으로 미분한 식, 그리고 \(\beta\)-NLL 이 분산의 \(\beta\) 거듭제곱으로 각 자료점의 기여를 가중하며 \(\beta = 0\) 이 보통 NLL, \(\beta = 1\) 이 평균에 대해 MSE 와 같아지되 불확실성 추정 능력을 유지한다는 서술이 거기 있다. 그림과 표의 수는 모두 직접 계산한 값이며 논문의 측정값이 아니다. 발산 둘도 직접 돌려 본 결과다
4. 피셔 정보행렬과 크라메르–라오 하한¶
\((\mu, \sigma^2)\)에 대한 피셔 정보행렬은 다음과 같다.
비대각 성분이 0이라는 사실은 \(\mu\)와 \(\sigma^2\)이 서로 독립적인 정보를 담고 있음을 확인해 준다.
크라메르–라오 하한¶
\(\mu\)의 MLE는 CRLB를 정확히 달성한다. \(\sigma^2\)의 MLE는 유한표본에서는 CRLB에 도달하지 못하지만(분산이 \(2(n-1)\sigma^4/n^2 < 2\sigma^4/n\)이다) 점근적으로는 도달한다.
보기 2. 피셔 정보량과 크라메르–라오 하한. \(N(5, 3^2)\)에서 \(n\)을 \(10\)에서 \(500\)까지 바꾸며 \(\hat\mu\)와 \(\hat\sigma^2 = \texttt{np.var(...)}\)의 분산을 10만 번 반복으로 재고 하한과 견준다.
(1) 두 비가 각각 얼마가 되어야 하는지 정확히 구하시오.
(2) 아래쪽 표의 비가 다섯 줄 모두 \(1\)보다 작다. 크라메르–라오 하한이 깨진 것인가.
풀이
(1) 해석적으로. \(\hat\mu = \bar X\)는 \(N(\mu, \sigma^2/n)\)을 정확히 따르므로
이다. 근사가 아니다. \(\bar X\)는 어떤 표본크기에서도 하한에 정확히 닿는 효율추정량이고, 이것이 최소분산불편추정량이라는 말의 뜻이다.
분산 쪽은 코드가 무엇을 재고 있는지 먼저 보아야 한다. np.var 의 기본값은 \(\texttt{ddof=0}\)이므로 재고 있는 것은 \(S^2\)이 아니라 MLE \(\hat\sigma^2 = \frac{n-1}{n}S^2\)이다. 상수배이므로 분산은 그 제곱배다.
이것을 하한 \(2\sigma^4/n\)으로 나누면
로 언제나 \(1\)보다 작다. \(n = 10\)에서 \(0.900\), \(25\)에서 \(0.960\), \(50\)에서 \(0.980\), \(100\)에서 \(0.990\), \(500\)에서 \(0.998\)이다.
(2) 하한은 깨지지 않았다. 적용 대상이 아닐 뿐이다. 크라메르–라오 하한은 불편추정량(unbiased estimator)에 대한 진술이고, \(\hat\sigma^2_{\text{MLE}}\)은 정리 1 에서 본 대로 불편이 아니다. 편향된 추정량의 분산은 하한보다 얼마든지 작을 수 있다.
극단적인 예를 생각하면 분명해진다. 자료를 보지 않고 언제나 \(\hat\sigma^2 = 7\)이라고 답하는 추정량은 분산이 \(0\)이다. 하한이 모든 추정량에 적용된다면 이것이 반례가 되어 버린다. 하한이 막는 것은 "불편이면서 동시에 분산이 작은" 추정량이고, 편향을 받아들이면 분산은 얼마든지 깎을 수 있다. 그 대신 치르는 값이 편향제곱이며, 둘을 합한 평균제곱오차로 재야 공평하다.
실제로 평균제곱오차로 재면 하한이 되살아난다.
인데, 이것은 \(\frac{2\sigma^4}{n}\cdot\frac{2n-1}{2n}\)이라 여전히 하한보다 작다. 편향된 추정량은 평균제곱오차로도 하한을 밑돌 수 있다(5.13절 분산추정량의 평균제곱오차 보기 1 이 \(1/(n+1)\)에서 같은 일을 보였다). 하한이 보장하는 것은 오직 불편추정량 중에서의 최소 분산이고, \(S^2\)에 적용하면
로 하한을 넘는다. 정규분포의 \(\sigma^2\)에는 하한에 닿는 불편추정량이 존재하지 않으며, \(S^2\)이 그중 가장 좋다.
모의실험과 맞춰 본다.
def fisher_information_crlb(sigma=3.0, n_sim=100_000, seed=42):
"""두 MLE 의 분산이 크라메르-라오 하한에 닿는지 확인한다.
비가 1 에 가까우면 그 추정량보다 나은 불편추정량은 없다는 뜻이다.
mu 는 어떤 n 에서도 1 이지만 sigma^2 는 n 이 커져야 1 로 다가간다.
"""
rng = np.random.default_rng(seed)
sample_sizes = [10, 25, 50, 100, 500]
print("For mu: CRLB = sigma²/n")
for n in sample_sizes:
mu_h = np.array([rng.normal(5, sigma, n).mean() for _ in range(n_sim)])
print(f" n={n:>4} Var(mu_hat)={mu_h.var():.6f} "
f"CRLB={sigma**2/n:.6f} Ratio={mu_h.var()/(sigma**2/n):.4f}")
print("\nFor sigma²: CRLB = 2*sigma⁴/n")
for n in sample_sizes:
s2_h = np.array([np.var(rng.normal(5, sigma, n)) for _ in range(n_sim)])
print(f" n={n:>4} Var(sigma²_hat)={s2_h.var():.6f} "
f"CRLB={2*sigma**4/n:.6f} Ratio={s2_h.var()/(2*sigma**4/n):.4f}")
fisher_information_crlb()
출력:
For mu: CRLB = sigma²/n
n= 10 Var(mu_hat)=0.894429 CRLB=0.900000 Ratio=0.9938
n= 25 Var(mu_hat)=0.359987 CRLB=0.360000 Ratio=1.0000
n= 50 Var(mu_hat)=0.180438 CRLB=0.180000 Ratio=1.0024
n= 100 Var(mu_hat)=0.090185 CRLB=0.090000 Ratio=1.0021
n= 500 Var(mu_hat)=0.018067 CRLB=0.018000 Ratio=1.0037
For sigma²: CRLB = 2*sigma⁴/n
n= 10 Var(sigma²_hat)=14.492807 CRLB=16.200000 Ratio=0.8946
n= 25 Var(sigma²_hat)=6.193428 CRLB=6.480000 Ratio=0.9558
n= 50 Var(sigma²_hat)=3.207101 CRLB=3.240000 Ratio=0.9898
n= 100 Var(sigma²_hat)=1.601462 CRLB=1.620000 Ratio=0.9886
n= 500 Var(sigma²_hat)=0.321909 CRLB=0.324000 Ratio=0.9935
10만 번에서 분산 추정의 상대 몬테카를로(Monte Carlo) 오차가 \(\sqrt{2/10^5} = 0.45\%\)다. 그 자로 두 표를 잰다.
| \(n\) | \(\hat\mu\) 비 | 이론 \(1\) | \(z\) | \(\hat\sigma^2\) 비 | 이론 \(\frac{n-1}{n}\) | \(z\) |
|---|---|---|---|---|---|---|
| \(10\) | \(0.9938\) | \(1.000\) | \(-1.4\) | \(0.8946\) | \(0.900\) | \(-1.3\) |
| \(25\) | \(1.0000\) | \(1.000\) | \(0.0\) | \(0.9558\) | \(0.960\) | \(-1.0\) |
| \(50\) | \(1.0024\) | \(1.000\) | \(+0.5\) | \(0.9898\) | \(0.980\) | \(+2.2\) |
| \(100\) | \(1.0021\) | \(1.000\) | \(+0.5\) | \(0.9886\) | \(0.990\) | \(-0.3\) |
| \(500\) | \(1.0037\) | \(1.000\) | \(+0.8\) | \(0.9935\) | \(0.998\) | \(-1.0\) |
열 칸이 모두 \(2.2\) 표준오차 안이다. (1)이 예측한 \(1\)과 \((n-1)/n\)이 양쪽에서 확인된다.
왼쪽 표가 특히 깔끔하다. \(\hat\mu\)의 비가 다섯 줄 모두 \(1\) 둘레에 있고, \(n\)에 따라 올라가거나 내려가는 기미가 없다. \(\bar X\)는 \(n = 10\)에서도 이미 효율적이며, "점근적으로 효율적"이라는 말조차 필요 없다.
오른쪽 표는 \(n\)과 함께 올라간다. \(0.895 \to 0.956 \to 0.990 \to 0.989 \to 0.994\)로 \(1\)에 다가가는데, 그것이 추정량이 좋아져서가 아니라 편향이 줄어들어 하한이 적용될 자격에 가까워지기 때문이다. \(1 - 1/n\)이라는 식이 그 사정을 그대로 담고 있다.
그러니 위의 "분산의 MLE는 점근적으로 도달한다"는 문장을 조심해 읽어야 한다. 아래에서 올라와 닿는 것이고, 올라오는 동안의 "모자람"은 효율이 나빠서가 아니라 편향 덕이다. 유한한 \(n\)에서 비가 \(1\)보다 작다는 것을 "하한보다 잘한다"로 읽으면 안 된다.
효율성
비 \(\text{Var}/\text{CRLB}\)는 \(\hat{\mu}\)에서 정확히 1이고(모든 표본크기에서 효율적이다), \(\hat{\sigma}^2\)에서는 \(n \to \infty\)일 때 1로 수렴한다(점근적으로 효율적이다).
5. 다른 모수화: (μ, σ)¶
\((\mu, \sigma^2)\) 대신 \((\mu, \sigma)\)로 모수화하면 \(\sigma\)의 MLE는 다음과 같다.
이는 MLE의 불변성에서 따라 나온다: \(\hat{\theta}\)가 \(\theta\)의 MLE이면 \(g(\hat{\theta})\)는 \(g(\theta)\)의 MLE이다.
\(\hat{\sigma}_{\text{MLE}}\)은 \(\sigma\)에 대해 편향되어 있음에 유의하라(옌센 부등식에 의해 \(E[\sqrt{X}] < \sqrt{E[X]}\)).
6. σ²의 MLE는 왜 편향되는가¶
최대가능도추정은 바람직한 점근적 성질을 많이 갖는다 — 일치성, 정규성(normality), 효율성. 그러나 유한표본에서 MLE 는 편향될 수 있고, 정규분포의 분산추정량이 그 고전적인 예다. \(n-1\) 대신 \(n\) 으로 나누면 참 분산을 체계적으로 과소추정한다. 이 예가 주는 교훈은 둘이다 — 최대가능도 관점의 최적성이 불편성을 보장하지 않는다는 것, 그리고 편향과 분산의 트레이드오프(trade-off)이 추정이론에서 반복되는 주제라는 것이다.
정리 1 의 증명은 편향을 2 줄로 끝냈다. 5.6절 분산의 표집분포 의 \(E[S^2] = \sigma^2\) 을 빌렸기 때문이다. 아래는 그것을 빌리지 않고 처음부터 세는 길이다. 모평균을 더하고 빼는 분해 하나로 끝난다.
편향의 유도 — 모평균을 더하고 빼서
\(E[\hat{\sigma}^2_{\text{MLE}}]\)을 계산하기 위해 표준적인 대수적 분해를 쓴다. 모평균 \(\mu\)를 더하고 빼는 데서 출발한다.
제곱을 전개하면 이렇게 된다.
\(\sum_{i=1}^n (X_i - \mu) = n(\bar{X} - \mu)\)이므로 가운데 항은 \(-2n(\bar{X} - \mu)^2\)과 같고, 따라서
이제 양변에 기댓값을 취한다. 첫 항에서는 각 \((X_i - \mu)^2\)의 기댓값이 \(\sigma^2\)이므로 합의 기댓값은 \(n\sigma^2\)이다. 둘째 항에서는 \(\bar{X} \sim N(\mu, \sigma^2/n)\)이므로 \(E[(\bar{X} - \mu)^2] = \sigma^2/n\)이고 \(E[n(\bar{X} - \mu)^2] = \sigma^2\)이다. 따라서 이렇게 된다.
\(n\)으로 나누면 이렇게 된다.
MLE의 편향은
MLE는 참 분산을 체계적으로 과소추정한다. 편향은 음수이고 크기가 \(\sigma^2/n\)으로 표본크기가 커지면 줄어든다. 그러나 편향이 사라진다는 것만으로 일치성이 보장되지는 않는다 — 추정량의 분산도 사라져야 하는데, 실제로 (\(1/n\)의 속도로) 사라지므로 MLE는 일치한다.
식을 따라가면 편향이 \(-\sigma^2/n\)이라는 결론에는 도달하지만, 왜 하필 아래쪽인지는 잘 보이지 않는다. 그 이유는 한 줄로 말할 수 있다. 편차를 재는 기준점을 자료에서 골랐고, 하필 제곱합을 가장 작게 만드는 자리를 골랐기 때문이다.

왼쪽은 \(N(0,1)\)에서 뽑은 \(n = 5\)짜리 표본 하나에 대해 \(g(a) = \frac{1}{n}\sum_i (x_i - a)^2\)을 기준점 \(a\)의 함수로 그린 것이다. 이 포물선의 최솟값은 언제나 \(a = \bar{x}\)에서 나온다. \(\hat{\sigma}^2_{\text{MLE}}\)은 바로 이 바닥값 \(1.16\)이고, 만약 참 평균 \(\mu = 0\)에서 쟀다면 \(1.36\)을 얻었을 것이다. 두 값의 차이 \(0.20\)이 정확히 \((\bar{x} - \mu)^2\)이다.
핵심은 이 차이가 결코 음수가 될 수 없다는 점이다. \(\bar{x}\)가 \(\mu\)의 오른쪽에 있든 왼쪽에 있든 포물선의 바닥은 \(\mu\)에서의 값보다 낮다. 운이 나빠서 아래로 치우치는 것이 아니라, 최소화라는 연산 자체가 매번 조금씩 덜 재도록 만든다. 그 "조금"의 평균이 \(E[(\bar{X}-\mu)^2] = \sigma^2/n\)이고, 여기에 음의 부호가 붙은 것이 앞서 유도한 편향이다. \(n = 5\), \(\sigma^2 = 1\)에서는 \(0.2\)로, 위 표본에서 실제로 나온 \(0.20\)과 일치한다.
오른쪽은 같은 실험을 20만 번 반복한 결과다. \(\hat{\sigma}^2_{\text{MLE}}\)의 평균이 \(0.803\) — 이론값 \((n-1)/n = 0.8\)과 맞고, \(S^2\)은 \(1.003\)으로 참값에 있다. 분포의 모양이 오른쪽으로 길게 늘어진 카이제곱 모양이라 표본의 71%에서 MLE가 참값보다 작게 나온다는 점도 눈여겨볼 만하다. 이 편향은 \(n\)이 커지면 \(-\sigma^2/n\)의 속도로 사라지지만, \(n = 5\)처럼 작은 표본에서는 20%나 되는 체계적 과소추정이다.
베셀 보정과 「불편이 최선은 아니다」¶
편향이 어디서 오는지는 위 그림이 말해 준다 — 참 평균 \(\mu\) 대신 \(\bar X\) 를 쓰는 데 자유도 하나가 든다. 편차 \(X_i - \bar X\) 가 제약 \(\sum_i (X_i - \bar X) = 0\) 을 만족하므로 자유로운 것은 \(n-1\) 개뿐이고, \(n\) 대신 \(n-1\) 로 나누면 불편추정량 \(S^2\) 이 된다. 이것이 베셀 보정이며, 그 유도와 자유도 셈을 다루는 곳은 5.13절 베셀 수정이다.
그런데 불편성만이 좋은 추정량의 기준은 아니다. \(\hat\sigma^2_c = \frac1c\sum(X_i-\bar X)^2\) 꼴에서 평균제곱오차는 정규분포에서 닫힌 꼴로 적힌다.
n = 10에서의 수치 비교
\(n = 10\), \(\sigma^2 = 1\)일 때 이렇게 된다.
| 추정량 | 나누는 수 | 편향 | 평균제곱오차 |
|---|---|---|---|
| \(S^2\) | \(n - 1 = 9\) | 0 | \(2/9 \approx 0.222\) |
| \(\hat{\sigma}^2_{\text{MLE}}\) | \(n = 10\) | \(-0.1\) | \(19/100 = 0.190\) |
| 평균제곱오차 최적 | \(n + 1 = 11\) | \(-2/11 \approx -0.182\) | \(2/11 \approx 0.182\) |
MLE 는 편향되어 있음에도 \(S^2\) 보다 평균제곱오차가 작다. 분산이 충분히 줄어든다면 약간의 편향은 받아들일 만하다 — 최적 분모 \(c = n+1\) 은 MLE 도 불편추정량도 아니며 둘 사이의 균형점이다.
\(c = n+1\) 이 최적인 까닭과 세 분모를 수로 견주는 일은 5.13절 분산추정량의 평균제곱오차가 맡는다. 여기서 필요한 것은 그 결론 하나다 — 가능도가 고르는 분모가 불편도 아니고 평균제곱오차 최적도 아니라는 것. 세 기준이 세 분모를 고른다.
보기 3. 유한표본에서의 편향. \(N(5, 3^2)\)에서 \(n\)을 \(3\)에서 \(500\)까지 바꾸며 \(\hat\sigma^2_{\text{MLE}}\)과 \(S^2\)을 같은 표본에서 20만 번씩 계산한다.
(1) 출력의 두 열 가운데 잡음이 전혀 없는 검산이 하나 있다. 무엇인가.
(2) 최대가능도는 "가장 좋은" 추정법이라는데 왜 편향된 답을 내놓는가. 그리고 \(\sigma\)(제곱근 쪽)의 MLE 는 얼마나 편향되는가.
풀이
(1) 두 열의 비. 같은 표본에서 계산한 두 값은 표본마다 정확히
로 묶여 있다. 분자가 같은 제곱합이고 분모만 다르기 때문이다. 그러므로 두 열의 비는 난수와 무관하게 \((n-1)/n\)이어야 하고, 반복을 몇 번 하든 똑같이 나온다. 평균이 참값과 얼마나 맞는지는 몬테카를로 오차에 달려 있지만, 이 비에는 오차가 없다.
\(E[S^2] = \sigma^2\) 쪽은 잡음이 있다. \(\operatorname{Var}(S^2) = 2\sigma^4/(n-1)\)이므로 20만 번 평균의 표준오차가 \(\sqrt{2\sigma^4/\big((n-1)\cdot 2\times10^5\big)}\)이고, \(n = 3\)에서 \(0.0201\), \(n = 500\)에서 \(0.0013\)이다.
(2) 최대가능도는 불편성을 겨냥하지 않는다. 겨냥하는 것은 관측된 자료를 가장 그럴듯하게 만드는 모수값이고, 그것은 \(\sigma^2\)을 추정할 때 \(A/n\)이다(보기 1). 불편성은 전혀 다른 기준이며, 둘이 어긋나는 것이 정상이다. 최대가능도가 내세우는 것은 점근적 성질이다. 일치성, 점근 정규성, 점근 효율성이 그것이고 유한표본 불편성은 그 목록에 없다.
그보다 더 근본적인 이유가 하나 있다. 최대가능도는 변환에 불변인데 불편성은 그렇지 않다. \(g\)가 일대일이면 \(\widehat{g(\theta)} = g(\hat\theta)\)가 언제나 성립하므로
이다. 그런데 불편성은 비선형 변환을 통과하지 못한다. \(\hat\theta\)가 \(\theta\)에 불편이어도 \(g(\hat\theta)\)는 \(g(\theta)\)에 불편이 아니다. 두 성질은 양립할 수 없는 꼴로 정의되어 있고, 최대가능도는 불변성 쪽을 택한 것이다.
\(\sigma\) 쪽 편향은 두 겹이 된다. \(\hat\sigma_{\text{MLE}} = \sqrt{(n-1)/n}\;S\)이고 베셀 보정 쪽 보기 5에서 \(E[S] = c_4(n)\sigma\)이므로
다. \(n = 3\)에서 \(0.7236\sigma\)로 \(28\%\)나 작게 나온다. 분산 쪽의 \((n-1)/n = 0.667\)보다는 낫지만(제곱근이 차이를 절반으로 줄이므로) 여전히 크다.
출력을 (1)의 눈으로 읽는다.
def finite_sample_bias(n_sim=200_000, seed=42):
"""분산의 MLE 가 유한표본에서 아래로 치우치고 n 이 커지면 사라짐을 본다.
MLE 는 평균 대신 표본평균을 쓰느라 편차를 실제보다 작게 잡는다.
그 정도가 정확히 (n-1)/n 배이므로 표본이 작을수록 두드러진다.
"""
rng = np.random.default_rng(seed)
mu_true, sigma_true = 5.0, 3.0
sigma2 = sigma_true**2
sample_sizes = [3, 5, 10, 20, 50, 100, 500]
for n in sample_sizes:
samp = rng.normal(mu_true, sigma_true, (n_sim, n))
# 같은 표본에서 두 값을 함께 구한다. 차이는 나누는 수뿐이다.
s2_mle = np.var(samp, axis=1, ddof=0)
s2_ub = np.var(samp, axis=1, ddof=1)
print(f"n={n:>4} E[sigma²_MLE]={s2_mle.mean():.4f} "
f"E[S²]={s2_ub.mean():.4f} Bias(MLE)={s2_mle.mean()-sigma2:.4f}")
finite_sample_bias()
출력:
n= 3 E[sigma²_MLE]=6.0004 E[S²]=9.0006 Bias(MLE)=-2.9996
n= 5 E[sigma²_MLE]=7.1938 E[S²]=8.9922 Bias(MLE)=-1.8062
n= 10 E[sigma²_MLE]=8.0936 E[S²]=8.9929 Bias(MLE)=-0.9064
n= 20 E[sigma²_MLE]=8.5449 E[S²]=8.9947 Bias(MLE)=-0.4551
n= 50 E[sigma²_MLE]=8.8173 E[S²]=8.9972 Bias(MLE)=-0.1827
n= 100 E[sigma²_MLE]=8.9087 E[S²]=8.9987 Bias(MLE)=-0.0913
n= 500 E[sigma²_MLE]=8.9833 E[S²]=9.0013 Bias(MLE)=-0.0167
| \(n\) | 두 열의 비 | \((n-1)/n\) | \(E[S^2]\)의 불일치 | 몬테카를로 표준오차 | \(z\) |
|---|---|---|---|---|---|
| \(3\) | \(0.66667\) | \(0.66667\) | \(+0.0006\) | \(0.0201\) | \(+0.03\) |
| \(5\) | \(0.80000\) | \(0.80000\) | \(-0.0078\) | \(0.0142\) | \(-0.55\) |
| \(10\) | \(0.90000\) | \(0.90000\) | \(-0.0071\) | \(0.0095\) | \(-0.75\) |
| \(20\) | \(0.94999\) | \(0.95000\) | \(-0.0053\) | \(0.0065\) | \(-0.81\) |
| \(50\) | \(0.98000\) | \(0.98000\) | \(-0.0028\) | \(0.0041\) | \(-0.69\) |
| \(100\) | \(0.99000\) | \(0.99000\) | \(-0.0013\) | \(0.0029\) | \(-0.45\) |
| \(500\) | \(0.99800\) | \(0.99800\) | \(+0.0013\) | \(0.0013\) | \(+1.02\) |
둘째 열과 셋째 열이 다섯 자리까지 같다. \(n = 20\) 줄의 \(0.94999\)가 \(0.95000\)과 끝자리에서 갈리는 것은 출력이 소수 넷째 자리에서 반올림된 수를 다시 나눈 탓이고, 원값으로는 정확히 \(19/20\)이다. (1)이 말한 대로 이 열에는 몬테카를로 잡음이 없다.
넷째 열은 사정이 다르다. 일곱 줄이 모두 \(1\) 표준오차 안에 있으니 \(E[S^2] = \sigma^2\)도 확인되었지만, 이쪽은 반복을 늘려야 좁아지는 종류의 확인이다. 같은 표에 성격이 다른 두 검산이 들어 있는 셈이고, 어느 쪽인지 가려 읽어야 한다.
MLE 의 편향은 어느 줄에서도 사라지지 않는다. \(n = 500\)에서도 \(-0.0167\)이고, 그 표준오차가 \(0.0013\)이므로 \(0\)에서 \(13\) 표준오차 떨어져 있다. "점근적으로 불편"이 "큰 표본에서는 불편"을 뜻하지 않는다. 뜻하는 것은 편향이 \(0\)으로 간다는 것뿐이고, \(n\)이 유한한 동안에는 언제나 거기 있다.
그럼에도 실무가 걱정하지 않는 까닭은 편향을 변동과 견주기 때문이다. \(n = 500\)에서 편향이 \(-0.0167\)인데 \(\hat\sigma^2\) 자체의 표준편차는 \(\sqrt{2(n-1)\sigma^4/n^2} = 0.569\)다. 편향이 변동의 \(3\%\)에 지나지 않으니, 한 번의 추정에서는 보이지 않는다. 반대로 \(n = 3\)에서는 편향 \(-3.0\)에 표준편차 \(6.0\)으로 편향이 변동의 절반이라 무시할 수 없다.
AI로 보는 통계학 2. 가장 큰 것을 고르면 그것은 이미 부풀어 있다
이 절의 편향은 자유도 하나를 쓴 값이라 \(\frac{n-1}{n}\) 이라는 깔끔한 꼴이 나왔다. 그런데 MLE 가 편향되는 더 흔한 까닭은 따로 있다 — 잘 추정한 값들에 비선형 함수를 씌우는 것이다. 함수가 볼록하면 옌센 부등식이 곧바로
를 준다. \(g = \max\) 가 바로 그런 함수다. 행동 \(m\) 개의 가치를 하나도 빠짐없이 불편으로 추정해도, 그 가운데 가장 큰 것은 참 최댓값보다 위로 치우친다.
이 편향에는 이름이 있다. 강화학습의 최대화 편향이다. Q-학습은 갱신할 때마다 목표값으로 \(r + \gamma \max_a \hat Q(s', a)\) 를 쓰는데, 저 \(\max\) 안의 \(\hat Q\) 는 모두 추정값이다. 그래서 매 걸음 위로 밀린 값을 참값인 양 집어넣고, 그 값이 다음 걸음의 추정에 다시 들어간다.

① 얼마나 부푸는가. 참 가치가 모두 \(0\) 이고 추정오차가 표준정규일 때, 가장 큰 것의 평균은 이렇다.
| 행동 수 \(m\) | \(2\) | \(8\) | \(32\) | \(128\) | \(1024\) |
|---|---|---|---|---|---|
| 가장 큰 것을 쓰면 | \(0.57\) | \(1.42\) | \(2.07\) | \(2.60\) | \(3.25\) |
| 이중 추정 | \(-0.002\) | \(-0.000\) | \(-0.000\) | \(0.000\) | \(-0.004\) |
이중 추정이 고치는 방법이다. 자료를 둘로 나누어 한쪽으로 argmax 를 고르고 다른 쪽으로 그 값을 잰다. 고르는 데 쓴 잡음과 재는 데 쓴 잡음이 서로 독립이 되므로, 운 좋게 높이 튄 쪽을 고르더라도 그 운이 값에는 따라오지 않는다. 표본을 쪼개어 편향을 떼어 내는 수법이고, 교차적합이 하는 일과 같은 것이다.
② 닫힌 식으로도 적힌다. 오차가 \([-1, 1]\) 위에 균등하면 부푸는 양이 정확히 \(\dfrac{m-1}{m+1}\) 이다. 모의로 재어 보니 \(m = 2\) 에서 \(1024\) 까지 가장 큰 차가 \(0.00051\) 이었다.
③ 더 재면 사라지는가. 행동마다 \(n\) 번 재어 평균하면 편향은 \(1/\sqrt n\) 로 준다. 그런데 표준오차도 같은 속도로 준다. 그래서 둘의 비가 \(n\) 과 무관하게 그대로다.
| \(m = 2\) | \(m = 10\) | \(m = 100\) | |
|---|---|---|---|
| 편향 / 표준오차 | \(0.57\) | \(1.54\) | \(2.51\) |
\(n\) 을 \(10\) 에서 \(10{,}000\) 으로 천 배 늘려도 이 비는 소수 둘째 자리까지 움직이지 않는다. 이것이 이 쪽의 \(\hat\sigma^2\) 과 갈리는 대목이다. 위 \(\S 2\) 의 표에서 \(\operatorname{Var}(\hat\sigma^2_{\text{MLE}}) = \frac{2(n-1)}{n^2}\sigma^4\) 이므로
다. \(n = 10\) 에서 \(0.236\), \(n = 1000\) 에서 \(0.022\) — 자료를 모으면 잡음에 묻혀 버린다. 최댓값의 편향은 묻히지 않는다. \(m = 100\) 이면 표본을 아무리 늘려도 잡음의 두 배 반 만큼 한결같이 위로 밀려 있다. 위 트레이드오프 표를 그릴 수 없는 편향이다 — 분산을 줄여서 사는 것이 아니기 때문이다.
반 하셀트·게즈·실버는 \(2016\) 년 논문 첫 줄에서 「널리 쓰이는 Q-학습 알고리즘은 어떤 조건에서 행동 가치를 과대추정한다고 알려져 있다」고 적고, 그것이 실제로 흔한지·성능을 해치는지·막을 수 있는지를 물은 뒤 셋 다 그렇다고 답했다. 아타리 게임 몇에서 DQN 이 「상당한 과대추정」을 겪고 있었다는 것이다.
이 절은 「최대가능도 관점의 최적성이 불편성을 보장하지 않는다」로 열었다. 그 문장의 값이 가장 비싸게 치러지는 자리가 여기다 — 편향이 추정값에 그치지 않고 다음 추정의 입력이 될 때.
확인한 곳 — 하도 반 하셀트·아서 게즈·데이비드 실버의 「Deep Reinforcement Learning with Double Q-learning」(『Proceedings of the AAAI Conference on Artificial Intelligence』 \(30\) 권 \(1\) 호, \(2016\), doi:10.1609/aaai.v30i1.10295; 원고는 arXiv:1509.06461)을 본문 앞부분과 그림 \(1\) 까지 읽었다 — 인용한 초록 첫 문장들, 그림 \(1\) 의 설정(「행동 가치가 \(Q(s,a) = V^{*}(s) + \epsilon_a\) 이고 오차 \(\{\epsilon_a\}\) 가 독립인 표준정규이며, 파란 막대에 쓴 둘째 벌 \(Q'\) 는 똑같이 따로 만들었다」), 그리고 「모든 행동에서 \(Q^{*}(s,a) = V^{*}(s)\) 이고 추정오차가 \([-1,1]\) 에서 균등하면 과대낙관은 \(\frac{m-1}{m+1}\) 이다」가 모두 그 쪽에 있다. 정리 \(1\) 이 하한 \(\sqrt{C/(m-1)}\) 을 주고 이중 추정 쪽의 절대오차 하한은 \(0\) 이라는 것도 거기서 읽었다 · 과대추정을 처음 지적한 것이 스런·슈워츠(\(1993\))이고 이중 Q-학습을 내놓은 것이 반 하셀트(\(2010\))라는 것은 그 논문이 적은 바이고 두 원문은 읽지 않았다 · ①②③의 수는 모두 직접 모의실험한 값이다(논문 그림 \(1\) 은 \(100\) 번 평균이고 이 그림은 \(200{,}000\) 번이다) · \(1/\sqrt{2(n-1)}\) 은 이 쪽 \(\S 2\) 의 표에서 직접 유도했다
7. 로그가능도 곡면¶
로그가능도함수 \(\ell(\mu, \sigma^2)\)은 \((\mu, \sigma^2)\) 평면 위의 곡면을 이룬다.
- \(\sigma^2\)을 고정하면 \(\ell\)은 \(\mu\)에 대해 위로 볼록한(아래로 열린) 포물선이며 \(\bar{X}\)에서 최대가 된다
- \(\mu\)를 고정하면 \(\ell\)은 \(\sigma^2\)의 오목함수이다
- 전역 최댓값은 \((\bar{X}, \hat{\sigma}^2)\)에 있다
- 로그가능도가 일정한 등고선은 (큰 \(n\)에서 근사적으로) MLE를 중심으로 하는 타원이다
\(N(5, 2^2)\)에서 뽑은 \(n = 5\)짜리 표본 하나로 이 곡면을 실제로 그려 보자. 표본크기를 작게 잡은 이유는 \(\hat{\sigma}^2_{\text{MLE}}\)와 \(S^2\)의 비가 \((n-1)/n = 0.8\)이 되어 두 값이 눈에 띄게 벌어지기 때문이다.

이 표본에서 \(\bar{x} = 4.67\), \(\hat{\sigma}^2_{\text{MLE}} = 3.03\), \(S^2 = 3.79\)이다. 왼쪽 등고선의 꼭대기(붉은 점)가 정확히 \((4.67, 3.03)\)에 있다. 등고선이 가로축 방향으로 대칭인 타원이라는 점에 주목하라 — 어느 높이에서 잘라도 그 조각은 \(\mu = \bar{x}\)를 중심으로 좌우대칭이다. 이것이 피셔 정보행렬의 비대각 성분이 0이라는 말의 그림이다. \(\sigma^2\)을 어떤 값으로 잘못 잡아도 \(\mu\)의 최적값은 여전히 \(\bar{x}\)이며, 그래서 두 모수를 따로 풀 수 있었다. 반면 \(\sigma^2\) 방향으로는 등고선이 전혀 대칭이 아니다. 위쪽으로 길게 늘어져 있어서, 분산을 과대추정하는 쪽이 과소추정하는 쪽보다 가능도의 벌점이 작다.
오른쪽은 \(\mu = \bar{x}\)에서 자른 단면이다. 불편추정값 \(S^2 = 3.79\)(초록 점)는 꼭대기의 오른쪽 언덕에 앉아 있다. 불편추정량은 이 곡선을 최대로 만들지 않는다. 두 기준이 서로 다른 것을 요구하기 때문이며, 여기서 MLE가 \(n\)으로 나누는 이유와 \(S^2\)이 \(n-1\)로 나누는 이유가 갈라진다.
다만 그 차이가 얼마나 작은지도 함께 보아 둘 만하다. 꼭대기와 초록 점의 로그가능도 차이는 \(0.058\)에 불과하다. 가능도비로는 \(e^{-0.058} \approx 0.94\) — 자료가 \(S^2 = 3.79\)를 \(\hat{\sigma}^2 = 3.03\)보다 6% 덜 지지한다는 뜻일 뿐이다. 꼭대기 근처가 이토록 평평하다는 사실은 두 가지를 동시에 말해 준다. 어느 쪽을 쓰든 자료와의 적합도(goodness of fit) 차이는 미미하다는 것, 그리고 바로 그렇기 때문에 \(n\)으로 나눌지 \(n-1\)로 나눌지가 가능도만으로는 결정되지 않는다는 것이다.
보기 4. 로그가능도 곡면과 단면. \(N(5, 2^2)\)에서 \(n = 30\)을 뽑아 \((\mu, \sigma^2)\) 평면의 로그가능도를 등고선으로, 그리고 두 모수 각각의 단면으로 그린다.
(1) 두 단면의 모양을 식으로 적으시오. 하나는 포물선이고 하나는 아니다. 어느 쪽인가.
(2) 각 단면이 봉우리에서 \(1.92\)만큼 내려오는 자리를 구하시오(\(\chi^2_1\)의 \(95\%\) 점의 절반이다). 두 자리가 대칭인가.
풀이
(1) 해석적으로. \(A = \sum_i(x_i - \bar x)^2 = n\hat\sigma^2\)이라 두자.
\(\mu\) 단면(\(\sigma^2\)을 \(\hat\sigma^2\)에 고정)은 \(\mu\)에 대해 이차식뿐이므로
로 정확한 포물선이다. 근사가 아니다. 가운데 등호에서 6절의 「편향의 유도」와 5.13절 소박한 분산추정량이 쓴 항등식 \(\sum(x_i-\mu)^2 = A + n(\bar x - \mu)^2\)을 썼다.
\(\sigma^2\) 단면(\(\mu\)를 \(\hat\mu\)에 고정)은 사정이 다르다. \(v = \sigma^2\)에 대해
인데, 대괄호 안이 \(v\)의 이차식이 아니다. 왼쪽과 오른쪽이 전혀 다르게 떨어진다.
- \(v \to 0^+\): \(\hat\sigma^2/v \to \infty\)라 쌍곡선처럼 급격히 내려간다.
- \(v \to \infty\): \(\ln v\)라 로그처럼 느리게 내려간다.
그래서 봉우리의 오른쪽이 왼쪽보다 훨씬 평평하다. 분산을 과대추정하는 쪽의 벌점이 과소추정하는 쪽보다 가볍다는 뜻이고, 이것이 분산의 신뢰구간이 비대칭인 까닭이다.
(2) \(1.92\)만큼 내려오는 자리. 이 표본에서 \(\hat\mu = 5.0336\), \(\hat\sigma^2 = 2.3329\), \(\hat\sigma = 1.5274\)다.
\(\mu\) 쪽은 포물선이라 손으로 풀린다.
\(1.96\,\hat\sigma/\sqrt n\)이 그대로 나온다. 포물선의 곡률이 피셔 정보량 \(n/\sigma^2\)이고, 그 역수의 제곱근이 표준오차이기 때문이다. 좌우가 정확히 대칭이다.
\(\sigma^2\) 쪽은 초월방정식이라 수치로 풀어야 한다. \(\ln(v/\hat\sigma^2) + \hat\sigma^2/v - 1 = 2\times1.92/n = 0.128\)을 풀면
로 오른쪽이 왼쪽의 두 배다. 정규근사를 썼다면 \(\pm 1.96\sqrt{2\hat\sigma^4/n} = \pm 1.181\)로 대칭이었을 터인데, 참 단면은 왼쪽을 그보다 좁히고 오른쪽을 넓힌다.
그림을 그린 뒤 두 단면을 수로 재어 본다.
import matplotlib.pyplot as plt
from scipy import stats
plt.rcParams["font.sans-serif"] = ["NanumGothic", "Apple SD Gothic Neo", "Malgun Gothic"]
plt.rcParams["font.family"] = "sans-serif"
plt.rcParams["axes.unicode_minus"] = False
def loglikelihood_surface(seed=42):
"""로그가능도를 등고선과 두 단면으로 그려 최댓값의 자리를 눈으로 본다.
등고선이 가파를수록 그 방향의 모수를 정확히 추정하고 있다는 뜻이다.
이 곡률이 곧 피셔 정보량이다.
"""
rng = np.random.default_rng(seed)
n = 30
mu_true, sigma_true = 5.0, 2.0
data = rng.normal(mu_true, sigma_true, n)
mu_mle = data.mean()
s2_mle = np.mean((data - mu_mle)**2)
mu_r = np.linspace(mu_mle - 2, mu_mle + 2, 200)
s2_r = np.linspace(s2_mle * 0.3, s2_mle * 3, 200)
MU, S2 = np.meshgrid(mu_r, s2_r)
# 격자 위의 모든 (mu, sigma^2) 짝에서 로그가능도를 계산한다.
LL = np.zeros_like(MU)
for i in range(LL.shape[0]):
for j in range(LL.shape[1]):
LL[i, j] = (-n/2*np.log(2*np.pi*S2[i,j])
- np.sum((data-MU[i,j])**2)/(2*S2[i,j]))
fig, axes = plt.subplots(1, 3, figsize=(18, 5))
# 왼쪽: 등고선. 붉은 별이 두 모수를 함께 최대로 만드는 자리다.
axes[0].contour(MU, S2, LL, levels=30, cmap='viridis')
axes[0].plot(mu_mle, s2_mle, 'r*', ms=15, label='MLE')
axes[0].set_xlabel('mu'); axes[0].set_ylabel('sigma²')
axes[0].set_title('Log-Likelihood Contours')
axes[0].legend()
# 가운데: sigma^2 를 MLE 에 고정하고 mu 만 움직인 단면.
prof_mu = [-np.sum((data-m)**2)/(2*s2_mle) for m in mu_r]
prof_mu = np.array(prof_mu) - max(prof_mu)
axes[1].plot(mu_r, prof_mu, 'b-', lw=2)
axes[1].axvline(mu_mle, color='red', ls='--')
axes[1].set_xlabel('mu'); axes[1].set_title('Profile for mu')
# 오른쪽: mu 를 MLE 에 고정하고 sigma^2 만 움직인 단면.
# 봉우리가 mu 쪽보다 비대칭이다. 분산의 추정이 더 어렵다는 뜻이다.
prof_s = [-n/2*np.log(s)-np.sum((data-mu_mle)**2)/(2*s) for s in s2_r]
prof_s = np.array(prof_s) - max(prof_s)
axes[2].plot(s2_r, prof_s, 'b-', lw=2)
axes[2].axvline(s2_mle, color='red', ls='--')
axes[2].set_xlabel('sigma²'); axes[2].set_title('Profile for sigma²')
plt.tight_layout()
plt.show()
loglikelihood_surface()

# (1),(2) 를 확인한다. 두 단면의 낙폭을 식으로 직접 계산해 본다.
from scipy.optimize import brentq
rng = np.random.default_rng(42)
n = 30
data = rng.normal(5.0, 2.0, n)
mu_h = data.mean()
s2_h = np.mean((data - mu_h) ** 2)
print(f"mu_hat = {mu_h:.4f}, sigma²_hat = {s2_h:.4f}, sigma_hat = {np.sqrt(s2_h):.4f}")
# mu 단면은 정확한 포물선이다.
prof_mu = lambda m: -n * (m - mu_h) ** 2 / (2 * s2_h)
half = 1.96 * np.sqrt(s2_h / n)
print(f"mu 단면: ±1.96σ̂/√n = ±{half:.4f} 에서 낙폭 {prof_mu(mu_h + half):.4f} (왼쪽도 같다)")
# sigma² 단면은 포물선이 아니다. 좌우 낙폭을 따로 잰다.
prof_s2 = lambda v: -n / 2 * (np.log(v / s2_h) + s2_h / v - 1)
for r in (0.3, 0.5, 2.0, 3.0):
print(f"sigma² 단면: v = {r}·σ̂² 낙폭 {prof_s2(r * s2_h):8.3f}")
lo = brentq(lambda v: prof_s2(v) + 1.92, 1e-6 * s2_h, s2_h)
hi = brentq(lambda v: prof_s2(v) + 1.92, s2_h, 100 * s2_h)
print(f"1.92 내려오는 자리: [{lo:.4f}, {hi:.4f}] -> -{s2_h-lo:.4f} / +{hi-s2_h:.4f}")
print(f"정규근사였다면: ±1.96·√(2σ̂⁴/n) = ±{1.96*np.sqrt(2*s2_h**2/n):.4f}")
출력:
mu_hat = 5.0336, sigma²_hat = 2.3329, sigma_hat = 1.5274
mu 단면: ±1.96σ̂/√n = ±0.5466 에서 낙폭 -1.9208 (왼쪽도 같다)
sigma² 단면: v = 0.3·σ̂² 낙폭 -16.940
sigma² 단면: v = 0.5·σ̂² 낙폭 -4.603
sigma² 단면: v = 2.0·σ̂² 낙폭 -2.897
sigma² 단면: v = 3.0·σ̂² 낙폭 -6.479
1.92 내려오는 자리: [1.4630, 4.0536] -> -0.8700 / +1.7206
정규근사였다면: ±1.96·√(2σ̂⁴/n) = ±1.1806
\(\mu\) 단면은 \(-1.9208\)로 \(1.92\)에 정확히 닿는다(\(1.96^2/2 = 1.9208\)이므로 오히려 이쪽이 정확한 값이다). 가운데 그림의 곡선이 좌우 대칭인 포물선인 것이 눈으로도 보인다.
\(\sigma^2\) 단면의 비대칭이 숫자로 드러난다. 그림의 가로 범위가 \(0.3\hat\sigma^2\)에서 \(3\hat\sigma^2\)인데, 왼쪽 끝에서 \(-16.9\) 내려가는 동안 오른쪽 끝은 \(-6.5\)밖에 내려가지 않는다. 거리로는 왼쪽이 \(0.7\hat\sigma^2\), 오른쪽이 \(2\hat\sigma^2\)만큼 간 것인데도 그렇다. 세 배 멀리 가고도 절반밖에 안 내려갔다.
\(1.92\) 등고선으로 자르면 \([-0.870, +1.721]\)로 오른쪽이 왼쪽의 \(1.98\)배다. 정규근사의 \(\pm1.181\)과 견주면 왼쪽을 \(26\%\) 좁히고 오른쪽을 \(46\%\) 넓힌 셈이다.
그래서 \(\sigma^2\)에는 \(\hat\sigma^2 \pm 1.96\operatorname{SE}\) 꼴의 구간을 쓰지 않는다. 보기 5가 쓰는 카이제곱 구간이 바로 이 비대칭을 정확히 반영한 것이고, \(n = 25\)에서 \(\chi^2\)의 두 임계값이 \(12.40\)과 \(39.36\)으로 중심 \(24\)에서 비대칭인 것이 같은 사실의 다른 얼굴이다.
왼쪽 등고선 그림에서도 같은 것이 보인다. 타원이어야 할 등고선이 위쪽으로 길게 늘어진 달걀꼴이고, 봉우리 아래쪽(작은 \(\sigma^2\))에서는 등고선이 촘촘히 붙어 있다.
8. 가능도로부터의 신뢰영역¶
정규 모형에서는 무엇을 알고 있는가에 따라 세 종류의 구간이 나온다. 셋 다 추축량에서 나오므로 포함확률이 근사가 아니라 정확하다.
| 모수 | 알려진 것 | 구간 | 추축량 |
|---|---|---|---|
| \(\mu\) | \(\sigma\) 를 앎 | \(\bar X \pm z_{1-\alpha/2}\,\sigma/\sqrt n\) | \(\dfrac{\bar X-\mu}{\sigma/\sqrt n} \sim N(0,1)\) |
| \(\mu\) | \(\sigma\) 를 모름 | \(\bar X \pm t_{n-1,\,\alpha/2}\,S/\sqrt n\) | \(\dfrac{\bar X-\mu}{S/\sqrt n} \sim t_{n-1}\) |
| \(\sigma^2\) | \(\mu\) 를 모름 | \(\left(\dfrac{(n-1)S^2}{\chi^2_{n-1,\,\alpha/2}},\ \dfrac{(n-1)S^2}{\chi^2_{n-1,\,1-\alpha/2}}\right)\) | \(\dfrac{(n-1)S^2}{\sigma^2} \sim \chi^2_{n-1}\) |
가운뎃줄이 성립하는 까닭이 \(\S 2\) 의 독립성(independence)이다. \(\bar X\) 와 \(S\) 가 독립이라야 두 확률변수의 비가 \(t\) 분포를 따른다.
보기 5. 신뢰구간의 포함확률. \(N(10, 3^2)\)에서 \(n = 25\)를 뽑아 \(z\) 구간·\(t\) 구간·\(\chi^2\) 구간을 만들고 참값이 들어가는지 5만 번 센다.
(1) 세 포함확률의 참값이 얼마인지 적고, 모의값이 그 둘레에서 얼마나 흔들릴지 구하시오.
(2) 세 구간이 모두 \(95\%\)를 담는다면 셋의 차이는 어디에 나타나는가. \(z\) 구간과 \(t\) 구간의 폭을 견주시오.
풀이
(1) 참값은 셋 다 정확히 \(95\%\)다. 근사가 아니다. 세 구간이 모두 추축량에서 나왔고, 정규모집단에서 그 분포가 정확하기 때문이다.
세 추축량 모두 모수를 포함하지 않는 분포를 가지므로 분위수(quantile)를 미리 뽑아 쓸 수 있고, 포함확률이 설계대로 \(1-\alpha\)가 된다. 두 번째 것이 성립하려면 \(\bar X\)와 \(S\)가 독립이어야 하는데, 그것이 5.13절 보기 4에서 본 정규분포만의 성질이다.
모의값의 변동은 이항이다.
소수 첫째 자리까지는 믿을 수 있고 그 아래는 아니다. 출력이 \(95.0\), \(95.1\), \(95.0\)으로 한 자리만 찍은 것이 분수에 맞다.
(2) 차이는 폭에 있다. \(z\) 구간은 \(\sigma\)를 알고 쓰므로 폭이 표본과 무관하게 고정된다.
\(t\) 구간은 \(\sigma\) 대신 \(S\)를 쓰므로 폭이 표본마다 달라지고, 평균 폭은
이다. \(t\) 구간이 평균적으로 \(4.2\%\) 넓다. 그 대가로 \(\sigma\)를 몰라도 되며, \(4.2\%\)가 "\(\sigma\)를 모른다는 사실의 값"이다.
이 \(4.2\%\)는 두 요인이 반대로 겹친 결과다. \(t_{0.975,24}/z_{0.975} = 1.0530\)으로 분위수가 \(5.3\%\) 커지는 반면 \(E[S] = c_4\sigma\)가 \(\sigma\)보다 \(1.0\%\) 작아, 둘을 곱하면 \(1.0530 \times 0.98964 = 1.0421\)이다.
\(\chi^2\) 구간은 폭이 아니라 모양이 다르다. \(n = 25\)에서 두 임계값이 \(\chi^2_{0.025,24} = 12.401\)과 \(\chi^2_{0.975,24} = 39.364\)로 중심 \(24\)에서 비대칭이므로, 구간 \(\left[\frac{24S^2}{39.364},\ \frac{24S^2}{12.401}\right]\)이 \(S^2\)을 중심에 두지 않는다. 보기 4에서 본 로그가능도 단면의 비대칭이 여기 그대로 나타난 것이다.
모의실험으로 확인한다.
def confidence_interval_coverage(seed=42):
"""95% 신뢰구간이 정말로 95%를 담는지 세어 확인한다.
구간을 5만 번 만들어 참값이 들어간 횟수를 센다. 신뢰수준이란 바로 이
비율에 대한 약속이지, 한 번 만든 구간에 대한 확률이 아니다.
"""
rng = np.random.default_rng(seed)
mu_true, sigma_true = 10.0, 3.0
n, alpha, n_sim = 25, 0.05, 50_000
z_ok = t_ok = chi_ok = 0
for _ in range(n_sim):
d = rng.normal(mu_true, sigma_true, n)
xb, s, s2 = d.mean(), d.std(ddof=1), d.var(ddof=1)
# sigma 를 안다고 치고 만든 z 구간. 현실에서는 쓸 수 없는 기준선이다.
z_c = stats.norm.ppf(1 - alpha/2)
if xb - z_c*sigma_true/np.sqrt(n) <= mu_true <= xb + z_c*sigma_true/np.sqrt(n):
z_ok += 1
# sigma 를 표본에서 추정해 쓰는 t 구간. 그만큼 구간이 넓어진다.
t_c = stats.t.ppf(1 - alpha/2, n-1)
if xb - t_c*s/np.sqrt(n) <= mu_true <= xb + t_c*s/np.sqrt(n):
t_ok += 1
# sigma^2 의 구간. (n-1)S^2/sigma^2 가 카이제곱을 따른다는 사실을 쓴다.
# 좌우가 대칭이 아니어서 두 임계값을 서로 반대쪽에 나누어 쓴다.
lo = (n-1)*s2 / stats.chi2.ppf(1-alpha/2, n-1)
hi = (n-1)*s2 / stats.chi2.ppf(alpha/2, n-1)
if lo <= sigma_true**2 <= hi:
chi_ok += 1
print(f"z-interval (mu, sigma known): {z_ok/n_sim:.1%} (target: {1-alpha:.1%})")
print(f"t-interval (mu, sigma unknown): {t_ok/n_sim:.1%} (target: {1-alpha:.1%})")
print(f"chi²-interval (sigma²): {chi_ok/n_sim:.1%} (target: {1-alpha:.1%})")
confidence_interval_coverage()
출력:
z-interval (mu, sigma known): 95.0% (target: 95.0%)
t-interval (mu, sigma unknown): 95.1% (target: 95.0%)
chi²-interval (sigma²): 95.0% (target: 95.0%)
세 줄 모두 \(95\%\)에서 \(0.1\%\)p 안이다. (1)이 준 \(0.097\%\)p 자로 재면 \(t\) 구간의 \(95.1\%\)도 \(1\) 표준오차 거리다.
폭 쪽을 직접 재어 (2)를 확인한다.
# (2) 의 폭 비교. 포함확률이 같아도 폭은 다르다.
rng2 = np.random.default_rng(1)
n, sigma = 25, 3.0
zc = stats.norm.ppf(0.975)
tc = stats.t.ppf(0.975, n - 1)
widths = []
for _ in range(50_000):
d = rng2.normal(10.0, sigma, n)
widths.append(2 * tc * d.std(ddof=1) / np.sqrt(n))
widths = np.array(widths)
wz = 2 * zc * sigma / np.sqrt(n)
print(f"z 구간 폭 = {wz:.4f} (모든 표본에서 같다)")
print(f"t 구간 폭: 평균 {widths.mean():.4f} 표준편차 {widths.std(ddof=1):.4f} "
f"5~95% {np.percentile(widths,5):.4f}–{np.percentile(widths,95):.4f}")
print(f"평균 폭의 비 = {widths.mean()/wz:.4f} "
f"(이론 t/z × c₄ = {tc/zc:.4f} × 0.98964 = {tc/zc*0.98964:.4f})")
print(f"t 구간이 z 구간보다 좁았던 비율 = {np.mean(widths < wz):.1%}")
출력:
z 구간 폭 = 2.3520 (모든 표본에서 같다)
t 구간 폭: 평균 2.4475 표준편차 0.3547 5~95% 1.8791–3.0484
평균 폭의 비 = 1.0406 (이론 t/z × c₄ = 1.0530 × 0.98964 = 1.0421)
t 구간이 z 구간보다 좁았던 비율 = 40.3%
평균 폭의 비 \(1.0406\)이 (2)의 \(1.0421\)과 맞는다. 5만 번에서 평균 폭의 몬테카를로 표준오차가 \(0.3547/\sqrt{50000} = 0.0016\)이고 이를 \(w_z = 2.3520\)으로 나누면 비의 표준오차가 \(0.00067\)이므로, \(0.0015\)의 불일치는 \(2.2\) 표준오차다.
그런데 \(t\) 구간이 \(z\) 구간보다 좁게 나오는 일이 \(40.3\%\)나 된다. 평균적으로 넓다는 말과 모순이 아니다. \(t\) 구간의 폭이 \(0.355\)의 표준편차로 흔들려 \(5\)–\(95\%\)가 \(1.88\)에서 \(3.05\)까지 벌어지기 때문이고, \(S\)가 작게 나온 표본에서는 \(t\) 구간이 \(z\) 구간보다 좁아진다.
그런데도 포함확률은 양쪽 다 정확히 \(95\%\)다. 비결은 \(S\)가 작은 표본에서는 \(\bar X\)도 \(\mu\)에 가까운 경향이 있어서가 아니다. 정규분포에서 \(\bar X\)와 \(S\)는 독립이므로 그런 상관은 없다. 비결은 \(t\) 분위수가 그 독립인 변동까지 셈에 넣도록 만들어졌다는 데 있다. \(t_{0.975,24} = 2.064\)가 \(z_{0.975} = 1.960\)보다 큰 것이 바로 그 보험료이고, 좁아진 구간이 놓치는 몫을 넓어진 구간이 갚는다.
\(n\)이 커지면 이 보험료가 싸진다. \(t_{0.975,n-1} \to 1.960\)이고 \(c_4 \to 1\)이라 폭의 비가 \(1\)로 가며, \(n = 100\)에서 이미 \(1.0098\)이다. \(\sigma\)를 모르는 값은 작은 표본에서만 비싸다.
포함확률이 맞는다
세 구간 모두 명목 95% 포함확률을 달성하여 이론적 유도가 확인된다.
9. 제약 아래에서의 MLE¶
평균을 아는 경우¶
\(\mu = \mu_0\)이 알려져 있으면 \(\sigma^2\)의 제약 MLE는 다음과 같다.
(\(\mu\)를 추정하는 경우와 달리) 이 추정량은 불편이다.
분산이 같은 경우 (합동분산)¶
공통 분산을 갖는 두 집단 \(X_1, \ldots, X_{n_1} \sim N(\mu_1, \sigma^2)\)과 \(Y_1, \ldots, Y_{n_2} \sim N(\mu_2, \sigma^2)\)에 대해 \(\sigma^2\)의 MLE는 다음과 같다.
불편 버전은 \(n_1 + n_2 - 2\)로 나눈다.
10. 금융과의 연결 — 로그수익률이 정규라는 가정 위에서¶
-
수익률 모형화: 로그수익률이 \(r_t \sim N(\mu, \sigma^2)\)이라는 가정이 많은 금융 모형의 토대이다. MLE \(\hat{\mu} = \bar{r}\)과 \(\hat{\sigma}^2 = \frac{1}{n}\sum(r_t - \bar{r})^2\)이 표준적인 추정값이다.
-
Black-Scholes: 이 모형은 \(\log(S_T/S_t) \sim N((\mu - \sigma^2/2)(T-t), \sigma^2(T-t))\)를 가정한다. 과거 수익률로 구한 변동성의 MLE가 핵심 입력이다.
-
VaR 추정: 정규성 아래에서 \(\text{VaR}_\alpha = -(\hat{\mu} + z_\alpha \hat{\sigma})\)로, 정규 MLE를 직접 쓴다.
-
포트폴리오 이론: 마코위츠 최적화는 \(\hat{\mu}\)과 \(\hat{\Sigma}\)(표본평균 벡터와 공분산행렬)를 쓰는데, 이들이 다변량 정규분포의 MLE이다.
-
정규성 검정: 정규 MLE를 쓰기 전에 정규분포가 적절한지 검정해야 한다. 금융 수익률은 흔히 두꺼운 꼬리를 보이므로 정규 MLE가 최적이 아니게 된다.
그 검정들은 14장이 세운다 — 14.4절 샤피로–윌크 검정을 비롯한 14.4절 네 쪽과, 결과를 읽는 법을 다루는 14.5절 정규성 검정의 한계와 함정이다.
수준 \(\alpha\)에서의 VaR(Value at Risk)는 확률 \(\alpha\)로 초과되는 손실이다. 일별 수익률에 대한 정규 모형 \(R \sim N(\hat{\mu}, \hat{\sigma}^2)\) 아래에서 이렇게 된다.
여기서 \(z_\alpha = \Phi^{-1}(\alpha)\)는 정규분위수이다.
보기 6. 금융 응용 — VaR 추정. 분산을 \(\sigma_d^2\)으로 맞춘 \(t_5\)에서 \(2\)년치(\(n = 504\)) 수익률을 만들고, 정규를 가정한 모수적 VaR 와 표본 백분위수를 쓴 역사적 VaR 를 네 수준에서 견준다.
(1) 참 분포의 \(\alpha\) 분위수와 정규의 \(\alpha\) 분위수의 비를 네 \(\alpha\)에 대해 구하시오. 비가 \(1\)이 되는 \(\alpha\)는 얼마인가.
(2) 출력의 비는 \(1.233\), \(1.244\), \(1.020\), \(0.923\)이다. (1)과 맞는가. 맞지 않는다면 어느 줄이고 왜인가.
풀이
(1) 해석적으로. 자료는 \(R = \mu_d + \sigma_d\,T/\sqrt{\nu/(\nu-2)}\)로 만들어졌고 \(T \sim t_5\)다. 나누어 준 \(\sqrt{5/3} = 1.29099\)가 \(t_5\)의 표준편차이므로 \(R\)의 분산은 정확히 \(\sigma_d^2\)이고, 정규 모형과 다른 것은 오직 모양뿐이다.
그러므로 두 VaR 의 비는 (\(\mu_d\)를 무시하면) 표준화한 \(t_5\) 분위수와 표준정규 분위수의 비가 된다.
| \(\alpha\) | \(t_{\alpha,\,5}/\sqrt{5/3}\) | \(z_\alpha\) | 비 |
|---|---|---|---|
| \(0.010\) | \(-2.6065\) | \(-2.3263\) | \(1.120\) |
| \(0.025\) | \(-1.9912\) | \(-1.9600\) | \(1.016\) |
| \(0.050\) | \(-1.5608\) | \(-1.6449\) | \(0.949\) |
| \(0.100\) | \(-1.1432\) | \(-1.2816\) | \(0.892\) |
비가 \(1\)을 지나는 자리는 \(\alpha = 0.0292\)다. 수치로 풀어 얻는다.
이것이 이 보기에서 가장 중요한 사실이다. "꼬리가 두꺼우면 정규가 위험을 과소평가한다"는 말은 \(\alpha < 2.9\%\)에서만 참이다. 분산을 같게 맞춰 놓았으므로 꼬리가 무거워진 만큼 어딘가는 가벼워져야 하고, 그 자리가 \(5\%\)–\(10\%\) 구간이다. \(\alpha = 10\%\)에서는 정규 가정이 오히려 손실을 \(12\%\) 과대평가한다.
참값으로 계산한 VaR 도 적어 둔다(\(\mu_d = 0.0317\%\), \(\sigma_d = 1.2599\%\)).
| \(\alpha\) | 참 \(t_5\) VaR | 참 정규 VaR |
|---|---|---|
| \(0.010\) | \(3.252\%\) | \(2.899\%\) |
| \(0.025\) | \(2.477\%\) | \(2.438\%\) |
| \(0.050\) | \(1.935\%\) | \(2.041\%\) |
| \(0.100\) | \(1.409\%\) | \(1.583\%\) |
(2) 수치적으로.
def var_estimation_finance(seed=42):
"""정규성을 가정한 VaR 과 자료를 그대로 쓴 VaR 을 견준다.
수익률의 꼬리는 정규보다 두껍다. 그런데도 정규를 가정하면 꼬리 쪽 손실을
실제보다 작게 잡는다. 알파가 작을수록 그 차이가 벌어진다.
"""
rng = np.random.default_rng(seed)
mu_d = 0.08/252 # 일별 기대수익률
sig_d = 0.20/np.sqrt(252) # 일별 변동성
n = 504 # 2년치 거래일
df = 5
# 자유도 5 인 t 로 수익률을 만든다. 정규보다 꼬리가 두껍다.
# sqrt(df/(df-2)) 로 나누는 것은 t 의 분산을 1 로 맞춰, 달라진 것이
# 오직 꼬리 두께뿐이 되도록 하기 위함이다.
returns = mu_d + sig_d * rng.standard_t(df, n) / np.sqrt(df/(df-2))
mu_hat = returns.mean()
sig_hat = np.sqrt(np.mean((returns - mu_hat)**2))
for alpha in [0.01, 0.025, 0.05, 0.10]:
# 모수적 VaR: 정규분포의 알파 분위점을 쓴다.
v_p = -(mu_hat + stats.norm.ppf(alpha) * sig_hat)
# 역사적 VaR: 실제 수익률의 알파 백분위점을 그대로 쓴다.
v_h = -np.percentile(returns, alpha * 100)
print(f"alpha={alpha:.3f} Parametric VaR={v_p*100:.3f}% "
f"Historical VaR={v_h*100:.3f}% Ratio={v_h/v_p:.3f}")
var_estimation_finance()
출력:
alpha=0.010 Parametric VaR=3.039% Historical VaR=3.748% Ratio=1.233
alpha=0.025 Parametric VaR=2.557% Historical VaR=3.182% Ratio=1.244
alpha=0.050 Parametric VaR=2.143% Historical VaR=2.186% Ratio=1.020
alpha=0.100 Parametric VaR=1.665% Historical VaR=1.536% Ratio=0.923
방향은 맞는다. 비가 \(\alpha\)가 커지면서 \(1.233 \to 1.244 \to 1.020 \to 0.923\)으로 내려오고, \(5\%\)와 \(10\%\) 사이에서 \(1\)을 지난다. (1)이 예측한 \(0.0292\)보다 조금 오른쪽이다.
크기는 두 줄이 어긋난다. \(\alpha = 0.01\)에서 \(1.233\) 대 이론 \(1.122\), \(\alpha = 0.025\)에서 \(1.244\) 대 \(1.016\)이다. 뒤의 것은 특히 크다. 자료를 열어 보면 까닭이 바로 나온다.
# 이 표본의 왼쪽 꼬리를 들여다본다. 역사적 VaR 은 몇 개의 관측값에만 걸려 있다.
rng = np.random.default_rng(42)
mu_d, sig_d, n, df = 0.08/252, 0.20/np.sqrt(252), 504, 5
k = np.sqrt(df/(df-2))
returns = mu_d + sig_d * rng.standard_t(df, n) / k
print("가장 작은 15개 (%):", np.round(np.sort(returns)[:15]*100, 2))
print(f"μ̂ = {returns.mean()*100:.4f}% (참 {mu_d*100:.4f}%), "
f"σ̂ = {np.sqrt(np.mean((returns-returns.mean())**2))*100:.4f}% (참 {sig_d*100:.4f}%)")
for a in (0.01, 0.025, 0.05, 0.10):
vt = -(mu_d + sig_d*stats.t.ppf(a, df)/k) # 참 t5 VaR
vn = -(mu_d + sig_d*stats.norm.ppf(a)) # 참 정규 VaR
print(f"alpha={a:<6} 참 t5 VaR={vt*100:.3f}% 참 정규 VaR={vn*100:.3f}% "
f"참 비={vt/vn:.3f} (표본에서 쓰인 관측값 {int(a*n)}개 언저리)")
출력:
가장 작은 15개 (%): [-4.84 -4.75 -4.42 -4.27 -3.95 -3.75 -3.54 -3.49 -3.34 -3.34 -3.34 -3.33
-3.19 -3.18 -3.11]
μ̂ = 0.0213% (참 0.0317%), σ̂ = 1.3156% (참 1.2599%)
alpha=0.01 참 t5 VaR=3.252% 참 정규 VaR=2.899% 참 비=1.122 (표본에서 쓰인 관측값 5개 언저리)
alpha=0.025 참 t5 VaR=2.477% 참 정규 VaR=2.438% 참 비=1.016 (표본에서 쓰인 관측값 12개 언저리)
alpha=0.05 참 t5 VaR=1.935% 참 정규 VaR=2.041% 참 비=0.948 (표본에서 쓰인 관측값 25개 언저리)
alpha=0.1 참 t5 VaR=1.409% 참 정규 VaR=1.583% 참 비=0.890 (표본에서 쓰인 관측값 50개 언저리)
이 표본의 왼쪽 꼬리가 유난히 두껍다. \(-3.3\%\) 아래에 열두 개가 몰려 있어 \(2.5\)번째 백분위수(열두 번째 언저리)가 \(-3.182\%\)로 떨어졌는데, 참값은 \(-2.477\%\)다. 같은 모의실험을 2만 번 반복해 재면 \(\alpha = 0.025\)의 역사적 VaR 가 평균 \(2.450\%\), 표준편차 \(0.216\%\)p이므로 이 표본의 \(3.182\%\)는 \(+3.4\) 표준오차다. 드문 표본이다.
\(\alpha = 0.01\) 줄은 사정이 조금 다르다. 역사적 VaR \(3.748\%\)가 참값 \(3.252\%\)보다 크지만, 2만 번 모의에서의 표준편차가 \(0.375\%\)p라 \(+1.5\) 표준오차에 그친다. \(504\)개 자료에서 \(1\%\) 분위수는 사실상 다섯 개 관측값에 걸려 있으므로 이 정도 변동이 정상이다.
모수적 VaR 쪽도 참값에서 비껴 있다. \(\hat\sigma = 1.3156\%\)로 참 \(1.2599\%\)보다 \(4.4\%\) 크게 나와, 모수적 VaR 가 네 줄 모두 참 정규 VaR 보다 위에 있다(\(3.039\) 대 \(2.899\) 등). 꼬리가 두꺼운 자료에서 \(\hat\sigma\)가 이렇게 튀는 것도 이 보기가 보여 주는 것 가운데 하나다.
그러니 출력의 비 네 개를 "정규 가정의 오차"로 읽으면 안 된다. 거기에는 세 가지가 섞여 있다.
- 모형의 오차 — (1)이 계산한 참 비 \(1.122 / 1.016 / 0.948 / 0.890\)(\(\mu_d\)까지 넣어 계산한 값이라 (1)의 표와 끝자리가 조금 다르다).
- 역사적 VaR 의 표본오차 — 꼬리 몇 점에만 걸려 있어 \(\alpha\)가 작을수록 커진다.
- \(\hat\sigma\)의 표본오차 — 모수적 VaR 를 통째로 위아래로 민다.
\(504\)개로 \(1\%\) VaR 를 재는 것은 애초에 무리다. 이 비를 믿으려면 자료를 수천 개 모으거나, 꼬리에 분포를 맞춰(일반화파레토 같은) 보간해야 한다.
모형 위험
참 수익률 분포의 꼬리가 (금융에서 흔하듯) 정규보다 두꺼우면 정규 VaR는 꼬리 위험을 과소평가한다. 1% 수준의 역사적 VaR가 대개 모수적 VaR보다 크며, 이는 참 분포의 두꺼운 꼬리를 반영한다.
11. 핵심 공식 — 두 모수의 MLE¶
| 양 | 공식 |
|---|---|
| \(\hat{\mu}_{\text{MLE}}\) | \(\bar{X}\) |
| \(\hat{\sigma}^2_{\text{MLE}}\) | \(\frac{1}{n}\sum(X_i - \bar{X})^2\) |
| \(\mu\)의 피셔 정보량 | \(I_n(\mu) = n/\sigma^2\) |
| \(\sigma^2\)의 피셔 정보량 | \(I_n(\sigma^2) = n/(2\sigma^4)\) |
| \(\hat{\mu}\)의 분포 | \(N(\mu, \sigma^2/n)\) |
| \(n\hat{\sigma}^2/\sigma^2\)의 분포 | \(\chi^2_{n-1}\) |
| \(t\)-통계량 | \((\bar{X}-\mu)/(S/\sqrt{n}) \sim t_{n-1}\) |
연습문제¶
연습문제 1. 정규분포에서 얻은 관측값 5개가 3, 5, 7, 9, 11이다. \(\mu\)와 \(\sigma^2\)의 MLE를 모두 계산하라.
풀이
\(\mu\)의 MLE는 표본평균이다.
\(\sigma^2\)의 MLE는 (\(n-1\)이 아니라) \(n\)으로 나눈다.
참고: 불편추정값은 \(S^2 = 40/4 = 10\)이다.
연습문제 2. \(n = 25\), \(\bar{x} = 12.4\), \(s = 3.1\)일 때 정규모집단 평균의 95% 신뢰구간을 구성하라. (\(\sigma\)를 아는 척한) \(z\)-구간과 올바른 \(t\)-구간을 비교하라.
풀이
\(z\)-구간 (\(s\)를 \(\sigma\)로 취급): \(z_{0.975} = 1.960\).
\(t\)-구간 (올바른 방법): \(t_{0.975,\,24} = 2.064\).
\(t\)-구간이 (약 5%) 더 넓은데, \(\sigma\)를 추정하는 데서 오는 추가 불확실성을 반영하기 때문이다. \(n = 25\)에서는 차이가 크지 않지만 \(n\)이 작으면 훨씬 커진다. \(\square\)
연습문제 3. \(\sigma^2\)이 알려진 표본 \(x_1, \ldots, x_n \sim N(\mu, \sigma^2)\)에서 로그가능도를 \(\mu\)에 대해 미분하여 \(\mu\)의 MLE를 유도하라.
풀이
로그가능도는 이렇게 된다.
\(\mu\)에 대해 미분하면 이렇게 된다.
0으로 두면 이렇게 된다.
2계도함수가 \(-n/\sigma^2 < 0\)이므로 최댓값임이 확인된다.
연습문제 4. 정규분포 분산의 MLE \(\hat{\sigma}^2_{\text{MLE}} = \frac{1}{n}\sum_{i=1}^n(X_i - \bar{X})^2\)이 편향되어 있음을 보여라. 정확한 편향을 계산하라.
풀이
\(\sum_{i=1}^n(X_i - \bar{X})^2 / \sigma^2 \sim \chi^2_{n-1}\)이고 그 평균은 \(n - 1\)이다. 따라서 이렇게 된다.
편향은 이렇게 된다.
MLE는 평균적으로 \(\sigma^2\)을 과소추정한다. 편향은 \(n \to \infty\)일 때 사라지지만 작은 \(n\)에서는 눈에 띈다.
연습문제 5. 불편추정량 \(S^2 = \frac{1}{n-1}\sum(X_i - \bar{X})^2\)은 편향을 바로잡는다. \(n \geq 2\)에서 \(\text{MSE}(\hat{\sigma}^2_{\text{MLE}}) < \text{MSE}(S^2)\)임을 보여, 편향된 MLE의 평균제곱오차가 실제로 더 작음을 확인하라.
풀이
임의의 추정량 \(\hat{\theta}\)에 대해 \(\text{MSE} = \text{Bias}^2 + \text{Var}\)이다.
\(\sum(X_i - \bar{X})^2/\sigma^2 \sim \chi^2_{n-1}\)의 분산이 \(2(n-1)\)이므로 이렇게 된다.
MLE 의 경우는 이렇게 된다.
비교하면 \(\frac{2n-1}{n^2} < \frac{2}{n-1}\)은 \((2n-1)(n-1) < 2n^2\), 즉 \(2n^2 - 3n + 1 < 2n^2\), 즉 \(-3n + 1 < 0\)으로 정리되며 모든 \(n \geq 1\)에서 성립한다. \(\square\)
연습문제 6. 정규 로그가능도를 \(\mu\)에 대해 최대화하는 것과 잔차제곱합을 최소화하는 것 사이의 연결을 설명하라. 정규가 아닌 분포에서는 이 연결이 왜 깨지는가?
풀이
정규분포에서 (\(\sigma^2\)을 고정한) \(\mu\)에 대한 로그가능도는 이렇게 된다.
상수와 인수 \(-1/(2\sigma^2)\)은 argmax를 바꾸지 않으므로 \(\ell(\mu)\)를 최대화하는 것은 \(\sum(x_i - \mu)^2\)을 최소화하는 것과 동등하다. 이것이 최소제곱 목적함수이다.
정규가 아닌 분포에서는 로그가능도가 \((x_i - \mu)\)의 다른 함수를 포함한다. 예를 들어 라플라스분포에서는 \(\ell(\mu) \propto -\sum |x_i - \mu|\)이므로 MLE가 절대편차의 합을 최소화하며 평균이 아니라 중앙값을 준다. 최소제곱과의 연결은 정규분포의 이차 지수부에 특유한 것이다.
연습문제 7. 정규 로그가능도의 피셔 정보행렬을 \((\mu,\sigma^2)\)에 대해 구하라. 대각행렬이 나오는데, 이것이 무엇을 뜻하는가?
풀이
관측값 하나의 로그밀도는
이다. 2계 편도함수를 구하면
이고 기댓값을 취하면(\(E[X-\mu]=0\), \(E[(X-\mu)^2]=\sigma^2\))
를 얻는다. 비대각 성분이 0인 것은 \(E[X-\mu] = 0\) 때문이다.
뜻. 정보행렬이 대각이면 두 모수가 직교한다고 말하며, 다음을 함의한다.
- MLE가 점근적으로 독립이다. 점근공분산이 \(I^{-1}/n\)이고 이것도 대각이므로 \(\hat\mu\)와 \(\hat\sigma^2\)의 점근상관이 0이다(정규분포에서는 유한표본에서도 정확히 독립이다).
- 한 모수에 대한 추론이 다른 모수의 추정오차에 영향받지 않는다. \(\sigma^2\)을 모르는 것이 \(\hat\mu\)의 점근분산을 키우지 않는다. 실제로 \(\operatorname{Var}(\hat\mu) = \sigma^2/n\)으로, \(\sigma^2\)을 알든 모르든 같다.
- 프로파일 가능도가 다루기 쉽다. \(\mu\)를 프로파일링할 때 \(\sigma^2\)을 최적화해 없애도 곡률이 크게 바뀌지 않는다.
직교하지 않는 예로 감마분포의 \((k,\theta)\)가 있다. 그 경우 형상모수를 모른다는 사실이 척도모수 추정의 정밀도를 떨어뜨린다. 모수화를 직교하도록 고르면 추론이 단순해진다는 것이 일반적인 원리이며, 감마분포에서 \((k, k\theta)\)로 다시 모수화하면 직교에 가까워진다.
연습문제 8. MLE의 불변성. (a) \(\sigma\), (b) \(\mathrm{CV} = \sigma/\mu\), (c) 99번째 백분위수 \(\mu + 2.326\sigma\)의 MLE를 구하라.
풀이
MLE 불변성에 의해 \(\widehat{g(\theta)} = g(\hat\theta_{\text{MLE}})\):
(a) \(\hat\sigma = \sqrt{\hat\sigma^2_{\text{MLE}}}\).
(b) \(\widehat{\mathrm{CV}} = \hat\sigma/\bar X\).
(c) \(\widehat{q_{0.99}} = \bar X + 2.326 \hat\sigma\).
주의: 불변성은 MLE 점추정값은 보존하지만 불편성은 보존하지 않는다. \(\hat\sigma\)은 편향되어 있으며(오목함수 \(\sqrt{\cdot}\)에 대한 옌센 부등식), \(c_4\) 상수로 편향을 보정할 수 있다.
연습문제 9. 몬테카를로 검증. \(N(5, 9)\)에서 \(n = 20\)인 표본 10000개를 모의실험하라. \(\mathbb{E}[\hat\mu], \mathbb{E}[\hat\sigma^2_{\text{MLE}}], \mathbb{E}[S^2]\)을 확인하라.
풀이
import numpy as np
rng = np.random.default_rng(0)
R, n, mu, var = 10_000, 20, 5.0, 9.0
samples = rng.normal(mu, np.sqrt(var), (R, n))
mu_hat = samples.mean(axis=1)
sig2_mle = samples.var(axis=1, ddof=0)
s2 = samples.var(axis=1, ddof=1)
print(f"E[mu_hat] = {mu_hat.mean():.4f} (true {mu})")
print(f"E[sig2_MLE] = {sig2_mle.mean():.4f} (true {(n-1)/n*var:.4f})")
print(f"E[S^2] = {s2.mean():.4f} (true {var})")
출력:
E[mu_hat] = 5.0004 (true 5.0)
E[sig2_MLE] = 8.5701 (true 8.5500)
E[S^2] = 9.0212 (true 9.0)
예상 결과는 이렇다.
- \(\mathbb{E}[\bar X] \approx 5.00\) (불편).
- \(\mathbb{E}[\hat\sigma^2_{\text{MLE}}] \approx 8.55 = (19/20) \cdot 9\) (\(\sigma^2/n\)만큼 아래로 편향).
- \(\mathbb{E}[S^2] \approx 9.00\) (베셀 수정, 불편).
이론적 결과가 확인되며 분산에 대한 MLE의 편향이 드러난다.
연습문제 10. 정규 MLE를 수치적으로 구할 때 \(\sigma^2\) 대신 \(\ln\sigma^2\)을 최적화하는 것이 왜 나은지, 그리고 결과의 표준오차를 어떻게 되돌리는지 설명하라.
풀이
왜 로그 척도인가.
- 제약이 자동으로 지켜진다. \(\sigma^2 = e^\phi>0\)이므로 최적화기가 음수를 시도할 수 없다. 경계 제약을 따로 걸 필요가 없다.
- 로그가능도가 더 이차식에 가깝다. \(\sigma^2\) 척도에서 프로파일 로그가능도는 왼쪽이 급하고 오른쪽이 완만한 비대칭 곡선인데, \(\ln\sigma^2\) 척도에서는 훨씬 대칭적이다. 따라서 뉴턴류 최적화가 빨리 수렴하고 왈드 근사도 정확해진다.
- 척도가 안정된다. \(\sigma^2\)이 \(10^{-6}\)이든 \(10^6\)이든 \(\ln\sigma^2\)은 비슷한 규모의 수다. 여러 모수를 함께 최적화할 때 조건수가 좋아진다.
표준오차 되돌리기. 델타 방법을 쓴다. \(\sigma^2 = e^\phi\)이므로 \(d\sigma^2/d\phi = e^\phi = \sigma^2\)이고
구간은 되돌리지 말고 양끝을 옮긴다. \(\phi\) 척도의 구간 \((\hat\phi-1.96\operatorname{SE},\ \hat\phi+1.96\operatorname{SE})\)의 양끝에 지수를 취하면
비대칭 구간이 나오고 언제나 양수다. \(\hat\sigma^2\pm1.96\operatorname{SE}(\hat\sigma^2)\)로 만든 대칭 구간보다 훨씬 낫다.
확인. 정규모형에서 \(\operatorname{Var}(\ln\hat\sigma^2)\approx2/n\)이므로 \(\operatorname{SE}(\hat\phi)=\sqrt{2/n}\)이다. \(n=50\)이면 0.2이고 구간의 배율이 \(e^{\pm0.392}\), 즉 \((0.676,\ 1.480)\)배다. 위로 48%, 아래로 32%의 비대칭 구간이다.
일반 원리. 양수 모수는 로그, \((0,1)\) 모수는 로짓, 상관계수는 피셔 \(z\)로 옮긴다. 모수공간을 \(\mathbb{R}\) 전체로 펴는 변환을 찾는 것이 수치 최적화와 구간 추정 모두에 이롭다.
연습문제 11. 정규 MLE의 점근 신뢰구간과 정확한 구간을 비교하라. \(\mu\)와 \(\sigma^2\) 각각에서 어느 정도 차이가 나는가?
풀이
\(\mu\)의 경우.
| 방법 | 구간 | 성격 |
|---|---|---|
| 정확(\(t\)) | \(\bar x\pm t_{0.975,n-1}\,s/\sqrt n\) | 모든 \(n\)에서 정확 |
| 점근(왈드) | \(\bar x\pm1.96\,\hat\sigma/\sqrt n\) | 근사 |
두 가지가 다르다. 임계값(\(t\) 대 \(z\))과 분모(\(s\) 대 \(\hat\sigma_{\text{MLE}}\))다.
\(n=10\)에서 \(t_{0.975,9}=2.262\) 대 \(1.96\)으로 임계값이 15% 다르고, 여기에 \(\hat\sigma_{\text{MLE}} = s\sqrt{9/10}=0.949s\)가 곱해지므로 왈드 구간의 반폭이 \(1.96\times0.949 = 1.859\)에 비례한다. 정확한 구간의 \(2.262\)와 견주면 왈드 구간이 18% 좁다. 두 효과가 같은 방향으로 작용해 상쇄되지 않는다.
\(\sigma^2\)의 경우. 차이가 훨씬 크다.
| 방법 | 구간(\(n=10\), \(s^2=1\)) |
|---|---|
| 정확(카이제곱) | \((0.473,\ 3.333)\) |
| 왈드 | \((0.111,\ 1.689)\) |
완전히 다르다. 왈드 구간이 아래로 지나치게 내려가고 위로는 너무 짧다. \(\sigma^2\)의 로그가능도가 심하게 비대칭이기 때문이다.
로그 척도 왈드. \(\ln\hat\sigma^2\pm1.96\sqrt{2/n}\)을 되돌리면 \((0.375,\ 2.162)\)로 훨씬 낫다. 비대칭이고 양수가 보장된다.
정리.
- \(\mu\)는 점근 근사가 빨리 좋아진다. \(n\ge30\)이면 실무적으로 차이가 없다.
- \(\sigma^2\)은 훨씬 느리다. 원 척도의 왈드 구간은 \(n\)이 꽤 커도 나쁘다.
- 로그 척도로 옮기는 것만으로 대부분 해결된다.
일반 교훈. "MLE는 점근적으로 정규"라는 결과는 어느 모수화에서인지에 따라 실용적 의미가 크게 달라진다. 경계가 있거나 치우친 모수는 적절한 척도로 옮긴 뒤 근사를 적용해야 한다.
연습문제 12. \(\sigma^2\)을 모를 때 \(\mu\)의 프로파일 로그가능도를 구하고, 그로부터 가능도비(likelihood ratio) 신뢰구간이 \(t\) 구간과 어떻게 이어지는지 보여라.
풀이
프로파일링. 고정된 \(\mu\)에 대해 \(\sigma^2\)을 최적화한다. \(\ell(\mu,\sigma^2) = -\frac n2\ln\sigma^2 - \frac{1}{2\sigma^2}\sum(x_i-\mu)^2 + \text{상수}\)이므로
이고, 이를 대입하면
이다.
가능도비 통계량. \(\sum(x_i-\mu)^2 = \sum(x_i-\bar x)^2 + n(\bar x-\mu)^2 = (n-1)s^2 + n(\bar x-\mu)^2\)이므로
이다. 여기서 \(t = \sqrt n(\bar x-\mu)/s\)가 바로 \(t\) 통계량이다.
이어짐. \(\Lambda\)가 \(t^2\)의 순증가함수이므로, \(\Lambda \le c\)인 집합과 \(|t| \le c'\)인 집합이 정확히 같다. 즉
로 \(t\) 구간과 같은 모양이다. 차이는 임계값을 어디서 가져오느냐뿐이다.
- 가능도비 구간은 \(\Lambda \le \chi^2_{0.95,\,1} = 3.841\)을 쓴다(점근 근사).
- \(t\) 구간은 \(|t| \le t_{0.975,n-1}\)을 쓴다(정확).
\(n\)이 크면 \(n\ln(1+t^2/n) \approx t^2\)이고 \(t_{0.975,n-1}\to1.96\)이므로 두 임계값이 일치한다. \(n\)이 작으면 \(t\) 쪽이 정확하다.
일반 교훈. 정규모형에서 가능도비 방법은 익숙한 \(t\) 절차를 재발견한다. 가능도비가 특별히 새로운 답을 주는 것이 아니라, 정확한 해가 없는 일반 모형으로 같은 발상을 확장하는 도구라는 점이 요점이다.
연습문제 13. 선형회귀(linear regression) \(y_i = \mathbf{x}_i^\top\boldsymbol\beta + \varepsilon_i\), \(\varepsilon_i \sim N(0,\sigma^2)\)에서 \(\boldsymbol\beta\)와 \(\sigma^2\)의 MLE를 구하라. \(\hat{\boldsymbol\beta}_{\text{MLE}}\)가 최소제곱 추정량과 같은데 \(\hat\sigma^2\)은 왜 보통 쓰는 값과 다른가?
풀이
로그가능도.
\(\boldsymbol\beta\)의 MLE. \(\sigma^2 > 0\)이 곱해진 상수이므로, \(\ell\)을 최대화하는 것은 잔차제곱합을 최소화하는 것과 같다. 따라서
정규 오차 가정 아래에서 최소제곱이 곧 최대가능도다. 최소제곱이 그토록 자연스러워 보이는 이유가 여기 있다.
\(\sigma^2\)의 MLE. \(\hat{\boldsymbol\beta}\)를 넣고 \(\sigma^2\)으로 미분하면
왜 다른가. 보통 쓰는 값은
로 \(p\)개의 회귀계수(regression coefficient)를 추정하느라 잃은 자유도를 반영한다. \(E[\text{RSS}] = (n-p)\sigma^2\)이므로 이쪽이 불편이고 MLE는 아래로 편향되어 있다.
MLE가 편향되는 이유는 명확하다. 잔차 \(\hat\varepsilon_i = y_i - \mathbf{x}_i^\top\hat{\boldsymbol\beta}\)는 참 오차 \(\varepsilon_i\)보다 작다. \(\hat{\boldsymbol\beta}\)가 바로 그 제곱합을 최소로 하도록 골라졌기 때문이다. 그 "과적합(overfitting)"의 정도가 정확히 \(p/n\)만큼이고, \(n-p\)로 나누어 보정한다.
실무적 함의. \(p\)가 \(n\)에 비해 작으면 차이가 무시할 만하다. 그러나 \(p\)가 \(n\)에 가까우면(\(p/n = 0.3\) 같은 경우) MLE가 오차분산을 30%나 과소평가한다. 고차원 회귀에서 예측오차를 심하게 낙관적으로 보게 되는 한 원인이다.
AIC 같은 정보기준은 \(\hat\sigma^2_{\text{MLE}}\)를 쓰되 모수 개수에 벌점을 주어 같은 문제를 다른 방식으로 다룬다.
연습문제 14. 같은 \(\mu\)를 재는 두 측정기의 정밀도가 다르다. 측정기 1로 \(n_1\)번, 측정기 2로 \(n_2\)번 재었고 \(\sigma_1, \sigma_2\)를 안다. \(\mu\)의 MLE를 구하고, 그것이 단순히 전체 평균이 아닌 이유를 설명하라.
풀이
로그가능도. 두 집단의 기여를 더한다.
미분해 0으로 두면
이고
를 얻는다. 각 집단 평균을 정밀도 \(n_i/\sigma_i^2\)으로 가중한 평균이다.
왜 전체 평균이 아닌가. 전체 평균은
로 표본크기만 반영하고 정밀도를 무시한다. \(\sigma_2\)가 \(\sigma_1\)의 10배라면 측정기 2의 관측값 하나가 측정기 1의 관측값 100분의 1만큼의 정보밖에 없는데, 전체 평균은 둘을 같게 취급한다.
분산.
으로 정보량의 역수다. 각 관측값이 기여하는 정보 \(1/\sigma_i^2\)이 그대로 더해진다.
일반화. 관측값마다 분산이 다르면(\(\sigma_i^2\)) 같은 논리로
이고, 이것이 가중최소제곱의 가장 단순한 경우다. 회귀로 확장하면 \(\hat{\boldsymbol\beta} = (X^\top W X)^{-1}X^\top W\mathbf{y}\)(\(W = \operatorname{diag}(1/\sigma_i^2)\))가 되며, 이분산이 있을 때 최소제곱보다 효율적인 추정량을 준다. 메타분석의 역분산 가중도 정확히 이 공식이다.
연습문제 15. 표본에 이상치(outlier)가 하나 섞이면 \(\hat\mu_{\text{MLE}} = \bar x\)가 얼마나 흔들리는가? 잡음 분포를 \(t_\nu\)로 바꾸면 무엇이 달라지는지 점수방정식으로 설명하라.
풀이
정규 잡음. 점수방정식은
이다. 잔차에 정비례하는 가중치를 주므로, 관측값 하나가 \(x \to \infty\)이면 \(\hat\mu\)도 함께 무한대로 간다. 붕괴점이 0이고, 영향함수 \(\psi(r) = r\)이 유계가 아니다.
\(n=20\), 나머지가 모두 0 근처인 자료에 \(x = 100\)이 하나 섞이면 \(\bar x\)가 5만큼 움직인다.
\(t_\nu\) 잡음. 음의 로그밀도가 \(\rho(r) = \frac{\nu+1}{2}\ln(1+r^2/\nu)\)이므로 점수방정식이
가 된다. \(\psi\)가 유계이고 \(|r|\to\infty\)에서 0으로 되돌아간다. 즉 잔차가 아주 큰 관측값은 추정에 거의 기여하지 않는다.
이를 가중최소제곱 꼴로 다시 쓰면
로, 가중치가 잔차의 제곱에 반비례한다. \(\hat\mu\)가 양변에 나타나므로 반복해서 풀어야 하고(반복재가중최소제곱, IRLS), 이것이 \(t\) 잡음 모형을 EM으로 적합할 때 자연스럽게 나오는 알고리즘이다.
\(\nu\)의 선택. \(\nu \to \infty\)이면 정규로 돌아가 로버스트성이 사라지고, \(\nu\)가 작으면 로버스트하지만 효율을 잃는다. 실무에서는 \(\nu = 4\) 정도로 고정하거나 자료에서 함께 추정한다. \(\nu\)를 추정하면 자료가 "얼마나 두꺼운 꼬리를 요구하는지"를 스스로 말하게 하는 셈이다.
연습문제 16. MLE의 편향이 일반적으로 \(O(1/n)\)임을 테일러 전개로 설명하고, 콕스–스넬 편향 보정의 착상을 적어라.
풀이
왜 \(O(1/n)\)인가. 점수방정식 \(U(\hat\theta)=0\)을 \(\theta_0\) 둘레에서 2차까지 전개하면
이다. 1차만 쓰면 앞서 본 점근정규성이 나오고 편향이 0이다. 2차항이 편향을 만든다.
\(\hat\theta-\theta_0 = O_p(n^{-1/2})\)이므로 그 제곱이 \(O_p(1/n)\)이고, 기댓값을 취하면
가 된다.
콕스–스넬 공식. 1차 편향이
꼴로 주어진다(단일 모수의 경우). 3계 도함수와 교차 적률이 필요하다는 점이 계산의 부담이다.
보정 방법.
- 수정 보정: \(\tilde\theta = \hat\theta-\hat b(\hat\theta)/n\). 계산한 편향을 빼면 편향이 \(O(n^{-2})\)로 줄어든다.
- 사전 보정(펄스): 점수방정식 자체를 수정해 \(U^*(\theta) = U(\theta)-I(\theta)b(\theta)/n\)을 0으로 만든다. 베르누이분포의 최대가능도가 완전분리의 처방으로 든 로지스틱 회귀(logistic regression)의 펄스(Firth) 방법이 이것이며, 편향을 줄이면서 유한한 해를 보장하는 부수 효과가 있다.
예 — 정규 분산. \(\hat\sigma^2_{\text{MLE}}\)의 편향이 정확히 \(-\sigma^2/n\)이고, 보정하면 \(S^2\)이 된다. 이 경우는 정확한 편향을 알 수 있어 콕스–스넬이 필요 없다.
언제 유용한가. 편향의 공식을 해석적으로 구할 수 없는 복잡한 모형에서다. 다만 요즘은 부트스트랩(bootstrap) 편향 보정이 더 간편하다.
3계 도함수를 구할 필요가 없고 어떤 모형에도 적용된다.
주의. 편향을 줄이면 분산이 늘 수 있다. MSE가 오히려 나빠지는 경우가 있으므로, 보정 전후의 MSE를 모의실험으로 비교해 보는 것이 안전하다.
연습문제 17. 잭나이프로 MLE의 편향을 추정하고 보정하는 절차를 적어라. 정규 분산의 MLE에 적용하면 어떤 결과가 나오는가?
풀이
절차.
- 전체 자료로 \(\hat\theta\)를 구한다.
- 관측값 \(i\)를 빼고 \(\hat\theta_{(-i)}\)를 구한다(\(i=1,\dots,n\)).
- \(\bar\theta_{(\cdot)} = \frac1n\sum_i\hat\theta_{(-i)}\).
- 편향 추정: \(\widehat{\text{bias}} = (n-1)\left(\bar\theta_{(\cdot)}-\hat\theta\right)\).
- 보정: \(\tilde\theta = n\hat\theta-(n-1)\bar\theta_{(\cdot)}\).
왜 \((n-1)\)을 곱하는가. 편향이 \(a/n\) 꼴이면 \(\hat\theta\)의 편향이 \(a/n\), \(\hat\theta_{(-i)}\)의 편향이 \(a/(n-1)\)이다. 차이가
이므로 \((n-1)\)을 곱하면 \(a/n\)이 되어 원래 편향을 복원한다.
정규 분산에 적용. \(\hat\sigma^2_{\text{MLE}}=\frac1n\sum(x_i-\bar x)^2\)이다. 관측값 하나를 빼면
이다. 대수적으로 정리하면(또는 수치로 확인하면) 잭나이프 보정 결과가
으로 정확히 불편추정량이 나온다.
import numpy as np
rng = np.random.default_rng(0)
x = rng.normal(5, 3, 8)
mle = lambda a: ((a - a.mean()) ** 2).mean()
th = mle(x)
ths = np.array([mle(np.delete(x, i)) for i in range(len(x))])
print(len(x) * th - (len(x) - 1) * ths.mean(), x.var(ddof=1)) # 두 값이 같다
출력:
3.1863547650584607 3.186354765058461
왜 정확한가. 정규 분산의 편향이 정확히 \(-\sigma^2/n\)으로 \(1/n\)의 정확한 함수라, 잭나이프가 그것을 완전히 제거한다. 편향에 \(1/n^2\) 항이 있으면 그것까지 지우지는 못하고 \(O(n^{-2})\)가 남는다.
실용적 가치. 이 예는 잭나이프가 아는 답을 재현한다는 것을 보여 준다. 편향 공식을 모르는 복잡한 모형에서 같은 절차를 기계적으로 적용할 수 있다는 점이 잭나이프의 가치다.
한계. \(\hat\theta\)가 매끄러운 함수여야 한다. 중앙값이나 최댓값처럼 매끄럽지 않으면 잭나이프가 실패한다.
연습문제 18. MLE의 편향을 모의실험으로 측정하는 절차를 설계하라. 편향과 몬테카를로 오차를 어떻게 구별하는가?
풀이
절차.
# 출력 없음: 골격이다. generate 와 mle 를 자기 모형으로 바꿔 끼운다.
# verify: noexec — 같은 까닭이다. 그 둘과 n 이 없으니 돌아가지 않는다.
rng = np.random.default_rng(0)
theta_true, B = 2.0, 50_000
ests = np.empty(B)
for b in range(B):
x = generate(theta_true, n, rng)
ests[b] = mle(x)
bias = ests.mean() - theta_true
se_bias = ests.std(ddof=1) / np.sqrt(B) # 편향 추정값의 표준오차
print(f"편향 {bias:.4f} ± {1.96*se_bias:.4f}")
핵심은 \(\operatorname{SE}(\widehat{\text{편향}})\)을 함께 보고하는 것이다. 이것이 몬테카를로 오차이며, 편향 추정값이 그 몇 배인지로 판단한다.
필요한 \(B\). 편향이 \(b\)이고 추정량의 표준편차가 \(s\)이면, 편향을 검출하려면
이다. 편향이 표준편차의 10%라면 \(B>400\), 1%라면 \(B>40{,}000\)이 필요하다. 작은 편향을 재려면 \(B\)가 많이 필요하다.
효율을 높이는 방법.
- 공통난수. MLE와 보정 추정량을 같은 표본에서 계산하면 차이의 분산이 크게 줄어, 훨씬 적은 \(B\)로 둘을 구별할 수 있다.
- 분산감소. 편향의 이론값을 알면 그것을 대조변량으로 쓸 수 있다.
함께 확인할 것.
- 여러 \(n\)에서. \(n\cdot\text{편향}\)을 \(n\)에 대해 그려 상수로 안정되는지 본다. 그러면 편향이 \(O(1/n)\)임이 확인된다. 안정되지 않으면 더 느린 차수다.
- 여러 참값에서. 편향이 \(\theta\)에 어떻게 의존하는지 본다.
- 분포 전체. 평균만 보지 말고 히스토그램을 그린다. 치우쳤으면 평균 편향이 전형적인 오차를 대표하지 못하므로 중앙값 편향도 함께 본다.
- 실패 사례. 최적화가 수렴하지 않거나 경계해가 나온 반복이 있으면 그 비율을 반드시 보고한다. 조용히 버리면 편향 추정이 왜곡된다.
연습문제 19. MLE의 편향이 \(1/n\)보다 느리게 줄거나 아예 줄지 않는 경우가 있다. 두 가지 예를 들어라.
풀이
예 1 — 장애모수(nuisance parameter)가 \(n\)과 함께 늘어날 때(네이만–스콧). 장애모수는 관심은 없지만 모형에 들어 있어 함께 추정해야 하는 모수다. 7장 일치성이 다루는 짝 자료 모형
에서 \(\hat\sigma^2_{\text{MLE}}\to\sigma^2/2\)로 편향이 사라지지 않는다. 관측이 늘어도 장애모수 \(\mu_i\)가 같은 속도로 늘어 자유도 손실이 희석되지 않기 때문이다.
같은 구조가 패널자료의 고정효과 모형, 문항반응이론, 사례–대조 짝지음 연구에 나타난다. 대처는 조건부 가능도나 REML이다.
예 2 — 모수 수가 \(n\)에 비례할 때. 고차원 회귀에서 \(p/n\to c>0\)이면
으로 상수 비율만큼 과소추정한다. 로지스틱 회귀에서는 더 심해서, 계수 추정값 자체가 참값보다 체계적으로 크게 나온다는 것이 최근 연구로 밝혀졌다.
예 3 — 경계 근처의 모수. 분산성분이 0에 가까우면 \(\hat\sigma_a^2\)이 0에서 잘리므로 위쪽 편향이 생기고, 이 편향이 \(n\)과 함께 잘 사라지지 않는다.
예 4 — 비정칙 모형. \(\text{Uniform}(0,\theta)\)에서 \(\hat\theta = X_{(n)}\)의 편향이 \(-\theta/(n+1)\)로 \(O(1/n)\)이지만, 수렴 속도가 \(O(1/n)\)이라 편향과 표준오차가 같은 차수다. 정칙 모형에서 편향이 표준오차(\(O(n^{-1/2})\))보다 한 차수 작은 것과 대조된다. 따라서 편향 보정이 상대적으로 훨씬 중요하다.
공통 교훈. "편향은 \(O(1/n)\)이라 무시할 수 있다"는 말은 정칙 조건과 고정된 모수 개수를 전제한다. 그 전제가 깨지는 상황을 알아보는 것이 중요하다.
연습문제 20. 편향 보정이 신뢰구간에 미치는 영향을 논하라. 편향된 추정량 주위의 대칭 구간이 왜 문제인가?
풀이
문제. \(\hat\theta\pm1.96\operatorname{SE}\)는 \(\hat\theta\)의 분포가 \(\theta\)를 중심으로 대칭이라고 가정한다. 편향 \(b\)가 있으면 중심이 \(\theta+b\)이므로 구간이 통째로 밀린다.
포함확률. 구간이 \(b\)만큼 밀렸다면 실제 포함확률이
이다.
| \(b/\operatorname{SE}\) | 실제 포함확률 |
|---|---|
| 0 | 0.950 |
| 0.2 | 0.945 |
| 0.5 | 0.919 |
| 1.0 | 0.830 |
\(b/\operatorname{SE}\)가 0.2 이하면 무해하고, 0.5를 넘으면 눈에 띄게 나빠진다.
더 중요한 것 — 한쪽으로 쏠린다. 포함확률이 95%에서 83%로 떨어지는 것보다, 빗나가는 방향이 한쪽에 몰린다는 점이 더 문제다. \(b>0\)이면 참값이 구간의 아래로 빠져나가는 경우가 대부분이다. 단측 결론이 체계적으로 왜곡된다.
대처.
- 편향을 보정하고 구간을 만든다. 단, 보정 추정량의 표준오차를 써야 한다. 보정으로 분산이 늘었을 수 있다.
- 부트스트랩 BCa 구간. 편향 보정 항 \(z_0\)이 정확히 이 문제를 다룬다. 편향과 왜도(skewness)를 함께 보정하므로 가장 실용적인 해법이다.
- 가능도비 구간. 편향에 영향받지 않는다. 가능도의 모양을 그대로 쓰므로 중심이 어긋나는 문제가 없다.
- 모수화를 바꾼다. 앞서 본 대로 로그나 로짓 척도에서 편향이 줄고 분포가 더 대칭이 되는 경우가 많다.
권고. 편향이 표준오차의 20%를 넘으면 왈드 구간을 쓰지 않는다. 가능도비나 BCa로 옮기는 것이 간단하고 확실하다.
연습문제 21. 편향을 없앤 추정량이 언제나 더 나은 것은 아니다. MLE와 불편추정량 중 어느 쪽을 고를지 판단하는 기준을 정리하라.
풀이
기준 1 — 손실함수. 제곱오차 손실이면 MSE를 비교한다. 정규 분산에서 MLE가 불편추정량보다 MSE가 작았다. 손실이 제곱오차가 아니면 결론이 달라질 수 있다.
기준 2 — 결합 여부. 여러 추정값을 더하거나 나눌 것인가?
- 결합한다면 불편성이 중요하다. 편향이 누적되고 상쇄되지 않는다. 분산분석표, 합동분산(pooled variance), 메타분석이 그렇다.
- 단독 추정이면 MSE가 작은 쪽을 고를 여지가 있다.
기준 3 — 편향의 크기와 \(n\). 편향이 \(O(1/n)\)이므로 \(n\)이 크면 무시할 만하다. 편향이 표준오차에 견주어 얼마나 큰지 보는 것이 실용적이다.
이 0.1 아래면 대개 무해하고, 0.5를 넘으면 신뢰구간의 포함확률이 눈에 띄게 어긋난다.
기준 4 — 하류 사용처.
- 정보기준(AIC/BIC) 에는 MLE를 써야 한다. 벌점이 MLE의 낙관성을 보정하도록 설계되었다.
- 가능도비 검정도 MLE 기준이다.
- 신뢰구간은 편향이 크면 중심이 어긋나므로 보정이 낫다.
기준 5 — 모수화. 앞서 본 대로 불편성은 모수화에 의존한다. \(\sigma^2\)에서 불편이면 \(\sigma\)에서는 아니다. 어느 척도에서 결과를 쓸 것인가를 먼저 정해야 한다.
실용적 요약.
| 상황 | 권장 |
|---|---|
| \(n\ge50\) | 어느 쪽이든 무방 |
| 여러 추정값 결합 | 불편 |
| 단일 추정, 정규성 확신 | MSE 최적(\(n+1\) 등) |
| 정보기준 계산 | MLE |
| \(n\)이 아주 작고 편향이 큼 | 보정 고려, 단 MSE 확인 |
연습문제 22. \(\mu=0\)이라는 제약을 두고 분산을 추정하면 얼마나 이득인가? 금융 수익률에서 이 제약이 정당화되는가?
풀이
제약 있는 추정량.
불편이고 \(\operatorname{Var}=2\sigma^4/n\)이다.
제약 없는 \(S^2\). \(\operatorname{Var}=2\sigma^4/(n-1)\).
이득.
| \(n\) | 분산 감소 |
|---|---|
| 21 | 4.8% |
| 63 | 1.6% |
| 252 | 0.4% |
작다. 관측 하나를 더 얻는 것과 같은 정도다.
정당화되는가. 일별 수익률에서는 대체로 그렇다.
- 연 기대수익률이 8%면 일별로는 \(0.08/252 = 0.032\%\)다.
- 일별 변동성은 대략 \(1.2\%\)다.
- 평균이 표준편차의 2.6%에 지나지 않는다. 제곱하면 \(0.07\%\)로, 분산 추정에 미치는 영향이 사실상 없다.
구체적으로, 평균을 무시해 생기는 편향이
로 \(\mu^2\)만큼 과대추정인데, 위 수치에서 \(\mu^2/\sigma^2 = 0.0007\)이다.
언제 정당화되지 않는가.
- 저빈도 자료. 연별 수익률이면 평균과 표준편차가 비슷한 규모라 무시할 수 없다.
- 추세가 강한 기간. 강세장이나 폭락기의 짧은 구간.
- 수익률이 아닌 자료. 가격 수준이나 지수는 평균이 크다.
실무. 실현변동성 계산에서 평균을 빼지 않는 것이 표준이며, 위 논증이 그 근거다. 고빈도일수록 제약이 더 타당해진다. 다만 자유도 하나를 아끼는 이득은 미미하므로, 의심스러우면 그냥 평균을 빼는 편이 안전하다.
연습문제 23. 모수적 VaR. 일별 수익률 252개에서 \(\hat\mu = 0.0003\), \(\hat\sigma = 0.012\)를 얻었다. (a) 1일 99% VaR. (b) 제곱근 규칙에 의한 10일 VaR. (c) 참 초과첨도가 3이라면 정규 VaR는 위험을 과대평가하는가, 과소평가하는가?
풀이
(a) \(\mathrm{VaR}_{0.99}^{\text{1일}} = -(\hat\mu + z_{0.01} \hat\sigma) = -(0.0003 - 2.326 \cdot 0.012) = 0.0276\) (2.76% 손실).
(b) \(\mathrm{VaR}_{0.99}^{\text{10일}} = \sqrt{10} \cdot 0.0276 \approx 0.0873\) (8.73%). i.i.d.이고 추세가 0이라는 가정 아래에서 유효하다.
(c) 두꺼운 꼬리(초과첨도 3 > 0)는 참 99번째 백분위수 손실이 정규 예측보다 크다는 뜻이다. 정규 VaR는 실제 위험을 과소평가한다. 보수적인 실무: 위험관리에는 \(t\)-분포 기반 VaR나 경험적 분위수를 쓰라.
연습문제 24. 정규 가정으로 계산한 VaR와 기대손실(ES) 이 꼬리가 두꺼운 자료에서 각각 얼마나 어긋나는지 비교하라. 어느 쪽이 더 민감한가?
풀이
정규 기준. 손실이 표준화되어 있다고 하면
\(t_5\)(분산을 1로 표준화).
비교.
| 측도 | 정규 | \(t_5\) | 과소평가 |
|---|---|---|---|
| VaR 99% | 2.326 | 2.606 | 11% |
| ES 99% | 2.665 | 3.449 | 23% |
ES가 훨씬 민감하다. VaR는 분위수 하나만 보므로 꼬리의 모양을 반영하지 못하지만, ES는 그 너머 전체의 평균이라 두꺼운 꼬리를 온전히 담는다.
더 극단적인 신뢰수준(confidence level)에서. 99.9%로 가면 차이가 더 벌어진다. \(t_5\)의 꼬리가 거듭제곱으로 줄고 정규는 초지수적으로 줄기 때문에, 신뢰수준이 높을수록 격차가 커진다.
실무적 함의.
- 정규 VaR는 꼬리 위험을 체계적으로 과소평가한다. 자본 규제의 기준으로 쓰면 위험하다.
- 2016년 바젤 규제가 VaR에서 ES로 옮긴 이유 중 하나가 이것이다. 다만 ES가 꼬리 가정에 더 민감하다는 점은 양날의 칼이다. 모형이 틀리면 오차도 더 크다.
- 대안: 경험적 분위수, \(t\) 분포 적합, 극단값 이론(임계값 초과분에 일반화파레토 적합).
덧붙임. VaR는 부분가법성을 만족하지 않아 "포트폴리오를 나누면 위험이 줄어드는 것처럼" 보일 수 있다. ES는 정합적 위험측도라 이 문제가 없다. 꼬리 민감도와 정합성 모두에서 ES가 이론적으로 우월하며, 추정 어려움이 그 대가다.
연습문제 25. 제곱근 규칙 \(\sigma_{h} = \sigma_1\sqrt h\)이 성립하는 조건을 밝히고, 자기상관이 있으면 어떻게 수정해야 하는지 적어라.
풀이
성립 조건. \(h\)기간 수익률이 \(r^{(h)} = \sum_{t=1}^h r_t\)이므로
이다. 따라서 수익률이 무상관이고 분산이 일정해야 \(h\sigma_1^2\)이 되고 제곱근 규칙이 성립한다.
자기상관이 있으면. 등상관이 아니라 AR(1) 구조 \(\rho_k=\phi^k\)라 하면
이고, \(h\)가 크면
이다. 따라서 보정된 규칙은
방향이 중요하다.
| \(\phi\) | 보정 인수 | 뜻 |
|---|---|---|
| \(+0.2\) | 1.22 | 제곱근 규칙이 과소평가 |
| \(0\) | 1.00 | 정확 |
| \(-0.2\) | 0.82 | 제곱근 규칙이 과대평가 |
현실의 수익률. 일별 주가 수익률의 1차 자기상관은 대개 작지만(\(|\phi|<0.1\)), 음수인 경우가 흔하다(호가 스프레드 반동). 그러면 제곱근 규칙이 위험을 과대평가한다. 반면 유동성이 낮은 자산이나 헤지펀드 수익률은 양의 자기상관이 크게 나타나(평활화된 가격 보고) 제곱근 규칙이 위험을 크게 과소평가한다.
다른 위반 요인.
- 변동성 군집. 분산이 일정하지 않으면 규칙이 깨진다. GARCH 모형의 \(h\)기간 예측을 써야 한다.
- 평균 회귀. 장기적으로 평균회귀하면 장기 분산이 \(h\)에 비례하는 것보다 느리게 는다.
- 꼬리. 분산이 무한하면 제곱근이 아니라 \(h^{1/\alpha}\)로 스케일한다.
권고. 바젤 규제가 10일 VaR에 \(\sqrt{10}\) 규칙을 허용하지만, 자기상관과 변동성 군집을 확인하지 않고 쓰면 안 된다. 최소한 \(\phi\)를 추정해 보정하거나, 직접 10일 수익률을 겹쳐 만들어 추정하는 편이 낫다.
연습문제 26. 정규 MLE로 추정한 모수를 위험관리에 쓸 때 저지르기 쉬운 실수를 세 가지 들고 각각의 대처를 적어라.
풀이
(1) 추정 불확실성을 무시한다. \(\hat\mu\)와 \(\hat\sigma\)를 참값처럼 쓰고 VaR를 계산한다.
- 문제: \(\hat\sigma\)의 상대 표준오차가 \(n=252\)에서도 4.5%(정규 가정)이고, 첨도(kurtosis)를 반영하면 9%다. VaR가 \(\hat\sigma\)에 비례하므로 그만큼 흔들린다. \(\hat\mu\)는 훨씬 심하다.
- 대처: VaR의 신뢰구간을 부트스트랩으로 구하거나, 베이즈 사후 예측분포를 쓴다. 사후 예측은 모수 불확실성을 자동으로 반영해 꼬리를 두껍게 만든다.
(2) 정규 가정을 검증하지 않는다. 수익률의 초과첨도가 5~10인 것이 잘 알려져 있는데도 정규 VaR를 쓴다.
- 문제: 연습문제 24에서 본 대로 ES를 23% 과소평가한다. 극단적인 신뢰수준일수록 심하다.
- 대처: Q-Q 그림과 첨도를 확인하고, \(t\) 분포나 극단값 이론으로 옮긴다. 최소한 정규 결과와 \(t\) 결과를 나란히 보고한다.
(3) 변동성이 일정하다고 가정한다. 표본 전체의 \(\hat\sigma\)를 현재 위험으로 쓴다.
- 문제: 변동성 군집 때문에 조용한 기간에는 과대, 요동치는 기간에는 과소평가한다. 위기 직전에 위험을 가장 낮게 보는 셈이다.
- 대처: GARCH나 EWMA로 조건부 변동성을 쓴다. 리스크메트릭스의 \(\lambda=0.94\)가 표준적인 출발점이다.
그 밖에 흔한 실수.
- \(\sqrt h\) 규칙을 검증 없이 적용한다(연습문제 25).
- 상관을 정규 코퓰라로 모형화해 동시 폭락을 과소평가한다(5.1절 금융위기와 중심극한정리의 실패의 사례).
- 백테스트를 하지 않는다. VaR 위반 횟수가 명목값과 맞는지 확인해야 한다(쿠피엑 검정, 크리스토퍼슨 검정).
총괄 권고. 모형 위험을 명시적으로 다룬다. 여러 가정(정규 대 \(t\), 상수 대 조건부 변동성, 다른 추정 기간)에서 계산한 결과의 범위를 보고하고, 가장 보수적인 값을 자본 산정에 쓴다. 소수점 아래까지 정밀한 하나의 숫자보다 정직하다.
연습문제 27. 정규 MLE를 자료에 적합한 뒤 모형이 맞는지 확인하는 절차를 코드 수준으로 설계하라.
풀이
1단계 — Q-Q 그림. 가장 정보가 많은 단일 진단이다.
# verify: noexec — x 는 독자가 적합하려는 자료다. 1~5 단계가 모두 그렇다.
import scipy.stats as stats
stats.probplot(x, dist="norm", plot=plt)
직선에서 벗어나는 방향과 위치를 본다. 양끝이 위로 휘면 꼬리가 두껍고, 전체가 굽으면 왜도다.
2단계 — 적률 점검.
# verify: noexec — 위와 같다. x 는 독자의 자료다.
print(stats.skew(x), stats.kurtosis(x)) # 둘 다 0에 가까워야 한다
print(stats.jarque_bera(x)) # 두 적률을 결합한 검정
자크–베라는 왜도와 초과첨도를 함께 보는 검정으로, \(n\)이 크면 유용하다. 다만 소표본에서 검정력이 낮고 대표본에서 지나치게 예민하다는 일반적 한계가 있다.
3단계 — 적합된 밀도를 겹쳐 그린다.
# verify: noexec — 위와 같다. x 와 mu_hat·sigma_hat 은 독자가 적합한 것이다.
plt.hist(x, bins="auto", density=True, alpha=0.4)
grid = np.linspace(x.min(), x.max(), 400)
plt.plot(grid, stats.norm(mu_hat, sigma_hat).pdf(grid))
중앙이 잘 맞아도 꼬리가 어긋나는지 확인한다. 세로축을 로그로 두면 꼬리 차이가 훨씬 잘 보인다.
4단계 — 대안 모형과 비교.
# 출력 없음: x 는 독자가 적합하려는 자료다. 1~5 단계가 모두 그렇다.
# verify: noexec — 같은 까닭이다.
for name, dist in [("norm", stats.norm), ("t", stats.t), ("laplace", stats.laplace)]:
params = dist.fit(x)
ll = dist.logpdf(x, *params).sum()
aic = -2 * ll + 2 * len(params)
print(name, round(ll, 1), round(aic, 1))
\(t\) 분포의 \(\hat\nu\)가 작게(10 이하) 나오면 정규 가정이 부적절하다는 직접적인 신호다.
5단계 — 목적에 맞는 진단. 꼬리가 중요한 응용이라면 꼬리에 초점을 맞춘 진단을 한다. 상위 5%의 관측값만 놓고 정규 예측과 비교하거나, 초과분에 일반화파레토를 적합해 형상모수를 본다.
하지 말 것. 정규성 검정 하나의 \(p\) 값으로 판정하지 않는다. 앞서 본 대로 \(n\)이 작으면 검정력이 없고 크면 지나치게 예민하다. 그림으로 불일치의 크기와 방향을 보는 것이 훨씬 유용하다.
연습문제 28. \(t\) 분포를 MLE로 적합할 때 자유도 \(\nu\)의 추정이 왜 어려운지 설명하고, 실무의 대처를 적어라.
풀이
어려운 이유.
-
프로파일 가능도가 평평하다. \(\nu\)가 커지면 \(t_\nu\)가 정규에 수렴하므로, \(\nu=20\)과 \(\nu=50\)의 밀도 차이가 거의 없다. 로그가능도의 차이도 미미해 최댓값의 위치가 불안정하다.
-
정보량이 \(\nu\)와 함께 급감한다. \(\hat\nu\)의 표준오차가 대략 \(\nu^{3/2}\) 이상으로 커져, \(\nu\)가 크면 사실상 추정 불가능이다. \(\hat\nu=20\)의 95% 신뢰구간이 \((8,\infty)\)인 경우가 흔하다.
-
경계 문제. \(\nu\to\infty\)가 모수공간의 경계이므로, "\(\nu\)가 무한이다"(정규)라는 가설을 표준 방법으로 검정할 수 없다.
-
꼬리의 몇 관측값이 좌우한다. \(\nu\)에 대한 정보가 극단값에 몰려 있어, 관측값 하나가 \(\hat\nu\)를 크게 움직인다.
실무의 대처.
- \(\nu\)를 고정한다. 금융 수익률에서 \(\nu=4\)나 \(\nu=5\)로 두는 것이 관례다. 추정의 불안정을 감수하기보다 합리적인 값을 정해 쓰는 편이 결과가 안정적이다.
- \(1/\nu\)를 모수로 쓴다. \(\nu\in(2,\infty)\)를 \(1/\nu\in(0,0.5)\)로 옮기면 경계가 유한해지고 프로파일 곡선이 덜 평평해진다. 정규 극한이 \(1/\nu=0\)이라는 내부가 아닌 경계점이 되지만, 수치적으로는 훨씬 다루기 쉽다.
- 프로파일 가능도 구간을 보고한다. 점추정값만 주면 오해를 부른다. \(\hat\nu=6\)이어도 구간이 \((3,30)\)이면 그 사실을 밝혀야 한다.
- 결론의 민감도를 확인한다. \(\nu\)를 3, 5, 10으로 바꿔 가며 VaR나 다른 관심 양이 얼마나 변하는지 본다. 크게 변하면 \(\nu\)의 불확실성을 무시할 수 없다.
덧붙임. EM 알고리즘으로 \(t\) 모형을 적합하면 \(\nu\)를 제외한 모수의 갱신이 가중최소제곱이 되어 안정적이다. \(\nu\)만 1차원 탐색으로 처리하는 방식이 실무에서 널리 쓰인다.
연습문제 29. 정규 MLE 코드를 검증하는 방법을 세 가지 적어라. 구현 오류를 잡아내는 실용적인 절차는?
풀이
(1) 해석적 해와 비교. 정규분포는 닫힌 해가 있으므로
# verify: noexec — 독자가 자기 구현을 시험하는 줄이다. mu_hat_numeric 과 x 는
# 독자의 것이라 이 자리에는 없다. (1)~(3) 이 모두 그렇다.
assert np.allclose(mu_hat_numeric, x.mean())
assert np.allclose(sigma2_hat_numeric, x.var(ddof=0))
로 직접 확인한다. 닫힌 해가 있는 모형으로 코드를 먼저 시험하는 것이 일반 원리다. 복잡한 모형으로 넘어가기 전에 단순한 경우를 맞춰 둔다.
(2) 모의실험으로 성질을 확인. 참값을 알고 자료를 생성해
# verify: noexec — 위와 같다. fit 이 독자의 구현이다.
ests = [fit(rng.normal(5, 3, 20)) for _ in range(10_000)]
# E[mu_hat] ≈ 5, E[sigma2_hat] ≈ 9*(19/20), E[S^2] ≈ 9
편향의 이론값까지 맞는지 본다. 평균만 맞고 편향이 어긋나면 자유도 처리에 실수가 있는 것이다.
(3) 기울기와 헤세행렬을 수치미분과 대조. 해석적으로 구현한 점수함수가 맞는지
# verify: noexec — 위와 같다. theta·neg_loglik·score 가 독자의 것이다.
from scipy.optimize import approx_fprime
num = approx_fprime(theta, neg_loglik, 1e-6)
ana = score(theta)
print(np.max(np.abs(num - ana))) # 1e-5 이하여야 한다
로 확인한다. 최적화가 이상하게 수렴하는 원인의 대부분이 기울기 구현 오류다.
그 밖의 실용적 점검.
- 아주 작은 자료로 손계산. \(n=3\)짜리 자료에서 로그가능도를 손으로 계산해 맞춘다.
- 불변성 확인. 자료를 선형변환(\(ax+b\))했을 때 추정값이 대응되게 변하는지 본다. \(\hat\mu\to a\hat\mu+b\), \(\hat\sigma^2\to a^2\hat\sigma^2\)이어야 한다.
- 극단적인 입력. 모든 값이 같은 자료(\(\hat\sigma^2=0\)), \(n=1\), 아주 큰 값, 결측값을 넣어 보고 오류가 나는지 확인한다.
- 다른 구현과 비교.
scipy.stats.norm.fit(x)와 결과를 대조한다.
순서 권고. (1)→(3)→(2)가 좋다. 해석적 해로 기본을 맞추고, 기울기를 검증하고, 마지막에 모의실험으로 통계적 성질을 확인한다. 모의실험은 느리므로 마지막에 한다.
연습문제 30. \(\hat\mu\)와 \(\hat\sigma^2_{\text{MLE}}\)의 결합 점근분포를 구하고, 델타 방법으로 \(\hat\sigma = \sqrt{\hat\sigma^2}\)의 점근분산을 유도하라.
풀이
결합 점근분포. MLE의 일반이론에 따라
이고 연습문제 7에서 \(I_1 = \operatorname{diag}(1/\sigma^2,\ 1/(2\sigma^4))\)이므로
이다. 즉
이다. \(\hat\sigma^2\)의 점근분산 \(2\sigma^4/n\)은 앞서 본 정확한 값 \(2\sigma^4/(n-1)\)(\(S^2\)의 경우)과 \(O(1/n^2)\)만큼 다르다.
델타 방법. \(g(v) = \sqrt v\)이고 \(g'(\sigma^2) = 1/(2\sigma)\)이므로
이고
이다. \(\square\)
읽는 법. 상대 표준오차가
로 \(\hat\mu\)의 상대 정밀도와 비교하면 \(\sqrt2\)배 나쁘다(변동계수(coefficient of variation)가 1일 때 기준). 산포를 재는 것이 중심을 재는 것보다 어렵다는 사실이 다시 확인된다.
한 가지 더. \(\ln\hat\sigma\)의 점근분산은 델타 방법으로 \(1/(2n)\)이 되어 \(\sigma\)에 전혀 의존하지 않는다. 그래서 표준편차의 신뢰구간은 로그 척도에서 만들고 되돌리는 것이 자연스럽고, 그렇게 하면 자동으로 양수이면서 비대칭인 구간을 얻는다.
정리하며¶
정규분포에서는 모수가 둘이고, 점수방정식 둘을 함께 푼다.
- \(\hat\mu\) 는 불편이고 효율적이다. 피셔 정보량 \(I(\mu) = n/\sigma^2\) 이 주는 크라메르–라오 하한 \(\sigma^2/n\) 을 어떤 \(n\) 에서도 정확히 달성한다. 「점근적으로 효율적」이라는 말조차 필요 없다.
- \(\hat\sigma^2\) 은 \(n\) 으로 나누므로 편향되어 있다. \(E[\hat\sigma^2] = \frac{n-1}{n}\sigma^2\) 이며, 최대가능도가 불편성을 보장하지 않는다는 사실의 표준 예다. 까닭은 \(\S 6\) 이 적은 대로 편차를 재는 기준점을 자료에서 골랐다는 것이다 — 참 평균 대신 \(\bar X\) 를 쓰는 데 자유도 하나가 들고, 그만큼 제곱합이 작아진다. \(\hat\sigma = \sqrt{\hat\sigma^2}\) 의 편향은 그와 다른 이야기이고 거기서는 불변성이 까닭이다 — \(\arg\max\) 는 변환을 통과하지만 불편성은 비선형 변환을 통과하지 못하고, 둘을 동시에 가질 수는 없다.
- 세 기준이 세 분모를 고른다. 가능도는 \(n\), 불편성은 \(n-1\), 평균제곱오차는 \(n+1\) 이다. 어느 하나가 「옳은」 분모가 아니라 무엇을 좋다고 할지 먼저 정해야 분모가 정해진다.
- 두 모수가 분리된다. \(\hat\mu\) 가 \(\sigma^2\) 과 무관하게 정해지므로 연립방정식을 순서대로 풀 수 있다. 정보행렬이 대각이어서 점근적으로 독립이고, 정규분포에서는 그보다 강하게 정확히 독립이다 — 그 정확한 독립은 대각 정보행렬이 아니라 코크란 정리에서 온다(\(\S 2\)).
- \((\sum x_i, \sum x_i^2)\) 이 충분통계량이다. 모수가 둘이니 통계량도 둘이며, 지수족의 전형적인 구조다.
- 이 결과가 고전적 추론의 출발점이다. \(t\) 검정, 분산의 카이제곱 구간, 분산분석(analysis of variance)이 모두 여기서 갈라져 나온다.
다음 절 포아송분포의 최대가능도로 넘어간다. 계수 자료의 표준 모형이며, 거기서는 MLE 가 표본평균이고 불편추정량 가운데 가능한 최선의 정밀도에 닿는다. 불편추정량 중 최선을 구성적으로 찾는 방법은 7장 ★ 충분성과 완비성의 몫이다.