소박한 분산추정량¶

항등식 \(\sum(X_i - \bar X)^2 = \sum(X_i - \mu)^2 - n(\bar X - \mu)^2\)을 쓴다.

\(\mathbb{E}[\sum(X_i - \mu)^2] = n\sigma^2\). \(\mathbb{E}[n(\bar X - \mu)^2] = n \cdot \sigma^2/n = \sigma^2\).

\(\mathbb{E}[\sum(X_i - \bar X)^2] = (n-1)\sigma^2\). \(n\)으로 나누면 \((n-1)\sigma^2/n\). \(\square\)

소박한 추정량은 \(\sigma^2/n\)만큼 아래로 편향된다. Bessel 수정은 \(n/(n-1)\)을 곱해 이를 바로잡는다.

(a) \(\mathbb{E}[\hat\sigma^2] = (1/n) \cdot n\sigma^2 = \sigma^2\). 불편이다(\(\mu\)를 추정하느라 소모한 자유도가 없으므로 Bessel 수정이 필요 없다).

(b) \(n\hat\sigma^2/\sigma^2 \sim \chi^2_n\)(표준정규 제곱 \(n\)개의 합). \(\mathrm{Var}(\hat\sigma^2) = 2\sigma^4/n\).

(c) \(\mathrm{Var}(S^2) = 2\sigma^4/(n-1)\)(자유도가 하나 적다). 효율 이득: \((n-1)/n\).

\(n = 10\)이면 이득이 10%이다(\(\mu\)를 아는 것이 관측값 약 1개의 가치가 있다). \(n = 100\)이면 1%로 무시할 만하다.

\(\bar X\)는 \(c\)에 대해 \(\sum(X_i - c)^2\)을 최소화한다. 따라서 항상 \(\sum(X_i - \bar X)^2 \le \sum(X_i - \mu)^2\)이다.

기댓값을 취하면 \(\mathbb{E}[\sum(X_i - \bar X)^2] \le \mathbb{E}[\sum(X_i - \mu)^2] = n\sigma^2\)이다. 구체적으로는 정확히 \(\sigma^2\)만큼 작다(\(\mathbb{E}[n(\bar X - \mu)^2] = \sigma^2\)).

개념적으로: \(\bar X\)를 자료에 맞추었기 때문에 잔차 \((X_i - \bar X)\)는 "참값으로부터의 편차보다 작다" — \(\bar X\)가 표본에 적응했기 때문이다. 이는 통계학 전반에서 자유도 보정을 낳는 것과 같은 "이중 계산" 문제이다(회귀의 \(R^2\), AIC 벌점 등).

\(\mathbb{E}[\sum(X_i - \bar X)^2] = (n-1)\sigma^2\)을 쓰면:

• \(c = n\) (MLE): 편향 = \((n-1)\sigma^2/n - \sigma^2 = -\sigma^2/n\). 과소추정.
• \(c = n - 1\) (불편): 편향 = 0.
• \(c = n + 1\) (평균제곱오차 최적): 편향 = \((n-1)\sigma^2/(n+1) - \sigma^2 = -2\sigma^2/(n+1)\). MLE보다 더 과소추정.

맞바꿈: 나누는 수가 작을수록 편향은 작아지지만 분산은 커진다. 나누는 수가 클수록 편향은 커지지만 분산은 작아진다(더 강한 축소).

\(\mu\)를 아는 경우: \((X_i - \mu)/\sigma \sim N(0, 1)\)이므로 \((X_i - \mu)^2/\sigma^2 \sim \chi^2_1\)이고 \(\sum(X_i - \mu)^2/\sigma^2 \sim \chi^2_n\)이다.

\(\mu\)를 추정하는 경우: \(\sum(X_i - \bar X)^2/\sigma^2 \sim \chi^2_{n-1}\)이다(\(\bar X\) 때문에 자유도 하나를 잃는다).

자유도 하나의 차이가 Bessel 수정에 담겨 있다. 더 깊은 이유는 \(\bar X\)로부터의 잔차가 합이 0이라는 제약을 받아 자유도 하나가 사라지기 때문이다.

모수가 \(p\)개인 선형회귀는 \(\mathrm{SSE} = \sum(Y_i - \hat Y_i)^2\)으로부터 잔차분산을 추정한다.

적합된 모수 하나마다 자유도 하나가 사라진다. (절편을 포함하여) 모수가 \(p\)개이면 잔차의 유효 자유도는 \(n - p\)이다.

\(\hat\sigma^2 = \mathrm{SSE}/(n - p)\)는 불편이다: \(\mathbb{E}[\mathrm{SSE}/\sigma^2] = n - p\).

경계 사례:

• \(p = 1\) (절편만): Bessel 수정을 한 표본분산과 같아 \(n - 1\)로 나눈다.
• \(p = n\) (완벽한 적합): 남은 자유도가 없어 분산이 정의되지 않는다. 과적합을 반영한다.

자유도 보정은 Bessel 수정을 다중모수 상황으로 일반화한 것이다 — 원리는 같고, 빼야 할 모수가 더 많을 뿐이다.

MLE인 이유. 정규 로그가능도를 \(\sigma^2\)으로 미분해 0으로 두면

로 분모가 \(n\)이다.

왜 편향되는가. MLE는 가능도를 최대로 하는 값을 고를 뿐, 불편성을 겨냥하지 않는다. 두 기준이 다르므로 일치할 이유가 없다.

더 구체적으로, MLE는 \(\mu\)를 \(\bar X\)로 대체하는데 \(\bar X\)가 바로 그 제곱합을 최소로 하는 값이다. 따라서 \(\sum(x_i-\bar x)^2\)이 \(\sum(x_i-\mu)^2\)보다 체계적으로 작고, 그 차이가

이며 기대값이 \(\sigma^2\)이다. 자유도 하나를 잃은 것이다.

일반 원리. MLE는 모수를 추정하면서 "자료에 최적으로 맞추므로" 잔차를 과소평가한다. 회귀에서 \(\text{RSS}/n\)이 \(\sigma^2\)을 과소평가하는 것, 훈련오차가 검정오차보다 낙관적인 것이 모두 같은 현상이다.

크기. 편향이 \(-\sigma^2/n\)으로 \(O(1/n)\)이다. \(p\)개 모수를 추정하는 회귀에서는 \(-p\sigma^2/n\)으로 모수가 많을수록 커진다. \(p/n=0.3\)이면 30% 과소평가다.

그래도 MLE를 쓰는 경우. 정보기준(AIC, BIC)을 계산할 때는 MLE를 써야 한다. 벌점 항이 바로 이 낙관성을 보정하도록 설계되었기 때문이며, 불편추정량을 넣으면 이중 보정이 된다.

\(\mu\)를 아는 경우.

불편이고 \(\operatorname{Var} = 2\sigma^4/n\)이다.

\(\mu\)를 모르는 경우.

대가.

으로 관측 하나를 잃은 것과 같다.

정보량으로 보면. 정규분포의 정보행렬이 대각이었음을 떠올리면

이고 비대각이 0이다. 앞서 본 대로 이는 두 모수가 직교한다는 뜻이며, \(\mu\)를 모르는 것이 \(\sigma^2\)의 점근분산을 전혀 키우지 않음을 함의한다.

실제로 \(2\sigma^4/(n-1)\)과 \(2\sigma^4/n\)의 차이는 \(O(1/n^2)\)로, 점근적으로는 같다. 직교성이 보장하는 것이 바로 이것이다.

직교하지 않는 경우와의 대비. 감마분포의 \((\alpha,\beta)\)는 직교하지 않아서, 앞서 본 대로 \(\beta\)를 모르는 대가로 \(\alpha\)의 점근분산이 2.5배 이상 커졌다. 정규분포에서 그 대가가 \(O(1/n)\)에 그치는 것은 특별한 일이다.

실무적 함의. \(\mu\)를 아는 경우는 드물지만, 평균이 0으로 알려진 경우가 있다. 금융 수익률의 일별 평균, 잔차, 차분한 시계열이 그렇다. 그때는 \(\sum x_i^2/n\)을 쓰는 것이 옳고, 굳이 평균을 빼면 자유도를 공짜로 잃는다.

방법 1 — 간편식.

한 번만 훑으면 되지만 거의 같은 두 큰 수를 뺀다. 앞서 본 대로 \(x\)의 평균이 표준편차에 비해 크면 유효숫자가 모두 날아간다. \(x = 10^8+\{1,2,3\}\)에서 참값 1 대신 0이 나온다.

방법 2 — 두 번 훑기.

평균을 먼저 구하고 편차를 제곱한다. 상쇄가 없어 안전하다. NumPy의 var가 이 방식이며, 자료를 메모리에 담을 수 있으면 최선이다.

방법 3 — 웰퍼드 갱신.

한 번만 훑으면서도 안정적이다. 갱신량이 편차 규모라 상쇄가 없다.

비교.

권고. 자료를 저장할 수 있으면 두 번 훑기, 스트리밍이면 웰퍼드. 간편식은 쓰지 않는다.

개선된 두 번 훑기. 더 정확하게 하려면 보정항을 더한다.

수학적으로 둘째 항은 0이지만, 부동소수점에서는 \(\bar x\)의 반올림오차를 보정해 준다.

병렬 계산. 자료를 여러 조각으로 나눠 각각 \((n_j,\bar x_j, M_j)\)를 계산한 뒤 채의 결합 공식으로 합칠 수 있다.

분산분석의 제곱합 분해와 같은 구조임을 알아볼 수 있다.

두 종류의 가중치를 구분해야 한다.

(1) 빈도 가중. \(w_i\)가 "이 값이 \(w_i\)번 관측되었다"는 뜻이다. 정수이며, 실질 표본크기가 \(\sum_i w_i\)다.

분모가 \(\sum w_i - 1\)이다. 자료를 풀어 쓴 것과 정확히 같으므로 자연스럽다.

(2) 신뢰도 가중. \(w_i\)가 관측의 정밀도를 나타낸다(예: \(w_i\propto1/\sigma_i^2\), 또는 표본조사의 설계 가중치). 실질 표본크기가 \(\sum w_i\)가 아니다.

이때 불편추정량은

이다. 분모가 유효 자유도이며, 모든 \(w_i\)가 같으면 \(n-1\)로 돌아온다.

유효 표본크기. 분모의 첫 항을 정리하면 커시의 유효 표본크기가 나온다.

가중치가 고르면 \(n_{\text{eff}}=n\)이고, 몇몇에 몰려 있으면 훨씬 작아진다. 가중치가 극단적으로 불균등한 조사에서 유효 표본크기가 명목의 절반 이하로 떨어지는 일이 흔하다.

실무의 함정. 소프트웨어가 어느 가중치를 가정하는지 반드시 확인해야 한다.

• NumPy의 np.average(x, weights=w)는 평균만 주고 분산은 주지 않는다.
• statsmodels의 DescrStatsW는 ddof와 가중치 해석을 인자로 받는다.
• R의 weighted.mean과 조사 패키지(survey)가 다른 규약을 쓴다.

잘못 쓰면 표준오차가 크게 어긋난다. 설계 가중치를 빈도 가중으로 취급하면 유효 표본크기를 과대평가해 신뢰구간이 부당하게 좁아진다. 복잡한 조사 자료에서는 전용 조사 분석 도구를 쓰는 것이 안전하다.