분산에 대한 Gaussian MLE의 편향¶

\(\sum_{i=1}^n(X_i - \bar{X})^2 / \sigma^2 \sim \chi^2_{n-1}\)이고 그 평균은 \(n - 1\)이다. 따라서:

편향은:

MLE는 평균적으로 \(\sigma^2\)을 과소추정한다. 편향은 \(n \to \infty\)일 때 사라지지만 작은 \(n\)에서는 눈에 띈다.

임의의 추정량 \(\hat{\theta}\)에 대해 \(\text{MSE} = \text{Bias}^2 + \text{Var}\)이다.

\(\sum(X_i - \bar{X})^2/\sigma^2 \sim \chi^2_{n-1}\)의 분산이 \(2(n-1)\)이므로:

MLE의 경우:

비교하면 \(\frac{2n-1}{n^2} < \frac{2}{n-1}\)은 \((2n-1)(n-1) < 2n^2\), 즉 \(2n^2 - 3n + 1 < 2n^2\), 즉 \(-3n + 1 < 0\)으로 정리되며 모든 \(n \geq 1\)에서 성립한다. \(\square\)

\(n = 5\), \(\sigma^2 = 10\)에서 \(\hat{\sigma}^2_{\text{MLE}}\):

• 편향: \(-10/5 = -2.0\)
• 분산: \(2(4)(100)/25 = 32.0\)
• 평균제곱오차: \(4 + 32 = 36.0\)

\(S^2\)의 경우:

• 편향: \(0\)
• 분산: \(2(100)/4 = 50.0\)
• 평균제곱오차: \(0 + 50 = 50.0\)

MLE의 평균제곱오차는 36으로, 불편추정량 \(S^2\)의 50보다 28% 작다. 여기서는 편향–분산 맞바꿈이 편향추정량에 유리하다: 분산 감소(50에서 32로)가 도입된 편향을 충분히 보상한다.

일반적인 추정량 \(\hat{\sigma}^2_c = \frac{1}{c}\sum(X_i - \bar{X})^2\)에서 \(c = n + 1\)이면:

MLE의 평균제곱오차 \((2n-1)\sigma^4/n^2\)과 비교하면, \(n = 5\)일 때 MLE는 \(9 \times 100/25 = 36\)을 주는 반면 \(c = 6\)은 \(200/6 \approx 33.3\)을 준다. (정규 자료에서) 평균제곱오차 최적 분모는 실제로 \(c = n + 1\)이며, 이때 평균제곱오차가 \(2\sigma^4/(n+1)\)로 최소가 된다.

왜 \(O(1/n)\)인가. 점수방정식 \(U(\hat\theta)=0\)을 \(\theta_0\) 둘레에서 2차까지 전개하면

이다. 1차만 쓰면 앞서 본 점근정규성이 나오고 편향이 0이다. 2차항이 편향을 만든다.

\(\hat\theta-\theta_0 = O_p(n^{-1/2})\)이므로 그 제곱이 \(O_p(1/n)\)이고, 기대값을 취하면

가 된다.

콕스-스넬 공식. 1차 편향이

꼴로 주어진다(단일 모수의 경우). 3계 도함수와 교차 적률이 필요하다는 점이 계산의 부담이다.

보정 방법.

• 수정 보정: \(\tilde\theta = \hat\theta-\hat b(\hat\theta)/n\). 계산한 편향을 빼면 편향이 \(O(n^{-2})\)로 줄어든다.
• 사전 보정(펄스): 점수방정식 자체를 수정해 \(U^*(\theta) = U(\theta)-I(\theta)b(\theta)/n\)을 0으로 만든다. 앞서 본 로지스틱 회귀의 펄스 방법이 이것이며, 편향을 줄이면서 유한한 해를 보장하는 부수 효과가 있다.

예 — 정규 분산. \(\hat\sigma^2_{\text{MLE}}\)의 편향이 정확히 \(-\sigma^2/n\)이고, 보정하면 \(S^2\)이 된다. 이 경우는 정확한 편향을 알 수 있어 콕스-스넬이 필요 없다.

언제 유용한가. 편향의 공식을 해석적으로 구할 수 없는 복잡한 모형에서다. 다만 요즘은 부트스트랩 편향 보정이 더 간편하다.

3계 도함수를 구할 필요가 없고 어떤 모형에도 적용된다.

주의. 편향을 줄이면 분산이 늘 수 있다. MSE가 오히려 나빠지는 경우가 있으므로, 보정 전후의 MSE를 모의실험으로 비교해 보는 것이 안전하다.

절차.

1. 전체 자료로 \(\hat\theta\)를 구한다.
2. 관측값 \(i\)를 빼고 \(\hat\theta_{(-i)}\)를 구한다(\(i=1,\dots,n\)).
3. \(\bar\theta_{(\cdot)} = \frac1n\sum_i\hat\theta_{(-i)}\).
4. 편향 추정: \(\widehat{\text{bias}} = (n-1)\left(\bar\theta_{(\cdot)}-\hat\theta\right)\).
5. 보정: \(\tilde\theta = n\hat\theta-(n-1)\bar\theta_{(\cdot)}\).

왜 \((n-1)\)을 곱하는가. 편향이 \(a/n\) 꼴이면 \(\hat\theta\)의 편향이 \(a/n\), \(\hat\theta_{(-i)}\)의 편향이 \(a/(n-1)\)이다. 차이가

이므로 \((n-1)\)을 곱하면 \(a/n\)이 되어 원래 편향을 복원한다.

정규 분산에 적용. \(\hat\sigma^2_{\text{MLE}}=\frac1n\sum(x_i-\bar x)^2\)이다. 관측값 하나를 빼면

이다. 대수적으로 정리하면(또는 수치로 확인하면) 잭나이프 보정 결과가

으로 정확히 불편추정량이 나온다.

x = rng.normal(5, 3, 8)
mle = lambda a: ((a - a.mean()) ** 2).mean()
th = mle(x)
ths = np.array([mle(np.delete(x, i)) for i in range(len(x))])
print(len(x) * th - (len(x) - 1) * ths.mean(), x.var(ddof=1))   # 두 값이 같다

왜 정확한가. 정규 분산의 편향이 정확히 \(-\sigma^2/n\)으로 \(1/n\)의 정확한 함수라, 잭나이프가 그것을 완전히 제거한다. 편향에 \(1/n^2\) 항이 있으면 그것까지 지우지는 못하고 \(O(n^{-2})\)가 남는다.

실용적 가치. 이 예는 잭나이프가 아는 답을 재현한다는 것을 보여 준다. 편향 공식을 모르는 복잡한 모형에서 같은 절차를 기계적으로 적용할 수 있다는 점이 잭나이프의 가치다.

한계. \(\hat\theta\)가 매끄러운 함수여야 한다. 중앙값이나 최댓값처럼 매끄럽지 않으면 잭나이프가 실패한다.

기준 1 — 손실함수. 제곱오차 손실이면 MSE를 비교한다. 정규 분산에서 MLE가 불편추정량보다 MSE가 작았다. 손실이 제곱오차가 아니면 결론이 달라질 수 있다.

기준 2 — 결합 여부. 여러 추정값을 더하거나 나눌 것인가?

• 결합한다면 불편성이 중요하다. 편향이 누적되고 상쇄되지 않는다. 분산분석표, 합동분산, 메타분석이 그렇다.
• 단독 추정이면 MSE가 작은 쪽을 고를 여지가 있다.

기준 3 — 편향의 크기와 \(n\). 편향이 \(O(1/n)\)이므로 \(n\)이 크면 무시할 만하다. 편향이 표준오차에 견주어 얼마나 큰지 보는 것이 실용적이다.

이 0.1 아래면 대개 무해하고, 0.5를 넘으면 신뢰구간의 포함확률이 눈에 띄게 어긋난다.

기준 4 — 하류 사용처.

• 정보기준(AIC/BIC) 에는 MLE를 써야 한다. 벌점이 MLE의 낙관성을 보정하도록 설계되었다.
• 우도비 검정도 MLE 기준이다.
• 신뢰구간은 편향이 크면 중심이 어긋나므로 보정이 낫다.

기준 5 — 모수화. 앞서 본 대로 불편성은 모수화에 의존한다. \(\sigma^2\)에서 불편이면 \(\sigma\)에서는 아니다. 어느 척도에서 결과를 쓸 것인가를 먼저 정해야 한다.

실용적 요약.

예 1 — 성가신 모수가 \(n\)과 함께 늘어날 때(네이만-스콧). 앞서 본 짝 자료 모형

에서 \(\hat\sigma^2_{\text{MLE}}\to\sigma^2/2\)로 편향이 사라지지 않는다. 관측이 늘어도 성가신 모수 \(\mu_i\)가 같은 속도로 늘어 자유도 손실이 희석되지 않기 때문이다.

같은 구조가 패널자료의 고정효과 모형, 문항반응이론, 사례-대조 짝지음 연구에 나타난다. 대처는 조건부 가능도나 REML이다.

예 2 — 모수 수가 \(n\)에 비례할 때. 고차원 회귀에서 \(p/n\to c>0\)이면

으로 상수 비율만큼 과소추정한다. 로지스틱 회귀에서는 더 심해서, 계수 추정값 자체가 참값보다 체계적으로 크게 나온다는 것이 최근 연구로 밝혀졌다.

예 3 — 경계 근처의 모수. 분산성분이 0에 가까우면 \(\hat\sigma_a^2\)이 0에서 잘리므로 위쪽 편향이 생기고, 이 편향이 \(n\)과 함께 잘 사라지지 않는다.

예 4 — 비정칙 모형. \(\text{Uniform}(0,\theta)\)에서 \(\hat\theta = X_{(n)}\)의 편향이 \(-\theta/(n+1)\)로 \(O(1/n)\)이지만, 수렴 속도가 \(O(1/n)\)이라 편향과 표준오차가 같은 차수다. 정칙 모형에서 편향이 표준오차(\(O(n^{-1/2})\))보다 한 차수 작은 것과 대조된다. 따라서 편향 보정이 상대적으로 훨씬 중요하다.

공통 교훈. "편향은 \(O(1/n)\)이라 무시할 수 있다"는 말은 정칙 조건과 고정된 모수 개수를 전제한다. 그 전제가 깨지는 상황을 알아보는 것이 중요하다.

문제. \(\hat\theta\pm1.96\operatorname{SE}\)는 \(\hat\theta\)의 분포가 \(\theta\)를 중심으로 대칭이라고 가정한다. 편향 \(b\)가 있으면 중심이 \(\theta+b\)이므로 구간이 통째로 밀린다.

포함확률. 구간이 \(b\)만큼 밀렸다면 실제 포함확률이

이다.

\(b/\operatorname{SE}\)가 0.2 이하면 무해하고, 0.5를 넘으면 눈에 띄게 나빠진다.

더 중요한 것 — 한쪽으로 쏠린다. 포함확률이 95%에서 83%로 떨어지는 것보다, 빗나가는 방향이 한쪽에 몰린다는 점이 더 문제다. \(b>0\)이면 참값이 구간의 아래로 빠져나가는 경우가 대부분이다. 단측 결론이 체계적으로 왜곡된다.

대처.

1. 편향을 보정하고 구간을 만든다. 단, 보정 추정량의 표준오차를 써야 한다. 보정으로 분산이 늘었을 수 있다.
2. 부트스트랩 BCa 구간. 편향 보정 항 \(z_0\)이 정확히 이 문제를 다룬다. 편향과 왜도를 함께 보정하므로 가장 실용적인 해법이다.
3. 우도비 구간. 편향에 영향받지 않는다. 가능도의 모양을 그대로 쓰므로 중심이 어긋나는 문제가 없다.
4. 모수화를 바꾼다. 앞서 본 대로 로그나 로짓 척도에서 편향이 줄고 분포가 더 대칭이 되는 경우가 많다.

권고. 편향이 표준오차의 20%를 넘으면 왈드 구간을 쓰지 않는다. 우도비나 BCa로 옮기는 것이 간단하고 확실하다.

절차.

rng = np.random.default_rng(0)
theta_true, B = 2.0, 50_000
ests = np.empty(B)
for b in range(B):
    x = generate(theta_true, n, rng)
    ests[b] = mle(x)
bias = ests.mean() - theta_true
se_bias = ests.std(ddof=1) / np.sqrt(B)      # 편향 추정값의 표준오차
print(f"편향 {bias:.4f} ± {1.96*se_bias:.4f}")

핵심은 \(\operatorname{SE}(\widehat{\text{편향}})\)을 함께 보고하는 것이다. 이것이 몬테카를로 오차이며, 편향 추정값이 그 몇 배인지로 판단한다.

필요한 \(B\). 편향이 \(b\)이고 추정량의 표준편차가 \(s\)이면, 편향을 검출하려면

이다. 편향이 표준편차의 10%라면 \(B>400\), 1%라면 \(B>40{,}000\)이 필요하다. 작은 편향을 재려면 \(B\)가 많이 필요하다.

효율을 높이는 방법.

• 공통난수. MLE와 보정 추정량을 같은 표본에서 계산하면 차이의 분산이 크게 줄어, 훨씬 적은 \(B\)로 둘을 구별할 수 있다.
• 분산감소. 편향의 이론값을 알면 그것을 대조변량으로 쓸 수 있다.

함께 확인할 것.

1. 여러 \(n\)에서. \(n\cdot\text{편향}\)을 \(n\)에 대해 그려 상수로 안정되는지 본다. 그러면 편향이 \(O(1/n)\)임이 확인된다. 안정되지 않으면 더 느린 차수다.
2. 여러 참값에서. 편향이 \(\theta\)에 어떻게 의존하는지 본다.
3. 분포 전체. 평균만 보지 말고 히스토그램을 그린다. 치우쳤으면 평균 편향이 전형적인 오차를 대표하지 못하므로 중앙값 편향도 함께 본다.
4. 실패 사례. 최적화가 수렴하지 않거나 경계해가 나온 반복이 있으면 그 비율을 반드시 보고한다. 조용히 버리면 편향 추정이 왜곡된다.