평균제곱오차¶

편향: \(E[\bar{X}] = \mu\)이므로 \(\text{Bias}(\bar{X}) = 0\) (불편).

분산: \(\text{Var}(\bar{X}) = \sigma^2/n\).

MSE: \(\text{MSE}(\bar{X}) = 0 + \sigma^2/n = \sigma^2/n\).

정규모집단에 대해:

편향: \(E[\tilde{S}^2] = \frac{n-1}{n}\sigma^2\)이므로 \(\text{Bias}(\tilde{S}^2) = -\sigma^2/n\).

분산: \(\text{Var}(\tilde{S}^2) = \frac{2(n-1)}{n^2}\sigma^4\).

MSE:

정규모집단에 대해:

불편 \(S^2\)의 MSE: \(\text{MSE}(S^2) = \text{Var}(S^2) = \frac{2\sigma^4}{n-1}\)

편향 \(\tilde{S}^2\)의 MSE: \(\text{MSE}(\tilde{S}^2) = \frac{(2n-1)\sigma^4}{n^2}\)

비교하면 \(\frac{2n-1}{n^2}\) 대 \(\frac{2}{n-1}\)이다.

교차곱하면 \((2n-1)(n-1)\) 대 \(2n^2\), 즉 \(2n^2 - 3n + 1\) 대 \(2n^2\)이다.

\(n > 0\)에서 \(-3n + 1 < 0\)이므로 \(\text{MSE}(\tilde{S}^2) < \text{MSE}(S^2)\)이다.

편향추정량이 불편추정량보다 평균제곱오차가 작다! 편향–분산 맞바꿈을 구체적으로 보여 주는 예이다. (\(c \cdot \sum(X_i - \bar{X})^2\) 형태의 추정량 중에서) 평균제곱오차를 최소화하는 최적 추정량은 \(n\)이나 \(n-1\)이 아니라 \(n+1\)로 나눈다.

정규모집단에 대해:

\(c\)에 대해 미분하여 0으로 두면:

따라서 평균제곱오차가 최적인 추정량은 \(n+1\)로 나눈다:

이는 편향되어 있지만(\(\sigma^2\)을 과소추정한다) \(\tilde{S}^2\)(\(n\)으로 나눔)과 \(S^2\)(\(n-1\)로 나눔) 둘 다보다 평균제곱오차가 작다.

(a) \(\mathbb{E}[X] = \theta/2\)이므로 \(\mathbb{E}[\hat\theta_1] = \theta\)이다.

\(\mathbb{E}[X_{(n)}] = n\theta/(n+1)\)이므로 \(\mathbb{E}[\hat\theta_2] = ((n+1)/n) \cdot n\theta/(n+1) = \theta\)이다.

둘 다 불편이다. ✓

(b) \(\mathrm{Var}(\hat\theta_1) = 4 \mathrm{Var}(\bar X) = 4 \theta^2/(12n) = \theta^2/(3n)\).

\(\mathrm{Var}(X_{(n)}) = n\theta^2/[(n+1)^2(n+2)]\)이므로 \(\mathrm{Var}(\hat\theta_2) = \theta^2/[n(n+2)]\).

(c) 둘 다 불편이므로 MSE = 분산이다. \(\hat\theta_2\)의 분산은 \(\theta^2/[n(n+2)] = O(1/n^2)\)이고 \(\hat\theta_1\)은 \(\theta^2/(3n) = O(1/n)\)이다.

모든 \(n \ge 2\)에서 \(\hat\theta_2\)의 평균제곱오차가 더 작으며, 수렴 속도도 (초)선형으로 더 빠르다. 주목할 만한 예이다. (최댓값에 기반한) MLE 계열 추정량이 \(\sqrt n\) 일치가 아니라 \(n\) 일치이다. 균등분포의 끝점을 다룰 때는 표본 극단값이 표본평균보다 훨씬 많은 정보를 담는다.

\(T = \sum(X_i - \bar X)^2\)이라 하자. 그러면 \(T \sim \sigma^2 \chi^2_{n-1}\)이므로 \(\mathbb{E}[T] = (n-1)\sigma^2\), \(\mathrm{Var}(T) = 2(n-1)\sigma^4\)이다.

\(\hat\sigma^2_c = c T\)에 대해:

\(\mathbb{E}[\hat\sigma^2_c] = c(n-1)\sigma^2\), \(\mathrm{Bias} = (c(n-1) - 1)\sigma^2\), \(\mathrm{Var} = 2 c^2 (n-1) \sigma^4\).

\(\mathrm{MSE}(c) = 2 c^2(n-1) \sigma^4 + (c(n-1) - 1)^2 \sigma^4\).

최소화하면: \(d \mathrm{MSE}/dc = 4c(n-1)\sigma^4 + 2(c(n-1) - 1)(n-1)\sigma^4 = 0\).

\(4c + 2(c(n-1) - 1) = 0 \Rightarrow 2c + c(n-1) = 1 \Rightarrow c(n+1) = 1 \Rightarrow c^* = 1/(n+1)\).

따라서 \(\hat\sigma^2_{\text{MSE}} = (1/(n+1))\sum(X_i - \bar X)^2\)이 평균제곱오차를 최소화한다. MLE(\(c = 1/n\))와 불편추정량(\(c = 1/(n-1)\)) 사이에 있으면서 더 큰 분모, 즉 더 강한 축소 쪽으로 기울어 있다.

"불편"인 \(s^2\)의 해석이 더 깔끔하기 때문에 실무에서 잘 쓰이지는 않는다. 다만 평균제곱오차가 최적인 추정량이 MLE와도 불편추정량과도 다를 수 있음을 보여 준다.

\(\mathrm{MSE} = \mathrm{Var} + \mathrm{Bias}^2 = v/n + b^2/n^2\).

\(n\)이 크면 \(\mathrm{MSE} \approx v/n + O(1/n^2)\)이다. 분산이 지배하고 편향은 저차항으로만 기여한다.

점근적 일치성: \(\mathrm{MSE} \to 0 \Rightarrow \hat\theta \to \theta\)가 \(L^2\)에서, 따라서 확률적으로도 성립한다. 유한표본에서 편향이 있어도 추정량은 일치한다.

통찰: \(O(1/n)\) 편향은 점근적으로 "보이지 않는다". 잡음보다 빨리 사라지기 때문이다. 이것이 (보통 \(O(1/n)\) 편향을 갖는) MLE가 점근적으로 효율적인 이유이다.

\(O(1)\) 편향(상수 추정량 \(\hat\theta = c\)처럼)을 갖는 추정량은 일치하지 않는다. 평균제곱오차의 편향 항이 줄지 않기 때문이다.

편향추정량의 CRLB: 편향 여부와 무관하게 임의의 추정량 \(\hat\theta\)에 대해:

여기서 \(b(\theta) = \mathbb{E}[\hat\theta] - \theta\)는 편향함수이다.

불편추정량에서는 \(b' = 0\)이므로 표준 CRLB가 복원된다.

편향추정량에서 \(b'(\theta) = -1\)이면(예: 상수 추정량 \(\hat\theta = c\)) 한계가 0이 되며, 분산이 0인 상수 추정량이 자명하게 이를 달성한다.

더 일반적으로 편향 CRLB는 MSE = 분산 + 편향\(^2 \ge (1 + b')^2/(nI) + b^2\)을 준다.

실용적 의미: 축소추정량(ridge, James-Stein)은 분산을 줄이려고 일부러 편향을 들여와 평균제곱오차를 불편추정량의 CRLB 아래로 낮춘다. 불편추정량에서는 증명 가능하게 불가능한 일이지만 편향추정량에서는 흔한 일이다.

참 \(p = p_0\)이면 \(\hat p_{\text{shr}}\)의 편향은 \(w p_0 + (1 - w) p_0 - p_0 = 0\)이다. 분산은 \(w^2 \mathrm{Var}(\hat p) = w^2 p_0(1 - p_0)/n\)이다.

MSE \(= w^2 p_0(1-p_0)/n\)이며 \(w = 0\)에서 최소가 된다(즉 언제나 \(p_0\)으로 추정한다).

더 현실적인 경우: 참 \(p\)가 불확실하다(\(\mathbb{E}[p] = p_0\), \(\mathrm{Var}(p) = \tau^2\)인 확률변수). 편향의 제곱은 \((1 - w)^2(p - p_0)^2\)이고, \(p\)에 대한 기대 평균제곱오차는:

\(w^2 p_0(1-p_0)/n + (1-w)^2 \tau^2\).

최소화하면 \(w^* = \tau^2/(\tau^2 + p_0(1-p_0)/n)\)이다. \(\tau^2\)이 크면(사전 정보가 불확실하면) 1에 가까워 축소가 약해지고, \(\tau^2\)이 작으면(사전 정보가 확실하면) 0에 가까워 축소가 강해진다.

이것이 경험적 베이즈 축소추정량이다. 선거 여론조사 통합, 작은 실험이 많은 A/B 테스트, James-Stein 계열의 다변량 축소에 쓰인다.

(a) 정규분포: \(\mathrm{MSE}(\bar X) = \mathrm{Var}(\bar X) = \sigma^2/n\) (불편). CRLB를 달성하며 UMVUE이다.

(b) 평균이 \(\mu\), 분산이 \(\mu^2\)인 지수분포: \(\bar X\)는 불편이고 \(\mathrm{Var}(\bar X) = \mu^2/n\)이므로 \(\mathrm{MSE} = \mu^2/n\)이다. CRLB와 비교하면 \(I(\mu) = 1/\mu^2\)이므로 CRLB \(= \mu^2/n\)이다. \(\bar X\)는 지수분포의 평균에 대해 효율적이다.

(c) 분산이 무한한 경우(예: 형상모수가 \(\le 2\)인 Pareto): \(\mathrm{Var}(\bar X) = \infty\)이므로 \(\mathrm{MSE} = \infty\)이다.

(유한한 평균이 없는) 코시분포에서는 \(\bar X\)가 "중심"의 추정량으로서 의미조차 갖지 않는다. 코시분포의 중앙값에 대해 일치하는 표본중앙값을 쓰는 편이 낫다.

일반적인 교훈: \(\bar X\)는 표준적인 추정량이며 정규분포와 지수분포에서 최적이지만 꼬리가 두꺼운 모집단에서는 무너진다. 평균 기반 추정량을 쓰기 전에 언제나 적률이 유한한지 확인해야 한다.

손실함수 \(L(\theta,a)\)에 대해 위험 \(R = E[L(\theta,\hat\theta)]\)을 최소로 하는 추정량은 손실의 모양이 정한다. 베이즈 관점에서 사후분포를 \(\pi(\theta\mid x)\)라 하면 다음이 성립한다.

비대칭 손실의 예. 재고를 과소 예측하면(품절) 손실이 크고 과대 예측하면(재고 비용) 손실이 작다고 하자.

이 손실을 최소로 하는 것은 \(\tau = c_u/(c_u+c_o)\) 분위수다. 품절 비용이 재고 비용의 4배면 \(\tau=0.8\), 즉 80 분위수를 예측값으로 삼아야 한다. 신문팔이 문제의 고전적인 해다.

함의.

• 평균제곱오차로 추정량을 평가하는 것이 언제나 옳지는 않다. 손실이 비대칭이거나 꼬리가 두꺼우면 다른 기준이 필요하다.
• 치우친 분포에서는 평균·중앙값·최빈값이 크게 다르므로 어떤 손실을 쓰느냐가 답을 바꾼다.
• 분위수회귀가 핀볼 손실을 쓰는 것이 정확히 이 구조이며, 여러 \(\tau\)에 대해 적합하면 조건부 분포 전체를 그릴 수 있다.

실무에서 놓치기 쉬운 점. 모형의 손실함수(훈련에 쓰는 것)와 의사결정의 손실함수(실제로 치르는 비용)가 다를 수 있다. 제곱오차로 훈련한 모형의 예측을 비대칭 비용 상황에 그대로 쓰면 체계적으로 손해를 본다.

정의. 추정량 \(\hat\theta_1\)이 \(\hat\theta_2\)를 지배한다는 것은

을 뜻한다. 어떤 추정량에도 지배되지 않으면 허용 가능하다고 한다.

핵심은 "모든 \(\theta\)에 대해"다. 특정 \(\theta\)에서만 나은 것은 지배가 아니다.

써야 하는 것은 아닌 이유.

(1) 특정 \(\theta\)에서만 나은 경우. 극단적인 예로 \(\hat\theta \equiv 7\)(자료를 무시하고 언제나 7)을 생각하자. \(\theta=7\)이면 MSE가 0으로 어떤 추정량보다도 낫다. 그러나 다른 곳에서는 형편없다. 허용 가능하지만 쓸모없는 추정량이며, 허용 가능성이 좋은 추정량의 충분조건이 아님을 보여 준다.

(2) 개별 성분이 나빠질 수 있다. 제임스-스타인은 총 제곱오차를 줄이지만 특정 성분의 오차는 커질 수 있다. 각 성분을 따로 보고해야 하는 상황(각 병원의 성과 평가 등)에서는 이것이 문제가 된다.

(3) 다른 성질을 잃는다. 축소 추정량은 편향되어 있고, 성분들이 서로 얽혀 있어 해석이 어렵다. 신뢰구간을 만들기도 까다롭다.

(4) 손실함수가 다를 수 있다. 제곱오차 기준의 지배가 다른 손실에서는 성립하지 않을 수 있다.

(5) 개선의 크기가 미미할 수 있다. \(\|\boldsymbol\mu\|\)가 크면 제임스-스타인의 이득이 거의 사라진다. 이론적 우위가 실무적 차이를 뜻하지 않는다.

정리. 허용 가능성은 최소한의 자격 요건이다. 허용 불가능한 추정량은 개선의 여지가 있다는 신호지만, 그 개선이 실제로 가치 있는지는 상황이 정한다. 최소최대(minimax), 베이즈 위험, 해석 가능성, 계산 비용을 함께 놓고 판단해야 한다.

상황. 예컨대 축소추정량 \(\hat p_{\text{shr}} = w\hat p+(1-w)0.5\)는 \(p\)가 0.5 근처면 MLE보다 낫고 0이나 1 근처면 나쁘다. 두 MSE 곡선이 교차한다. 어느 쪽도 다른 쪽을 지배하지 않는다.

기준 1 — 최소최대(minimax). 최악의 경우를 가장 좋게 만든다.

• 장점: \(\theta\)에 대한 사전 정보가 전혀 없어도 쓸 수 있다. 보장이 명확하다.
• 단점: 지나치게 비관적이다. 있을 법하지 않은 최악의 \(\theta\)에 맞추느라 평범한 경우의 성능을 희생한다.
• 예: 이항 비율의 최소최대 추정량은 \((X+\sqrt n/2)/(n+\sqrt n)\)으로, 상수 MSE를 갖는다. MLE보다 \(p\)가 0.5 근처일 때 나쁘고 경계에서 낫다.

기준 2 — 베이즈 위험. \(\theta\)에 사전분포 \(\pi\)를 두고 평균 위험을 최소로 한다.

• 장점: \(\theta\)가 어디에 있을 법한지에 대한 정보를 쓸 수 있다. 실무에서는 대개 그런 정보가 있다.
• 단점: 사전분포를 정해야 하고, 그 선택이 결과를 좌우한다.
• 연결: 최소최대 추정량은 대개 가장 불리한 사전분포에 대한 베이즈 추정량이다. 둘이 무관한 개념이 아니다.

실무적 절충. 관심 있는 \(\theta\) 범위를 정하고 그 안에서 MSE 곡선을 비교하는 것이 가장 흔하다. "우리 응용에서 \(p\)는 0.01에서 0.10 사이"라는 정보가 있으면 그 구간의 평균 MSE나 최대 MSE로 고르면 된다. 이는 제한된 범위의 최소최대 또는 절단 사전분포의 베이즈에 해당한다.

있다. 몇 가지 예를 든다.

(1) 코시분포의 표본평균. 2차 적률은커녕 1차 적률도 없으므로 MSE가 정의되지 않는다(\(\infty\)).

(2) 비의 추정. \(\hat\theta = \hat a/\hat b\)에서 \(\hat b\)가 0 근처의 값을 양의 확률로 가지면 \(E[\hat\theta^2]=\infty\)가 된다. 도구변수 추정량, 약한 도구가 있는 2단계 최소제곱, 연습문제의 \(\hat N = Mn/m\)이 모두 이 구조다.

(3) 지수분포의 \(1/\bar X\). \(n=1\)이면 \(E[1/X] = \infty\)다. \(n \ge 2\)라야 유한하다.

(4) 혼합모형의 성분 모수. 성분이 거의 비어 있으면 그 성분의 모수 추정값이 발산할 수 있다.

대안 척도.

• 평균 절대오차 \(E|\hat\theta-\theta|\). 1차 적률만 있으면 된다. 코시의 표본평균에는 여전히 쓸 수 없지만 중앙값에는 쓸 수 있다.
• 분위수 기반 척도. 오차의 중앙값 절대편차나 사분위수 범위. 적률이 전혀 필요 없다는 것이 최대 장점이다.
• 집중확률. \(P(|\hat\theta-\theta| < \varepsilon)\). "참값 근처에 있을 확률"로, 해석이 직관적이고 언제나 정의된다.
• 절단 MSE. \(E[\min\{(\hat\theta-\theta)^2, c\}]\). 극단적인 실패에 상한을 두어 유한하게 만든다.

모의실험에서의 주의. MSE가 무한한 추정량을 모의실험으로 평가하면 표본 MSE가 반복 횟수와 함께 계속 커진다. 안정되지 않는 것이 정상이며, 이를 보고 "반복이 부족하다"고 판단해 \(B\)를 늘리면 값이 더 커질 뿐이다. 이럴 때는 오차의 중앙값과 분위수를 보고해야 하고, 극단적인 실패가 몇 번 일어났는지도 함께 적어야 한다.