편향–분산 맞바꿈¶

\(\mathrm{Var}(\hat\theta) = 0 \Rightarrow \hat\theta\)는 퇴화되어 있다(거의 확실하게 상수이다). 이 상수를 \(c\)라 하자.

불편성에 의해 \(\mathbb{E}[\hat\theta] = \theta\)이다. 그런데 \(\mathbb{E}[c] = c\)이므로 \(c = \theta\)이다.

따라서 거의 확실하게 \(\hat\theta = \theta\)이다. \(\square\)

이는 \(\theta\)가 퇴화되어 있지 않은 한 유한한 자료로 완벽하게 추정하는 것이 불가능함을 뜻한다. 어느 정도의 분산은 피할 수 없다.

\(\mathrm{MSE}(\hat\theta) = \mathbb{E}[(\hat\theta - \theta)^2]\)이다.

\(\mathbb{E}[\hat\theta]\)를 더하고 빼면:

\(\mathbb{E}[(\hat\theta - \mathbb{E}[\hat\theta] + \mathbb{E}[\hat\theta] - \theta)^2]\).

전개하면:

\(= \mathbb{E}[(\hat\theta - \mathbb{E}[\hat\theta])^2] + 2(\mathbb{E}[\hat\theta] - \theta) \mathbb{E}[\hat\theta - \mathbb{E}[\hat\theta]] + (\mathbb{E}[\hat\theta] - \theta)^2\).

(\(\mathbb{E}[\hat\theta - \mathbb{E}[\hat\theta]] = 0\)이므로) 가운데 항이 사라진다.

\(= \mathrm{Var}(\hat\theta) + \mathrm{Bias}(\hat\theta)^2\). \(\square\)

이 분해가 모든 편향–분산 맞바꿈 논증의 토대이다.

\(s^2\)은 불편이다: \(\mathbb{E}[s^2] = \sigma^2\), \(\mathrm{Var}(s^2) = 2\sigma^4/(n-1)\), \(\mathrm{MSE} = 2\sigma^4/(n-1)\).

\(\hat\sigma^2_{\mathrm{MLE}} = ((n-1)/n) s^2\): \(\mathbb{E}[\hat\sigma^2] = (n-1)\sigma^2/n\)이므로 편향 = \(-\sigma^2/n\).

\(\mathrm{Var}(\hat\sigma^2_{\mathrm{MLE}}) = ((n-1)/n)^2 \cdot 2\sigma^4/(n-1) = 2(n-1)\sigma^4/n^2\).

\(\mathrm{MSE}(\hat\sigma^2_{\mathrm{MLE}}) = 2(n-1)\sigma^4/n^2 + \sigma^4/n^2 = (2n-1)\sigma^4/n^2\).

비: 모든 \(n \ge 2\)에서 \(\mathrm{MSE}_{\mathrm{MLE}}/\mathrm{MSE}_{s^2} = (2n-1)(n-1)/(2n^2) < 1\)이다.

MLE는 편향되어 있음에도 평균제곱오차가 더 작다. 편향–분산 맞바꿈의 교과서적인 예이다.

점근적으로 불편: \(n \to \infty\)일 때 \(\mathrm{Bias}(\hat\theta_n) \to 0\)이다.

예: \(N(\mu, \sigma^2)\)에서 \(\sigma^2\)의 MLE. 편향이 \(-\sigma^2/n \to 0\)이다. 유한한 \(n\)에서는 편향되어 있지만 \(n\)이 크면 그 크기가 사라진다.

점근분산이 유한한 일치추정량은 평균의 의미에서 모두 점근적으로 불편이다. 그 역은 정확히 성립하지는 않는다. 점근적 불편성에 분산의 유계성이 더해지면 Chebyshev에 의해 일치성이 따라 나온다.

왜 중요한가: 점근적 불편성은 약한 조건이어서 "나쁜" 추정량도 점근적으로 불편인 경우가 많다. 의미 있는 점근적 보장을 얻으려면 올바른 속도의 점근정규성이라는 더 강한 조건이 필요하다.

\(\hat\sigma^2_{\mathrm{MLE}} \sim (\sigma^2/n) \chi^2_{n-1}\)일 때 \(\hat\sigma_{\mathrm{MLE}} = \sqrt{\hat\sigma^2_{\mathrm{MLE}}}\)이다.

(오목함수 \(\sqrt{\cdot}\)에 대한) Jensen 부등식에 의해 \(\mathbb{E}[\sqrt{\hat\sigma^2_{\mathrm{MLE}}}] \le \sqrt{\mathbb{E}[\hat\sigma^2_{\mathrm{MLE}}]} = \sigma\sqrt{(n-1)/n}\)이다. 퇴화된 경우가 아니면 부등호가 엄격하다.

더 정확히는 \(\mathbb{E}[\hat\sigma_{\mathrm{MLE}}] = \sigma \sqrt{2/n} \Gamma(n/2)/\Gamma((n-1)/2)\)이다.

편향 보정: \(c_n = \sqrt{2/n} \Gamma(n/2)/\Gamma((n-1)/2)\)일 때 \(\hat\sigma_{\mathrm{corrected}} = \hat\sigma_{\mathrm{MLE}}/c_n\)으로 둔다.

\(n\)이 크면 \(c_n \approx \sqrt{(n-1)/n}\)이므로 보정계수는 \(\approx \sqrt{n/(n-1)}\)이다. 1차 근사에서는 \(\hat\sigma\) 대신 \(s\)를 쓰는 것과 같다.

관리도 상수에 사용된다(예: Shewhart \(\bar X\) 관리도의 \(c_4\)).

편향 0, 분산 무한: 코시분포에서 \(\hat\mu = X_1\). 평균은 정의되지 않지만 중앙값은 \(\mu\)이다. 더 일반적으로는 코시 형태의 모형에서 얻은 MLE가 점근적으로는 불편이면서 분산이 무한할 수 있다.

분산 유한, 일치하지 않음: i.i.d. \(X_i \sim N(\theta, 1)\)에서 \(\theta\)를 추정할 때 \(\hat\theta = X_1\). 언제나 관측값 하나만 사용한다. 모든 \(n\)에 대해 분산이 1이고 0으로 가지 않는다. 따라서 일치하지 않는다(\(\hat\theta\)가 \(\theta\)로 확률수렴하지 않는다).

교훈: 일치성을 가지려면 추정량이 커지는 표본크기를 "활용"해야 한다. \(\hat\theta = X_1\)은 \(n\)과 무관하게 첫 관측값을 제외한 모든 것을 무시한다.

참 관계를 \(Y = f(x)+\varepsilon\), \(E[\varepsilon]=0\), \(\operatorname{Var}(\varepsilon)=\sigma^2\)이라 하자. 새 관측 \(Y_0 = f(x_0)+\varepsilon_0\)을 예측한다.

\(\varepsilon_0\)이 훈련자료와 독립이므로

이고, 둘째 항에 추정량의 분해를 적용하면 편향 제곱과 분산이 나온다. \(\square\)

추정량 분해와의 차이.

\(\sigma^2\)가 추가된 것이 핵심이다. 모형이 아무리 완벽해도(\(\hat f = f\)) 예측오차가 \(\sigma^2\) 아래로 내려가지 않는다. 이를 줄일 수 없는 오차라 하며, 예측 성능의 상한이 자료 자체에 의해 정해져 있다는 뜻이다.

실무적 함의.

• 예측 \(R^2\)이 0.6에 머문다고 모형이 나쁜 것이 아니다. \(\sigma^2\)이 크면 그것이 최선일 수 있다.
• 훈련오차는 \(\sigma^2\)보다 작아질 수 있다(잡음까지 맞추므로). 훈련오차가 \(\sigma^2\)보다 작다는 것이 과적합의 정의에 가깝다.
• 모형 복잡도를 올리면 편향은 줄고 분산은 는다. 그 합이 최소가 되는 지점이 최적 복잡도이며, 교차검증이 찾는 것이 바로 그 지점이다.

\(x_0\)의 \(k\)개 최근접이웃을 \(x_{(1)},\dots,x_{(k)}\)라 하면

분산. 잡음이 독립이므로

\(k\)가 커질수록 줄어든다.

편향.

\(k\)가 커지면 더 먼 이웃까지 평균에 들어오므로 \(f\)가 곡선이면 편향이 커진다. 1차원에서 이웃까지의 거리가 대략 \(k/n\)에 비례하므로, \(f\)가 매끄러우면

이다(2계 테일러 항).

최적 \(k\). 예측오차의 줄일 수 있는 부분이

꼴이므로 \(k\)로 미분해 0으로 두면 \(k^5 \propto n^4\), 즉

이다. 그때 예측오차의 줄일 수 있는 부분이 \(O(n^{-4/5})\)로 줄어든다.

읽는 법.

• \(k\)는 \(n\)과 함께 커져야 하되 \(n\)보다 느리게 커야 한다. \(k\)를 고정하면 분산이 줄지 않아 일치성이 없고, \(k=n\)으로 두면 전체 평균이 되어 편향이 남는다.
• \(k/n \to 0\)과 \(k \to \infty\)가 일치성의 조건이며, 커널 회귀의 띠폭 조건과 같은 형태다.
• 차원의 저주. \(d\)차원에서는 이웃까지의 거리가 \((k/n)^{1/d}\)에 비례하므로 편향이 \(O((k/n)^{2/d})\)가 되고, 최적 수렴 속도가 \(O(n^{-4/(4+d)})\)로 급격히 나빠진다. \(d=10\)이면 \(n^{-2/7}\)로, 같은 정밀도를 얻으려면 표본이 천문학적으로 필요하다.

능형 추정량은

이다. \(X^\top X = \sum_j d_j^2\mathbf{v}_j\mathbf{v}_j^\top\)(고유분해)로 쓰면 각 방향의 계수가

배로 축소된다. 분산이 작은 방향(\(d_j\)가 작은 방향)일수록 강하게 눌린다.

편향.

이므로 \(\lambda>0\)이면 편향이 있고, \(\lambda\)와 함께 커진다.

분산.

각 방향의 분산이 \(\sigma^2 d_j^2/(d_j^2+\lambda)^2\)로 \(\lambda\)와 함께 줄어든다.

극한.

핵심 결과. 어떤 \(\lambda>0\)에서는 능형이 최소제곱보다 평균제곱오차가 반드시 작다는 것이 증명되어 있다. 즉 \(\lambda=0\)이 결코 최적이 아니다. 다중공선성이 있어 \(d_j\)가 작은 방향이 존재하면 이득이 특히 크다.

\(\lambda\)를 어떻게 고르는가. 교차검증이 표준이다. 유효 자유도

를 복잡도의 척도로 삼으면, \(\lambda\)를 바꾸는 것이 모형 복잡도를 연속적으로 조절하는 일임이 분명해진다. 변수를 넣고 빼는 이산적 선택보다 부드럽고 안정적이다.

일반적으로는 할 수 없다. 편향은 \(E[\hat\theta]-\theta\)인데 참값 \(\theta\)를 모르기 때문이다. 자료 하나에서 편향과 분산을 분리해 내는 것은 원리적으로 불가능하다. 관측되는 것은 둘의 합(MSE)의 한 실현값뿐이다.

할 수 있는 경우.

• 모의실험. 참값을 우리가 정하므로 둘을 정확히 분리할 수 있다.

thetas = [estimate(simulate(theta_true)) for _ in range(B)]
bias = np.mean(thetas) - theta_true
var  = np.var(thetas, ddof=1)
mse  = np.mean((np.array(thetas) - theta_true)**2)
# 확인: mse ≈ bias**2 + var

이것이 새 추정량을 평가하는 표준적인 방법이다.

• 이론적으로 편향을 알 때. \(E[\hat\sigma^2_{\text{MLE}}] = \frac{n-1}{n}\sigma^2\)처럼 편향의 공식을 알면, \(\hat\sigma^2\)을 대입해 편향을 추정하고 보정할 수 있다. 잭나이프와 부트스트랩은 이 발상을 일반화해 편향을 자료에서 추정한다.

$$ \widehat{\text{Bias}}_{\text{boot}} = \frac1B\sum_b \hat\theta^*_b - \hat\theta $$

부트스트랩 세계에서 "참값" 역할을 \(\hat\theta\)가 맡는다. 다만 이 추정 자체에 잡음이 있어, 보정하면 편향은 줄지만 분산이 늘 수 있다.

• 분산만 따로. 분산은 참값을 몰라도 추정할 수 있다. 표준오차 공식, 부트스트랩, 잭나이프가 모두 분산을 겨냥한다. 편향과 분산 중 분산 쪽이 훨씬 다루기 쉽다는 것이 실무의 현실이다.

예측 문제에서는 사정이 낫다. 참 \(f\)를 몰라도 총 예측오차는 교차검증이나 검증셋으로 추정할 수 있다. 편향과 분산을 따로 알 필요 없이 그 합만 최소로 하면 되므로, 모형 선택의 목적에는 충분하다. 이것이 교차검증이 그토록 널리 쓰이는 이유다.