효율성과 Cramér-Rao 하한¶

(a) 선형성에 의해 \(\mathbb{E}[\hat\mu_w] = w\mu + (1-w)\mu = \mu\)이다. 모든 \(w\)에 대해 불편이다.

(b) \(\bar X_{-1}\)을 (\(X_1\)과 독립인) \(X_2, \ldots, X_n\)의 평균이라 하고 \(\bar X = X_1/n + (n-1)\bar X_{-1}/n\)으로 쓰면:

\(\hat\mu_w = (w + (1-w)/n) X_1 + ((1-w)(n-1)/n) \bar X_{-1}\)

분산은 두 항 모두에 양의 계수를 가지며, \(w\)에 대해 미분하여 0으로 두면 \(w^* = 0\)을 얻는다.

(c) \(w = 0\): \(\hat\mu = \bar X\), \(\mathrm{Var} = \sigma^2/n\). \(w = 1\): \(\hat\mu = X_1\), \(\mathrm{Var} = \sigma^2\). \(w = 1\)의 대가는 분산이 \(n\)배가 되는 것이다.

표본평균이 관측값 하나에 의존하는 것보다 \(n\)배 효율적이다.

CRLB: \(\hat\theta\)가 밀도 \(f(x; \theta)\)에서 얻은 \(n\)개의 i.i.d. 관측값에 기반한 \(\theta\)의 불편추정량이면:

여기서 \(I(\theta) = -\mathbb{E}[\partial^2 \log f/\partial \theta^2]\)는 관측값 하나당 Fisher 정보량이다.

증명 개요: Cauchy-Schwarz에 의해 \(|\mathrm{Cov}(\hat\theta, S)|^2 \le \mathrm{Var}(\hat\theta) \mathrm{Var}(S)\)이며, \(S = \partial \log L/\partial \theta\)는 점수함수이다. (불편성에서 \(\mathbb{E}[\hat\theta] = \theta\)를 미분하여) \(\mathrm{Cov}(\hat\theta, S) = 1\)이고 \(\mathrm{Var}(S) = n I(\theta)\)임을 계산한다. 따라서 \(1 \le \mathrm{Var}(\hat\theta) \cdot n I(\theta)\)이고 하한을 얻는다.

등호는 \(\hat\theta\)가 점수함수의 선형함수일 때, 즉 추정량이 효율적일 때에만 성립한다.

정규분포 평균의 Fisher 정보량은 \(I(\mu) = 1/\sigma^2\)이다. CRLB는 \(\mathrm{Var}(\hat\mu) \ge \sigma^2/n\)이다.

표본평균의 분산은 \(\mathrm{Var}(\bar X) = \sigma^2/n\)으로 CRLB를 정확히 달성한다.

따라서 \(\bar X\)는 \(\mu\)에 대한 일률최소분산불편추정량(UMVUE)이다. 어떤 \(\mu\)에서도 이보다 분산이 작은 불편추정량은 없다.

이는 강한 최적성 결과이다. \(\bar X\)는 단지 일치하고 불편인 데 그치지 않고, 정규 모형 아래에서 최선의 추정량이다.

결과: 정칙 조건 아래에서 \(\hat\theta_{\text{MLE}}\)는 분산이 CRLB와 같은 점근적 정규이다:

따라서 \(\mathrm{Var}(\hat\theta_{\text{MLE}}) \to 1/(n I(\theta))\)로, 관측값 하나당 Fisher 정보량의 역수가 된다. 이것이 불편추정량의 CRLB이다.

함의: MLE는 점근적으로 효율적이다. 모든 일치추정량 중에서 MLE의 점근분산이 가장 작다.

주의: 유한표본에서의 효율은 나쁠 수 있다. MLE는 편향될 수도, 존재하지 않을 수도, 느리게 수렴할 수도 있다. 점근 효율성은 장기적인 보장이지 유한표본에 대한 보장이 아니다.

소표본에서는 다른 추정량(적률법, 편향 보정된 MLE, James-Stein 계열의 축소)이 MLE를 능가할 수 있다. \(n\)이 크면 MLE가 사실상 최적이다.

예: \(\hat\mu = X_1\)(첫 관측값만 사용). 불편이다: \(\mathbb{E}[X_1] = \mu\). 분산: \(\mathrm{Var}(X_1) = 1\).

\(n \ge 2\)이면 \(\mathrm{Var}(X_1) = 1 > 1/n =\) CRLB이다. 따라서 이 추정량은 \(n\)배 비효율적이다.

그런 추정량이 존재하는 이유: CRLB는 하한이며 많은 추정량이 그 위에 있다. CRLB는 어떤 불편추정량도 그 아래로 갈 수 없다고 말할 뿐이다. (\(X_2, \ldots, X_n\)을 무시하는 \(X_1\)처럼) 정보를 버리는 추정량은 분명히 최적이 아니다.

다른 예: \((X_1 + X_2)/2\)(관측값 두 개만 사용), \(X_{(n)}\)(최댓값이며 특정 분포에서만 불편이다).

효율은 불편추정량의 분산이 CRLB에 얼마나 가까운지를 잰다. \(\bar X\)의 효율은 1이고(CRLB 달성), 크기 \(n\)인 정규 표본에서 \(X_1\)의 효율은 \(1/n\)이다.

MSE 분해: \(\mathrm{MSE}(\hat\theta) = \mathrm{Var}(\hat\theta) + [\mathrm{Bias}(\hat\theta)]^2\).

불편추정량은 \(\mathrm{Bias} = 0\)이므로 \(\mathrm{MSE} = \mathrm{Var}\)이고, CRLB가 이를 아래에서 제한한다.

어느 정도의 편향을 받아들이면 편향의 제곱이 더하는 것보다 분산이 더 많이 줄어들 수 있고, 그러면 평균제곱오차가 내려간다.

예:

• 능형회귀: 0 쪽으로 편향되지만 큰 계수에 벌점을 주어 분산을 줄인다. 설명변수가 상관된 상황에서 평균제곱오차가 더 작다.
• James-Stein (\(p \ge 3\)개의 정규 평균 추정): 개별 표본평균을 0 쪽으로 축소하여 결합하며, 참 모수가 무엇이든 평균제곱오차에서 MLE를 지배한다.
• 정보가 있는 사전분포를 쓴 MAP: 사전 평균 쪽으로 편향되지만 정칙화 덕분에 분산이 작다. 사전분포가 대체로 옳으면 평균제곱오차가 더 작다.

선호할 때:

• 표본크기가 작을 때(높은 분산이 지배한다).
• 자료에 비해 모수가 많을 때(고차원 회귀).
• 예측이 목적일 때(불편성보다 평균제곱오차가 중요하다).
• 사전 정보를 쓸 수 있을 때(베이즈 상황).

불편추정량을 선호할 때:

• 추정값의 해석이 중요할 때(예: 인과효과).
• 표본크기가 클 때(분산은 줄지만 편향은 남는다).
• 규제나 학문적 관행이 불편성을 요구할 때.

편향–분산 맞바꿈은 근본적인 긴장이며, 현대 통계적 학습은 평균제곱오차에서 이기기 위해 편향을 받아들이는 일이 일상적이다.

등호 조건. 크라메르-라오 부등식은 점수함수 \(S(\theta)=\partial\ell/\partial\theta\)와 \(\hat\theta\) 사이의 코시-슈바르츠 부등식에서 나온다. 등호는 두 확률변수가 선형 관계일 때만 성립하므로, 조건은

가 확률 1로 성립하는 것이다(\(a(\theta)\)는 자료에 의존하지 않는 함수).

이 조건은 지수족을 낳는다. 위 식을 \(\theta\)에 대해 적분하면

꼴이 되고, 지수를 취하면

로 일모수 지수족이다. 그리고 \(\hat\theta\)는 \(T(\mathbf{x})\)의 특정 선형함수여야 한다.

정리하면. 하한을 달성하는 불편추정량이 존재하려면

1. 모형이 일모수 지수족이고,
2. 추정 대상이 평균모수(자연통계량의 기대값)여야 한다.

예.

모두 \(\bar X\)라는 점이 시사적이다. 지수족에서 자연통계량의 평균을 추정할 때만 하한이 달성된다.

달성되지 않는 예. 같은 포아송에서 \(g(\lambda)=e^{-\lambda}\)를 추정하면 하한을 달성하는 불편추정량이 없다. \(\lambda\)의 비선형 함수이기 때문이다. 지수분포에서 \(\lambda\) 자체도 마찬가지다(\(\mu=1/\lambda\)는 되지만).

실무적 함의. "MLE가 하한을 달성하지 못한다"는 것이 MLE가 나쁘다는 뜻이 아니다. 하한 자체가 달성 불가능한 경우가 많다. 그래서 유한표본 최적성보다 점근효율성을 기준으로 삼는 것이 일반적이다.

정의. 두 불편추정량(또는 같은 양을 추정하는 두 일치추정량)의 점근상대효율은

이다. 1보다 크면 \(\hat\theta_1\)이 효율적이다. 실무적으로는 "같은 정밀도를 얻는 데 필요한 표본크기의 비"로 읽는다.

일반 공식. 표본중앙값의 점근분산이 \(1/\{4nf(m)^2\}\)이고 표본평균이 \(\sigma^2/n\)이므로

정규모집단. \(f(\mu) = 1/(\sigma\sqrt{2\pi})\)이므로

중앙값이 평균보다 나쁘다. 같은 정밀도에 표본이 \(1/0.637 = 1.57\)배 필요하다.

\(t_3\) 모집단. 분산이 \(\nu/(\nu-2) = 3\)이고 밀도의 중심값이

이므로

중앙값이 평균보다 62% 효율적이다. 순서가 뒤집혔다.

정리.

교훈. 어느 추정량이 효율적인지는 모집단 분포에 달려 있다. 정규분포를 벗어나 꼬리가 조금만 두꺼워져도(\(t_5\)쯤) 두 방법이 거의 같아지고, 더 두꺼워지면 중앙값이 이긴다. 모집단을 확신할 수 없다면 절사평균처럼 두 극단 사이에 있는 추정량이 합리적인 보험이다. 20% 절사평균은 정규에서 96%, \(t_3\)에서 1.4 정도의 효율을 낸다.

분산 계산. \(X_{(n)}/\theta \sim \text{Beta}(n,1)\)이므로

이고

\(O(n^{-2})\)이다.

형식적인 "하한". \(f(x;\theta)=1/\theta\)이므로 \(\ln f = -\ln\theta\)이고 \(\partial\ln f/\partial\theta = -1/\theta\), \(\partial^2\ln f/\partial\theta^2 = 1/\theta^2\)이다. 그대로 계산하면

가 나온다. \(\theta^2/\{n(n+2)\}\)가 이보다 한 차수 작다.

모순이 아닌 이유. 크라메르-라오 부등식의 정칙 조건이 성립하지 않기 때문이다.

구체적으로, 부등식의 유도에서

처럼 미분과 적분을 맞바꾸는 단계가 필요하다. 여기서는 적분 구간이 \([0,\theta]\)로 \(\theta\)에 의존하므로, 라이프니츠 규칙에 따라 경계항이 추가로 나온다.

인데, 적분 안에서만 미분하면 \(\int_0^\theta(-1/\theta^2)dx = -1/\theta \ne 0\)이다. 맞바꿈이 성립하지 않는다.

그 결과 \(E[S(\theta)] = 0\)이라는 기본 항등식이 깨지고, 그 위에 세워진 크라메르-라오 부등식 전체가 무효가 된다.

교훈. 정칙 조건은 장식이 아니다. 지지집합이 모수에 의존하면 크라메르-라오를 쓰면 안 된다. 그런 모형에서는 수렴 속도가 \(\sqrt n\)보다 빠를 수 있고(초일치성), 극한분포도 정규가 아니다.

문제 설정. \(\mathbf{X} \sim N_d(\boldsymbol\mu, I)\)에서 \(\boldsymbol\mu\)를 추정한다. MLE는 \(\hat{\boldsymbol\mu} = \mathbf{X}\)이고, 이는

• 불편이고,
• 각 성분이 크라메르-라오 하한을 달성하며,
• 최소분산불편추정량이다.

"불편추정량 안에서 최적"이라는 자격을 모두 갖췄다.

제임스-스타인 추정량.

\(d \ge 3\)이면 모든 \(\boldsymbol\mu\)에서

가 성립한다. 즉 MLE가 허용 불가능(inadmissible)하다.

왜 이런 일이 가능한가. 제임스-스타인은 편향되어 있다. \(\mathbf{X}\)를 원점 쪽으로 축소하므로 편향이 생기지만, 그 대가로 분산이 더 크게 줄어든다. \(d \ge 3\)이면 언제나 이 거래가 이득이다.

직관은 이렇다. \(\|\mathbf{X}\|^2\)의 기대값이 \(\|\boldsymbol\mu\|^2 + d\)이므로 \(\mathbf{X}\)는 원점에서 체계적으로 너무 멀리 있다. 그만큼 당겨 주면 좋아진다. 차원이 높을수록 이 과대평가가 뚜렷해져 \(d \ge 3\)에서 효과가 나타난다.

가장 놀라운 점. 성분들이 서로 아무 관련이 없어도 성립한다. 밀의 가격, 대만의 교통사고 수, 어떤 별의 밝기를 함께 추정해도 셋을 공동으로 축소하는 것이 낫다. 개별 성분의 오차는 나빠질 수 있지만 총 제곱오차는 반드시 줄어든다.

함의.

• 불편성은 최적성의 기준이 아니다. "불편추정량 중 최선"이라는 결과는 그 부류 안에서만 최선이라는 뜻이며, 그 부류 자체가 최선이 아닐 수 있다.
• 여러 모수를 동시에 추정하는 상황에서는 정보를 빌려 오는 것이 이득이다. 이것이 계층 베이즈 모형, 축소 추정, 경험 베이즈의 출발점이다.
• 능형회귀, 라소, 정칙화가 모두 같은 원리 위에 있다. 편향을 조금 들여 분산을 크게 줄인다.

제임스-스타인이 발표된 1961년에 이 결과가 충격적이었던 것은, 당시 통계학이 불편성을 거의 공리처럼 받아들이고 있었기 때문이다.