표본평균의 효율성¶

(a) 중앙값의 점근분산은 \(1/[4 f(\mu)^2 n]\)이며, 여기서 \(f\)는 중앙값에서의 밀도이다. \(N(\mu, \sigma^2)\)에서 \(f(\mu) = 1/(\sigma\sqrt{2\pi})\)이므로 \(\mathrm{AVar}(\text{중앙값}) = \pi\sigma^2/(2n)\)이다. 평균은 \(\sigma^2/n\). ARE = \(2/\pi \approx 0.637\). 평균이 1.57배로 이긴다.

(b) \(t_3\)에서 0에서의 밀도는 \(\Gamma(2)/(\sqrt{3\pi}\Gamma(3/2)) \approx 0.368\)이다. 평균의 분산은 유한하지만(\(\mathrm{Var}(X) = 3\)이므로 \(\mathrm{Var}(\bar X) = 3/n\)) 크다. 중앙값의 점근분산은 \(1/[4(0.368)^2 n] \approx 1.85/n\)으로 훨씬 작다. 꼬리가 두꺼우면 중앙값이 크게 이긴다.

모의실험이 이를 확인해 준다: 정규에서는 평균의 분산 \(\approx 1/n\) 대 중앙값 \(\approx \pi/(2n)\). \(t_3\)에서는 평균의 분산 \(3/n\)이 중앙값의 \(1.85/n\)보다 크며, 자유도가 2에 가까워질수록 격차가 벌어진다.

(a) 편향 = \((\lambda - 1)\mu\). 분산 = \(\lambda^2 \sigma^2/n\). MSE = \((\lambda-1)^2 \mu^2 + \lambda^2 \sigma^2/n\).

(b) \(d\mathrm{MSE}/d\lambda = 2(\lambda - 1)\mu^2 + 2\lambda\sigma^2/n = 0 \Rightarrow \lambda^* = \mu^2/(\mu^2 + \sigma^2/n)\).

항상 \(\lambda^* < 1\)이다. \(\sigma^2/n\)이 클 때(잡음이 클 때) 작아진다 — 과감하게 축소하라. 신호가 지배하면 1에 가깝게 커진다.

(c) \(\lambda^*\)가 미지의 \(\mu\)에 의존한다. 대입한 \(\hat\lambda\)는 그 자체의 변동성을 갖는다. James-Stein 추정량이 이를 다룬다: 표본자료를 적응적으로 사용하는 경험적 Bayes 축소인자로, \(p \ge 3\)에서 MLE를 지배한다.

import numpy as np
rng = np.random.default_rng(0)
p, R = 10, 20_000
mu = np.ones(p) * 0.5
mse_mle = mse_js = 0.0
for _ in range(R):
    x = mu + rng.standard_normal(p)
    js = (1 - (p - 2)/np.dot(x, x)) * x
    mse_mle += np.sum((x - mu)**2)
    mse_js += np.sum((js - mu)**2)
print(f"MSE MLE={mse_mle/R:.3f}  JS={mse_js/R:.3f}")

출력:

MSE MLE=10.024  JS=3.625

예상 결과: \(p \ge 3\)일 때 모든 \(\boldsymbol\mu\)에 대해 MSE(JS) < MSE(MLE)이다 (Stein, 1956). MLE는 차원 3 이상에서 허용 불가능하다 — 언제나 더 나은 추정량이 존재한다.

실무적 영향: 현대 축소법(능형회귀, 계층적 Bayes, 라소)의 토대이다. 성분 \(\mu_i\)들이 서로 무관해도 함께 축소하면 전체 평균제곱오차가 개선된다.

정규분포 평균의 Fisher 정보량: 관측값당 \(I(\mu) = 1/\sigma^2\), 전체는 \(nI(\mu) = n/\sigma^2\).

CRLB: \(\mathrm{Var}(\hat\mu) \ge 1/(nI(\mu)) = \sigma^2/n\).

\(\mathrm{Var}(\bar X) = \sigma^2/n\) — CRLB를 정확히 달성한다.

CRLB의 등호는 드물다 — 보통 MLE는 점근적으로만 CRLB에 도달한다. 정규분포 평균의 \(\bar X\)는 임의의 \(n\)에서 정확히 효율적인 몇 안 되는 사례이다. 점수함수 \(\partial \log f/\partial\mu = (X - \mu)/\sigma^2\)가 \(X\)에 대해 선형이어서, (CRLB 유도의 바탕이 되는) Cauchy-Schwarz 부등식이 등호로 성립하기 때문이다.

Rao-Blackwell 정리에 의해, 임의의 불편추정량은 충분통계량으로 조건부기댓값을 취해 개선할 수 있다.

(\(\sigma^2\)이 알려져 있을 때) \(\bar X\)는 \(\mu\)에 대해 충분하다: 가능도가 \(L(\mu) = f(\bar X, \sigma^2/n) \cdot h(X_1, \ldots, X_n)\)으로 인수분해되며 \(h\)는 \(\mu\)에 의존하지 않는다.

Lehmann-Scheffé에 의해, 유일한 UMVUE는 완비충분통계량의 함수이다. \(\bar X\)는 완비 + 충분 + 불편이므로 UMVUE이다.

말로 하면: 효율성은 충분함(자료를 전부 사용함) + 불편함(체계적 오차 없음)에서 따라 나온다. \(\bar X\)는 두 조건을 모두 만족한다.

(\(X_1\) 같은) 비효율적 추정량은 표본 전체를 쓰지 않아 정보를 버린다.

\(p\)차원에서 MLE의 위험: \(\mathrm{Risk}(\hat{\boldsymbol\mu}_{\text{MLE}}) = p\sigma^2\).

JS 축소: \(\mathrm{Risk}(\hat{\boldsymbol\mu}_{\text{JS}}) = p\sigma^2 - (p-2)^2 \mathbb{E}[1/\|\mathbf X\|^2]\).

\(p \ge 3\)이면 \((p-2)^2 > 0\)이므로 JS가 균일하게 지배한다. \(p \le 2\)이면 보정항이 0이거나 음수여서 MLE가 최적으로 남는다.

직관적 설명: 고차원에서 MLE는 더 많은 방향을 "탐색"하며 오차를 누적한다. 고차원 공간의 대부분이 참값에서 멀기 때문에, 0(또는 임의의 고정점) 쪽으로 아무렇게나 축소해도 이 초과 오차가 줄어든다.

Stein 현상: MLE는 오직 차원 3 이상에서만 허용 불가능하다. \(p = 3\)이라는 경계는 정확하다 — \(p = 2\)에서는 MLE가 허용 가능하다.

실무적 귀결: 고차원 회귀(예측변수 \(p\)개)에서는 축소법(능형, 라소, 엘라스틱 넷)이 비슷한 원리로 OLS를 일상적으로 능가한다.

절사평균. 정렬한 자료의 양끝 \(\alpha\) 비율을 버리고 나머지를 평균한다. \(\alpha=0\)이면 표본평균, \(\alpha\to0.5\)면 중앙값이다.

점근분산. 대칭분포에서

이다(윈저화 분산의 형태). 잘라 낸 관측값을 경계값으로 대체한 분포의 분산을 \((1-2\alpha)^2\)로 나눈 것으로 읽으면 된다.

효율 비교(표본평균 대비, 정규는 MLE 대비).

읽는 법.

• 정규에서 20% 절사의 손실이 7%에 그친다. 반면 중앙값은 36%를 잃는다. 조금만 자르는 것이 대단히 값싸다.
• \(t_3\)에서는 20% 절사가 최선이며 표본평균의 1.9배 효율이다. 중앙값보다도 낫다.
• 즉 10~20% 절사평균이 넓은 범위의 분포에서 좋은 성능을 낸다. 이것이 실무에서 절사평균이 권장되는 근거다.

윈저화와의 비교. 윈저화 평균은 버리는 대신 경계값으로 바꾼다. 효율이 절사평균과 비슷하고, 표준오차 계산이 조금 더 자연스럽다(윈저화 분산을 그대로 쓴다). 어느 쪽이든 \(\alpha\)를 자료를 보고 고르면 안 된다. 미리 정해야 한다.

정의. 후버의 손실은

이고 그 도함수가

로 잔차를 \(\pm c\)에서 자른다.

중간에 놓인 추정량. \(c\to\infty\)이면 \(\psi(r)=r\)로 표본평균(정규 MLE), \(c\to0\)이면 \(\psi(r)=c\,\text{sgn}(r)\)로 중앙값(라플라스 MLE)이 된다. 후버는 그 사이를 연속적으로 잇는다.

\(c\)의 역할.

\(c=1.345\)의 근거. 정규분포에서 효율 95%를 달성하는 값으로 계산된 것이다. "정규일 때 5%만 손해 보고 이상치에 대한 보호를 얻는다"는 절충이며, 5%가 대부분의 실무에서 감수할 만한 보험료로 여겨진다.

왜 후버가 좋은 선택인가.

• \(\psi\)가 단조라 손실함수가 볼록하고, 따라서 해가 유일하며 수렴이 안정적이다. 앞서 본 코시나 \(t\) 잡음처럼 재하강하는 \(\psi\)는 국소해 문제가 있다.
• \(\rho\)가 매끄러워 점근이론이 깔끔하다.
• IRLS로 간단히 계산된다. 가중치가 \(w_i = \min(1,\ c/|r_i|)\)로, 잔차가 큰 관측에 \(c/|r_i|\)의 가중치를 준다.

주의. 후버 추정량은 \(\psi\)가 유계이지만 0으로 되돌아가지는 않는다. 따라서 극단적인 이상치도 여전히 상수 크기의 영향을 준다. 완전히 무시하려면 터키의 이중가중치처럼 재하강하는 것을 써야 하는데, 그러면 수렴 문제가 생긴다. 실무에서는 후버로 시작해 그 해를 초기값으로 재하강 추정량을 돌리는 이단계 방식을 쓴다.

붕괴점. 추정값을 무한대로 보낼 수 있는 오염 관측값의 최소 비율이다. 큰 것이 강건하다.

영향함수. 관측값 하나를 \(x\)에 추가했을 때 추정값이 받는 영향의 방향과 크기다.

네 추정량.

두 개념의 차이.

• 영향함수는 국소적이다. 관측값 하나가 (극소 비율로) 오염되었을 때의 민감도를 잰다. 점근분산이 영향함수의 제곱 기대값이므로 효율과 직결된다.

$$ \operatorname{Var}_{\text{asym}}(T) = \frac{1}{n}E\left[\text{IF}(X)^2\right] $$

• 붕괴점은 전역적이다. 오염이 아무리 심해도 버티는 한계를 잰다. 영향함수가 유계여도 붕괴점이 낮을 수 있다.

함께 보아야 한다. 후버는 영향함수가 유계이고 붕괴점도 0.5로 좋다(위치 문제에서). 그러나 회귀로 가면 사정이 달라진다. 후버 회귀는 잔차 이상치에는 강건하지만 지렛값(설명변수의 이상치)에는 붕괴점이 0이다. 이를 고치려면 MM-추정량이나 최소절사제곱처럼 고붕괴점 방법이 필요하다.

실무 요령. 영향함수를 자료에서 근사할 수 있다. 관측값 \(i\)를 뺐을 때의 추정값 변화 \(\hat\theta-\hat\theta_{(-i)}\)가 그것이며, 이를 \(i\)에 대해 그린 그림이 영향력 진단이다. 몇몇 점이 두드러지게 튀면 그 관측값들이 결과를 지배하고 있다는 뜻이다.

최적 가중. 공분산행렬 \(\Sigma\)를 안다면 일반화최소제곱의 결과로

이 최소분산 선형불편추정량이다.

AR(1)에서의 모양. \(\rho_k = \phi^{|k|}\)인 경우 \(\Sigma^{-1}\)이 삼중대각행렬이 되고, 최적 가중치가

꼴로 양끝에 더 큰 가중치를 준다. 안쪽 관측값들은 이웃과 정보가 겹치지만 양끝은 한쪽 이웃만 있어 상대적으로 독립적인 정보를 담기 때문이다.

이득의 크기. \(\phi=0.8\), \(n=100\)에서 계산하면 GLS의 분산이 표본평균의 약 97%다. 3%밖에 줄지 않는다.

왜 이득이 작은가. 정상 과정에서 표본평균은 점근적으로 효율적이다. 그래스탠더의 결과로, 스펙트럼 밀도가 0에서 연속이고 양수이면 표본평균의 점근 효율이 1이다. 최적 가중의 이득이 \(O(1/n)\)에 그친다.

그렇다면 무엇을 고쳐야 하는가. 추정값이 아니라 표준오차다. 표본평균을 그대로 쓰되

처럼 자기상관을 반영한 분산을 써야 한다. \(\phi=0.8\)이면 9배이므로, 3% 효율 개선과 비교할 수 없이 중요하다.

예외 — 이득이 클 때.

• \(\phi\)가 1에 매우 가까울 때(단위근 근처). 그때는 평균 자체가 잘 정의되지 않으므로 차분을 취하는 것이 옳다.
• 음의 자기상관. \(\phi<0\)이면 오히려 표본평균의 분산이 독립일 때보다 작아진다.
• 결측이 불규칙할 때. 관측 간격이 들쭉날쭉하면 가중이 실질적인 차이를 만든다.

한 문장으로. 자기상관 자료에서 노력을 들일 곳은 추정량이 아니라 분산 추정이다. 뉴이-웨스트 같은 HAC 추정량이 실무의 표준인 이유다.