표본평균의 편향과 일치성¶

들어가며¶

어떤 추정량에 대해서든 근본적인 질문 두 가지는 다음과 같다: (1) 참 모수를 체계적으로 과대 또는 과소추정하는가? (편향) (2) 표본크기가 커질 때 참값으로 수렴하는가? (일치성) 표본평균 \(\bar{X}\)에 대한 답은 안심할 만큼 단순하다 — 매우 온건한 조건 아래에서 불편이고 일치한다 — 그러나 그 정확한 진술과 함의는 꼼꼼히 살펴볼 가치가 있다.

표본평균의 편향¶

불편성¶

표본평균 \(\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i\)은 \(\mu = E[X]\)에 대해 불편이다:

유한표본 편향이 0이다¶

(분산의 MLE 같은) 많은 추정량과 달리, 표본평균은 모든 유한 표본크기에서 편향이 정확히 0이다. 이는 강한 성질이다 — 대부분의 추정량은 유한표본에서 편향이 0이 아니고 점근적으로만 불편이다.

편향된 대안과의 비교¶

모평균의 추정량 중에는 의도적으로 편향된 것도 있다:

편향–분산 맞바꿈에서 논의했듯이, 특히 \(|\mu|\)가 \(\sigma/\sqrt{n}\)에 비해 작을 때 편향추정량이 더 작은 평균제곱오차를 가질 수 있다.

일치성¶

확률수렴 의미의 일치성¶

표본평균은 \(\mu\)에 대해 일치한다:

즉, 임의의 \(\epsilon > 0\)에 대해

Chebyshev 부등식을 통한 증명¶

\(\bar{X}\)의 알려진 분산과 함께 Chebyshev 부등식을 쓰면:

여기에는 \(\sigma^2 < \infty\)(유한한 분산)만 필요하다.

약대수의법칙(WLLN)을 통한 증명¶

\(\bar{X}\)의 일치성은 바로 약대수의법칙의 진술이다: \(X_1, X_2, \ldots\)가 i.i.d.이고 \(E[X_i] = \mu\), \(\text{Var}(X_i) = \sigma^2 < \infty\)이면,

Khintchine의 WLLN은 조건을 약화한다: \(E[|X|] < \infty\)만 있으면 된다(분산이 유한할 필요가 없다).

거의 확실한 수렴 (강일치성)¶

같은 조건 아래에서 강대수의법칙(SLLN)은 더 강한 결과를 준다:

즉 \(\bar{X}_n \to \mu\)가 확률수렴을 넘어 거의 확실하게 성립한다.

수렴 속도¶

\(\bar{X}_n\)은 얼마나 빨리 \(\mu\)로 수렴하는가?

평균제곱오차의 수렴 속도:

표준오차의 수렴 속도:

이 \(O(1/\sqrt{n})\) 속도는 근본적이다 — 다음을 뜻한다:

• 정확도를 두 배로 하려면 자료가 4배 필요하다
• 정확도를 10배로 하려면 자료가 100배 필요하다
• 추가 가정 없이는 (일반적으로) 이 속도를 개선할 수 없다

이 절의 두 주장 — 중심은 모든 \(n\) 에서 \(\mu\) 에 정확히 놓이고, 폭만 \(n\) 을 따라 줄어든다 — 을 한 그림에 나란히 놓으면 둘이 서로 다른 이야기라는 것이 분명해진다.

왼쪽은 평균이 1인 지수분포 \(\text{Exp}(1)\) 에서 크기 \(n\) 인 표본을 20만 번 뽑아 \(\bar{X}\) 의 표본분포를 그린 것이다. 모집단이 오른쪽으로 심하게 치우쳐 있으므로 \(n = 2\) 일 때 \(\bar{X}\) 의 분포도 치우쳐 있다 — 봉우리는 \(0.6\) 근처에 있고 절반이 넘는 표본에서 \(\bar{X} < 1\) 이 나온다. 그런데도 20만 번의 평균은 \(1.0018\) 이다. \(n = 10\) 에서는 \(0.9998\), \(n = 50\) 에서는 \(0.9999\) 이다. 모양이 어떻게 생겼든 무게중심은 붉은 선 위에 있다는 것이 \(E[\bar{X}] = \mu\) 가 말하는 전부이다. 정규성도, 큰 \(n\) 도, 대칭성도 쓰이지 않았다.

동시에 이 그림은 불편성이 무엇을 보장하지 않는지도 보여 준다. \(n = 2\) 의 주황색 곡선에서 한 번 뽑은 \(\bar{X}\) 는 \(0.3\) 일 수도 \(2.5\) 일 수도 있다. 편향이 0이라는 말은 여러 번 반복했을 때의 평균에 대한 것이지 이번 한 번에 대한 것이 아니다. 이번 한 번을 통제하는 것은 오른쪽 그림의 폭이다.

오른쪽은 \(\sigma = 1\) 일 때의 표준오차 \(\sigma/\sqrt{n}\) 이다. \(n = 25\) 에서 \(0.20\), \(n = 100\) 에서 \(0.10\), \(n = 400\) 에서 \(0.05\) — 표준오차를 절반으로 줄일 때마다 자료가 네 배씩 든다. 곡선이 빠르게 평평해진다는 점에 주목하라. 25에서 100으로 갈 때는 관측값 75개를 더 써서 \(0.10\) 을 벌지만, 100에서 400으로 갈 때는 관측값 300개를 더 쓰고도 \(0.05\) 밖에 못 번다. 일치성은 "언젠가 도착한다"고만 말할 뿐, 도착에 드는 비용이 갈수록 비싸진다는 사실은 이 곡선의 모양에 들어 있다. 뒤에 나오는 30년치 월별 수익률(\(n = 360\))에서 표준오차가 여전히 \(\sigma_{\text{월별}}/19\) 에 머무는 것도 같은 이유다.

평균제곱오차 일치성¶

\(\text{MSE}(\hat{\theta}_n) \to 0\)이면 추정량이 평균제곱오차 일치라고 한다. \(\bar{X}\)에 대해서는:

평균제곱오차 일치성은 (Markov 부등식에 의해) 확률수렴 의미의 일치성을 함의한다.

일치성의 조건¶

X-bar가 일치하는 경우¶

표본평균은 i.i.d. 가정을 여러 방식으로 완화해도 일치한다:

1. 독립이지만 동일 분포가 아닌 경우: 모든 \(i\)에 대해 \(E[X_i] = \mu\)이고 \(\frac{1}{n^2}\sum_{i=1}^n \text{Var}(X_i) \to 0\)이면 \(\bar{X}_n \xrightarrow{p} \mu\)이다.

2. 종속 관측값: 정상 에르고딕 과정에서는 에르고딕 정리에 의해 \(\bar{X}_n \to \mu\)가 거의 확실하게 성립한다.

3. 약종속 시계열: 자기상관이 충분히 빨리 감쇠하면(예: \(\sum_{k=0}^\infty |\rho_k| < \infty\)) \(\bar{X}_n\)은 일치한다.

X-bar가 일치하지 않는 경우¶

1. 무한한 분산 (예: 자유도 2인 스튜던트-t): \(\text{Var}(X)\)가 존재하지 않더라도 \(E[|X|] < \infty\)이면 (Khintchine의 WLLN에 의해) \(\bar{X}_n\)은 여전히 일치한다.

2. 무한한 평균 (예: Cauchy): \(E[X]\)가 존재하지 않으므로 \(\bar{X}\)가 수렴할 \(\mu\) 자체가 없다. 표본평균은 심하게 요동치며 수렴하지 않는다.

3. 비정상 자료: 평균이 시간에 따라 변하면 \(\bar{X}\)는 변하는 평균들의 평균으로 수렴할 뿐, 어떤 하나의 "참"값으로 수렴하지 않는다.

점근분포¶

일치성을 넘어, 중심극한정리는 점근분포를 준다:

이로부터 신뢰구간과 가설검정을 구성할 수 있다:

금융과의 연결¶

평균의 편향과 일치성을 이해하는 것은 금융에서 결정적이다:

• 수익률 추정: \(\bar{X}\)가 일치하기는 하지만 수렴 속도 \(O(1/\sqrt{n})\)은 실제 수익률 예측에 쓰기에는 너무 느리다. 30년치 월별 자료(\(n = 360\))에서도 \(\text{SE} \approx \sigma_{\text{월별}} / 19\)로 여전히 상당하다.

• 정상성에 대한 우려: 금융 수익률 분포는 시간에 따라 변하므로(국면 전환, 구조적 단절) 정상성 가정이 깨진다. 과거 수익률의 표본평균이 현재의 기대수익률을 추정하지 못할 수 있다.

• 평균회귀 검정: 자산가격이 평균회귀하는지 검정하려면 여러 종속 구조 아래에서 \(\bar{X}\)의 수렴 성질에 세심한 주의가 필요하다.

• 고빈도 추정: 고빈도 자료에서는 미시구조 잡음이 편향을 만든다. 틱 단위 가격의 "실현" 평균은 매수–매도 호가 튐 효과로 편향된다.

요약¶

표본평균은 매우 온건한 조건 아래에서 불편이고(모든 \(n\)에서 편향이 0) 일치한다(\(n \to \infty\)일 때 \(\mu\)로 수렴). 수렴 속도는 \(O(1/\sqrt{n})\)으로, 최적이지만 실무적으로는 느리다. 거의 확실한 수렴(SLLN)은 확률수렴(WLLN)보다 강한 보장을 준다. 이런 성질 덕분에 \(\bar{X}\)가 모평균의 기본 추정량이 되지만, 느린 수렴 속도와 분포 가정에 대한 민감성은 특히 금융 응용에서 반드시 인식해야 한다.

핵심 공식¶

연습문제¶

running = np.cumsum(x) / np.arange(1, len(x) + 1)
plt.plot(running)
plt.axhline(x.mean(), ls="--")

정리하며¶

표본평균은 모든 \(n\) 에서 정확히 불편이며 온건한 조건에서 일치한다.

• 유한표본 편향이 정확히 0 이다. 이것은 강한 성질이다. 대부분의 추정량은 점근적으로만 불편하며, 정규분포의 \(\hat\sigma^2\) 이 그 대표적인 반례다.
• 일치성은 큰수의 법칙에서 나온다. \(\mathbb{E}|X|<\infty\) 이기만 하면 되고 분산은 필요 없다. 3장에서 본 파레토 \(\alpha=1.5\) 가 그런 경우다 — 분산이 무한해도 \(\bar X_n\to\mu\) 가 성립한다.
• 다만 속도가 달라진다. 분산이 유한하면 \(n^{-1/2}\), \(1<\alpha<2\) 인 파레토에서는 \(n^{1/\alpha-1}\) 로 느려진다. 일치성은 "간다"만 말하고 "얼마나 빨리"는 말하지 않는다.
• 평균이 없으면 전부 무너진다. 코시분포에서는 \(\bar X_n\) 이 아무 데도 수렴하지 않으며, 이 장 마지막 절에서 다시 다룬다.
• 불편성이 만능은 아니다. 두꺼운 꼬리에서는 불편추정량이 세 번 중 두 번 한쪽으로 틀릴 수 있다(3장 참조). 평균의 평균은 맞지만 전형적인 한 번은 그렇지 않다.

다음 절 표본평균의 효율성으로 넘어간다. 불편이라는 조건 아래에서 분산을 얼마나 줄일 수 있는지를 묻는다.