콘텐츠로 이동

7장: 추정의 이론 ★

★ 이 장에 대하여

이 장은 입문 과정의 범위를 넘는다. 5장과 6장이 추정량을 고르고 짓는 법을 다루었다면, 이 장은 그 추정량이 왜 좋은지를 증명한다. 건너뛰어도 8장 이후를 따라가는 데 지장이 없다.

개요

5장에서 표본평균(sample mean)이 불편이라는 것을, 6장에서 최대가능도추정량을 구하는 법을 보았다. 남은 물음은 왜 그것들이 좋은가이다.

자료를 늘리면 참값에 닿는가(일치성), 닿는 속도와 모양은 어떠한가(점근정규성), 더 잘할 수는 없는가(크라메르–라오 하한), 자료를 얼마나 버려도 되는가(충분성). 네 물음에 대한 답이 이 장의 내용이며, 최대가능도추정량이 이 척도들에서 어떻게 평가되는지가 그 중심이다.


1. 장의 구성

7.1 추정량의 이론적 성질

좋은 추정량의 조건을 네 가지로 가른다.

  • 일치성과 점근정규성 --- 자료를 늘리면 참값에 닿는가. 닿는다면 어떤 모양으로 닿는가. 일치성은 추정량이 갖추어야 할 최소 요건이고, 점근정규성은 대표본 신뢰구간과 검정을 가능하게 하는 근거다.
  • 효율성과 Cramér–Rao 하한 --- 불편추정량(unbiased estimator)의 분산이 얼마나 작아질 수 있는지에 바닥이 있다. 그 바닥이 피셔 정보량의 역수이며, 바닥에 닿는 추정량을 효율적이라 부른다.
  • 충분성과 최소충분성 --- 자료를 얼마나 버려도 되는가. 피셔–네이만 인수분해 정리가 그 기준을 주고, 라오–블랙웰 정리가 충분통계량으로 추정량을 개선하는 길을 연다.
  • 충분성과 완비성 --- 충분하면서 완비이기까지 하면 불편추정량 가운데 최선이 하나로 정해진다(레만–셰페 정리). 「최선」이라는 말이 비로소 유일해지는 자리다.

7.2 최대가능도의 점근 이론

앞 절의 척도를 최대가능도추정량에 들이댄다.

  • 최대가능도의 점근적 성질 --- 정칙 조건 아래에서 MLE 가 일치하고 점근적으로 정규이며 점근적으로 효율적임을 본다. 6장에서 분포마다 따로 확인한 성질들이 왜 일반적으로 성립하는지에 대한 답이다.
  • 피셔 정보량과 표준오차 --- 점수함수의 분산이자 로그가능도의 곡률인 피셔 정보량을 정의하고, 그것을 실제 표준오차로 바꾸는 법을 다룬다. 봉우리가 뾰족할수록 정보가 많다는 직관이 식으로 적힌다.

연습문제 — 쪽마다 끝에 있다

정칙 조건이 깨지는 반례 만들기, CRLB 달성 여부 확인, 충분통계량 찾기, 관측정보량과 기대정보량의 차이를 다루는 문항들이 각 쪽 끝에 있다.


2. 선수 지식

이 장은 앞의 두 장 위에 선다.

  • 5장 (추정량과 표집분포(sampling distribution)) --- \(\bar X\) 와 \(S^2\) 의 표집분포, 편향·분산·평균제곱오차(mean squared error).
  • 6장 (추정량을 만드는 법) --- 가능도와 로그가능도, 점수방정식, 분포별 최대가능도추정량.
  • 3장 (확률의 기초) --- 확률수렴과 분포수렴, 큰수의 법칙과 중심극한정리(central limit theorem).

3. 핵심 요약

  1. 일치성은 최소 요건이다. \(n \to \infty\) 에서 참값으로 확률수렴하지 않는 추정량은 쓸 수 없다.
  2. 크라메르–라오 하한은 불편추정량 분산의 바닥이며 \(1/[nI(\theta)]\) 다. 정보량이 많을수록 바닥이 낮다.
  3. 편향된 추정량은 그 바닥을 밑돌 수 있다. 하한이 불편추정량에 대한 진술이기 때문이며, 정규분포 분산의 MLE 가 그 예다.
  4. 충분통계량은 모수에 관한 정보를 잃지 않고 자료를 압축한다. 완비성까지 더해지면 불편추정량 중 최선이 유일하게 정해진다.
  5. 최대가능도추정량은 점근적으로 효율적이다. 유한표본에서 편향될 수 있으나 표본이 커지면 바닥에 닿는다. 이것이 최대가능도를 기본 전략으로 삼는 이론적 근거다.
  6. 이 장의 결과는 모두 정칙 조건 위에 선다. 받침이 모수에 의존하거나 모수가 경계에 있으면 깨지며, 균등분포와 혼합모형이 그 대표적인 반례다.