6장: 추정량을 만드는 법¶
개요¶
5장은 표본평균(sample mean)과 표본분산(sample variance)을 추정량으로 놓고 따져 보았다. 그런데 처음 보는 모형에서는 추정량을 스스로 지어내야 한다. 이 장은 그 방법 셋을 다룬다.
최대가능도는 관측된 자료를 가장 그럴듯하게 만드는 모수를 고른다. 적률법은 이론적 적률과 표본적률을 같다고 놓고 푼다. 베이즈는 모수에 사전분포(prior distribution)를 주고 자료로 갱신한다. 셋은 같은 답에 닿기도 하고 갈라지기도 하는데, 갈라지는 자리가 각 방법의 성격을 드러낸다. 다만 앞의 둘이 빈도주의의 두 길이라면 셋째는 다른 틀이라, 6.3 에는 ★ 를 붙여 두었다.
여기서 만든 추정량이 왜 좋은지는 7장이 이론으로 답한다.
1. 장의 구성¶
6.1 최대가능도추정¶
관측된 자료를 가장 그럴듯하게 만드는 모수를 고른다. 세 방법 가운데 가장 널리 쓰이며, 이 장의 절반을 차지한다.
- 가능도와 최대가능도추정 --- 가능도와 로그가능도를 정의하고, 점수방정식이 언제 성립하는지를 정리로 세운 뒤, 모수가 정수라 그 정리가 통하지 않는 포획–재포획 문제를 보기로 끝까지 푼다.
- 분포별 유도 --- 베르누이·정규·포아송·지수·기하에서 최대가능도추정량을 하나씩 구한다. 정규분포에서는 분산의 MLE 가 \(n-1\) 이 아니라 \(n\) 으로 나누어 편향된다는 것이 드러난다.
- 최대가능도를 수치로 구하기 --- 닫힌 해가 없을 때의 실제. 로그가능도를 짜고 벡터화하고 언더플로를 피하는 일부터, 격자·기울기·뉴턴–랩슨으로 봉우리를 찾는 일까지.
- 모형을 세우면 무엇을 버는가 --- 분포를 가정해 맞춘 적합과 관측 빈도를 그대로 쓴 경험분포를 남겨 둔 자료에서 견준다. 모형 하나가 상자 여럿을 덮으므로 꼬리 확률을 가운데 자료에서 빌려 와 이기는데, 모형이 틀린 정도가 언제 추월당하는지를 정한다. 추월하는 것은 모형 없음이 아니라 더 넓은 모형족이다.
6.2 적률법¶
이론적 적률과 표본적률을 같다고 놓고 푼다. 최대가능도보다 오래되고 계산이 간단하며, 분포를 다 쓰지 않고 적률 몇 개만 쓴다는 것이 장점이자 약점이다. 일반화 적률법(GMM)까지 다루고, 두 전략이 같은 답에 닿는 경우와 갈라지는 경우를 견준다.
6.3 베이즈 추정 ★¶
모수에 사전분포를 주고 자료로 갱신한다. 앞의 둘과 달리 모수를 확률변수로 다루는 것이 출발점이다. 켤레성의 정의에서 시작해 켤레 쌍 둘(정규–정규와 베타–이항)을 끝까지 따라가며 사전분포가 결과를 얼마나 끌어당기는지 보고, 마지막에 사후분포(posterior distribution)를 수 하나로 요약하는 최대사후확률 추정으로 닫는다.
이 절은 빈도주의 입문 과정의 범위를 넘는다. 건너뛰어도 7장 이후를 따라가는 데 지장이 없다. 뒤에서 이 틀을 쓰는 자리는 15.6 절의 베이즈 분산 검정과 18장 ★ 의 능형·라소에 대한 베이즈 해석이다.
연습문제 — 쪽마다 끝에 있다¶
세 전략으로 같은 모수를 추정해 견주기, 분포별 MLE 유도, 적률법과 MLE 의 트레이드오프(trade-off), 베이즈 축소추정량을 다루는 문항들이 각 쪽 끝에 있다.
2. 선수 지식¶
이 장은 다음 내용을 바탕으로 한다.
- 3장 (확률의 기초) --- 확률변수, 기댓값, 분산, 적률생성함수.
- 4장 (분포) --- 정규분포·베르누이분포·포아송분포(Poisson distribution)·지수분포(exponential distribution)의 성질.
- 5장 (추정량과 표집분포(sampling distribution)) --- 확률변수로서의 통계량 개념과 반복추출에 걸친 표본평균 및 표본분산의 거동.
3. 핵심 요약¶
- 추정량을 만드는 전략은 셋이다. 최대가능도는 자료를 가장 그럴듯하게 만드는 모수를 고르고, 적률법은 적률을 맞추며, 베이즈는 사전분포를 자료로 갱신한다. 셋이 같은 답에 닿기도 하고 갈라지기도 한다.
- 최대가능도추정(maximum likelihood estimation)은 모수적 추론의 주력 도구이며, 불변성(모수를 변환해도 추정량이 따라 변환된다)이 적률법에는 없는 성질이다. 정칙 조건 아래의 일치성·점근정규성·점근 효율성은 7장 ★이 증명한다.
- 적률법은 모집단 적률과 표본 적률을 맞추어 닫힌 형태의 추정량을 주는 더 간단한 대안이지만, 일반적으로 MLE보다 효율이 낮다.
- (★) 베이즈 추정은 베이즈 정리(Bayes' theorem)를 통해 사전 지식을 반영한다. 켤레 사전분포는 다루기 쉬운 사후분포를 주며, MAP 추정은 베이즈 접근과 빈도주의 접근을 잇는다.
- 이 장은 추정량을 만드는 데까지다. 만든 것이 얼마나 좋은지 — 피셔 정보량과 크라메르–라오 하한, 충분성과 완비성, 라오–블랙웰과 레만–셰페 — 는 7장 ★의 몫이다. 이 장에서는 그 이름들이 포아송 쪽의 풀이 하나에만 스친다.