최대가능도추정 소개¶

(a) \(\hat\mu_{\text{ann}} = 252 \cdot 0.0004 = 0.1008\) (10.08%). \(\hat\sigma_{\text{ann}} = 0.015 \sqrt{252} \approx 0.2381\) (23.81%).

(b) \(\mathrm{SE}(\hat\mu) = s/\sqrt n = 0.015/\sqrt{252} \approx 0.000945\). \(\mathrm{SE}(\hat\mu_{\text{ann}}) = 252 \cdot 0.000945 \approx 0.238\). 95% 신뢰구간: \((-0.366, 0.568)\).

\(\sigma\)에 대해서는 점근 표준오차가 \(\sigma/\sqrt{2n}\)이므로 \(\mathrm{SE}(\hat\sigma_{\text{ann}}) \approx 0.0106\)이다. 95% 신뢰구간: \((0.217, 0.259)\).

(c) \(\hat\mu_{\text{ann}}\)의 표준오차 ≈ 0.238로 점추정값 0.101보다 크다. 신뢰구간이 \(-37\%\)에서 \(+57\%\)까지 걸쳐 있다. 변동성의 신뢰구간은 (24% 주위로 대략 ±2%포인트로) 좁다. 1년 시계에서 추세는 절망적으로 불안정하지만 변동성은 잘 추정된다. 미래 수익률을 예측하는 데 과거 표본평균에 의존하는 것은 금융에서 고전적인 함정이다.

로그가능도: \(\ell(\mu, \sigma^2) = -(n/2)\ln(2\pi\sigma^2) - (1/(2\sigma^2))\sum(X_i - \mu)^2\).

\(\partial\ell/\partial\mu = 0 \Rightarrow \hat\mu = \bar X\).

\(\partial\ell/\partial\sigma^2 = -n/(2\sigma^2) + \sum(X_i - \mu)^2/(2\sigma^4) = 0 \Rightarrow \hat\sigma^2_{\text{MLE}} = (1/n)\sum(X_i - \bar X)^2\).

MLE가 \(n - 1\)이 아니라 \(n\)으로 나눔에 유의하라. 편향되어 있다(\(\mathbb{E}[\hat\sigma^2] = (n-1)\sigma^2/n\)). 불편추정을 하려면 Bessel 수정을 사용한다.

가능도: \(L(p) = \binom{n}{X} p^X (1-p)^{n-X} \propto p^X(1-p)^{n-X}\).

로그가능도: \(\ell(p) = X\ln p + (n-X)\ln(1-p)\).

\(\ell'(p) = X/p - (n-X)/(1-p) = 0\).

\(X(1-p) = (n-X)p \Rightarrow X = np \Rightarrow \hat p = X/n\).

MLE는 표본비율이다. 불편이다: \(\mathbb{E}[\hat p] = p\).

확률: \(P(X = x \mid \theta)\) — \(\theta\)를 고정한 \(x\)의 함수이다. \(x\)에 대해 합하거나 적분하면 1이 된다.

가능도: \(L(\theta) = P(X = x \mid \theta)\) — 수식은 같지만 관측되어 고정된 \(x\)에 대해 \(\theta\)의 함수로 본 것이다. \(\theta\)에 대해 적분해도 1이 되지 않는다.

왜 \(\theta\)에 대한 밀도가 아닌가: 빈도주의 통계학에서 \(\theta\)는 확률변수가 아니라 모수이다. 가능도는 \(\theta\) 값들을 자료를 얼마나 잘 설명하는지로 순위 매길 뿐, 그것이 얼마나 확률적으로 있음 직한지로 매기지 않는다. MLE는 가능도를 최대화하는 \(\theta\)를 고르지만 이것이 "가장 확률이 높은 모수"인 것은 아니다.

베이즈 추론에서는 \(\theta\)가 확률변수가 되고 사후분포 \(\pi(\theta \mid x) \propto L(\theta) \pi(\theta)\)를 계산하는데, 이것은 \(\theta\)에 대한 밀도가 맞다. 가능도 자체는 그대로이고 달라지는 것은 틀이다.

MLE의 점근정규성:

여기서 \(I(\theta) = -\mathbb{E}[\partial^2 \log f/\partial\theta^2]\)는 관측값 하나당 Fisher 정보량이다.

베르누이에서의 확인: \(\log f = x\log p + (1-x)\log(1-p)\). 2계도함수는 \(-x/p^2 - (1-x)/(1-p)^2\)이다. 기댓값을 취하면 \(-p/p^2 - (1-p)/(1-p)^2 = -1/p - 1/(1-p) = -1/[p(1-p)]\).

따라서 \(I(p) = 1/[p(1-p)]\)이고 \(\mathrm{Var}(\hat p) = p(1-p)/n\)이다. 표본비율에 대한 중심극한정리와 곧바로 일치한다.

함의: MLE는 점근적으로 Cramér-Rao 하한을 달성하며 점근적으로 효율적이다. 어떤 불편추정량도 이보다 작은 점근분산을 가질 수 없다.

(a) MLE가 존재하지 않는 경우: \(X \sim \mathrm{Uniform}(0, \theta)\)에서 가능도는 \(\theta \ge \max X_i\)일 때 \(1/\theta^n\)이고 그 아래에서는 0이다. \(\theta \to \infty\)이면 \(L \to 0\)이고, \(\theta \to \max X_i\)이면 \(L \to (1/\max X_i)^n\)으로 상한에 이르지만 그 지점이 경계이다. 엄밀히 말해 내부에 최댓값이 없으며, MLE는 경계값 \(\hat\theta = \max X_i\)이다.

(b) MLE가 경계에 있는 경우: 위의 균등분포 예이다. 경계에 있는 MLE는 비표준 점근분포를 가지며(\(N(0, 1/I)\)가 아니다) 수렴 속도가 \(\sqrt n\)이 아니라 \(n\)이다.

(c) MLE가 일치하지 않는 경우: Neyman-Scott 문제이다. \(i = 1, \ldots, n\), \(j = 1, 2\)에 대해 관측값이 \(X_{ij} \sim N(\mu_i, \sigma^2)\)이다. 모수의 개수(\(\mu_i\)들 + \(\sigma^2\))가 표본크기와 함께 늘어난다. \(\hat\sigma^2_{\text{MLE}} \to \sigma^2/2\)로 \(\sigma^2\)이 아니다. 모수공간의 차원이 \(n\)에 비례해 커지므로 일치하지 않는다.

이런 실패 양상들이 편향 보정 MLE, 벌점 가능도, 프로파일 가능도, (베이즈의) 주변가능도 같은 개선을 이끌어 냈다.

일대일인 경우. \(\eta = g(\theta)\)로 모수화를 바꾸면 가능도가 \(L^*(\eta) = L(g^{-1}(\eta))\)이므로, \(L\)이 \(\hat\theta\)에서 최대이면 \(L^*\)는 \(g(\hat\theta)\)에서 최대다. 따라서

일대일이 아닌 경우. \(g\)가 예를 들어 \(\theta^2\)처럼 여러 \(\theta\)를 같은 \(\eta\)로 보내면 \(L^*\)를 그대로 정의할 수 없다. 유도가능도로 확장한다.

이렇게 두면 \(L^*\)를 최대로 하는 \(\eta\)가 여전히 \(g(\hat\theta)\)이므로 불변성이 유지된다.

왜 유용한가.

• 다시 최적화할 필요가 없다. \(\lambda\)의 MLE를 구했으면 평균 \(1/\lambda\), 중앙값 \(\ln2/\lambda\), 생존확률 \(e^{-\lambda t}\)의 MLE가 모두 대입만으로 나온다.
• 모수화를 자유롭게 고를 수 있다. 수치 최적화를 하기 좋은 척도(경계가 없는 척도)에서 풀고 원하는 척도로 되돌려도 답이 같다. \(\sigma\) 대신 \(\ln\sigma\), \(p\) 대신 로짓을 쓰는 것이 표준적인 관행인 이유다.
• 보고 단위를 바꿔도 결론이 같다. 위험비로 보고하든 로그위험비로 보고하든 추정값이 일관된다.

다만 불편성은 물려받지 못한다. 앞서 본 대로 \(E[g(\hat\theta)] \ne g(E[\hat\theta])\)이며, 표준오차도 단순히 변환되지 않아 델타 방법이 필요하다.

점수함수 \(U(\boldsymbol\theta) = \partial\ell/\partial\boldsymbol\theta\)를 0으로 만드는 것이 목표다. \(\hat{\boldsymbol\theta}\) 근처에서 테일러 전개하면 갱신식이 나온다.

뉴턴-랩슨. 관측정보량(헤시안의 음수)을 쓴다.

피셔 점수법. 관측정보량을 그 기대값인 피셔 정보량으로 바꾼다.

비교.

피셔 점수법이 더 안정적인 이유는 \(I(\boldsymbol\theta) = E[-\partial^2\ell/\partial\boldsymbol\theta^2]\)가 언제나 양반정부호여서 갱신 방향이 반드시 오르막이기 때문이다. 관측 헤시안은 봉우리에서 멀 때 음정부호가 아닐 수 있어 엉뚱한 방향으로 뛴다.

실무. 일반화선형모형에서 피셔 점수법을 정리하면 반복 가중최소제곱(IRLS) 이 된다. 각 단계가 가중최소제곱 문제라 기존 선형대수 코드를 그대로 쓸 수 있고, 이것이 GLM 소프트웨어의 표준 구현이다.

표준오차에는 어느 정보량을 쓸까. 관측정보량 \(-\ell''(\hat\theta)\)을 쓰는 것이 일반적으로 권장된다. 자료가 실제로 담고 있는 곡률을 반영하고, 모형이 조금 틀렸을 때도 더 나은 근사를 준다.

관측자료를 \(\mathbf{y}\), 결측(또는 잠재)자료를 \(\mathbf{z}\)라 하자. 완전자료 로그가능도 \(\ell_c(\boldsymbol\theta;\mathbf{y},\mathbf{z})\)는 다루기 쉬운데 관측자료 가능도

는 적분 때문에 다루기 어렵다.

E 단계. 현재 추정값 \(\boldsymbol\theta^{(k)}\) 아래에서 완전자료 로그가능도의 조건부 기대값을 구한다.

M 단계. \(Q\)를 최대로 하는 \(\boldsymbol\theta^{(k+1)}\)을 구한다.

왜 가능도가 줄지 않는가. 다음 분해가 열쇠다.

젠슨 부등식(또는 KL 발산의 비음수성)에서 모든 \(\boldsymbol\theta\)에 대해

이다. M 단계가 \(Q(\boldsymbol\theta^{(k+1)}) \ge Q(\boldsymbol\theta^{(k)})\)를 보장하므로

이다. \(\square\)

성질. 단조증가가 보장되어 대단히 안정적이지만 수렴이 일차라 뉴턴법보다 느리다. 또 전역 최대를 보장하지 않으므로(정규혼합처럼 봉우리가 여럿인 경우) 여러 초기값에서 돌려 봐야 한다. 표준오차를 곧바로 주지 않는다는 점도 단점이라, 별도의 정보량 계산이나 부트스트랩이 필요하다.

쓰임. 혼합모형, 은닉 마르코프 모형, 결측자료, 요인분석, 중도절단 자료, \(t\) 잡음 회귀가 모두 EM으로 적합된다.

문제. 모형 A가 모형 B에 내포되면 \(\ell_A \ge \ell_B\)가 언제나 성립한다. 더 넓은 모수공간에서 최대화하기 때문이다. 따라서 최대 로그가능도만 비교하면 언제나 가장 복잡한 모형이 이긴다.

AIC. 아카이케는 모수 개수 \(p\)로 벌점을 준다.

작을수록 좋다. 벌점 \(2p\)의 근거는 이렇다. 같은 자료로 적합하고 평가하면 로그가능도가 낙관적으로 나오는데, 그 낙관의 크기(기대 과적합량)가 근사적으로 \(p\)이고, \(-2\)배를 하면 \(2p\)가 된다.

AIC가 겨냥하는 것은 미래 자료에 대한 예측 성능, 정확히는 참 분포와 적합된 모형 사이의 쿨백-라이블러 발산이다.

BIC.

\(n \ge 8\)이면 \(\ln n > 2\)이므로 AIC보다 강하게 벌점하고, 더 단순한 모형을 고른다. 근거도 다르다. BIC는 베이즈 주변가능도의 근사이며 참 모형을 찾는 것을 겨냥한다.

비교.

실무. 예측이 목적이면 AIC, 설명이나 변수 선택이 목적이면 BIC가 흔히 권장된다. 다만 어느 쪽도 만능이 아니며, 예측이 진짜 목적이라면 교차검증이 더 직접적이다. 실제로 일탈 하나 빼기 교차검증이 AIC와 점근적으로 동등하다는 결과가 있다.

주의할 점. AIC나 BIC 값은 같은 자료, 같은 반응변수에 적합한 모형끼리만 비교할 수 있다. 반응변수를 변환하면(\(y\) 대 \(\ln y\)) 가능도의 척도가 달라져 비교가 무의미해진다. 야코비안을 보정하면 비교할 수 있지만 흔히 놓치는 함정이다.