μ와 σ²의 MLE¶

로그가능도: \(\ell(\mu, \sigma^2) = -(n/2)\ln(2\pi\sigma^2) - (1/(2\sigma^2))\sum(x_i - \mu)^2\).

\(\partial\ell/\partial\mu = (1/\sigma^2)\sum(x_i - \mu) = 0 \Rightarrow \hat\mu = \bar X\).

\(\partial\ell/\partial\sigma^2 = -n/(2\sigma^2) + (1/(2\sigma^4))\sum(x_i - \mu)^2 = 0\)이고, \(\hat\mu\)을 대입하면 \(\hat\sigma^2_{\text{MLE}} = (1/n)\sum(x_i - \bar X)^2\)을 얻는다.

Hessian: MLE에서 \(\partial^2\ell/\partial\mu^2 = -n/\sigma^2 < 0\), \(\partial^2\ell/\partial(\sigma^2)^2 = -n/(2\sigma^4) < 0\)이고, 혼합편도함수는 기댓값이 0이다. 음정부호이므로 최댓값임이 확인된다.

\(I_{\mu\mu} = n/\sigma^2\), \(I_{\sigma^2 \sigma^2} = n/(2\sigma^4)\), \(I_{\mu \sigma^2} = \mathbb{E}[-(X-\mu)/\sigma^4] = 0\).

Fisher 정보행렬이 대각이다: \(\mu\)와 \(\sigma^2\)은 직교 모수이다. 하나를 추정하는 것이 다른 하나를 추정하는 점근분산에 영향을 주지 않는다.

\(\mathrm{Var}(\bar X) = \sigma^2/n = 1/I_{\mu\mu}\) — \(\bar X\)는 점근적으로만이 아니라 임의의 \(n\)에서 CRLB를 정확히 달성한다. \(\mu\)의 MLE는 완전히 효율적이다.

\(\sigma^2\)의 경우: \(\mathrm{Var}(\hat\sigma^2_{\text{MLE}}) = 2(n-1)\sigma^4/n^2\), CRLB \(= 2\sigma^4/n\). CRLB보다 약간 위이며 점근적으로 효율적이다.

MLE 불변성에 의해 \(\widehat{g(\theta)} = g(\hat\theta_{\text{MLE}})\):

(a) \(\hat\sigma = \sqrt{\hat\sigma^2_{\text{MLE}}}\).

(b) \(\widehat{\mathrm{CV}} = \hat\sigma/\bar X\).

(c) \(\widehat{q_{0.99}} = \bar X + 2.326 \hat\sigma\).

주의: 불변성은 MLE 점추정값은 보존하지만 불편성은 보존하지 않는다. \(\hat\sigma\)은 편향되어 있으며(오목함수 \(\sqrt{\cdot}\)에 대한 Jensen 부등식), \(c_4\) 상수로 편향을 보정할 수 있다.

\(\mu = 0\)이면 \(\hat\sigma^2_0 = (1/n) \sum X_i^2\)이다. \(\mathbb{E}[\hat\sigma^2_0] = (1/n) \cdot n\sigma^2 = \sigma^2\) — 불편이다(\(\mu\)를 추정한 것이 아니라 알고 있으므로 Bessel 수정이 필요 없다).

\(n\hat\sigma^2_0/\sigma^2 \sim \chi^2_n\)이므로 \(\mathrm{Var}(\hat\sigma^2_0) = 2\sigma^4/n\)이다.

제약 없는 경우: \(\mathrm{Var}(\hat\sigma^2_{\text{MLE}}) = 2\sigma^4(n-1)/n^2\).

제약 있는 추정량은 (자유도가 하나 더 많아) 분산이 약간 크지만 불편이다. \(\mu\)를 추정하는 "대가"는 자유도 \(-1\)이다.

(a) \(\mathrm{VaR}_{0.99}^{\text{1일}} = -(\hat\mu + z_{0.01} \hat\sigma) = -(0.0003 - 2.326 \cdot 0.012) = 0.0276\) (2.76% 손실).

(b) \(\mathrm{VaR}_{0.99}^{\text{10일}} = \sqrt{10} \cdot 0.0276 \approx 0.0873\) (8.73%). i.i.d.이고 추세가 0이라는 가정 아래에서 유효하다.

(c) 두꺼운 꼬리(초과첨도 3 > 0)는 참 99번째 백분위수 손실이 정규 예측보다 크다는 뜻이다. 정규 VaR는 실제 위험을 과소평가한다. 보수적인 실무: 위험관리에는 \(t\)-분포 기반 VaR나 경험적 분위수를 쓰라.

import numpy as np
rng = np.random.default_rng(0)
R, n, mu, var = 10_000, 20, 5.0, 9.0
samples = rng.normal(mu, np.sqrt(var), (R, n))
mu_hat = samples.mean(axis=1)
sig2_mle = samples.var(axis=1, ddof=0)
s2 = samples.var(axis=1, ddof=1)
print(f"E[mu_hat]   = {mu_hat.mean():.4f}   (true {mu})")
print(f"E[sig2_MLE] = {sig2_mle.mean():.4f} (true {(n-1)/n*var:.4f})")
print(f"E[S^2]      = {s2.mean():.4f}       (true {var})")

출력:

E[mu_hat]   = 5.0004   (true 5.0)
E[sig2_MLE] = 8.5701 (true 8.5500)
E[S^2]      = 9.0212       (true 9.0)

예상 결과:

• \(\mathbb{E}[\bar X] \approx 5.00\) (불편).
• \(\mathbb{E}[\hat\sigma^2_{\text{MLE}}] \approx 8.55 = (19/20) \cdot 9\) (\(\sigma^2/n\)만큼 아래로 편향).
• \(\mathbb{E}[S^2] \approx 9.00\) (Bessel 수정, 불편).

이론적 결과가 확인되며 분산에 대한 MLE의 편향이 드러난다.

정규 기준. 손실이 표준화되어 있다고 하면

\(t_5\)(분산을 1로 표준화).

비교.

ES가 훨씬 민감하다. VaR는 분위수 하나만 보므로 꼬리의 모양을 반영하지 못하지만, ES는 그 너머 전체의 평균이라 두꺼운 꼬리를 온전히 담는다.

더 극단적인 신뢰수준에서. 99.9%로 가면 차이가 더 벌어진다. \(t_5\)의 꼬리가 거듭제곱으로 줄고 정규는 초지수적으로 줄기 때문에, 신뢰수준이 높을수록 격차가 커진다.

실무적 함의.

• 정규 VaR는 꼬리 위험을 체계적으로 과소평가한다. 자본 규제의 기준으로 쓰면 위험하다.
• 2016년 바젤 규제가 VaR에서 ES로 옮긴 이유 중 하나가 이것이다. 다만 ES가 꼬리 가정에 더 민감하다는 점은 양날의 칼이다. 모형이 틀리면 오차도 더 크다.
• 대안: 경험적 분위수, \(t\) 분포 적합, 극단값 이론(임계값 초과분에 일반화파레토 적합).

덧붙임. VaR는 부분가법성을 만족하지 않아 "포트폴리오를 나누면 위험이 줄어드는 것처럼" 보일 수 있다. ES는 정합적 위험측도라 이 문제가 없다. 꼬리 민감도와 정합성 모두에서 ES가 이론적으로 우월하며, 추정 어려움이 그 대가다.

성립 조건. \(h\)기간 수익률이 \(r^{(h)} = \sum_{t=1}^h r_t\)이므로

이다. 따라서 수익률이 무상관이고 분산이 일정해야 \(h\sigma_1^2\)이 되고 제곱근 규칙이 성립한다.

자기상관이 있으면. 등상관이 아니라 AR(1) 구조 \(\rho_k=\phi^k\)라 하면

이고, \(h\)가 크면

이다. 따라서 보정된 규칙은

방향이 중요하다.

현실의 수익률. 일별 주가 수익률의 1차 자기상관은 대개 작지만(\(|\phi|<0.1\)), 음수인 경우가 흔하다(호가 스프레드 반동). 그러면 제곱근 규칙이 위험을 과대평가한다. 반면 유동성이 낮은 자산이나 헤지펀드 수익률은 양의 자기상관이 크게 나타나(평활화된 가격 보고) 제곱근 규칙이 위험을 크게 과소평가한다.

다른 위반 요인.

• 변동성 군집. 분산이 일정하지 않으면 규칙이 깨진다. GARCH 모형의 \(h\)기간 예측을 써야 한다.
• 평균 회귀. 장기적으로 평균회귀하면 장기 분산이 \(h\)에 비례하는 것보다 느리게 는다.
• 꼬리. 분산이 무한하면 제곱근이 아니라 \(h^{1/\alpha}\)로 스케일한다.

권고. 바젤 규제가 10일 VaR에 \(\sqrt{10}\) 규칙을 허용하지만, 자기상관과 변동성 군집을 확인하지 않고 쓰면 안 된다. 최소한 \(\phi\)를 추정해 보정하거나, 직접 10일 수익률을 겹쳐 만들어 추정하는 편이 낫다.

제약 있는 추정량.

불편이고 \(\operatorname{Var}=2\sigma^4/n\)이다.

제약 없는 \(S^2\). \(\operatorname{Var}=2\sigma^4/(n-1)\).

이득.

작다. 관측 하나를 더 얻는 것과 같은 정도다.

정당화되는가. 일별 수익률에서는 대체로 그렇다.

• 연 기대수익률이 8%면 일별로는 \(0.08/252 = 0.032\%\)다.
• 일별 변동성은 대략 \(1.2\%\)다.
• 평균이 표준편차의 2.6%에 지나지 않는다. 제곱하면 \(0.07\%\)로, 분산 추정에 미치는 영향이 사실상 없다.

구체적으로, 평균을 무시해 생기는 편향이

로 \(\mu^2\)만큼 과대추정인데, 위 수치에서 \(\mu^2/\sigma^2 = 0.0007\)이다.

언제 정당화되지 않는가.

• 저빈도 자료. 연별 수익률이면 평균과 표준편차가 비슷한 규모라 무시할 수 없다.
• 추세가 강한 기간. 강세장이나 폭락기의 짧은 구간.
• 수익률이 아닌 자료. 가격 수준이나 지수는 평균이 크다.

실무. 실현변동성 계산에서 평균을 빼지 않는 것이 표준이며, 위 논증이 그 근거다. 고빈도일수록 제약이 더 타당해진다. 다만 자유도 하나를 아끼는 이득은 미미하므로, 의심스러우면 그냥 평균을 빼는 편이 안전하다.

(1) 추정 불확실성을 무시한다. \(\hat\mu\)와 \(\hat\sigma\)를 참값처럼 쓰고 VaR를 계산한다.

• 문제: \(\hat\sigma\)의 상대 표준오차가 \(n=252\)에서도 4.5%(정규 가정)이고, 첨도를 반영하면 9%다. VaR가 \(\hat\sigma\)에 비례하므로 그만큼 흔들린다. \(\hat\mu\)는 훨씬 심하다.
• 대처: VaR의 신뢰구간을 부트스트랩으로 구하거나, 베이즈 사후 예측분포를 쓴다. 사후 예측은 모수 불확실성을 자동으로 반영해 꼬리를 두껍게 만든다.

(2) 정규 가정을 검증하지 않는다. 수익률의 초과첨도가 5~10인 것이 잘 알려져 있는데도 정규 VaR를 쓴다.

• 문제: 연습문제 7에서 본 대로 ES를 23% 과소평가한다. 극단적인 신뢰수준일수록 심하다.
• 대처: Q-Q 그림과 첨도를 확인하고, \(t\) 분포나 극단값 이론으로 옮긴다. 최소한 정규 결과와 \(t\) 결과를 나란히 보고한다.

(3) 변동성이 일정하다고 가정한다. 표본 전체의 \(\hat\sigma\)를 현재 위험으로 쓴다.

• 문제: 변동성 군집 때문에 조용한 기간에는 과대, 요동치는 기간에는 과소평가한다. 위기 직전에 위험을 가장 낮게 보는 셈이다.
• 대처: GARCH나 EWMA로 조건부 변동성을 쓴다. 리스크메트릭스의 \(\lambda=0.94\)가 표준적인 출발점이다.

그 밖에 흔한 실수.

• \(\sqrt h\) 규칙을 검증 없이 적용한다(연습문제 8).
• 상관을 정규 코퓰라로 모형화해 동시 폭락을 과소평가한다(앞 장의 금융위기 사례).
• 백테스트를 하지 않는다. VaR 위반 횟수가 명목값과 맞는지 확인해야 한다(쿠피엑 검정, 크리스토퍼슨 검정).

총괄 권고. 모형 위험을 명시적으로 다룬다. 여러 가정(정규 대 \(t\), 상수 대 조건부 변동성, 다른 추정 기간)에서 계산한 결과의 범위를 보고하고, 가장 보수적인 값을 자본 산정에 쓴다. 소수점 아래까지 정밀한 하나의 숫자보다 정직하다.