적률법¶

모집단 적률:

• \(\mu_1' = E[X] = \mu\)
• \(\mu_2' = E[X^2] = \sigma^2 + \mu^2\)

적률방정식:

해:

\(\hat{\sigma}^2_{\text{MoM}}\)이 MLE와 마찬가지로 \(n\)으로 나누므로(편향) 이 경우 적률법과 MLE가 같은 추정량을 준다.

적률방정식:

해:

이는 MLE와 일치한다.

모집단 적률:

• \(E[X] = \alpha/\beta\)
• \(\text{Var}(X) = \alpha/\beta^2\)

적률방정식:

해: 비 \(\text{Var}(X)/E[X] = 1/\beta\)로부터:

여기서 \(m_2 = \frac{1}{n}\sum(X_i - \bar{X})^2\)이다.

적률법 추정량은 닫힌 형태로 주어지는 반면 감마분포의 MLE는 수치 최적화가 필요하다. 이것이 실무적으로 중요한 장점이다.

모집단 적률:

• \(E[X] = (a + b)/2\)
• \(\text{Var}(X) = (b - a)^2/12\)

적률방정식:

해:

참고: 이 추정값들이 자료의 범위 안쪽으로 들어올 수 있다(즉 \(\hat{a} > \min(X_i)\)이거나 \(\hat{b} < \max(X_i)\)일 수 있다). 이는 논리적으로 모순이다. 적률법이 분포의 지지집합 제약을 언제나 지키지는 않는다는 알려진 한계이다. MLE(\(\hat{a} = \min(X_i)\), \(\hat{b} = \max(X_i)\))에는 이런 문제가 없다.

모집단 적률:

• \(E[X] = \frac{\alpha}{\alpha + \beta}\)
• \(\text{Var}(X) = \frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)}\)

\(\bar{x} = m_1'\)과 \(s^2 = m_2\)를 표본평균과 표본분산이라 하고 풀면:

\(s^2 < \bar{x}(1 - \bar{x})\)가 필요하며, 웬만한 자료에서는 성립한다.

Uniform\((0, \theta)\)의 1차 모집단 적률은:

1차 모집단 적률을 1차 표본 적률과 같다고 두면:

모집단 적률을 표본 적률과 같다고 두면:

두 번째 식을 첫 번째 식으로 나누면:

다시 대입하면:

적률법 추정량의 기댓값은:

편향은:

적률법 추정량은 참 분산을 \(\sigma^2/n\)만큼 과소추정한다. 이 편향은 \(n \to \infty\)일 때 사라지므로 추정량은 점근적으로 불편이다.

적률법을 선호할 때:

• 가능도함수를 해석적으로 쓰기 어렵거나 불가능할 때(예: 복잡한 생성 모형).
• 반복적인 MLE 최적화의 출발점으로 빠른 닫힌 형태의 추정값이 필요할 때.
• 모수가 많아 MLE의 계산 비용이 크지만 합리적인 근사로 충분할 때.
• 모형 설정 오류에 대한 로버스트성이 필요할 때(적절한 적률 조건을 쓴 GMM은 설정 오류 아래에서 MLE보다 로버스트할 수 있다).

MLE를 선호할 때:

• 효율성이 중요할 때. MLE는 점근적으로 Cramér-Rao 하한을 달성하지만 적률법은 일반적으로 덜 효율적이다.
• 가능도를 다룰 수 있고 모형이 올바르게 설정되었다고 볼 때.
• 소표본 성능이 중요할 때. MLE가 대체로 유한표본 성질이 더 좋다.
• 재모수화에 대한 불변성이 필요할 때. \(g(\theta)\)의 MLE는 \(g(\hat{\theta}_{\text{MLE}})\)인데, 적률법에는 이 성질이 없다.

한 모수인 경우. 적률방정식이 \(m_1 := \bar X = g(\theta)\)이고 \(g\)가 미분가능하며 \(g'(\theta)\ne0\)이면

이다. 중심극한정리에서 \(\sqrt n(\bar X-\mu) \xrightarrow{d} N(0,\sigma^2)\)이고(\(\mu = g(\theta)\)), \(g^{-1}\)에 델타 방법을 적용하면

여러 모수인 경우. 적률 벡터 \(\mathbf{m}\)과 사상 \(\mathbf{g}\)에 대해

이고 \(G' = \partial\mathbf{g}/\partial\boldsymbol\theta^\top\), \(\Sigma_m\)은 표본적률의 점근공분산이다.

왜 MLE보다 나쁜가.

• 정보를 버린다. 적률법은 처음 \(p\)개의 적률만 쓴다. 자료의 나머지 구조(모양, 고차 적률, 순서 정보)는 사용하지 않는다. MLE는 밀도 전체를 통해 모든 관측값의 위치를 반영한다.
• 충분통계량을 쓰지 않는다. \(\bar X\)나 \(s^2\)이 충분통계량인 경우(정규, 포아송, 지수)에는 두 방법이 일치한다. 그렇지 않으면 적률법이 충분통계량을 재구성하지 못한다.
• 고차 적률은 불안정하다. 모수가 셋 이상이면 3차·4차 적률을 써야 하는데, 이들의 표집변동이 매우 커서 추정값이 흔들린다.

정량적으로. 점근상대효율

이며, 등호는 적률법이 충분통계량의 함수일 때만 성립한다. 감마분포에서 \(\alpha\)를 추정하면 ARE가 \(\alpha\)에 따라 0.3~0.8 수준으로, 표본을 두세 배 더 써야 같은 정밀도를 얻는다.

예 1 — 베타분포. \(\text{Beta}(\alpha,\beta)\)에서 적률법은

이다. \(s^2 > \bar x(1-\bar x)\)이면 괄호가 음수가 되어 \(\hat\alpha, \hat\beta\)가 음수로 나온다. 베타분포의 분산이 \(\bar x(1-\bar x)\)를 넘을 수 없는데 표본분산이 그보다 크게 나온 경우다. \(n\)이 작으면 충분히 일어난다.

예 2 — 음이항분포. 산포모수 추정에서 \(s^2 < \bar x\)(과소산포)이면 \(\hat k\)가 음수가 된다. 음이항은 과대산포만 표현할 수 있기 때문이다.

예 3 — 분산성분. 분산분석식 추정에서 집단 간 평균제곱이 집단 내보다 작으면 음의 분산 추정값이 나온다.

대처.

1. 경계로 자른다. 음수면 0(또는 아주 작은 양수)으로 둔다. 간단하지만 편향이 생기고, 그 값의 표준오차를 어떻게 할지가 애매하다.
2. 최대가능도로 옮긴다. MLE는 모수공간 안에서 최적화하므로 벗어날 수 없다. 다만 경계해가 나올 수 있고, 그때는 표준 추론이 성립하지 않는다.
3. 모형을 의심한다. 이 현상 자체가 모형이 자료에 맞지 않는다는 신호일 수 있다. 베타 예에서 \(s^2\)이 이론적 상한을 넘었다면 분포가 이봉이거나 오염되었을 가능성이 있다. 히스토그램을 먼저 본다.
4. 베이즈로 옮긴다. 사전분포가 모수공간을 자동으로 강제하고, 사후분포가 경계 근처의 불확실성을 자연스럽게 표현한다.

교훈. 적률법은 모수공간을 존중하지 않는다. 적률방정식이 대수적 관계일 뿐 제약을 모르기 때문이다. 이것이 MLE에 견주어 갖는 근본적인 약점 중 하나다.

예 — 지수분포의 \(\lambda\). 여러 방법이 가능하다.

넷 다 일치추정량이지만 유한표본에서 값이 다르고 점근분산도 다르다. 델타 방법으로 계산하면 \(\hat\lambda_1\)이 가장 효율적이며(사실 MLE와 같다), 고차 적률을 쓸수록 나빠진다.

고르는 기준.

1. 낮은 차수부터. 1차, 2차 적률이 고차보다 훨씬 안정적이다. 4차 적률은 관측값 하나의 영향이 네제곱으로 들어가 이상치에 극도로 민감하다.
2. 충분통계량에 대응하는 것. 지수족이면 자연통계량의 적률을 쓰는 것이 MLE와 일치한다.
3. 적률이 존재하는 범위. 꼬리가 두꺼운 분포에서는 고차 적률이 아예 없을 수 있다. 파레토 \(\alpha=1.5\)면 2차 적률이 무한이라 분산 기반 적률법을 쓸 수 없다.
4. 모수에 대한 민감도. \(\partial g/\partial\theta\)가 클수록 좋다. 앞서 본 점근분산 공식의 분모가 그것이다.

더 나은 접근. 모수보다 적률 조건을 많이 두고 GMM으로 최적 가중해 결합하면, 어느 하나를 고르는 대신 정보를 모두 쓸 수 있다. 그것이 GMM이 적률법의 자연스러운 확장인 이유다.

정의. L-적률은 순서통계량의 선형결합의 기대값이다.

\(\lambda_1\)은 평균, \(\lambda_2\)는 산포(평균 절대차의 절반), \(\lambda_3/\lambda_2\)는 L-왜도, \(\lambda_4/\lambda_2\)는 L-첨도다.

장점.

• 1차 적률만 있으면 존재한다. 보통의 \(k\)차 적률은 \(E|X|^k<\infty\)를 요구하지만 L-적률은 \(E|X|<\infty\)면 모두 존재한다. 꼬리가 두꺼운 분포에서 결정적이다.
• 이상치에 훨씬 강건하다. 관측값을 제곱하거나 세제곱하지 않고 선형으로만 결합한다.
• 표집변동이 작다. L-왜도·L-첨도의 표준오차가 보통의 왜도·첨도보다 훨씬 작아, 소표본에서도 분포의 모양을 가늠할 수 있다.
• 범위가 유계다. L-왜도가 \([-1,1]\), L-첨도가 \([-1/4,1]\)에 갇혀 있어 해석이 쉽고 L-모먼트 비 도표로 분포족을 시각적으로 고를 수 있다.

특히 유용한 상황.

• 수문학·기상학의 극단값 분석. 홍수위나 강수량은 꼬리가 두껍고 표본이 짧다. 일반화극단값분포나 일반화파레토의 모수를 L-적률로 추정하는 것이 표준이다.
• 표본이 작을 때. \(n < 50\)이면 보통의 왜도·첨도 추정값이 거의 잡음이다.
• 분포족 선택. L-왜도 대 L-첨도 산점도에 여러 분포족의 이론 곡선을 겹쳐 그려 어느 족이 자료에 맞는지 본다.

대가. 계산이 조금 더 복잡하고(순서통계량이 필요) 이론이 덜 익숙하며, 최대가능도만큼 효율적이지는 않다. 그래도 꼬리가 두꺼운 소표본에서는 MLE보다 안정적인 경우가 많다.

일치성의 조건. \(\hat{\boldsymbol\theta}_{\text{MoM}}\)이 일치하려면 세 가지가 필요하다.

1. 적률이 존재한다. 쓰는 적률이 유한해야 한다. \(E[X^k]=\infty\)이면 표본적률이 수렴하지 않는다.
2. 사상 \(\mathbf{g}\)가 가역이다. 적률에서 모수로 되돌아가는 대응이 유일해야 한다. 그렇지 않으면 적률방정식의 해가 여럿이거나 없다.
3. \(\mathbf{g}^{-1}\)이 연속이다. 연속사상정리를 쓰려면 필요하다.

깨지는 예.

• 적률 부재. 코시분포의 위치모수를 \(\bar X\)로 추정하면 \(\bar X\)가 수렴하지 않아 일치성이 없다. 파레토 \(\alpha \le 2\)에서 분산 기반 적률법도 마찬가지다.
• 식별 실패. 대칭분포의 위치를 3차 적률로 추정하려 하면 \(E[(X-\mu)^3]=0\)이 \(\mu\)에 대한 정보를 주지 않는다.
• 경계에서의 불연속. \(\mathbf{g}^{-1}\)이 경계에서 정의되지 않으면(연습문제 6의 베타분포) 그 근처에서 추정이 불안정하다.

점검 방법.

• 꼬리 지수를 어림한다. 로그-로그 생존함수 그림의 기울기로 \(\alpha\)를 추정한다. 쓰려는 최고차 적률의 차수보다 \(\alpha\)가 크지 않으면 그 적률을 쓸 수 없다.
• 표본적률의 안정성을 본다. \(\bar x\)와 \(s^2\)을 \(n\)의 함수로 그려 안정되는지 확인한다. 계속 커지면 적률이 무한하다는 신호다.
• 적률방정식의 해를 직접 확인한다. 해가 유일한지, 모수공간 안에 있는지 본다.
• 부트스트랩. 추정값의 부트스트랩 분포가 극도로 퍼지거나 봉우리가 여럿이면 문제가 있다.

대안. 적률이 미덥지 않으면 L-적률이나 분위수 기반 추정으로 옮긴다. 분위수는 언제나 존재하고 유한하므로 적률 부재 문제가 없다.

방법. 모수가 \(p\)개면 \(p\)개의 분위수를 골라 표본 분위수와 이론 분위수를 맞춘다.

예컨대 위치-척도 분포라면 \(\tau = 0.25, 0.75\)를 써서

로 둔다. 정규분포면 분모가 \(1.349\)다.

적률법과 비교.

특히 자연스러운 분포.

• 분위수함수는 닫힌 형태인데 밀도는 아닌 분포. 터키의 람다 분포, 일반화 람다 분포가 대표적이다. 이런 분포는 \(F^{-1}\)로 정의되므로 가능도를 쓰기 어렵고, 분위수 적합이 사실상 유일한 실용적 방법이다.
• 꼬리가 두꺼운 분포. 코시, 안정분포처럼 적률이 없는 경우. 안정분포의 모수 추정에 매퀄런의 분위수 방법이 고전적으로 쓰인다.
• 극단값 분포. 일반화극단값분포에서 분위수가 곧 재현기간에 대응하는 양이므로 해석이 직접적이다.

효율을 높이는 법. 분위수를 \(p\)개보다 많이 쓰고 가중최소제곱으로 맞추면 효율이 올라간다. 분위수들의 점근공분산을 가중행렬로 쓰면 GMM과 같은 구조가 되며, 실제로 이를 분위수 GMM이라 부른다.