일반화 적률법¶

이는 처음 세 개의 모집단 적률을 대응하는 표본 적률과 같다고 두는 것에 해당한다. 모수가 \(p = 2\)개이고 조건이 \(r = 3\)개이므로 모형은 1만큼 과대식별되어 있다.

1단계 (\(\mathbf{W} = \mathbf{I}_3\)): \(\bar{g}_n(\theta)^\top \bar{g}_n(\theta)\)를 최소화하여 \(\hat{\theta}_1 = (\hat{\mu}_1, \hat{\sigma}^2_1)^\top\)을 얻는다.

2단계: \(\hat{\theta}_1\)에서의 잔차로 \(\hat{\mathbf{S}}\)를 추정하고 \(\mathbf{W}_2 = \hat{\mathbf{S}}^{-1}\)로 두어 다시 최소화한다.

세 번째 적률 조건은 추정량을 제약하는 추가 방정식을 제공한다. 정규분포처럼 대칭인 분포에서는 3차 중심적률이 0이므로 세 번째 조건은 본질적으로 \(E[X^3] = \mu^3 + 3\mu\sigma^2\)이다. J 검정은 이 대칭성 제약이 자료와 일관되는지를 확인하며, J 통계량이 유의하면 자료가 정규분포를 따르지 않음을 시사한다.

각 적률 조건은 모수를 모집단의 양과 연결하는 방정식 하나를 제공한다. 미지수가 \(p\)개이고 방정식이 \(q\)개일 때:

• \(q < p\)이면 과소식별(미지수보다 방정식이 적음)이어서 모수를 유일하게 결정할 수 없다.
• \(q = p\)이면 정확식별이며, GMM 추정량이 적률 조건을 정확히 푼다(모든 표본 적률을 이론적 대응물과 같다고 둔다).
• \(q > p\)이면 과대식별(미지수보다 방정식이 많음)이어서 일반적으로 모든 적률 조건을 동시에 만족시킬 수 없다. GMM은 적률 조건의 가중 이차형식 \(\hat{\theta} = \arg\min_\theta \mathbf{g}_n(\theta)^\top \mathbf{W} \mathbf{g}_n(\theta)\)를 최소화하며, 여기서 \(\mathbf{W}\)는 양의 정부호 가중행렬이고 \(\mathbf{g}_n(\theta)\)는 표본 적률 조건 벡터이다.

표본 적률 조건은:

\(q = p = 2\)(정확식별)이므로 GMM은 두 조건을 모두 0으로 둔다:

\(g_1 = 0 \implies \hat{\mu} = \bar{X}\)

\(g_2 = 0 \implies \hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2\)

이는 정확히 적률법 추정량이다. 정확식별일 때 GMM과 적률법은 가중행렬 \(\mathbf{W}\)와 무관하게 일치한다. \(\square\)

가중행렬 \(\mathbf{W}\)는 목적함수에서 서로 다른 적률 조건에 어떤 가중을 줄지 결정한다. \(\mathbf{W}\)의 선택에 따라 일치하지만 효율이 다른 추정량이 나온다.

최적 가중행렬은 \(\mathbf{W}^* = \mathbf{S}^{-1}\)이며, \(\mathbf{S} = \text{Var}[\sqrt{n}\,\mathbf{g}_n(\theta_0)]\)는 적률 조건의 점근분산이다. 잡음이 많이 섞여(분산이 커서) 부정확하게 추정되는 적률 조건에 낮은 가중을, 정밀하게 추정되는 조건에 높은 가중을 주기 때문에 최적이다.

\(\mathbf{W}^*\)를 쓰면 GMM 추정량이 같은 적률 조건에 기반한 모든 GMM 추정량 중에서 가장 작은 점근분산을 달성한다. 실무에서는 \(\mathbf{S}\)를 모르므로 2단계 절차로 추정한다. 먼저 \(\mathbf{W} = \mathbf{I}\)로 \(\theta\)를 추정하고, 잔차로 \(\mathbf{S}\)를 추정한 뒤, \(\hat{\mathbf{W}} = \hat{\mathbf{S}}^{-1}\)로 \(\theta\)를 다시 추정한다.

모형이 올바르게 설정되었다는(모집단에서 \(q\)개의 적률 조건이 모두 성립한다는) 귀무가설 아래에서, 추정된 모수값에서 표본 적률 \(\mathbf{g}_n(\hat{\theta})\)이 0에 가까워야 한다. J 통계량은 남은 이 적률 조건들이 0에서 얼마나 떨어져 있는지를 정밀도로 가중하여 제곱 "거리"로 잰 이차형식이다.

모수가 \(p\)개이고 적률 조건이 \(q\)개이면 정확히 만족시킬 수 없는 "남는" 조건이 \(q - p\)개 있다. 귀무가설 아래에서 이 남는 조건들은 근사적으로 0이고 점근분포가 알려져 있어 \(J \sim \chi^2_{q-p}\)가 된다.

J 값이 크면(\(p\) 값이 작으면) 적률 조건들이 서로 모순됨을, 즉 모형이 잘못 설정되었음을 시사한다. 기각하지 못하면 과대식별 제약이 자료와 양립함을 뜻한다. 참고: 이 검정은 모든 적률 조건에 똑같이 영향을 주는 설정 오류에 대해서는 검정력이 없다.

설정. \(y_i = \mathbf{x}_i^\top\boldsymbol\beta+\varepsilon_i\)인데 일부 설명변수가 내생적이다(\(E[\mathbf{x}_i\varepsilon_i]\ne\mathbf{0}\)). 최소제곱이 일치하지 않는다.

도구 \(\mathbf{z}_i\)(\(q\)차원)가 외생성 \(E[\mathbf{z}_i\varepsilon_i]=\mathbf{0}\)과 관련성(\(\mathbf{z}\)가 \(\mathbf{x}\)를 설명)을 만족한다고 하자.

적률 조건.

\(q\)개의 조건과 \(p\)개의 모수가 있다.

경우 나누기.

과대식별의 경우. 가중행렬 \(W\)에 대해

를 푼다. \(W = (Z^\top Z)^{-1}\)로 두면 2단계 최소제곱(2SLS) 이 나오고, 이것이 동분산 아래에서 최적 가중이다. 이분산이 있으면 \(W = \hat S^{-1}\)(\(\hat S\)는 적률의 공분산 추정)이 최적이며, 그것이 효율적 GMM이다.

얻는 것. 과대식별이면 남는 조건으로 가정 자체를 검정할 수 있다(한센 \(J\) 검정). 정확식별이면 적률이 정확히 0이 되어 검정할 여지가 없다. 도구를 여유 있게 확보하는 것이 검정 가능성을 준다는 것이 GMM의 중요한 이점이다.

일반 결과. 적절한 정칙 조건 아래에서

이다. 여기서

샌드위치 형태임에 주목한다. 앞서 본 유사최대가능도의 구조와 같다.

최적 가중. \(W = S^{-1}\)을 넣으면 가운데가 약분되어

로 깔끔한 역행렬 하나가 된다. 그리고 이것이 모든 \(W\) 중 가장 작은 분산임이 증명되어 있다(행렬 순서 기준).

왜 \(S^{-1}\)인가. 직관적으로, 정밀한 적률 조건에 큰 가중치를 주는 것이다. \(S\)가 적률 조건들의 공분산이므로 그 역이 정밀도 행렬이다. 앞서 본 역분산 가중, 가중최소제곱, 정보량 가중과 같은 원리다.

실무의 문제. \(S\)를 모르므로 추정해야 하고, 그래서 2단계 GMM을 쓴다.

1. 적당한 \(W\)(보통 \(I\))로 일치추정량 \(\tilde{\boldsymbol\theta}\)를 구한다.
2. \(\hat S = \frac1n\sum_i\mathbf{g}_i(\tilde{\boldsymbol\theta})\mathbf{g}_i(\tilde{\boldsymbol\theta})^\top\)을 계산한다.
3. \(W=\hat S^{-1}\)로 다시 추정한다.

수렴할 때까지 반복하면 반복 GMM이다. \(\hat S\)의 추정오차 때문에 소표본에서 2단계 GMM이 편향될 수 있다는 것이 알려진 문제이며, 연속갱신 GMM이나 경험가능도 같은 대안이 제안되었다.

문제. 도구 \(\mathbf{z}\)가 내생변수 \(x\)와 거의 상관이 없으면(\(G \approx 0\)) 점근분산 \((G^\top S^{-1}G)^{-1}\)이 폭발한다. 더 심각한 것은 점근근사 자체가 무너진다는 점이다.

• \(\hat\beta_{\text{IV}}\)의 분포가 정규에서 크게 벗어나 두껍고 치우친 꼬리를 갖는다.
• \(\hat\beta_{\text{IV}}\)가 최소제곱 쪽으로 편향된다. 도구가 전혀 쓸모없으면 IV가 OLS의 편향을 하나도 고치지 못한다.
• 왈드 검정의 실제 오류율이 명목 5%를 크게 웃돈다. 20%를 넘는 경우도 보고되었다.

1단계 \(F\) 통계량. 내생변수를 도구에 회귀한 1단계 회귀

에서 \(H_0: \boldsymbol\pi = \mathbf{0}\)을 검정하는 \(F\) 값이다. 도구의 관련성 강도를 직접 잰다.

문턱값 10의 근거. 스톡과 요고가 모의실험으로, 1단계 \(F\)가 10 정도면

• 2SLS의 편향이 OLS 편향의 10% 이내로 억제되고,
• 명목 5% 왈드 검정의 실제 크기가 15% 아래로 유지된다

는 것을 보였다. 이론적 유도가 아니라 허용 가능한 왜곡의 수준을 정해 역산한 경험적 기준이다.

최근의 재평가. 이 기준이 지나치게 관대하다는 지적이 있다. 2SLS의 표준 신뢰구간이 제대로 작동하려면 \(F\)가 100을 넘어야 한다는 결과도 있다. 또 \(F\) 자체가 추정값이라 그것으로 사전 선별을 하면 선택 편향이 생긴다.

대안. 앤더슨-루빈 검정처럼 도구의 강도와 무관하게 유효한 추론 방법을 쓴다. 도구가 약해도 신뢰구간의 포함확률이 보장되며, 다만 구간이 무한이거나 빈 집합이 될 수 있다. 그것이 "이 자료로는 아무것도 말할 수 없다"는 정직한 답이다.

점근적으로는 이득만 있어 보인다. 타당한 적률 조건을 추가하면 \(G^\top S^{-1}G\)가 커지므로 분산이 결코 늘지 않는다. 그래서 이론상 많을수록 좋다.

그러나 유한표본에서는 대가가 있다.

1. \(\hat S\)의 추정 부담. \(q\times q\) 공분산행렬을 추정해야 하는데, 원소가 \(q^2\)개다. \(q\)가 \(n\)에 비해 크면 \(\hat S\)가 특이해지거나 역행렬이 불안정해진다. 대략 \(q^2 \ll n\)이 필요하다.
2. 소표본 편향. \(\hat S\)의 잡음이 \(\hat{\boldsymbol\theta}\)로 전파되어 2단계 GMM이 편향된다. 이 편향이 \(q\)와 함께 커지며, 도구가 많은 동적 패널 모형에서 심각한 문제로 알려져 있다.
3. 약한 도구의 누적. 약한 도구를 많이 넣으면 각각은 무해해 보여도 합쳐서 추정량을 OLS 쪽으로 끌고 간다. "많은 약한 도구" 문제다.
4. \(J\) 검정의 검정력 상실. 조건이 많아지면 자유도가 커져, 일부가 틀려도 검정이 잡아내지 못한다.

고르는 기준.

• 이론적 근거가 명확한 것만. 각 조건이 왜 성립하는지 설명할 수 있어야 한다. "지연변수를 다 넣어 본다"는 식은 위험하다.
• \(q\)를 \(\sqrt n\) 수준 이하로. 경험적 권고이며, 동적 패널에서는 도구 수를 개체 수 이하로 제한하라는 규칙이 널리 쓰인다.
• 강도를 확인한다. 1단계 \(F\)나 편(partial) \(R^2\)으로 각 도구의 기여를 본다.
• \(J\) 검정으로 점검하되 맹신하지 않는다. \(J\)가 유의하면 어떤 조건이 틀렸다는 뜻이지만 어느 것인지는 말해 주지 않는다. 조건을 하나씩 빼며 보는 차이 검정이 도움이 된다.
• 민감도 분석. 도구 부분집합을 바꿔 가며 추정값이 얼마나 움직이는지 본다. 크게 움직이면 어느 결과도 믿기 어렵다.

얻는 것.

• 모형 오설정에 강건하다. 지정한 적률 조건만 맞으면 일치성이 보장된다. 분포의 모양, 고차 적률, 꼬리 거동에 대해 아무 가정도 하지 않는다.
• 다루기 어려운 모형에 쓸 수 있다. 가능도를 쓸 수 없는 경우가 많다. 동적 일반균형 모형, 연속시간 확률과정, 잠재변수 모형에서 적률은 계산되지만 가능도는 고차원 적분이라 계산이 불가능하다.
• 가정을 검정할 수 있다. 과대식별이면 \(J\) 검정으로 조건의 타당성을 확인한다. 최대가능도에는 대응하는 자동 점검 장치가 없다.

잃는 것.

• 효율. 분포가 맞으면 최대가능도가 크라메르-라오 하한을 달성하지만 GMM은 일반적으로 못 한다. 처음 몇 개의 적률만 쓰므로 나머지 정보를 버린다.
• 소표본 성능. \(\hat S\) 추정이 필요해 유한표본 편향이 생기고, 점근근사가 통하려면 표본이 꽤 커야 한다.
• 가중행렬 선택의 부담. 결과가 \(W\)에 의존하며, 어떤 단계에서 멈추느냐(2단계, 반복, 연속갱신)에 따라 값이 달라진다.

둘이 일치하는 경우. 적률 조건으로 점수함수를 쓰면

이고, \(E[\mathbf{g}]=0\)이 정확히 정규방정식이다. 이때 \(q=p\)인 정확식별이므로 GMM 추정량이 곧 MLE다. 게다가 정보량 등식에서 \(S = G\)(부호 제외)이므로 점근분산이 \((G^\top S^{-1}G)^{-1} = I^{-1}\)로 최대가능도의 것과 일치한다.

따라서 최대가능도는 GMM의 특수한 경우다. 적률 조건으로 무엇을 고르느냐가 방법을 정하며, 점수함수가 "가장 정보가 많은" 선택인 셈이다.

뜻하는 바. \(q\)개 적률 조건 가운데 적어도 하나가 틀렸다는 것이다. 정확히는 "모든 조건이 동시에 성립한다는 가설이 자료와 맞지 않는다"이다.

뜻하지 않는 바.

• 어느 조건이 틀렸는지는 말해 주지 않는다. \(J\)는 전체 검정이다.
• 모형의 어느 부분이 문제인지도 말해 주지 않는다. 도구의 외생성이 깨졌을 수도, 함수 형태가 틀렸을 수도, 이질적 효과가 있을 수도 있다.
• \(J\)가 유의하지 않다고 조건이 타당한 것은 아니다. 검정력이 낮으면 틀린 조건을 놓친다. 특히 도구가 약하거나 \(q-p\)가 크면 검정력이 형편없다.
• 모든 도구가 함께 틀리면 잡아내지 못한다. \(J\)는 조건들 사이의 불일치를 보는 것이라, 모두 같은 방향으로 틀리면 조용히 통과한다. 이것이 \(J\) 검정의 가장 근본적인 한계다.

다음 단계.

1. 부분집합 검정. 도구를 나누어 각 부분집합으로 추정하고 결과를 비교한다. 차이 검정(difference-in-Sargan)으로 특정 조건의 타당성을 따로 검정할 수 있다.
2. 의심되는 조건을 뺀다. 이론적으로 가장 미덥지 않은 도구부터 제거하며 \(J\)가 어떻게 변하는지 본다. 다만 자료를 보고 도구를 고르면 추론이 왜곡되므로, 이는 탐색이지 확증이 아니다.
3. 모형을 다시 본다. \(J\)가 유의한 것이 도구 문제가 아니라 모형 설정 문제일 수 있다. 함수 형태, 누락 변수, 이질적 처치효과를 점검한다.
4. 결과의 범위를 보고한다. 여러 도구 조합에서 얻은 추정값의 폭을 제시하는 것이 하나의 값을 고집하는 것보다 정직하다.

가장 중요한 것. \(J\) 검정이 통과했다고 안심하면 안 된다. 도구의 타당성은 근본적으로 검정이 아니라 논증으로 뒷받침해야 한다. 왜 이 도구가 결과에 직접 영향을 주지 않는지를 그 분야의 지식으로 설명할 수 있어야 한다.