관찰연구¶

(1) 해석적으로. \(\operatorname{Var}(\text{나이}) = 50^2/12 = 208.333\)에서 출발한다.

혈압과의 공분산은 두 조각으로 갈린다.

가짜 경로가 참 경로의 \(11\)배다. 이것이 교란의 크기를 수로 본 것이다.

혈압의 분산은

이므로

이다. 참 효과 \(-0.3\)이 \(-3.678\)로, 열두 배 넘게 부풀려진다.

(2) 해석적으로. 나이를 빼고 남는 것을 직접 계산한다. 운동의 잔차는 \(\varepsilon_1\) 그 자체다. 혈압은 운동을 대입하면

이므로 그 잔차는 \(-0.3\varepsilon_1 + \varepsilon_2\)다. 따라서

이다. 나이를 통제하면 상관이 \(-0.71\)에서 \(-0.06\)으로 떨어진다. 남은 \(-0.06\)이 작은 것은 효과가 없어서가 아니라 혈압의 잡음 \(\sigma = 5\)가 운동의 효과 \(0.3 \times 1.76 = 0.53\)에 견주어 크기 때문이다. 상관이 작다는 것과 인과효과가 없다는 것은 다른 말이다.

(1)(2) 수치적으로.

"""관찰연구에서 나이가 교란요인으로 작동하는 모습."""

import numpy as np
from scipy import stats

rng = np.random.default_rng(42)
n = 500

# === 교란요인: 나이 ===
# 20세부터 70세까지 고르게 퍼져 있다고 두자.
age = rng.uniform(20, 70, n)

# 나이가 두 변수 모두에 화살표를 쏜다 — 이것이 교란의 정의다.
#   운동량: 나이가 많을수록 줄어든다  (계수 -0.1)
#   혈압:   나이가 많을수록 올라간다  (계수 +0.5)
# 그리고 운동은 혈압을 실제로 **낮춘다** (계수 -0.3). 이것이 참 인과효과다.
exercise = 10 - 0.1 * age + rng.normal(0, 1, n)
bp = 80 + 0.5 * age - 0.3 * exercise + rng.normal(0, 5, n)

# === 나이를 무시한 순진한 상관 ===
# 젊은 사람은 많이 운동하고 혈압이 낮다. 나이 든 사람은 반대다.
# 나이를 빼놓고 보면 이 두 무리가 만들어 낸 가짜 패턴이 겹쳐 보인다.
r_naive, _ = stats.pearsonr(exercise, bp)
print(f"Naive correlation (exercise, BP): r = {r_naive:+.3f}")
print("  (looks like a huge effect -- but most of it is age)")

# === 나이를 통제한 편상관 ===
def residualize(y, x):
    """y에서 x로 설명되는 부분을 빼고 남은 잔차를 돌려준다.

    y를 x에 단순회귀시킨 뒤 예측값을 빼는 것이다.
    남은 잔차는 "x의 영향을 제거한 y"라고 읽을 수 있다.
    """
    b = np.polyfit(x, y, 1)          # y = b[0]*x + b[1] 로 직선 적합
    return y - np.polyval(b, x)      # 실제값 - 예측값 = 잔차

# 운동과 혈압에서 각각 나이의 영향을 뺀 뒤 상관을 낸다.
# 이것이 "나이가 같은 사람들끼리 비교하면 어떤가"라는 물음에 해당한다.
r_partial, _ = stats.pearsonr(residualize(exercise, age),
                              residualize(bp, age))
print(f"Partial correlation (controlling age): r = {r_partial:+.3f}")
print("  (what is left is the real, much weaker effect)")

# --- (1)(2) 의 이론값 ---
v_age = (70 - 20) ** 2 / 12
v_ex = 0.01 * v_age + 1
cov_ae = -0.1 * v_age
cov = 0.5 * cov_ae - 0.3 * v_ex
v_bp = 0.25 * v_age + 0.09 * v_ex - 0.3 * cov_ae + 25
print(f"이론 r_naive   = {cov / np.sqrt(v_ex * v_bp):+.4f},  "
      f"기울기 = {cov / v_ex:+.4f}")
print(f"이론 r_partial = {-0.3 / np.sqrt(0.09 + 25):+.4f}")
print(f"관측 기울기    = {np.polyfit(exercise, bp, 1)[0]:+.4f}")

출력:

Naive correlation (exercise, BP): r = -0.705
  (looks like a huge effect -- but most of it is age)
Partial correlation (controlling age): r = -0.086
  (what is left is the real, much weaker effect)
이론 r_naive   = -0.7064,  기울기 = -3.6784
이론 r_partial = -0.0599
관측 기울기    = -3.6081

순진한 상관의 이론값 \(-0.7064\)와 모의값 \(-0.705\)가 맞는다. 기울기도 \(-3.678\) 대 \(-3.608\)로 가깝다.

편상관은 이론 \(-0.0599\)에 모의 \(-0.0858\)이다. 어긋나 보이지만 \(n = 500\)에서 상관의 표준오차가 \((1-r^2)/\sqrt n = 0.0446\)이므로 \(0.58\) 표준오차 차이에 지나지 않는다. 참 효과가 작아 상대오차가 크게 보일 뿐이다.

두 숫자를 나란히 읽어야 한다. 부호는 둘 다 음수이고 참 효과의 부호와도 같다. 달라지는 것은 크기다. 나이를 무시한 \(-0.705\)는 "운동을 많이 하는 사람의 혈압이 낮다"는 사실을 거의 전부 나이가 만들어 낸 것으로 채우고 있다. (1)에서 공분산을 두 조각으로 갈라 보았듯 가짜 경로가 참 경로의 \(11\)배다.

교란은 부호를 뒤집기도 하고 크기를 부풀리기도 한다. 앞의 그림 (다)는 부호가 뒤집힌 경우(\(-5.00\)이 \(+1.92\)로)였고, 여기는 부호는 그대로인 채 크기만 크게 부풀려진 경우다. 후자가 실무에서 훨씬 흔하고, 부호가 맞기 때문에 훨씬 발견하기 어렵다.

(a) 관찰연구 — 코호트(노출로 집단을 정의하고 시간 순방향으로 추적). (b) 실험연구 — 무작위 대조시험. (c) 관찰연구 — 횡단(한 시점의 자료). (d) 관찰연구 — 환자대조(결과로 집단을 정의하고 노출 이력을 후향적으로 조사). (e) 실험연구 — 학교(집락) 수준에서 무작위화했으며, 집락 무작위 시험이라 부르기도 한다.

그럴듯한 교란요인:

• 소득 / 사회경제적 지위: 적포도주를 정기적으로 마시는 사람은 대체로 더 부유하며, 소득은 의료 접근성과 건강한 음식 접근성을 좌우한다.
• 식단: 적포도주를 마시는 사람은 채소를 더 많이, 가공식품을 더 적게 먹을 수 있다("지중해식" 식단 패턴).
• 운동 / 전반적 건강 행동: 적당한 음주를 유지하는 사람은 운동도 더 많이 할 수 있다.

식별 전략: 지역별 또는 시기별 주류세 변동을 이용하는 도구변수 접근은 개인 소득이나 식단과 독립적인 준실험적 소비 변동을 제공할 수 있다(주류세가 다른 경로로 심장질환에 직접 영향을 주지 않는다는 가정하에). 대안으로, 적절한 윤리적 안전장치를 갖춘 적당량 적포도주 섭취의 무작위 대조시험이라면 이 문제를 더 직접적으로 해결할 것이다.

코호트연구는 대상을 노출로 식별하고(흡연자 대 비흡연자) 시간 순방향으로 추적하여 결과를 관찰한다. 환자대조연구는 대상을 결과로 식별하고(심근경색이 있는 사례군, 없는 대조군) 노출 이력을 거슬러 살펴본다.

희귀질환에 환자대조연구가 선호되는 이유는, 대안인 전향적 코호트로는 충분한 사례 수를 모으는 데 엄청난 표본이 필요하기 때문이다. 어떤 질병이 1만 명 중 1명에게 발생한다면, 1,000명 코호트에서는 기대 사례가 약 0.1건이라 분석에 쓸 수 없다. 환자대조연구는 질병 쪽을 과대표집하는 데서 출발하여 (예컨대) 사례군 200명과 대조군 200명을 모집한 뒤 노출률을 비교한다.

대가는 세 가지다.

• 유병률과 위험을 추정할 수 없다. 사례군 200명 대 대조군 200명이라는 \(1:1\) 구성은 연구자가 정한 것이지 모집단의 구성이 아니다. 표본에서 계산한 "환자 비율 \(200/400 = 0.5\)"는 아무것도 뜻하지 않는다. 같은 이유로 발생률과 위험비도 얻을 수 없고, 남는 것은 오즈비뿐이다. 오즈비만 살아남는 것은 그것이 사례군 대 대조군의 모집 비율에 영향을 받지 않는 유일한 연관성 측도이기 때문이며, 질병이 드물 때 오즈비는 위험비의 좋은 근사가 된다.
• 대조군 선택이 어렵다. 대조군은 "사례군이 병에 걸리지 않았다면 속했을 모집단"에서 나와야 하는데, 이를 보장할 방법이 없다.
• 회상편향: 병을 앓은 사람이 과거 노출을 더 열심히, 더 많이 기억해 낸다.

측정 가능한 교란요인:

• 이전의 학업 능력(이전 성적이나 표준화 시험 점수로 대리).
• 부모의 교육 수준 / 사회경제적 지위(입학 서류에 기록됨).

측정 불가능한 교란요인:

• 동기 / 성실성. 선택적인 개인지도에 참석하기로 한 학생은 동기가 더 높은 경향이 있고, 동기는 개인지도 밖의 공부 시간과 시험 성적에도 직접 영향을 준다. 동기가 유발하는 행동과 독립적으로 동기를 측정할 믿을 만한 방법은 없다.

이것이 왜 근본적인가: 측정 가능한 교란요인은 층화, 짝짓기, 회귀로 다룰 수 있다. 측정 불가능한 교란요인은 그럴 수 없다. 측정된 모든 변수를 보정한 분석이라도, 측정되지 않은 교란요인이 노출과 결과를 함께 설명하는 만큼 편향된다. 무작위화가 여전히 표준으로 남아 있는 이유가 이것이다 — 무작위화는 관측되든 아니든 모든 교란요인을 균형 잡는다.

두 지역 A와 B에 다음과 같은 주민이 있다고 하자.

개인 수준: 각 지역 안에서 소득과 행복도는 양의 상관을 갖는다(두 지역 모두 상관 = 1).

집단 수준: 지역 A는 평균 소득 30, 평균 행복도 3이고, 지역 B는 평균 소득 40, 평균 행복도 6이다. 집단 평균은 양의 연관을 보인다.

이제 지역 B가 평균 소득은 더 높으면서도 주민들의 행복도는 일률적으로 더 낮도록 재구성해 보자. 예를 들어 B = (20→0, 40→2, 60→4)로 하면 집단 평균은 (40, 2)가 되어 A의 (30, 3)과 비교된다. 각 집단 내 개인 상관은 여전히 양수지만, 평균 소득과 평균 행복도 사이의 집단 수준 상관은 이제 음수다. 같은 자료가 집계 수준에 따라 서로 다른 두 이야기를 하는 것이며, 한쪽으로 다른 쪽 수준의 주장을 펴는 것이 생태학적 오류다. 심슨의 역설은 범주형 상황에서 나타나는 같은 현상이다.

필요한 가정은 측정되지 않은 교란요인이 없음(조건부 독립 또는 무시가능성이라고도 한다)이다. 즉 측정된 열 개 공변량을 조건부로 하면 처리 \(T\)가 잠재적 결과 \((Y(0), Y(1))\)과 독립이라는 것이다. 동등하게, \(T\)에서 \(Y\)로 가는 모든 뒷문 경로가 통제된 공변량들에 의해 차단되어야 한다.

이 가정은 자료만으로는 검정 불가능하다 — 이는 측정하지 않은 변수에 대한 가정이기 때문이다. 이 가정을 (증명은 못 해도) 경고 신호로 짚어 볼 수 있는 두 가지 진단은 다음과 같다.

• 민감도 분석(예: 로젠바움 한계, E-value): 결론을 뒤집으려면 측정되지 않은 교란요인이 \(T\) 및 \(Y\)와 얼마나 강하게 연관되어야 하는가? 답이 "측정된 어떤 교란요인보다도 훨씬 강해야 한다"라면 결과는 견고하고, 그렇지 않다면 취약하다.
• 음성 결과 대조: \(T\)의 영향을 받지 않아야 하지만 같은 미측정 교란요인의 영향은 받을 법한 결과를 고른다(예: 흡연 연구라면 교통사고 사망률이 음성 결과가 될 수 있다). 보정 후에도 \(T\)가 그 음성 결과를 "예측"한다면 미측정 교란이 남아 있는 것이다.

이 진단들은 증거를 줄 뿐 증명을 주지는 않는다. 관찰자료는 무작위화가 알려주는 것을 알려줄 수 없다는 근본적인 인식론적 간극은 결코 완전히 메워지지 않는다.

import numpy as np
import statsmodels.api as sm

rng = np.random.default_rng(0)
n = 20_000
beta = lambda y, *X: sm.OLS(y, sm.add_constant(np.column_stack(X))).fit().params[1]

# (1) 교란: U 가 T 와 Y 의 공통 원인이다
U = rng.normal(size=n)
T = 0.8 * U + rng.normal(size=n)
Y = 1.5 * T + 0.8 * U + rng.normal(size=n)
print("교란 상황 (참 효과 1.5)")
print(f"   보정 안 함 : {beta(Y, T):.4f}   ← 편향")
print(f"   U 를 보정  : {beta(Y, T, U):.4f}   ← 옳다")

# (2) 충돌부: C 가 T 와 Y 의 공통 결과다
T2 = rng.normal(size=n)
Y2 = 1.5 * T2 + rng.normal(size=n)
C = 0.9 * T2 + 0.9 * Y2 + rng.normal(size=n)
print("\n충돌부 상황 (참 효과 1.5)")
print(f"   보정 안 함 : {beta(Y2, T2):.4f}   ← 옳다")
print(f"   C 를 보정  : {beta(Y2, T2, C):.4f}   ← 편향")

출력:

교란 상황 (참 효과 1.5)
   보정 안 함 : 1.8878   ← 편향
   U 를 보정  : 1.5059   ← 옳다

충돌부 상황 (참 효과 1.5)
   보정 안 함 : 1.5077   ← 옳다
   C 를 보정  : 0.3874   ← 편향

결과가 정반대다. 교란 상황에서는 보정이 \(1.89\)를 \(1.51\)로 고쳐 주지만, 충돌부 상황에서는 보정이 옳던 \(1.51\)을 \(0.39\)로 망가뜨린다.

왜 충돌부를 보정하면 편향이 생기는가. \(C\)가 \(T\)와 \(Y\) 둘 다에 의해 결정될 때, \(C\)를 고정하면 \(T\)와 \(Y\) 사이에 인위적인 관계가 생긴다. \(C\)가 높다고 알려진 사람 중에서 \(T\)가 낮다면 \(Y\)가 높았어야 한다. 따라서 \(C\)를 고정한 집단 안에서는 \(T\)와 \(Y\)가 음의 상관을 갖게 되고, 이것이 참된 양의 효과를 상쇄한다.

직관적인 예로, 배우의 외모와 연기력이 서로 무관하더라도 이미 캐스팅된 배우들(=충돌부를 고정한 집단) 안에서는 둘이 음의 상관을 보인다. 외모가 떨어지는데 캐스팅되었다면 연기를 잘하는 것이기 때문이다.

판별법. 인과 그래프를 그려 화살표의 방향을 보라.

실무에서 흔한 충돌부. 표본에 들어오는 조건 자체가 충돌부인 경우가 많다. 입원 환자만 분석하면 두 질병이 실제로는 무관해도 음의 상관을 보이고(버크슨의 역설), 자발적 참여자만 분석하면 참여를 결정한 요인들 사이에 없던 상관이 생긴다.

결론. "통제 변수를 더 넣으면 안전하다"는 생각은 틀렸다. 무엇을 보정할지는 자료가 아니라 인과 구조에 대한 지식이 정한다. \(\square\)

import numpy as np

rng = np.random.default_rng(1)
N = 4000
treat = rng.random(N) < 0.5

unit = rng.normal(0, 2, N) + 1.5 * treat      # 처리군이 원래 1.5 높다
tau = 2.0                                      # 참 처리효과

y0 = 5 + unit + rng.normal(0, 1, N)                       # 사전
y1 = 5 + unit + 1.0 + tau * treat + rng.normal(0, 1, N)   # 사후: 공통추세 +1.0

d_treat = y1[treat].mean() - y0[treat].mean()
d_ctrl = y1[~treat].mean() - y0[~treat].mean()

print(f"참 처리효과 {tau}")
print(f"  (a) 사후 단순비교   {y1[treat].mean() - y1[~treat].mean():.4f}   ← 원래 차이가 섞였다")
print(f"  (b) 처리군 전후비교 {d_treat:.4f}   ← 공통추세가 섞였다")
print(f"  (c) 이중차분        {d_treat - d_ctrl:.4f}   ← 옳다")

# 평행추세가 깨진 경우: 처리군만 추가로 0.9 만큼 더 올라간다
y1b = y1 + 0.9 * treat
print(f"\n  평행추세 위배 시    {(y1b[treat].mean() - y0[treat].mean()) - d_ctrl:.4f}"
      f"   ← 0.9 만큼 부풀었다")

출력:

참 처리효과 2.0
  (a) 사후 단순비교   3.4392   ← 원래 차이가 섞였다
  (b) 처리군 전후비교 3.0181   ← 공통추세가 섞였다
  (c) 이중차분        2.0322   ← 옳다

  평행추세 위배 시    2.9322   ← 0.9 만큼 부풀었다

세 추정값이 뚜렷이 갈린다.

• 사후 단순비교 \(3.44\) — 처리효과 \(2.0\)에 원래 차이 \(1.5\)가 통째로 더해졌다.
• 처리군 전후비교 \(3.02\) — 처리효과에 시간이 흐르며 모두에게 일어난 변화 \(1.0\)이 더해졌다.
• 이중차분 \(2.03\) — 두 오염원이 모두 지워진다.

왜 통하는가. 첫 번째 차분(전후)이 시간불변 개체효과를 지운다. 처리군이 원래 높았다는 사실은 두 시점 모두에 똑같이 들어 있으므로 빼면 사라진다. 두 번째 차분(처리군 대 대조군)이 공통 시간효과를 지운다. 그래서 이름이 이중차분이다.

결정적 가정: 평행추세. 처리가 없었다면 두 군이 같은 폭으로 변했을 것이라는 가정이다. 위에서 처리군만 추가로 \(0.9\) 올라가게 하자 추정값이 \(2.91\)로 정확히 그만큼 부풀었다. DiD는 처리군 고유의 추세를 처리효과로 잘못 읽는다.

평행추세를 어떻게 따지는가. 가정 자체는 반사실에 대한 것이라 검증할 수 없다. 다만 다음이 정황 증거가 된다.

• 사전 추세 검사: 처리 이전 여러 시점의 자료가 있다면 그때는 두 군이 평행했는지 본다. 평행하지 않았다면 이후에도 평행하리라 믿기 어렵다.
• 위약 검정: 처리가 실제로는 없었던 가짜 시점에 DiD를 돌려 효과가 \(0\)으로 나오는지 본다.
• 처리 시점이 단위마다 다른 경우 사건 연구 그림으로 시점별 효과를 함께 본다.

수준이 아니라 변화를 비교한다는 것이 DiD의 힘이자 한계다. 원래 차이는 얼마든지 있어도 되지만, 원래 추세가 다르면 무너진다. \(\square\)

import numpy as np
import statsmodels.api as sm

rng = np.random.default_rng(2)
n, cutoff, tau = 5000, 50., 5.0
score = rng.uniform(0, 100, n)
T = (score >= cutoff).astype(float)
Y = 20 + 0.6 * score + tau * T + rng.normal(0, 3, n)     # 참 효과 5

print(f"참 효과 {tau}")
print(f"  전체 단순비교 {Y[T == 1].mean() - Y[T == 0].mean():.4f}"
      f"   ← 점수 자체의 효과가 통째로 섞였다\n")

print(f"{'대역폭':>8}{'n':>7}{'추정':>9}{'표준오차':>10}")
for h in (20, 10, 5, 2):
    m = np.abs(score - cutoff) < h
    X = sm.add_constant(np.column_stack(
        [T[m], score[m] - cutoff, T[m] * (score[m] - cutoff)]))
    fit = sm.OLS(Y[m], X).fit()
    print(f"{h:>8}{m.sum():>7}{fit.params[1]:>9.4f}{fit.bse[1]:>10.4f}")

출력:

참 효과 5.0
  전체 단순비교 35.2551   ← 점수 자체의 효과가 통째로 섞였다

     대역폭      n       추정      표준오차
      20   1967   4.8873    0.2739
      10    977   5.0000    0.3885
       5    484   5.3096    0.5386
       2    197   5.1275    0.8591

전체를 단순비교하면 \(35.3\)이 나온다. 점수가 높은 학생이 원래 결과도 좋기 때문이며, 참값 \(5\)의 일곱 배다. 반면 기준선 부근으로 좁히면 모든 대역폭에서 \(5\) 근처가 나온다.

왜 통하는가. 기준선 바로 아래 \(49.9\)점 학생과 바로 위 \(50.1\)점 학생은 장학금 여부만 빼면 사실상 같다. 능력, 동기, 배경이 기준선을 넘나들며 갑자기 달라질 이유가 없다. 그래서 기준선 근처에서는 배정이 국소적으로 무작위나 다름없다.

핵심 맞바꿈이 표에 그대로 보인다.

대역폭을 좁히면 "두 군이 같다"는 가정이 더 그럴듯해지지만(편향 감소), 표본이 줄어 표준오차가 세 배로 커진다(분산 증가). 편향–분산 맞바꿈이 대역폭 선택으로 나타난 것이며, 실무에서는 이를 최소화하는 최적 대역폭을 자료에서 고른다.

RDD가 무너지는 경우.

• 조작(manipulation): 학생이나 심사자가 점수를 기준선 위로 밀어 올릴 수 있다면 배정이 더는 무작위가 아니다. 기준선 바로 위에 관측이 몰려 있는지 밀도 검정(맥크래리 검정)으로 확인한다.
• 다른 제도가 같은 기준선을 쓰는 경우: \(50\)점에서 장학금 말고 다른 혜택도 함께 주어진다면 둘을 분리할 수 없다.
• 함수 형태: 기준선 양쪽의 추세를 잘못 모형화하면 없는 도약을 만들어 낼 수 있다. 위 코드가 \(T \times (\text{score}-c)\) 상호작용항을 넣어 양쪽 기울기를 따로 추정한 이유다.

RDD가 주는 것은 국소 효과다. 추정된 \(5\)는 기준선 근처 학생들에 대한 효과이지 \(10\)점 학생이나 \(90\)점 학생에 대한 효과가 아니다. 강한 식별력을 얻는 대가로 일반화 범위를 잃는다. \(\square\)

도구 \(Z\)는 세 조건을 만족해야 한다. (1) \(T\)에 영향을 준다(관련성), (2) \(Y\)에 직접 영향을 주지 않는다(배제 제약), (3) 교란요인과 무관하다(외생성). 이때

가 인과효과를 식별한다. \(Z\)가 만들어 낸 \(T\)의 변동만 골라 쓰는 것이며, 그 변동은 교란요인과 무관하다.

import numpy as np
import statsmodels.api as sm

rng = np.random.default_rng(3)
n, B = 2000, 2000

for strength, label in [(1.0, "강한 도구"), (0.06, "약한 도구")]:
    ols = np.empty(B); tsls = np.empty(B); Fstat = np.empty(B)
    for b in range(B):
        U = rng.normal(size=n)                       # 미측정 교란
        Z = rng.normal(size=n)                       # 도구
        T = strength * Z + 0.9 * U + rng.normal(size=n)
        Y = 2.0 * T + 0.9 * U + rng.normal(size=n)   # 참 효과 2.0

        ols[b] = sm.OLS(Y, sm.add_constant(T)).fit().params[1]
        first = sm.OLS(T, sm.add_constant(Z)).fit()  # 1단계
        Fstat[b] = first.tvalues[1] ** 2
        tsls[b] = sm.OLS(Y, sm.add_constant(first.fittedvalues)).fit().params[1]

    print(f"{label} (참 효과 2.0)")
    print(f"   OLS  평균 {ols.mean():.4f}  편향 {ols.mean() - 2:+.4f}  표준편차 {ols.std():.4f}")
    print(f"   2SLS 평균 {tsls.mean():.4f}  편향 {tsls.mean() - 2:+.4f}  표준편차 {tsls.std():.4f}")
    print(f"   1단계 F 중앙값 {np.median(Fstat):.1f}\n")

출력:

강한 도구 (참 효과 2.0)
   OLS  평균 2.2878  편향 +0.2878  표준편차 0.0171
   2SLS 평균 1.9989  편향 -0.0011  표준편차 0.0304
   1단계 F 중앙값 1103.7

약한 도구 (참 효과 2.0)
   OLS  평균 2.4465  편향 +0.4465  표준편차 0.0202
   2SLS 평균 1.7995  편향 -0.2005  표준편차 6.6816
   1단계 F 중앙값 4.0

강한 도구. OLS는 \(+0.29\)만큼 위로 편향된다. \(U\)가 \(T\)와 \(Y\)를 함께 밀어 올리기 때문이다. 2SLS는 편향이 \(-0.001\)로 사실상 사라진다. 대신 표준편차가 \(0.017\)에서 \(0.030\)으로 커지는데, \(Z\)가 설명하는 \(T\)의 변동만 쓰므로 정보를 덜 쓰기 때문이다. 편향을 분산과 맞바꾸는 것이 도구변수의 본질이다.

약한 도구는 재앙이다. \(F\)가 \(4.0\)까지 떨어지자 2SLS의 표준편차가 \(6.68\)로 폭발한다. OLS 표준편차 \(0.02\)의 \(330\)배다. 추정값이 참값 \(2\)에서 수십씩 벗어나는 일이 예사로 일어난다.

왜 그런가. 2SLS의 분모가 \(\operatorname{Cov}(Z, T)\)인데, 도구가 약하면 이 값이 \(0\) 근처라 조금만 흔들려도 추정값이 폭주한다. 게다가 유한표본에서 2SLS는 OLS 쪽으로 편향된다. 도구가 완전히 무력해지는 극한에서 2SLS는 OLS와 같아지므로, 약한 도구는 "고치려던 편향을 그대로 되돌려 놓으면서 분산만 키우는" 최악의 조합이 된다.

검증할 수 없는 가정. 관련성(1단계 \(F\))은 자료로 확인할 수 있지만 배제 제약은 확인할 수 없다. \(Z\)가 \(Y\)에 직접 영향을 주지 않는다는 것은 순전히 이론적 논증이다. 앞서 본 존 스노의 연구가 사실상 도구변수 설계인데, 그가 든 근거("배관은 수십 년 전에 상업적 이유로 깔렸다")가 바로 배제 제약에 대한 논증이었다. 좋은 도구는 통계가 아니라 제도적 지식에서 나온다. \(\square\)