방향성 비순환 그래프¶
들어가는 이야기 — 같은 코드 한 줄인데 하나만 반대로 간다
세 구조에 각각 \(900\) 개씩 자료를 만들고 가운데 변수를 통제해 보았다. 사슬에서는 양 끝의 상관이 \(+0.70\) 에서 \(-0.01\) 로, 갈래에서는 \(+0.68\) 에서 \(+0.01\) 로 떨어진다 — 여기까지는 통제가 제 일을 한 것이다. 충돌자에서는 \(-0.03\) 이던 상관이 \(-0.81\) 이 된다.
셋 다 같은 회귀 코드 한 줄이다. 그리고 사슬과 갈래는 자료가 가려 주지 못한다 — 두 구조가 내놓는 공분산행렬이 글자 그대로 같아서, 남은 수만 보면 어느 쪽인지 알 길이 없다. 다른 것은 우리가 믿는 화살표뿐이다.
왼쪽. 세 구조에서 자료가 내놓는 수는 둘뿐이다 — 그대로 잰 상관과 \(B\) 를 통제한 상관. 충돌자는 그 둘로 갈리지만 사슬과 갈래는 같은 점에 떨어진다. 우연이 아니라 대수다. 표준화하면 두 구조 모두 \(r_{AB} = p\), \(r_{BC} = q\), \(r_{AC} = pq\) 를 내므로 공분산행렬이 같다. 오른쪽. 그런데 그 둘에서 해야 할 일은 정반대다. 사슬에서 \(B\) 는 매개자라 통제하면 진짜 효과 \(0.70\) 을 지우고, 갈래에서 \(B\) 는 교란변수라 통제해야 가짜 효과 \(0.70\) 이 지워진다. 같은 자료, 같은 코드 한 줄, 반대의 결과 — 어느 쪽인지는 자료가 아니라 화살표가 정한다.
그러니 변수를 넣고 빼는 일은 자료를 보고 정할 수 없다. 그렇다면 화살표를 어떻게 적어 두어야 「넣어야 할 변수」와 「넣으면 안 되는 변수」가 갈리는가. 이 쪽이 그 적는 법과 읽는 규칙을 세운다. 그 충돌자가 회귀식 안이 아니라 자료 바깥에 있어 넣고 빼기를 고를 수조차 없는 자리는 아래 상자가 따라간다.
이 장에서 우리는 교란요인, 매개자, 충돌자, 잠복변수를 만나 왔다. 방향성 비순환 그래프(DAG)는 변수들 사이의 인과관계를 나타내는 시각적·수학적 틀을 제공하여 어떤 변수를 통제하고 어떤 변수를 그대로 두어야 하는지 판정할 수 있게 해 준다. DAG는 주로 Judea Pearl이 발전시킨 현대 그래프 기반 인과추론의 토대이다.
1. DAG란¶
방향성 비순환 그래프는 다음으로 이루어진 그래프이다.
- 노드(꼭짓점): 각 노드는 변수를 나타낸다.
- 방향 간선(화살표): \(A\)에서 \(B\)로 가는 화살표는 \(A\)가 \(B\)의 직접 원인이라는 뜻이다.
- 비순환: 방향 순환이 없다(화살표를 따라가 자기 자신으로 돌아올 수 없다).
두 노드 사이에 화살표가 없다는 것은 둘 사이에 직접적인 인과효과가 없다는 뜻이다(다른 노드를 통한 간접 효과는 있을 수 있다).
2. 세 가지 기본 구조¶
DAG의 모든 경로는 세 가지 기본 요소로 이루어진다. 이 세 구조를 이해하면 어떤 DAG의 통계적 함의든 판정할 수 있다.
1. 사슬 (매개)¶
\(B\)는 \(A\)에서 \(C\)로 가는 인과 경로 위의 매개자이다. 정보가 \(B\)를 통해 \(A\)에서 \(C\)로 흐른다.
- 조건화하지 않으면: \(A\)와 \(C\)가 연관된다.
- \(B\)로 조건화하면: 경로가 막힌다. \(B\)가 주어졌을 때 \(A\)와 \(C\)가 조건부 독립이 된다.
2. 갈래 (공통원인)¶
\(B\)는 \(A\)와 \(C\)의 공통원인(교란요인)이다. 정보가 공통원인 \(B\)를 통해 \(A\)와 \(C\) 사이를 흐른다.
- 조건화하지 않으면: \(A\)와 \(C\)가 연관된다.
- \(B\)로 조건화하면: 경로가 막힌다. \(B\)가 주어졌을 때 \(A\)와 \(C\)가 조건부 독립이 된다.
3. 충돌자 (공통결과)¶
\(B\)는 충돌자이다. \(A\)와 \(C\) 모두에 의해 생긴다.
- 조건화하지 않으면: \(A\)와 \(C\)가 연관되지 않는다(경로가 막혀 있다).
- \(B\)로 조건화하면: 경로가 열려 \(A\)와 \(C\) 사이에 허위 연관이 생긴다.
충돌자로 조건화하면 편향이 생긴다
조건화가 경로를 막는 사슬·갈래와 달리, 충돌자로 조건화하면 막혀 있던 경로가 열린다. 이는 선택 편향의 흔한 원천이며, 회귀에 변수를 무분별하게 넣으면 추정이 나아지기는커녕 나빠질 수 있는 이유이다.

세 구조를 각각 900개 관측값으로 만들어 \(A\)와 \(C\)의 관계를 두 방식으로 잰 그림이다. 붉은 파선은 \(B\)를 무시하고 전체에 맞춘 직선이고, 점의 색은 \(B\)의 사분위 층이며 파란 직선들은 각 층 안에서 맞춘 직선이다. 표기된 두 숫자 중 아래쪽은 \(B\)를 통제한 뒤의 상관, 곧 \(A\)와 \(C\)를 각각 \(B\)에 회귀시키고 남은 잔차끼리의 상관이다.
사슬과 갈래는 숫자가 똑같이 움직인다. 사슬에서는 \(+0.70 \to -0.01\), 갈래에서는 \(+0.68 \to +0.01\). 붉은 파선은 가파르게 올라가는데 층 안의 파란 직선들은 거의 평평하다. \(B\)를 알고 나면 \(A\)는 \(C\)에 대해 더 말해 줄 것이 없다는 뜻이며, 이것이 "조건화하면 경로가 막힌다"의 구체적인 내용이다. 그리고 두 구조가 남기는 자료가 이렇게 구별되지 않는다는 사실이 중요하다. 상관 패턴만으로는 \(B\)가 매개자인지 교란요인인지 알 수 없고, 그래서 어느 쪽을 통제해야 하는지도 자료가 아니라 DAG가 결정한다.
충돌자는 정반대로 간다. \(B\)를 무시하면 \(r = -0.03\), 곧 \(A\)와 \(C\)는 사실상 무관하다. 실제로 둘은 독립으로 생성했으니 옳은 값이다. 그런데 \(B\)를 통제하는 순간 \(r = -0.81\)이라는 강한 음의 상관이 생겨난다. 세 번째 판에서 각 층의 파란 직선이 가파르게 내려가는 것이 그것이다. 이유는 단순하다. \(B = A + C\) 근처의 값으로 묶어 놓으면, 그 층 안에서 \(A\)가 큰 관측값은 \(C\)가 작을 수밖에 없다.
실무적 교훈은 하나다. "가진 변수를 모두 넣으면 안전하다"는 직관은 틀렸다. 위 세 판에서 \(B\)를 넣는 행위는 각각 총효과 차단, 교란 제거, 편향 생성이라는 전혀 다른 결과를 낳았고, 셋 다 같은 회귀 코드 한 줄로 보인다. 어느 경우인지는 변수 이름 옆의 화살표를 먼저 그려 봐야만 알 수 있다.
3. d-분리¶
d-분리(방향 분리) 개념은 세 기본 구조를 일반화하여, 주어진 조건 변수 집합 아래에서 두 변수가 조건부 독립인지 판정한다.
두 노드 \(X\)와 \(Y\)가 집합 \(S\)에 의해 d-분리된다는 것은, \(X\)와 \(Y\) 사이의 모든 무방향 경로(화살표의 방향을 무시하고 간선을 따라 이은 길)에 대해 다음 중 하나가 성립한다는 뜻이다.
-
경로가 사슬 \(A \rightarrow B \rightarrow C\) 또는 갈래 \(A \leftarrow B \rightarrow C\)를 포함하고 \(B \in S\)이다(충돌자가 아닌 노드로 조건화하여 경로가 막힌다). 또는
-
경로가 충돌자 \(A \rightarrow B \leftarrow C\)를 포함하고 \(B \notin S\)이며 \(B\)의 어떤 후손도 \(S\)에 없다(충돌자로 조건화하지 않아 경로가 막힌다). 여기서 \(B\)의 후손은 \(B\)에서 화살표를 따라가 닿을 수 있는 모든 노드다.
\(X\)와 \(Y\)가 \(S\)에 의해 d-분리되면, 그 DAG와 양립하는 어떤 확률분포에서도 \(X\)와 \(Y\)는 \(S\)가 주어졌을 때 조건부 독립이다.
4. 뒷문 기준¶
뒷문 기준은 \(X\)가 \(Y\)에 미치는 인과효과를 추정할 때 어떤 변수를 통제해야 하는지 알려주는 실용적인 규칙이다.
변수 집합 \(S\)가 \((X, Y)\)에 대해 뒷문 기준을 만족한다는 것은 다음과 같다.
- \(S\)의 어떤 변수도 \(X\)의 후손이 아니다.
- \(S\)가 \(X\)로 들어오는 화살표를 포함하는 \(X\)–\(Y\) 사이의 모든 경로("뒷문 경로")를 막는다.
그런 집합 \(S\)가 존재하면 \(X\)가 \(Y\)에 미치는 인과효과가 조정 공식으로 식별된다.
Pearl이 도입한 \(\text{do}(\cdot)\) 표기는 개입 분포(\(X\)를 어떤 값으로 설정할 때 일어나는 일)와 관찰 분포(\(X\)가 어떤 값을 가질 때 우리가 관측하는 것)를 구별한다.
보기 1. 뒷문 기준의 적용. 다음 DAG를 생각하자.
풀이
여기서 \(Z\)는 교란요인이다(뒷문 경로 \(X \leftarrow Z \rightarrow Y\)가 있다). \(X\)가 \(Y\)에 미치는 인과효과를 추정하려면 이렇게 해야 한다.
- \(Z\)를 통제한다: \(Z\)가 \(X\)의 후손이 아니고 뒷문 경로를 막으므로 \(S = \{Z\}\)가 뒷문 기준을 만족한다.
- 아무것도 통제하지 않으면 안 된다: \(S = \emptyset\)은 뒷문 경로 \(X \leftarrow Z \rightarrow Y\)가 열린 채로 남아 실패한다.
이제 다음을 보자.
여기서 \(M\)은 매개자이다. \(X\)가 \(Y\)에 미치는 총 인과효과를 추정하려면 이렇게 해야 한다.
- \(M\)을 통제하지 않는다: (\(X\)로 들어오는 화살표가 없어) 뒷문 경로가 없으므로 \(S = \emptyset\)으로 충분하다.
- \(M\)을 통제하면 간접 경로가 막혀 총효과가 아니라 직접효과만 추정하게 된다.
5. DAG를 쓰는 실무 절차¶
-
DAG를 그린다. 관련 변수를 모두 나열하고 인과관계에 대한 분야 지식에 근거해 화살표를 그린다. 이 단계는 통계 분석이 아니라 그 분야의 전문 지식을 요구한다.
-
인과적 질문을 정한다. 무엇을 추정하는가? \(X\)가 \(Y\)에 미치는 총효과? 직접효과?
-
모든 뒷문 경로를 찾는다. \(X\)로 들어오는 화살표를 가진 \(X\)에서 \(Y\)로의 경로를 모두 나열한다.
-
뒷문 기준을 적용한다. (\(X\)의 후손이나 충돌자를 포함하지 않으면서) 모든 뒷문 경로를 막는 집합 \(S\)를 찾는다.
-
분석에서 \(S\)를 조정한다. 회귀, 층화(stratification), 짝짓기 절차에서 \(S\)의 변수들을 공변량으로 넣는다.
6. 흔한 실수¶
| 실수 | 무엇이 잘못인가 |
|---|---|
| 총효과를 추정하면서 매개자를 통제 | 인과 경로의 일부를 막는다 |
| 충돌자를 통제 | 허위 경로를 연다 |
| 충돌자의 후손을 통제 | 역시 충돌자 경로를 연다 |
| 사용 가능한 모든 변수를 회귀에 넣기 | 충돌자 편향을 만들거나 인과 경로를 막을 수 있다 |
통제변수가 많을수록 언제나 좋은 것은 아니라는 것이 원칙이다. 어떤 변수를 넣고 뺄지는 DAG가 알려준다.
그림으로 보는 통계학 1. 넣고 빼기를 고를 수 없는 충돌자
위 표의 실수들은 모두 고를 수 있는 것이다. 충돌자를 통제하지 않으면 되고, 모든 변수를 넣지 않으면 된다. 그런데 충돌자가 회귀식 안이 아니라 자료 바깥에 있으면 어떻게 하는가. 표본에 들어온 것 자체가 이미 조건부일 때 말이다.
\(2020\) 년 봄에 그 일이 아주 큰 규모로 일어났다. 코로나 위험인자에 관한 관찰 자료가 빠르게 쌓이고 있었는데, 그리피스 등이 그 자료들의 출처를 짚었다 — 「병원 입원, 표적 검사, 자발적 참여 같은 비무작위 표집」이다. 검사를 받으려면 증상이 있거나, 의료진이거나, 위험군으로 분류되었어야 했다. 노출도 결과도 검사받을 확률을 높인다. 검사가 충돌자다.
그들은 영국 바이오뱅크 자료로 그것을 보였다. 코로나 검사를 받은 사람들이 「유전·행동·심혈관·인구학·신체계측의 넓은 범위에 걸쳐 고도로 선별되어 있었다」는 것이다.
그런 표본 안에서 수가 어떻게 되는지 세어 보자. 노출 \(S\) 와 결과 \(Y\) 가 각각 표본에 들어갈 확률의 로그오즈를 \(b_S,\ b_Y\) 만큼 높인다고 두고, 오즈비를 정확히 계산했다.

- ① 노출과 결과가 참으로 무관(\(\mathrm{OR} = 1\))해도, 표본 안에서는 \(1\) 보다 작게 보인다. \(b_S = 1.5,\ b_Y = 2\) 면 \(0.602\) 다. 없던 보호효과가 생긴다. \(b_Y\) 가 클수록, 곧 아픈 사람이 표본에 들어오기 쉬울수록 심해진다.
- ② 더 나쁜 것이 있다. 노출이 참으로 해로울(\(\mathrm{OR} = 1.5\)) 때도 부호가 뒤집힐 수 있다. 검은 선이 관측 오즈비 \(1\) 의 경계이고 그 오른쪽 위가 뒤집힌 영역인데, 그린 격자의 \(36\%\) 가 거기 든다. \(b_S = 2,\ b_Y = 3\) 이면 관측값이 \(0.466\) — 해로운 것이 꽤 이로워 보인다.
- ③ 그리고 이 편향은 양 끝에서 사라지고 가운데가 가장 나쁘다. 거의 모두를 표본에 넣으면(\(98.6\%\)) 오즈비가 \(0.988\) 로 참값에 붙고, 아주 드물게만 넣어도 (\(0.7\%\)) \(0.949\) 로 돌아온다. 가장 나쁜 자리는 선택률 \(25\%\) 언저리, 오즈비 \(0.512\) 다. 뒤쪽 끝이 괜찮은 데에는 이유가 있다 — 선택이 아주 희귀하면 로지스틱 선택확률이 \(e^{t_0}e^{b_S S}e^{b_Y Y}\) 로 곱셈적으로 갈라져 오즈비를 건드리지 않는다. 환자–대조 연구가 성립하는 것이 이 성질 덕이다.
이 쪽의 처방 — 「어떤 변수를 넣고 뺄지는 DAG가 알려준다」 — 은 여기서도 옳지만 쓸 수가 없다. 뺄 수 있는 변수가 아니기 때문이다. 검사받지 않은 사람은 자료에 아예 없고, 그들의 행이 비어 있는 것이 아니라 존재하지 않는다. 회귀식을 어떻게 짜도 되돌릴 수 없다.
그래서 그 논문의 결론이 분석이 아니라 설계를 가리킨다. 기존 연구에서 비무작위 표집에 따른 편향을 살펴봐야 하지만, 「문제를 줄이는 최선의 길은 연구 설계 단계에서 적절한 표집 전략을 쓰는 것」이다. 이 장의 DAG 는 변수를 고르는 도구이기도 하지만, 그 전에 누가 자료에 들어오는지를 그려 보는 도구이기도 하다. 화살표 하나를 「표본에 포함됨」 으로 두고 그려 보면, 위 표에 없는 네 번째 실수가 보인다.
확인한 곳 — Griffith 외, "Collider bias undermines our understanding of COVID-19 disease risk and severity", 『Nature Communications』 \(11\) 권 논문번호 \(5749\)(\(2020\), doi:\(10.1038\)/s\(41467\)-\(020\)-\(19478\)-\(2\))의 초록 — 코로나 관찰자료가 「병원 입원, 표적 검사, 자발적 참여 같은 비무작위 표집」에서 나와 충돌자 편향에 노출된다는 것, 영국 바이오뱅크에서 코로나 검사를 받은 사람들이 「유전·행동·심혈관·인구학·신체계측의 넓은 범위에 걸쳐 고도로 선별되어」 있었다는 것, 그리고 「비무작위 표집에 따른 편향은 기존 연구에서 살펴보아야 하지만, 문제를 줄이는 최선의 길은 연구 설계 단계에서 적절한 표집 전략을 쓰는 것」이라는 결론. ①–③ 의 수는 모두 직접 계산한 값이며, \(b_S\) 와 \(b_Y\) 의 크기는 이 상자가 고른 설정이지 그 논문이 추정한 값이 아니다
네 구조가 같은 상관을 낸다¶

"상관은 인과를 함의하지 않는다"는 문장은 너무 익숙해서 오히려 실감이 나지 않는다. 위 그림은 그 문장을 눈으로 보여준다. 네 자료는 각각 전혀 다른 기제로 만들었다. 첫째는 \(X\)가 \(Y\)를 일으켰고, 둘째는 반대로 \(Y\)가 \(X\)를 일으켰으며, 셋째는 \(X\)와 \(Y\) 둘 다 제3의 변수 \(Z\)가 일으켰고, 넷째는 아무 관계도 없는 두 변수를 그냥 12번 뽑았을 뿐이다. 그런데 상관계수는 차례로 \(0.69\), \(0.70\), \(0.70\), \(0.72\)로 사실상 구별되지 않는다.
여기서 중요한 점은 네 산점도(scatter plot)가 비슷하게 생겼다는 것이 아니라, 자료에 담긴 정보만으로는 네 구조를 가려낼 방법이 원리적으로 없다는 것이다. 상관계수는 \(x\)와 \(y\)가 함께 어떻게 흩어져 있는지만 요약할 뿐, 어느 쪽 화살표가 먼저였는지, 뒤에 무엇이 숨어 있는지는 애초에 계산에 들어가지 않는다. 그 정보는 자료 바깥, 즉 실험 설계나 시간 순서나 분야 지식에서 와야 한다.
네 번째 판이 특히 눈여겨볼 만하다. 관측값이 12개뿐인데 \(r = 0.72\)이고 \(p = 0.009\)까지 나왔다. 두 변수는 서로 완전히 독립인데도 그렇다. 작은 표본에서는 우연만으로도 이 정도 상관이 어렵지 않게 나오므로, 인과 구조를 따지기 전에 표본이 이 상관을 뒷받침할 만큼 큰지부터 물어야 한다. 앞 쪽 인과 추론의 기준이 세운 다섯 기준은 결국 이 그림의 네 판을 서로 갈라놓기 위한 장치들이다.
상관(또는 연관)은 인과를 함의하지 않는다¶
참고: Correlation vs Causation in Data Science
Khan Academy 참고 자료: Invalid Conclusions from Studies Example
연습문제¶
연습문제 1. 다음 인과 구조를 나타내는 DAG를 그려라: 흡연이 폐암을 일으키고, 흡연이 치아 착색을 일으키며, 폐암은 치아 착색을 일으키지 않는다. 흡연–폐암 관계에서 치아 착색이 교란요인인지, 매개자인지, 충돌자인지 밝혀라.
풀이
DAG는 흡연 \(\to\) 폐암, 흡연 \(\to\) 치아 착색이다. 폐암과 치아 착색 사이에는 화살표가 없다.
치아 착색은 흡연–폐암 관계에서 교란요인도, 매개자도, 충돌자도 아니다. 흡연의 또 다른 결과(다른 인과 경로 위의 "후손")일 뿐이다. 치아 착색으로 조건화하는 것은 불필요하며 대체로 해롭지도 않지만 효율은 조금 떨어뜨린다.
교란요인이라면 흡연과 폐암 모두의 공통원인이어야 하고, 매개자라면 둘 사이의 인과 경로 위에 있어야 하며, 충돌자라면 둘 모두의 공통결과여야 한다.
연습문제 2. DAG \(X \to Z \to Y\)에서 \(Z\)가 매개자인 이유와, \(Z\)로 조건화하면 \(X\)와 \(Y\)의 연관이 어떻게 되는지 설명하라.
풀이
\(Z\)는 \(X\)에서 \(Y\)로 가는 인과 경로 위에 있으므로 매개자이다. \(X\)의 효과는 \(Z\)를 통해 작동한다. \(X\)가 \(Z\)를 일으키고 \(Z\)가 다시 \(Y\)를 일으킨다.
\(Z\)로 조건화하면(예: 회귀에 \(Z\)를 공변량으로 넣으면) 인과 경로 \(X \to Z \to Y\)가 막힌다. 그러면 \(X\)와 \(Y\)의 연관이 사라진다(직접 화살표 \(X \to Y\)도 있다면 직접효과만 남는다).
실무적으로 중요하다. \(X\)가 \(Y\)에 미치는 총 인과효과를 추정하려면 매개자로 조건화해서는 안 된다. (\(Z\)를 통하지 않는) 직접효과만 원한다면 \(Z\)로 조건화하는 것이 적절하다.
연습문제 3. DAG \(X \to Z \leftarrow Y\)를 생각하자. \(Z\)가 충돌자인 이유와 \(Z\)로 조건화할 때 생기는 역설적인 효과를 설명하라.
풀이
\(X\)와 \(Y\)에서 화살표 두 개가 들어오므로 \(Z\)는 충돌자이다. 이 구조에서 \(X\)와 \(Y\)는 주변적으로 독립이다(둘 사이에 인과적 연결이 없다).
그러나 충돌자 \(Z\)로 조건화하면 \(X\)와 \(Y\) 사이에 허위 연관이 생긴다. 이를 "충돌자 편향" 또는 "버크슨의 역설"이라 한다. 직관적으로, \(Z\)가 일어났음을 알 때 \(X\)가 원인이 아니었다는 것을 알면 \(Y\)가 원인일 가능성이 커지고(그 반대도 마찬가지), 그래서 음의 상관이 유도된다.
예: 인구 전체에서는 재능(\(X\))과 외모(\(Y\))가 독립일 수 있지만, 배우들(\(Z\) = 배우가 됨. 재능이나 외모 중 하나가 필요하다) 안에서는 음의 상관으로 보인다. \(Z\)로 조건화하는 것이 조건화 전에는 막혀 있던 경로를 연 것이다.
연습문제 4. \(U\)가 관측되지 않을 때 \(U \to X\), \(U \to Y\), \(X \to Y\)인 DAG에서 교란 문제를 설명하고 \(X\)가 \(Y\)에 미치는 인과효과를 식별하기 위한 뒷문 기준을 진술하라.
풀이
변수 \(U\)는 \(X\)와 \(Y\)의 관측되지 않은 공통원인(교란요인)이다. 인과 경로 \(X \to Y\)가 참 인과효과를 주지만 뒷문 경로 \(X \leftarrow U \to Y\)가 허위 연관을 만든다. \(U\)를 조정하지 않으면 관측된 \(X\)–\(Y\) 연관이 인과효과와 교란을 뒤섞는다.
뒷문 기준(Pearl, 1993)은 이렇게 말한다: 변수 집합 \(\mathbf{Z}\)가 (1) \(X\)에서 \(Y\)로 가는 모든 뒷문 경로를 막고 (2) \(\mathbf{Z}\)의 어떤 변수도 \(X\)의 후손이 아니면, \(\mathbf{Z}\)는 \(X\)가 \(Y\)에 미치는 인과효과를 식별하기에 충분하다.
이 DAG에서는 \(U\)가 관측되지 않고 경로 \(X \leftarrow U \to Y\)를 막는 관측 변수도 없으므로, 추가 가정(예: 도구변수) 없이는 관찰자료만으로 \(X\)가 \(Y\)에 미치는 인과효과를 식별할 수 없다.
연습문제 5. 3 절의 d-분리 기준 2 는 충돌자 \(B\) 자신뿐 아니라 "\(B\) 의 어떤 후손도 \(S\) 에 없다"까지 요구한다. 이 조항이 왜 필요한지 확인하자.
충돌자 구조에 화살표 하나를 덧붙인 DAG \(A \to B \leftarrow C\), \(B \to D\) 를 생각한다. \(A\) 와 \(C\) 는 독립인 \(N(0,1)\) 이고 \(B = A + C\) 이며, \(D = B + \varepsilon\) 에서 \(\varepsilon \sim N(0, \lambda^2)\) 은 나머지와 독립이다.
(a) \(S = \emptyset\) 과 \(S = \{D\}\) 에 대해 \(A\) 와 \(C\) 가 d-분리되는지, 기준 1 과 기준 2 를 하나씩 짚어 판정하라.
(b) \(\lambda \to 0\) 과 \(\lambda \to \infty\) 의 두 극단에서 \(D\) 로 조건화하는 일이 각각 무엇과 같아지는지 말하라.
(c) (b) 를 근거로, 기준 2 에서 후손 조항을 빼고 "\(B \notin S\)" 만 요구하면 왜 틀린 판정이 나오는지 설명하라.
풀이
(a) \(A\) 와 \(C\) 를 잇는 무방향 경로는 \(A \to B \leftarrow C\) 하나뿐이고, 그 중간 노드는 충돌자 \(B\) 하나다.
\(S = \emptyset\) 일 때: 경로에 사슬도 갈래도 없으므로 기준 1 은 애초에 쓸 자리가 없다. 기준 2 는 \(B \notin S\) 이고 \(B\) 의 유일한 후손 \(D\) 도 \(S\) 에 없으므로 성립한다. 경로가 막히고 \(A\) 와 \(C\) 는 d-분리된다. 실제로 독립으로 생성했으니 옳은 판정이다.
\(S = \{D\}\) 일 때: 기준 1 은 여전히 쓸 수 없고, 기준 2 는 \(B\) 의 후손 \(D\) 가 \(S\) 에 들어 있어 깨진다. 두 항 모두 실패하므로 경로가 열려 있고, \(A\) 와 \(C\) 는 \(\{D\}\) 에 의해 d-분리되지 않는다.
(b) \(D = A + C + \varepsilon\) 이므로 \(D\) 로 조건화하는 일은 잡음 표준편차가 \(\lambda\) 인 충돌자로 조건화하는 일과 똑같다. 연습문제 8 에서 보이는 식을 그대로 쓰면 \(A\) 와 \(C\) 의 조건부(잔차) 상관은 \(-1/(1 + \lambda^2)\) 이다.
\(\lambda \to 0\) 이면 \(D\) 가 \(B\) 의 완전한 복사본이 되고 상관은 \(-1\) 로 간다. \(B = A + C\) 가 잡음 없이 성립하므로 \(B\) 를 알면 \(C = B - A\) 가 완전히 정해지는 것이고, \(D\) 로 조건화하는 일이 \(B\) 로 조건화하는 일과 같아진다.
\(\lambda \to \infty\) 이면 \(D\) 는 거의 순수한 잡음이어서 \(B\) 에 대해 알려 주는 것이 사실상 없다. \(D\) 를 고정해도 \(A + C\) 의 값은 거의 제약되지 않으므로 \(A\) 와 \(C\) 는 조건화 후에도 거의 독립으로 남는다. 곧 후손으로 조건화해서 새는 정보의 양은 \(\lambda\) 가 결정하는 연속적인 값이고, 극단 한쪽이 "\(B\) 로 조건화하기"이다.
(c) 후손 조항이 없으면 \(\lambda\) 가 아무리 작아도 "\(B \notin \{D\}\) 이니 기준 2 가 성립, 경로가 막혔다"고 판정하게 된다. 그러나 \(\lambda \to 0\) 인 모형에서 \(A\) 와 \(C\) 는 \(D\) 가 주어졌을 때 강하게 음으로 종속이다. d-분리는 그 DAG 와 양립하는 모든 분포에서 조건부독립을 보장해야 하는 그래프 조건이므로, 이렇게 반례가 되는 분포가 하나라도 있으면 판정 자체가 무효다. 후손 조항은 "충돌자가 품은 정보가 후손을 타고 새어 나올 수 있다"는 가능성을 미리 차단해 두는 보수적인 장치이고, 6 절 표의 "충돌자의 후손을 통제 — 역시 충돌자 경로를 연다"가 바로 이 조항의 실무판이다. \(\square\)
연습문제 6. 다음 DAG 를 생각하자.
여기서 \(V, Z, M, W\) 는 모두 관측된다. 목표는 \(X\) 가 \(Y\) 에 미치는 총효과다.
(a) \(X\) 에서 \(Y\) 로 가는 뒷문 경로를 모두 적어라.
(b) \(\{V, Z, M, W\}\) 의 부분집합 \(16\) 개 가운데 \((X, Y)\) 에 대해 뒷문 기준을 만족하는 것을 모두 찾아라.
(c) "가진 변수를 모두 넣으면 안전하다"는 선택 \(S = \{V, Z, M, W\}\) 가 깨뜨리는 조항을 밝히고, 그때 6 절 표의 어느 실수를 저지르는지 짚어라.
(d) \(V\) 는 교란요인 \(Z\) 의 원인이다. 그런데도 \(S = \{V\}\) 로는 교란이 지워지지 않는다. 왜인가?
풀이
(a) 뒷문 경로는 \(X\) 로 들어오는 화살표로 시작하는 \(X\)–\(Y\) 경로다. \(X\) 로 들어오는 화살표는 \(Z \to X\) 하나뿐이므로 모든 뒷문 경로는 \(X \leftarrow Z\) 로 시작한다. \(Z\) 에서 갈 수 있는 곳은 \(Y\) 와 \(V\) 인데, \(V\) 로 가면 \(V\) 에 다른 간선이 없어 \(Y\) 에 닿지 못한다. 경로는 노드를 반복할 수 없으니 \(Z\) 로 되돌아갈 수도 없다. 따라서 뒷문 경로는
하나뿐이고, \(Z\) 가 갈래의 중간 노드이므로 조건화하지 않으면 열려 있다. (\(X \to W \leftarrow Y\) 는 \(X\) 에서 나가는 화살표로 시작하므로 뒷문 경로가 아니다.)
(b) 조건 1 부터 적용한다. \(X\) 의 후손은 \(M\), \(W\), \(Y\) 다(\(X \to M\), \(X \to W\), \(X \to M \to Y\)). 관측변수 중 \(M\) 과 \(W\) 가 걸러지므로 후보는 \(S \subseteq \{V, Z\}\) 의 네 개뿐이다. 이어서 조건 2 는 유일한 뒷문 경로를 막으라고 하는데, 그러려면 그 경로 위의 비충돌자 노드인 \(Z\) 가 \(S\) 에 있어야 한다. 남는 것은
두 개다. \(\emptyset\) 과 \(\{V\}\) 는 조건 2 에서, \(M\) 이나 \(W\) 를 포함하는 \(12\) 개는 조건 1 에서 탈락한다. \(16\) 개 중 \(2\) 개만 쓸 수 있다.
(c) \(S = \{V, Z, M, W\}\) 는 조건 1(\(S\) 의 어떤 변수도 \(X\) 의 후손이 아니다)을 깨뜨린다. 그것도 두 가지 방식으로 동시에 깨뜨린다.
- \(M\) 은 매개자이므로 인과 경로 \(X \to M \to Y\) 를 막아 총효과의 일부를 지운다 — 표의 "총효과를 추정하면서 매개자를 통제".
- \(W\) 는 \(X\) 와 \(Y\) 의 공통결과인 충돌자이므로, 조건화하면 막혀 있던 \(X \to W \leftarrow Y\) 가 열려 허위 연관이 더해진다 — 표의 "충돌자를 통제".
하나는 참 효과를 깎고 하나는 없던 연관을 보태므로 두 오차가 어느 방향으로 얼마나 겹칠지 알 수 없고, 회귀 출력만 보아서는 둘 다 드러나지 않는다. 그런데도 올바른 집합 \(\{Z\}\) 와 이 집합은 코드 한 줄 차이다.
(d) 경로를 막는다는 것은 그 경로 위에 있는 비충돌자 노드로 조건화하는 일이다. \(V\) 는 뒷문 경로 \(X \leftarrow Z \to Y\) 위에 없다. \(V\) 를 고정해도 \(Z\) 는 자기 고유의 변동만큼 여전히 흔들리고, 그 변동이 \(X\) 와 \(Y\) 를 함께 움직여 허위 연관을 남긴다. \(V\) 가 \(Z\) 를 완전히 결정하는 극단에서만 \(V\) 로 조건화하는 일이 \(Z\) 로 조건화하는 일과 같아지는데, DAG 는 그런 결정적 관계를 가정하지 않는다. 연습문제 5 의 후손 조항과 같은 논리가 거울처럼 반복되는 셈이다. 교란요인의 대리변수는 그것이 교란요인을 얼마나 잘 가리키느냐에 따라 교란을 일부만 지운다. \(\square\)
연습문제 7. 2 절 그림에서 "사슬과 갈래는 숫자가 똑같이 움직인다"고 했다. 그 그림의 왼쪽 두 판은 다음 모형에서 나왔다(모든 잡음은 서로 독립인 정규난수다).
- 사슬: \(A \sim N(0,1)\), \(B = A + \epsilon_1\), \(C = B + \epsilon_2\), \(\epsilon_1, \epsilon_2 \sim N(0, 0.7^2)\)
- 갈래: \(B \sim N(0,1)\), \(A = B + \epsilon_1\), \(C = B + \epsilon_2\), \(\epsilon_1, \epsilon_2 \sim N(0, 0.7^2)\)
(a) 두 모형의 \(\operatorname{Corr}(A, C)\) 를 이론값으로 구하고 그림에 적힌 \(+0.70\), \(+0.68\) 과 견주라.
(b) \(A\) 와 \(C\) 를 각각 \(B\) 에 회귀시킨 잔차 \(e_A\), \(e_C\) 에 대해
임을 보이고, 두 모형 모두에서 이 값이 정확히 \(0\) 임을 확인하라.
(c) 갈래 모형의 두 잡음 표준편차를 \(\tau_1, \tau_2\) 로 풀어 주면, 사슬 모형과 \((A, B, C)\) 의 상관행렬이 완전히 같아지게 만들 수 있다. 그 \(\tau_1, \tau_2\) 를 구하고, 이 사실이 본문의 "어느 쪽을 통제해야 하는지도 자료가 아니라 DAG 가 결정한다"는 말을 어떻게 뒷받침하는지 적어라.
풀이
(a) 사슬: \(\operatorname{Var}(A) = 1\), \(\operatorname{Var}(B) = 1 + 0.49 = 1.49\), \(\operatorname{Var}(C) = 1.49 + 0.49 = 1.98\) 이고 \(\operatorname{Cov}(A, C) = \operatorname{Cov}(A, B + \epsilon_2) = \operatorname{Cov}(A, B) = 1\) 이므로
갈래: \(\operatorname{Var}(A) = \operatorname{Var}(C) = 1.49\) 이고 \(\operatorname{Cov}(A, C) = \operatorname{Var}(B) = 1\) 이므로
그림의 \(+0.70\) 과 \(+0.68\) 은 \(900\) 개 표본의 값이고, 이론값 \(0.7107\) 과 \(0.6711\) 과 소수 둘째 자리에서 맞는다.
(b) \(B\) 에 대한 회귀계수(regression coefficient)는 \(k_A = \operatorname{Cov}(A,B)/\operatorname{Var}(B)\), \(k_C = \operatorname{Cov}(B,C)/\operatorname{Var}(B)\) 이고 \(e_A = A - k_A B\), \(e_C = C - k_C B\) 다(절편(intercept)은 평균이 \(0\) 이라 생략). 그러면
인데 마지막 두 항이 서로 상쇄되어
가 남는다. 표준편차로 나누면 이 값이 \(0\) 이라는 것은 \(\rho_{AC} = \rho_{AB}\,\rho_{BC}\) 와 같은 말이다.
사슬: \(\rho_{AB} = 1/\sqrt{1.49} = 0.8192\), \(\rho_{BC} = 1.49/\sqrt{1.49 \cdot 1.98} = \sqrt{1.49/1.98} = 0.8675\) 이고 그 곱은 \(1/\sqrt{1.98} = 0.7107 = \rho_{AC}\) 다.
갈래: \(\rho_{AB} = \rho_{BC} = 1/\sqrt{1.49} = 0.8192\) 이고 그 곱은 \(1/1.49 = 0.6711 = \rho_{AC}\) 다.
두 경우 모두 잔차 공분산이 정확히 \(0\) 이다. 그림의 \(-0.01\) 과 \(+0.01\) 은 표본에서의 그 \(0\) 이다. 이것이 "조건화하면 경로가 막힌다"의 계산판이다.
(c) 갈래에서 \(A = B + \epsilon_1\), \(C = B + \epsilon_2\), \(\epsilon_i \sim N(0, \tau_i^2)\) 라 하면 \(\rho_{AB} = 1/\sqrt{1 + \tau_1^2}\), \(\rho_{BC} = 1/\sqrt{1 + \tau_2^2}\) 이고 (b) 에 의해 \(\rho_{AC}\) 는 이 둘의 곱으로 자동으로 따라온다. 그러므로 \(\rho_{AB}\) 와 \(\rho_{BC}\) 만 사슬의 값에 맞추면 상관행렬 전체가 맞는다.
이 갈래 모형과 원래 사슬 모형은 상관행렬이 똑같이
이다. 세 변수를 표준화하면 둘 다 평균 \(0\) 의 삼변량 정규분포이고, 그런 분포는 상관행렬로 완전히 결정된다. 곧 두 모형은 같은 분포를 낳는다. 표본을 \(900\) 개에서 \(10^9\) 개로 늘려도, 어떤 검정을 써도 사슬과 갈래를 가를 수 없다.
그런데 해야 할 일은 정반대다. \(A\) 가 \(C\) 에 미치는 총효과를 원할 때 사슬에서는 \(B\) 를 통제하면 효과가 전부 사라지고, 갈래에서는 통제하지 않으면 교란이 그대로 남는다. 같은 자료에 같은 회귀를 돌려 놓고 한쪽은 옳고 한쪽은 틀린다. 그 차이를 아는 유일한 근거가 화살표의 방향, 곧 자료 밖에서 들여오는 분야 지식이다. \(\square\)
연습문제 8. 2 절 그림의 세 번째 판은 \(A, C \sim N(0,1)\) 을 독립으로 뽑고 \(B = A + C + \varepsilon\), \(\varepsilon \sim N(0, \sigma^2)\) 로 만든 것이다. 본문이 말하는 "\(B\) 를 통제한 뒤의 상관"은 \(A\) 와 \(C\) 를 각각 \(B\) 에 회귀시킨 잔차끼리의 상관이다.
(a) 그 상관이
임을 보여라.
(b) 그림을 만든 코드는 \(\sigma = 0.5\) 를 썼다. 이론값을 구하고 그림에 적힌 \(-0.81\) 과 견주라.
(c) \(\sigma \to 0\) 과 \(\sigma \to \infty\) 의 두 극단에서 이 값이 무엇에 수렴하는지 구하고, 각각을 "\(B\) 를 알면 \(A\) 와 \(C\) 에 대해 무엇을 알게 되는가"로 설명하라.
(d) 이 식에 표본 크기 \(n\) 이 등장하지 않는다는 점에서 어떤 실무적 결론이 나오는가?
풀이
(a) \(\operatorname{Var}(B) = \operatorname{Var}(A) + \operatorname{Var}(C) + \sigma^2 = 2 + \sigma^2\) 이고 \(\operatorname{Cov}(A,B) = \operatorname{Cov}(C,B) = 1\) 이다. \(k = 1/(2+\sigma^2)\) 로 두면 두 회귀계수가 모두 \(k\) 이고 잔차는 \(e_A = A - kB\), \(e_C = C - kB\) 다. \(k^2\operatorname{Var}(B) = k\) 임을 쓰면
이고 \(\operatorname{Var}(e_C)\) 도 대칭으로 같다. 따라서
이다. 연습문제 7(b) 의 식으로 보면 \(\operatorname{Cov}(A,C) = 0\) 인데 \(\operatorname{Cov}(A,B)\operatorname{Cov}(B,C)/\operatorname{Var}(B) > 0\) 이어서 차가 음이 되는 것이고, 바로 이 지점에서 충돌자가 사슬·갈래와 갈린다.
(b) \(\sigma = 0.5\) 이면
이다. 그림의 \(-0.81\) 은 \(900\) 개 표본의 값이므로 이론값 \(-0.80\) 과 맞는다. 통제하기 전의 \(-0.03\) 역시 참값 \(0\) 의 표본판이다. 곧 \(A\) 와 \(C\) 는 정말로 독립인데 \(B\) 를 넣는 순간 \(r \approx -0.8\) 의 강한 상관이 만들어진다.
(c) \(\sigma \to 0\) 이면 값은 \(-1\) 로 간다. 이때 \(B = A + C\) 가 정확하므로 \(B = b\) 를 아는 것은 \(C = b - A\) 를 아는 것과 같다. 층 안에서 \(A\) 가 \(C\) 를 완전히 결정하니 상관이 \(-1\) 이다. 본문의 "\(A\) 가 큰 관측값은 \(C\) 가 작을 수밖에 없다"가 극한에서 등식이 된 것이다.
\(\sigma \to \infty\) 이면 값은 \(0\) 으로 간다. \(B\) 가 거의 전부 잡음이어서 \(A + C\) 에 대해 알려 주는 것이 없고, 따라서 \(B\) 로 조건화해도 \(A\) 와 \(C\) 는 제약되지 않는다. 충돌자 편향의 크기는 충돌자가 두 원인의 정보를 얼마나 정확히 담고 있는지가 결정한다.
(d) 편향의 크기가 \(\sigma\) 만의 함수이고 \(n\) 과 무관하다. 자료를 더 모아도 \(-1/(1+\sigma^2)\) 은 그대로이고, 다만 그 잘못된 값이 더 정밀하게 추정될 뿐이다. 신뢰구간은 좁아지면서 참값 \(0\) 을 점점 더 확실히 배제한다. 표본을 늘리면 줄어드는 것은 잡음이고 편향은 설계에서만 없앨 수 있다 — 여기서는 \(B\) 를 회귀에서 빼는 일, 곧 DAG 를 먼저 그리는 일이다. \(\square\)
연습문제 9. 보기 1 의 첫 DAG \(Z \to X \to Y\), \(Z \to Y\) 를 수치로 채운다. \(X, Y, Z\) 는 모두 \(0\) 또는 \(1\) 이고 \(P(X=1) = 0.5\) 이며 나머지는 다음과 같다.
| \(Z = 0\) | \(Z = 1\) | |
|---|---|---|
| \(P(Y=1 \mid X=1, Z=z)\) | \(0.90\) | \(0.50\) |
| \(P(Y=1 \mid X=0, Z=z)\) | \(0.80\) | \(0.40\) |
| \(P(Z=z \mid X=1)\) | \(0.20\) | \(0.80\) |
| \(P(Z=z \mid X=0)\) | \(0.80\) | \(0.20\) |
(a) 관측되는 거친 차이 \(P(Y=1 \mid X=1) - P(Y=1 \mid X=0)\) 을 구하라.
(b) \(S = \{Z\}\) 로 4 절의 조정 공식을 써서 \(P(Y=1 \mid \mathrm{do}(X=1)) - P(Y=1 \mid \mathrm{do}(X=0))\) 을 구하라.
(c) 거친 차이를 "층별 효과의 가중평균 + 구성 차이"로 쪼개고, 세 수가 실제로 맞아떨어지는지 확인하라.
(d) 이 자료에서 구성 차이가 두 연관의 곱으로 쓰임을 보이고, 그 식을 써서 거친 차이가 정확히 \(0\) 이 되게 만드는 \(P(Z=1 \mid X=0)\) 의 값을 구하라. 그때 참 인과효과는 얼마인가?
풀이
(a) 각 처치군에서 \(Z\) 로 가중평균한다.
거친 차이는 \(0.58 - 0.72 = -0.14\) 다. 처치가 결과를 \(14\) 퍼센트포인트 낮추는 것처럼 보인다.
(b) 조정 공식의 가중치는 \(Z\) 의 주변분포다. \(P(X=1) = 0.5\) 이므로
이고 \(P(Z=0) = 0.50\) 이다. 따라서
인과효과는 \(0.70 - 0.60 = +0.10\) 이다. 보기 1 에서 본 대로 \(\{Z\}\) 가 뒷문 기준을 만족하므로 이 값이 참값이다. 부호가 뒤집혔다.
(c) \(p_{xz} = P(Y=1 \mid X=x, Z=z)\), \(w_x(z) = P(Z=z \mid X=x)\) 라 쓰면 거친 차이는 \(\sum_z w_1(z)p_{1z} - \sum_z w_0(z)p_{0z}\) 이고, 가운데에 \(\sum_z w_1(z) p_{0z}\) 를 더하고 빼면
가 된다. 층별 효과는 두 층 모두 \(0.90 - 0.80 = 0.10\), \(0.50 - 0.40 = 0.10\) 으로 같으므로 첫 항은
이다. 층별 효과가 층마다 같으니 가중치를 \(w_1(z)\) 에서 주변분포 \(P(Z=z)\) 로 바꾸어도 값이 \(0.10\) 으로 같고, 그래서 이 항이 (b) 의 조정 공식 값과 일치한다. 둘째 항은
이다. 합이 \(0.10 + (-0.24) = -0.14\) 로 (a) 와 정확히 맞는다. 처치군에 결과가 나쁜 \(Z=1\) 층이 몰려 있다는 구성의 차이 하나가 참 효과 \(+0.10\) 을 \(-0.14\) 로 끌어내렸다.
(d) \(Z\) 가 이항이므로 \(\Delta = w_1(1) - w_0(1)\) 로 두면 \(w_1(0) - w_0(0) = -\Delta\) 다. 구성 차이에 넣으면
곧 노출–교란 연관 \(\Delta\) 와 교란–결과 연관 \(p_{00} - p_{01}\) 의 곱(부호 반대)이다. 지금 값은 \(\Delta = 0.80 - 0.20 = 0.60\), \(p_{00} - p_{01} = 0.80 - 0.40 = 0.40\) 이므로 \(-0.60 \times 0.40 = -0.24\) 로 (c) 와 같다. 둘 중 하나라도 \(0\) 이면 교란이 사라진다.
이제 \(q = P(Z=1 \mid X=0)\) 만 움직이면 \(\Delta = 0.80 - q\) 이고 거친 차이는
다. 층별 효과가 두 층에서 같으므로 \(q\) 를 바꾸어도 조정된 효과는 여전히 \(+0.10\) 이다. 곧 \(P(Z=1 \mid X=0) = 0.55\) 인 자료에서는 거친 비교가 "효과가 전혀 없다"고 말하면서 참 효과는 그대로 \(+0.10\) 이다. 교란은 부호를 뒤집을 수도 있고 효과를 감쪽같이 지울 수도 있으며, 두 경우를 가르는 것은 자료의 크기가 아니라 \(\Delta\) 와 \(p_{00} - p_{01}\) 의 곱이다. \(\square\)
연습문제 10. "처치보다 먼저 측정된 변수라면 회귀에 넣어도 안전하다"는 규칙이 흔히 쓰인다. 이 규칙의 반례를 만들자. 다음 DAG 를 생각한다.
여기서 \(U_1, U_2\) 는 관측되지 않고 \(Z\) 는 처치보다 먼저 측정된 관측변수다.
(a) \(X\) 에서 \(Y\) 로 가는 뒷문 경로를 모두 적고, \(S = \emptyset\) 이 뒷문 기준을 만족하는지 d-분리 기준으로 판정하라.
(b) \(S = \{Z\}\) 는 뒷문 기준의 두 조항 중 어느 것을 통과하고 어느 것을 깨뜨리는가?
(c) \(U_1, U_2, e_X, e_Y\) 를 독립인 \(N(0,1)\) 로 두고 \(Z = U_1 + U_2\), \(X = U_1 + e_X\), \(Y = \beta X + U_2 + e_Y\) 라 하자. 큰 표본에서 \(Y\) 를 \(X\) 에만 회귀시킨 \(X\) 의 계수와, \(Y\) 를 \((X, Z)\) 에 회귀시킨 \(X\) 의 계수를 각각 구하라.
(d) (c) 의 두 수를 참 효과 \(\beta\) 와 견주어, 앞의 규칙을 어떻게 고쳐야 하는지 한 문장으로 적어라.
풀이
(a) \(X\) 로 들어오는 화살표는 \(U_1 \to X\) 하나뿐이다. \(U_1\) 에서 \(Y\) 로 가려면 \(Z\) 를 거쳐 \(U_2\) 로 가야 하므로 뒷문 경로는
하나다. 이 경로에는 갈래 \(X \leftarrow U_1 \to Z\), 충돌자 \(U_1 \to Z \leftarrow U_2\), 갈래 \(Z \leftarrow U_2 \to Y\) 가 들어 있다. \(S = \emptyset\) 이면 충돌자 \(Z\) 가 \(S\) 에 없고 \(Z\) 의 후손도 \(S\) 에 없으므로 d-분리 기준 2 에 의해 경로가 막힌다. 뒷문 경로가 모두 막혔고 \(\emptyset\) 은 \(X\) 의 후손을 포함하지 않으니 \(S = \emptyset\) 이 뒷문 기준을 만족한다. 아무것도 통제하지 않는 것이 옳다.
(b) 조건 1 은 통과한다. \(Z\) 는 \(X\) 의 후손이 아니다(\(X\) 에서 \(Z\) 로 가는 방향 경로가 없다). 처치 전에 측정했다는 사실이 보장해 주는 것이 바로 이 조항이고, 그래서 그 규칙이 그럴듯하게 들린다.
조건 2 가 깨진다. \(Z\) 가 그 뒷문 경로 위의 충돌자이므로 \(Z\) 로 조건화하면 막혀 있던 경로가 열린다. 막을 것이 없던 상태에서 뒷문을 손으로 연 셈이다. 이 그림의 모양을 따라 \(M\)-편향이라 부른다.
(c) 모든 공분산을 적는다. \(\operatorname{Var}(X) = \operatorname{Var}(U_1) + 1 = 2\), \(\operatorname{Var}(Z) = 2\), \(\operatorname{Cov}(X, Z) = \operatorname{Cov}(U_1 + e_X,\, U_1 + U_2) = 1\) 이고
이다. \(X\) 에만 회귀시키면 계수는
로 참값과 정확히 같다. \((X, Z)\) 에 회귀시키면 계수벡터는
이므로 \(X\) 의 계수는 \(\beta - 1/3\) 이다.
(d) 아무것도 통제하지 않은 추정은 편향이 \(0\) 이었는데, 처치 전에 측정된 변수 \(Z\) 를 "안전하니까" 넣은 순간 편향 \(-1/3\) 이 생겼다. \(Z\) 가 \(X\) 와 \(Y\) 각각에 상관되어 있다는 점(여기서 \(\operatorname{Corr}(X, Z) = 0.5\), \(\operatorname{Corr}(Z, Y) \ne 0\))만 보면 교란요인처럼 보이지만, 화살표를 그려 보면 교란요인이 아니라 충돌자다.
규칙은 이렇게 고쳐야 한다. 측정 시점은 조건 1 만 보장하고, 넣어도 되는지는 조건 2 가, 곧 그 변수가 뒷문 경로 위에서 충돌자인지 아닌지가 결정한다. 6 절의 마지막 문장이 그대로 적용된다. 어떤 변수를 넣고 뺄지는 자료도 측정 순서도 아니라 DAG 가 알려준다. \(\square\)
연습문제 11. 「네 구조가 같은 상관을 낸다」 절의 그림에서 네 번째 판은 서로 완전히 독립인 두 변수를 \(n = 12\) 번 뽑은 것인데도 \(r = 0.72\), \(p = 0.009\) 가 나왔다. 상관계수의 유의성 검정은 자유도 \(n - 2\) 의 통계량
를 쓴다.
(a) \(r = 0.72\), \(n = 12\) 에 대해 \(t\) 를 구하고, \(t_{0.995,\,10} = 3.169\) 와 비교하여 양쪽꼬리 \(p\) 값이 \(0.01\) 보다 작음을 확인하라.
(b) \(n = 12\) 에서 양쪽꼬리 \(p\) 값이 \(0.01\) 미만이 되는 가장 작은 \(\lvert r \rvert\) 을 구하라.
(c) 서로 독립인 변수쌍을 \(n = 12\) 씩 20 번 독립적으로 뽑아 매번 유의수준 \(0.01\) 로 검정한다면, 적어도 한 번 "유의한 상관"이 나올 확률은 얼마인가?
(d) (b)(c) 의 답을 가지고, 네 번째 판이 "드문 사고"인지 아닌지 한 줄로 판정하라.
풀이
(a) \(r^2 = 0.72^2 = 0.5184\) 이므로 \(1 - r^2 = 0.4816\) 이고 \(\sqrt{0.4816} = 0.69397\) 이다. \(\sqrt{n-2} = \sqrt{10} = 3.16228\) 이므로
이다. \(3.281 > 3.169 = t_{0.995,\,10}\) 이므로 양쪽꼬리 \(p\) 값은 \(2 \times 0.005 = 0.01\) 보다 작다. 실제로 \(p = 0.0083\) 이고, 쪽에 적힌 \(0.009\) 와 맞는다.
(b) \(t\) 의 식을 \(r\) 에 대해 풀면
이다. \(t = t_{0.995,\,10} = 3.169\) 를 넣으면 \(t^2 = 10.043\) 이고
이다. 즉 \(n = 12\) 에서는 \(\lvert r \rvert \ge 0.708\) 이면 \(p < 0.01\) 이다.
(c) 독립인 변수쌍에 대해 매 검정이 1 종 오류를 낼 확률은 유의수준 \(0.01\) 이다. 20 번이 서로 독립이므로 한 번도 유의하지 않을 확률이 \(0.99^{20} = 0.818\) 이고,
이다. 약 18%, 다섯 번 중 한 번꼴이다.
(d) 드문 사고가 아니다. \(n = 12\) 에서는 \(\lvert r \rvert\) 이 \(0.708\) 만 넘으면 유의해지고, 아무 관계 없는 변수쌍을 스무 번만 들여다보면 그런 일이 18% 확률로 벌어진다. \(p\) 값이 작다는 것은 "우연으로 보기 어렵다"는 말일 뿐이고, 그것도 한 번만 보았을 때의 이야기다. 네 판을 가려내지 못하는 문제(구조의 문제)와 작은 표본에서 우연 상관이 쉽게 나오는 문제(표본크기의 문제)는 서로 다른 함정이며, 네 번째 판은 둘을 동시에 보여준다.
연습문제 12. 「네 구조가 같은 상관을 낸다」 절은 네 판에 대해 "자료에 담긴 정보만으로는 네 구조를 가려낼 방법이 원리적으로 없다"고 말한다. 셋째 판의 \(r = 0.70\) 을 가지고 이것을 식으로 확인하자. 아래 세 모형에서 모든 잡음은 서로 독립인 평균 0 의 정규분포다.
- 모형 1 (\(X \to Y\)): \(X \sim N(0,1)\), \(Y = 0.7X + \delta\), \(\delta \sim N(0, v)\)
- 모형 2 (\(Y \to X\)): \(Y \sim N(0,1)\), \(X = 0.7Y + \delta\), \(\delta \sim N(0, v)\)
- 모형 3 (\(Z\) 가 공통원인): \(Z \sim N(0, \sigma^2)\), \(X = Z + \varepsilon_1\), \(Y = Z + \varepsilon_2\), \(\varepsilon_1, \varepsilon_2 \sim N(0, \tau^2)\)
(a) 세 모형이 모두 \(\operatorname{Var}(X) = \operatorname{Var}(Y) = 1\) 과 \(\operatorname{Cor}(X,Y) = 0.7\) 을 주도록 \(v\), \(\sigma^2\), \(\tau^2\) 을 정하라.
(b) 그렇게 정했을 때 \((X, Y)\) 의 결합분포(joint distribution)가 세 모형에서 같음을 말하라. 이로부터 표본크기를 무한히 키우면 세 구조를 가려낼 수 있는지 답하라.
(c) 네 번째 판(서로 독립인 두 변수)은 (b) 의 세 모형과 다른 지위에 있다. 어떻게 다른가?
(d) (b) 와 (c) 를 합쳐, 그 절이 말한 "그 정보는 자료 바깥에서 와야 한다"를 두 종류의 한계로 나누어 정리하라.
풀이
(a) 세 모형 모두 \((X,Y)\) 가 평균 0 의 이변량 정규분포가 된다. 분산과 공분산만 맞추면 된다.
모형 1: \(\operatorname{Var}(Y) = 0.7^2 \times 1 + v = 0.49 + v\) 이므로 \(v = 0.51\) 이어야 \(\operatorname{Var}(Y) = 1\) 이다. 이때 \(\operatorname{Cov}(X,Y) = 0.7\operatorname{Var}(X) = 0.7\) 이고 두 분산이 1 이므로 \(\operatorname{Cor}(X,Y) = 0.7\) 이다. 모형 2 는 \(X\) 와 \(Y\) 의 역할만 바꾼 것이므로 똑같이 \(v = 0.51\) 이다.
모형 3: \(\operatorname{Cov}(X,Y) = \operatorname{Var}(Z) = \sigma^2\) 이고 \(\operatorname{Var}(X) = \operatorname{Var}(Y) = \sigma^2 + \tau^2\) 이므로
에서 \(\sigma^2 = 0.7\), \(\tau^2 = 0.3\) 이다.
(b) 세 모형 모두 \((X,Y)\) 는 평균 \((0,0)\), 공분산행렬
인 이변량 정규분포다. 이변량 정규분포는 평균과 공분산행렬로 완전히 결정되므로 세 모형의 결합분포는 같은 분포다. 분포가 같으면 어떤 표본에 대해서도 세 모형의 가능도가 똑같으므로, 어떤 통계량도 어떤 검정도 세 구조를 가려낼 수 없다. 표본크기를 무한히 키워도 사정은 달라지지 않는다. 이것은 추정의 정확도 문제가 아니라 식별 불가능의 문제다.
(c) 네 번째 판의 참 분포는 \(\operatorname{Cor}(X,Y) = 0\) 이다. 표본상관계수는 \(n \to \infty\) 에서 참값으로 수렴하므로, 표본을 키우면 \(r \to 0\) 이 되어 \(r \to 0.7\) 인 앞의 세 모형과 구별된다. 네 번째 판이 그림에서 다른 판들과 섞여 보이는 것은 구조 때문이 아니라 \(n = 12\) 라는 표본크기 때문이다.
(d) 두 한계가 서로 다르다.
- 표본의 한계(c): 자료를 더 모으면 풀린다. "상관이 0 인가 아닌가"는 통계적으로 답할 수 있는 질문이다.
- 식별의 한계(b): 자료를 더 모아도 풀리지 않는다. \(X \to Y\), \(Y \to X\), \(Z\) 가 공통원인 중 어느 것인가는 \((X,Y)\) 의 결합분포에 흔적을 남기지 않기 때문이다.
둘째 한계가 12.4절 인과 추론의 기준 §1 의 고전적 다섯 기준이 필요한 이유다. 시간적 선행은 모형 1 과 2 를 가르고, 실험적 증거(무작위화(randomization))는 \(X\) 를 밖에서 흔들어 모형 3 을 걸러내며, 개연성은 분야 지식을 들여온다. 셋 모두 자료 바깥에서 오는 정보다.
정리하며¶
방향성 비순환 그래프(DAG)는 노드(변수)와 방향 간선(인과 화살표)으로 인과관계를 나타낸다. 세 가지 기본 구조인 사슬, 갈래, 충돌자가 어떤 변수로 조건화할 때 다른 변수들 사이의 정보 흐름이 어떻게 달라지는지를 결정한다. d-분리 기준은 이 규칙들을 복잡한 그래프로 일반화하고, 뒷문 기준은 인과효과를 추정할 때 어떤 변수를 통제해야 하는지 알려준다. DAG는 충돌자로 조건화하거나 인과 경로를 막는 흔한 잘못을 피하는 원리적인 틀을 제공하며, 관찰자료를 다루는 연구자에게 필수적인 도구이다.
다음 쪽 인과추론 모의실험으로 넘어간다. 여기서 그린 그래프가 자료에서 어떤 수로 나타나는지를 직접 만들어 본다 — 교란과 충돌자 둘이고, 같은 「통제」 한 줄이 앞쪽에서는 상관을 지우고 뒤쪽에서는 없던 상관을 만든다.