교란변수¶

교란변수는 노출(또는 설명변수)과 결과 모두에 영향을 주어 둘 사이에 허위 연관을 만드는 변수이다. 인과가 아닌 관계를 인과처럼 보이게 하거나 진짜 인과효과를 가릴 수 있으므로, 교란은 통계학과 역학에서 가장 중요한 개념 중 하나이다. 교란요인을 올바르게 식별하고 통제하는 일은 관찰자료에서 타당한 결론을 이끌어내는 데 필수적이다.

교란의 구조¶

교란의 바탕이 되는 인과 구조는 \(Z\)에서 \(X\)와 \(Y\) 모두로 화살표가 향하는 그림으로 나타낼 수 있다:

이 "공통원인" 구조는 \(X\)와 \(Y\) 사이에 직접적인 인과 연결이 없어도 둘이 연관됨을 뜻한다. 연관은 전적으로 뒷문 경로 \(X \leftarrow Z \rightarrow Y\)를 통해 생긴다.

양의 교란과 음의 교란¶

교란은 참 효과를 부풀릴 수도 가릴 수도 있다:

• 양의 교란: 교란요인이 양의 연관을 만들거나 부풀린다. 조정하지 않은 연관이 참 효과를 과대추정한다.
• 음의 교란: 교란요인이 참 연관을 가리거나 줄인다. 조정하지 않은 연관이 참 효과를 과소추정한다.

교란의 방향은 \(Z\)와 \(X\)의 관계, \(Z\)와 \(Y\)의 관계가 갖는 부호에 달려 있다.

세 자료는 모두 같은 방식으로 만들었다. \(Z \to X\)의 관계도 같고, \(X\)가 \(Y\)에 미치는 참 효과도 셋 다 \(+1\)로 똑같다. 다른 것은 \(Z\)가 \(Y\)에 미치는 효과의 부호와 크기뿐이다. 그런데 교란변수를 빼고 \(Y\)를 \(X\)에만 회귀시킨 붉은 파선의 기울기는 차례로 \(+1.95\), \(+0.21\), \(-0.93\)이 나온다. 같은 효과를 두 배로 부풀리기도 하고, 5분의 1로 줄여 없는 것처럼 보이게도 하고, 아예 반대 방향으로 뒤집어 놓기도 한 것이다.

반면 \(Z\)를 모형에 넣은 기울기는 \(+0.97\), \(+0.99\), \(+0.99\)로 세 자료 모두 참값 \(+1\) 위에 정확히 내려앉는다. 그림에서 각 층의 옅은 파랑부터 진한 파랑까지 짧은 직선들이 그 조정된 기울기에 해당하며, 세 판 모두 같은 방향으로 완만하게 올라간다. 층 안의 기울기는 한 번도 변하지 않았고 층의 위치만 달라졌다는 것이 교란의 정확한 정체다.

여기서 실무적으로 중요한 결론이 나온다. "교란이 있으면 효과가 과대추정된다"는 말은 절반만 맞다. 가운데 판은 참으로 존재하는 효과가 교란 때문에 거의 사라져 보이는 경우이고, 이럴 때 연구자는 "유의하지 않으니 효과가 없다"고 잘못 결론짓기 쉽다. 교란의 존재를 아는 것만으로는 부족하고, \(Z\)가 \(X\)와 \(Y\) 각각에 어느 부호로 작용하는지까지 따져야 편향의 방향을 짐작할 수 있다. 아래의 "추정값 변화" 기준이 차이의 크기만이 아니라 방향까지 보라고 요구하는 이유다.

교란을 탐지하는 방법¶

실무에서는 조정하지 않은(조야한) 연관과 조정한 연관을 비교하여 교란을 탐지한다:

1. (\(Z\)를 무시하고) \(X\)와 \(Y\) 사이의 조야한 연관을 계산한다.
2. \(Z\)를 통제한 조정 연관을 계산한다.
3. 두 추정값이 의미 있게 다르면(보통 10% 이상 차이 나면) \(Z\)가 교란요인이다.

이를 "추정값 변화" 기준이라 부르기도 한다. 형식적인 통계 검정이 아니라 실용적인 발견법이다.

교란요인을 통제하는 방법¶

설계 단계에서¶

1. 무작위화. 노출을 무작위로 배정하면 \(X\)와 \(Z\)의 연관이 끊어져 교란이 제거된다. 무작위 대조 시험이 인과추론의 표준인 이유이다. 실험과 인과를 보라.

2. 제한. 연구를 \(Z\)의 값이 같은 개인들로 한정한다. 예를 들어 비흡연자만 연구하여 흡연을 교란요인에서 제거한다.

3. 짝짓기. 노출된 개인마다 \(Z\) 값이 같은(또는 비슷한) 비노출 개인을 고른다.

분석 단계에서¶

1. 층화. \(Z\)의 각 수준 안에서 자료를 따로 분석한 뒤 Mantel-Haenszel 추정량 같은 방법으로 합친다.

2. 회귀 조정. \(Y\)를 \(X\)에 회귀하는 모형에 \(Z\)를 공변량으로 넣는다. 그러면 \(X\)의 계수가 \(Z\)를 고정한 채의 \(X\) 효과를 추정한다.

3. 성향점수 방법. \(Z\)가 주어졌을 때 노출될 확률을 추정한 뒤, 이 성향점수를 짝짓기·층화·가중에 쓴다.

교란, 매개, 충돌자 편향¶

교란을 관련되지만 다른 두 현상과 구별하는 일이 결정적이다:

매개자를 통제하는 것이 반드시 틀린 것은 아니지만 다른 질문(총효과가 아니라 직접효과)에 답하게 된다. 충돌자를 통제하는 것은 언제나 해롭다. 없던 편향을 만들어내기 때문이다. 이런 구별은 방향성 비순환 그래프로 형식화된다.

연습문제¶

import os, tarfile, urllib.request
import pandas as pd

DOWNLOAD_ROOT = "https://raw.githubusercontent.com/ageron/handson-ml2/7b7e23e7267356f8355580877eff98c43cda1bd0/"
HOUSING_PATH = os.path.join("datasets", "housing")
HOUSING_URL = DOWNLOAD_ROOT + "datasets/housing/housing.tgz"

def fetch_housing_data():
    if not os.path.isdir(HOUSING_PATH):
        os.makedirs(HOUSING_PATH)
    tgz_path = os.path.join(HOUSING_PATH, "housing.tgz")
    urllib.request.urlretrieve(HOUSING_URL, tgz_path)
    with tarfile.open(tgz_path) as f:
        f.extractall(path=HOUSING_PATH)

def load_housing_data():
    return pd.read_csv(os.path.join(HOUSING_PATH, "housing.csv"))

fetch_housing_data()
df = load_housing_data()

# numeric_only=True가 없으면 문자열 열(ocean_proximity) 때문에 예외가 난다.
corr = df.corr(numeric_only=True)["median_house_value"].sort_values(ascending=False)
print(corr.round(4).to_string())

median_house_value    1.0000
median_income         0.6881
total_rooms           0.1342
housing_median_age    0.1056
households            0.0658
total_bedrooms        0.0497
population           -0.0246
longitude            -0.0460
latitude             -0.1442

정리하며¶

교란변수는 노출과 결과의 공통원인으로서 둘 사이의 관측된 연관을 왜곡한다. 교란은 참 효과를 부풀리거나 줄이거나 뒤집을 수 있다. 연구 설계(무작위화, 제한, 짝짓기)나 분석(층화, 회귀, 성향점수)으로 다룰 수 있다. 교란을 올바르게 다루는 열쇠는 바탕에 있는 인과 구조를 이해하는 것이며, 그것이 교란요인을 매개자·충돌자와 구별해 준다.