콘텐츠로 이동

무작위 실험과 인과

들어가는 이야기 — 편향은 표본을 키워도 고쳐지지 않는다

참 평균처치효과를 \(5\) 로 고정하고 같은 실험을 \(3{,}000\) 번 반복했다. 참가자가 스스로 처치를 고른 설계에서는 단순 차가 평균 \(9.77\) 로 참값의 거의 두 배이고, 무작위로 배정한 설계는 \(5.03\) 이다. 스스로 고른 사람들은 처치만 고른 것이 아니기 때문이다.

두 분포의 폭이 \(0.64\) 와 \(0.67\) 로 거의 같으니 자기선택의 문제는 부정확함이 아니라 편향이고, 표본을 키워도 고쳐지지 않는다. 동전을 한 번 던지는 일이 어떻게 측정하지도 않은 변수까지 균형 잡는가. 무작위화(randomization)는 무엇이 중요한지 모를 때에도 작동하는 유일한 장치다.

두 칸짜리 그림. 왼쪽은 가로축이 그 변수가 선택에 들어가는 세기, 세로축이 처치군과 대조군의 표준화 평균차이고, 스스로 고른 설계에서는 세기에 비례해 편향이 올라가는 직선인데 동전으로 배정한 설계는 세기가 무엇이든 0 에 붙은 수평선이다. 오른쪽은 같은 변수 하나의 표준화 평균차가 표본 50, 200, 1000 에서 어떻게 흩어지는지를 그린 분포로, 모두 0 을 중심으로 하되 작은 표본에서는 0.1 을 넘는 일이 흔하다

왼쪽. 자기선택에서 한 변수가 치우치는 정도는 그 변수가 선택에 들어가는 세기를 그대로 따라간다 — 세기 \(0.6\) 이면 표준화 평균차가 \(+0.354\), \(1.2\) 면 \(+0.746\) 이다. 동전 쪽은 세기가 무엇이든 \(0\) 이다. 동전은 그 변수가 무엇인지 묻지 않기 때문이고, 그래서 우리가 재지 않아 그림에 그릴 수조차 없는 변수도 같은 수평선 위에 있다. 오른쪽. 다만 균형이란 매번 맞는다는 뜻이 아니라 치우치지 않는다는 뜻이다. 같은 변수의 표준화 평균차는 \(n = 50\) 에서 표준편차 \(0.287\) 로 흩어져 \(0.1\) 을 넘는 일이 \(72\%\) 나 되고, \(n = 1000\) 에서 \(0.064\) 로 좁아진다(\(2/\sqrt{n}\) 을 따라간다). 산포는 표본으로 줄지만, 자기선택의 중심 \(+0.357\) 은 \(n\) 을 아무리 키워도 그 자리에 남는다.

이 쪽이 그 논리를 세우고, 그러고도 남는 한계를 적는다. 그 장치가 밭도 병원도 아닌 어디에서 처음 쓰였는지는 아래 상자가 따라간다.

관찰자료는 상관을 확립할 수 있지만, 언제나 도사리는 교란의 위협 때문에 그 자체로는 인과를 확립하지 못한다. 무작위 실험은 무작위 배정으로 처치와 (측정되었든 아니든) 모든 잠재적 교란요인 사이의 연결을 끊어 이 문제를 해결한다. 이 절에서는 무작위화가 왜 인과추론의 표준인지, 무작위 대조 시험(RCT)을 어떻게 설계하고 분석하는지 설명한다.


1. 무작위화가 인과 주장을 가능하게 하는 이유

왜 통하는지는 1장이 이미 증명했다. 1.2절 통제실험의 정리 1 이 그것이다 — 각 대상에 잠재결과 \((Y(0), Y(1))\) 이 있고 관측되는 것은 \(Y = Y(T)\) 하나뿐일 때, 무작위 배정이 주는 \(T \perp (Y(0), Y(1))\) 아래에서 집단 평균의 단순 차

\[ \widehat{\text{ATE}} = \mathbb{E}[Y \mid T = 1] - \mathbb{E}[Y \mid T = 0] \]

가 평균처치효과의 불편추정값이 된다. 교란을 설계 단계에서 제거했으므로 분석에서 보정할 것이 남지 않는다는 뜻이고, 그래서 무작위화가 인과 주장의 표준이 된다.

이 쪽이 더하는 것은 그 정리를 수로 보는 일이다. 정리는 「평균적으로 균형이 맞는다」고 말하는데, 한 번의 실험에서 그 균형이 실제로 어떻게 생겼고 자기선택 설계와 얼마나 다른지는 재어 보아야 보인다.

자기선택에서는 처치 전 특성이 모두 치우치고 추정값이 참 ATE에서 벗어나지만, 무작위배정에서는 둘 다 맞는다

"무작위화는 측정되지 않은 교란요인까지 균형 잡는다"는 문장이 실제로 무슨 뜻인지 모의실험으로 확인해 보자. 참가자 400명에게 처치 전 특성 다섯 개가 있고, 참 평균처치효과는 \(5\)로 고정했다. 자기선택 설계에서는 이 다섯 특성이 모두 좋은 사람일수록 처치를 택할 확률이 높게 만들었고, 무작위배정 설계에서는 동전을 던졌다.

왼쪽이 처치 전 균형이다. 자기선택에서는 다섯 특성의 표준화 평균차가 \(0.40\)에서 \(0.59\)까지, 전부 관례적 기준선 \(\pm 0.1\)의 바깥이다. 무작위배정에서는 \(-0.10\)에서 \(+0.08\) 사이로 모두 안쪽에 들어온다. 맨 아래 줄을 특히 보라. "유전 위험"은 연구자가 측정하지 않은 변수인데도 무작위배정에서는 균형이 잡혀 있다. 무작위화가 개별 변수를 하나씩 맞추는 절차가 아니라 처치 배정을 모든 처치 전 변수와 독립으로 만드는 절차이기 때문이며, 통계적 조정으로는 결코 할 수 없는 일이 바로 이것이다. 회귀는 자기가 본 변수만 조정한다.

오른쪽은 그 대가가 추정값에서 어떻게 나타나는지 보여준다. 같은 실험을 3,000번 반복하면 자기선택 설계의 단순 차는 평균 \(9.77\)에 몰려 참값 \(5\)의 거의 두 배가 되고, 3,000번 중 단 한 번도 참값 근처에 닿지 못한다. 무작위배정의 분포는 평균 \(5.03\)으로 검은 선을 정확히 감싼다. 두 분포의 폭은 각각 \(0.64\)와 \(0.67\)로 거의 같다는 점이 결정적이다. 자기선택의 문제는 부정확함이 아니라 편향이다. 표본을 아무리 키워도 붉은 분포는 좁아질 뿐 참값 쪽으로 옮겨가지 않는다.

그림으로 보는 통계학 1. 카드를 섞기 시작한 자리는 텔레파시였다

방금 본 「측정하지 않은 변수까지 균형이 잡힌다」는 성질은 오늘 임상시험의 근거다. 그런데 그 방법이 처음 쓰인 자리는 밭도 병원도 아니었다.

이언 해킹이 \(1988\) 년 『Isis』 \(79\) 권 \(3\) 호 \(427\)–\(451\) 쪽에 쓴 글은 이렇게 시작한다.

심령 연구는 새로운 실험 방법론이 생겨나는 자리로는 그럴듯해 보이지 않을 것이다. 그러나 바로 거기에서 우리는, 오늘날 많은 과학에서 표준이고 사회학과 생물학의 많은 영역에서는 필수인 기법의 첫 더듬거리는 사용을 발견한다.

\(1882\) 년 런던에 심령연구학회가 섰다. 회원 명단이 가볍지 않다 — 윌리엄 크룩스, 레일리 경, 올리버 로지. 그 무렵 「텔레파시」라는 낱말이 막 생겼고, 곧 세워질 미국심령연구학회의 첫 사업은 텔레파시 현상이 얼마나 자주 일어나는지 조사하는 것이었다.

문제는 설계였다. 누가 남의 생각을 읽는지 어떻게 시험하는가. 카드를 보여 주고 맞히게 하면, 맞힌 까닭이 텔레파시인지 아니면 순서를 눈치챈 것인지 가를 수가 없다. 사람은 패턴을 기막히게 잘 찾아낸다.

\(1884\) 년에 찰스 샌더스 퍼스와 조지프 재스트로가 그 물음을 푸는 설계를 내놓았다. 『미국 과학아카데미 논문집』 \(3\) 권의 「감각의 미세한 차이에 관하여」다. 피실험자에게 \(1\) kg 을 들린 뒤 조금 더 무겁거나 가벼운 것을 들리는데, 어느 쪽을 줄지는 잘 섞은 카드 뭉치가 정한다. 실험자와 피실험자 사이에는 가림막이 있고 개조한 우체국 저울이 그 막을 통과한다. 가리기와 무작위화가 한 설계 안에서 처음으로 제대로 구현된 실험으로 꼽힌다.

해킹이 적어 둔 세부가 퍼스라는 사람을 잘 보여 준다. 한 실험은 \(50\) 회 시행 한 그룹이고 카드 \(50\) 장을 쓰는데, 그냥 섞은 \(50\) 장이 아니었다. 빨강 \(13\) 장과 검정 \(12\) 장으로 한 그룹, 검정 \(13\) 장과 빨강 \(12\) 장으로 또 한 그룹을 만들어 하나를 다 쓴 뒤 다른 하나로 넘어갔다. 같은 쪽이 지나치게 길게 이어지는 것을 막으려 한 것이다.

그러고는 사라졌다. 해킹의 말대로 「이어지는 문헌에서 무작위화는 통째로 자취를 감춘다」. \(1892\) 년 풀러턴과 커텔의 고전적인 감각차 연구에도 없다. 피셔가 밭에서 다시 끌어낼 때까지 사십 년이 걸렸다.

마지막으로, 해킹이 덧붙인 한 줄이 §1 을 읽는 데 도움이 된다. 무작위화를 어디에나 쓰자는 데 반대하는 사람들은 「그것이 시작된 바로 그런 종류의 일, 곧 거의 완전한 무지로 특징지어지는 일에 한정해야 한다」고 말할 수 있다는 것이다. 뒤집어 읽으면 이렇다. 균형을 맞추거나 짝을 지으려면 무엇이 중요한지 미리 알아야 한다. 텔레파시 실험에서는 알 수 없었고, 새 약을 처음 사람에게 쓸 때도 대개 알 수 없다. 위 그림의 맨 아랫줄 — 측정하지도 않은 「유전 위험」이 균형을 이루던 그 줄 — 이 뜻하는 바가 그것이다. 무작위화는 아는 것이 없을 때에도 작동하는 유일한 장치다.

확인한 곳 — 인용한 첫 문장(「심령 연구는 … 첫 더듬거리는 사용을 발견한다」)과 「이어지는 문헌에서 무작위화는 통째로 자취를 감춘다」, \(1892\) 년 풀러턴·커텔 연구에 무작위화가 없다는 것, 반대자들이 「그것이 시작된 바로 그런 종류의 일, 곧 거의 완전한 무지로 특징지어지는 일에 한정해야 한다」고 말할 수 있다는 대목, 퍼스가 \(50\) 회 시행 그룹에 카드 \(50\) 장을 쓰되 섞은 한 벌이 아니라 「빨강 \(13\) · 검정 \(12\)」와 「검정 \(13\) · 빨강 \(12\)」 두 그룹을 차례로 썼고 그것이 지나치게 긴 연속을 막기 위함이었다는 것, 심령연구학회가 \(1882\) 년 런던에 섰고 크룩스·레일리·로지가 관여했다는 것, 미국심령연구학회의 첫 사업이 텔레파시 빈도 조사였다는 것은 Ian Hacking, 「Telepathy: Origins of Randomization in Experimental Design」, 『Isis』 \(79\) 권 \(3\) 호 \(427\)–\(451\) 쪽(\(1988\) 년 \(9\) 월)에서 직접 읽었다 · 퍼스와 재스트로의 「On Small Differences in Sensation」이 『Memoirs of the National Academy of Sciences』 \(3\) 권(\(1884\))이고, \(1\) kg 뒤에 더 무겁거나 가벼운 것을 주되 어느 쪽인지를 잘 섞은 카드가 정했으며, 가림막과 개조한 우체국 저울을 썼고, 가리기와 무작위화가 제대로 구현된 첫 실험으로 꼽힌다는 것은 그 논문의 서지와 요약. 이 상자에는 내가 계산한 수가 없다


2. 무작위 대조 시험의 구조

전형적인 RCT는 다음 요소로 이루어진다.

  1. 모집단 정의. 목표 모집단과 적격 기준을 정한다.
  2. 참가자 모집. 사전 동의를 받고 적격자를 등록한다.
  3. 무작위 배정. 무작위 기제(동전 던지기, 난수 생성기)로 각 참가자를 처치군이나 대조군에 배정한다.
  4. 개입 시행. 처치군은 개입을 받고 대조군은 위약이나 표준 치료를 받는다.
  5. 결과 측정. 모든 참가자의 반응변수를 기록한다.
  6. 분석. 보통 이표본 t-검정, 순열검정(permutation test), 회귀로 집단 사이 결과를 비교한다.

3. 핵심 설계 요소

눈가림

눈가림은 집단 배정에 대한 지식이 결과에 영향을 주지 않게 한다.

  • 단일 눈가림: 참가자가 자신의 배정을 모른다.
  • 이중 눈가림: 참가자도, 결과를 측정하는 연구자도 배정을 모른다.
  • 삼중 눈가림: 참가자, 결과 평가자, 자료 분석자 모두 눈가림된다.

눈가림은 위약 효과(처치받았다고 믿어 행동이 달라지는 것)와 관찰자 편향(집단을 알고 결과를 다르게 측정하거나 기록하는 것)을 줄인다.

위약 대조

위약은 유효 성분만 빼고 모든 면에서 개입을 흉내 내는 비활성 처치이다. 무처치가 아니라 위약과 비교하면 유효 성분의 효과를 "어떤 처치든 받는다"는 효과와 분리할 수 있다.

무작위화 방법

  • 단순 무작위화: 각 참가자를 고정된 확률(예: 각 집단 0.5)로 독립적으로 배정한다. 간단하지만 작은 시험에서는 집단 크기가 불균형해질 수 있다.
  • 블록 무작위화: 참가자를 블록 단위로(예: 4명씩) 무작위화하여 집단 크기를 대체로 같게 만든다.
  • 층화(stratification) 무작위화: 중요한 공변량(예: 나이, 성별)으로 정의된 층 안에서 따로 무작위화하여 그 변수들의 균형을 보장한다.

4. RCT에서 인과추론의 논리

추론은 다음과 같이 진행된다.

  1. 무작위화 이전에 처치군과 대조군은 (기댓값 수준에서) 모든 특성이 동일하다.
  2. 두 집단 사이의 유일한 체계적 차이는 처치 그 자체이다.
  3. 따라서 결과의 어떤 차이든 처치 때문이어야 한다.

이 논리는 몇 가지 가정에 의존한다.

  • 간섭 없음: 한 참가자의 처치가 다른 참가자의 결과에 영향을 주지 않는다(안정 단위 처치값 가정, stable unit treatment value assumption, SUTVA).
  • 순응: 참가자가 배정받은 처치를 실제로 받는다.
  • 탈락 없음: 집단 사이에 차등적인 중도 탈락이 없다.

이 가정들이 위반되면 인과 해석이 약해진다. 배정된 대로 분석(ITT, intention-to-treat)은 실제로 받은 처치와 무관하게 배정된 집단에 따라 참가자를 분석하여, 순응이 완전하지 않아도 무작위화의 이점을 지켜 준다.


보기 1. 약 대 위약 시험. 어떤 제약회사가 새 혈압약을 시험한다.

  • 모집단: 경증 고혈압이 있는 40–65세 성인.
  • 설계: 참가자 200명을 약과 위약에 1:1로 무작위 배정.
  • 결과: 12주 뒤 수축기 혈압의 변화.
  • 분석: 평균 혈압 변화를 비교하는 이표본 t-검정.
집단 \(n\) 평균 변화 (mmHg) 표준편차
약 100 \(-12.3\) 8.5
위약 100 \(-3.1\) 7.9
풀이

추정된 ATE는 \(-12.3 - (-3.1) = -9.2\) mmHg이다. 배정이 무작위였으므로 이 차이는 나이, 식습관, 운동 습관 같은 교란요인이 아니라 약 때문이라고 볼 수 있다.

눈가림과 단계 — 실무의 설계

보기 2. 이중 눈가림 시험과 약효. 의학에서 인과를 확립하는 가장 엄밀한 방법 중 하나가 이중 눈가림 시험이다. 이 설계에서는 참가자도 연구자도 누가 치료를 받고 누가 위약을 받는지 모른다. 편향을 없애고 관측된 효과를 치료 덕분이라고 볼 수 있게 한다.

풀이

예시: 새 혈압약을 시험하는 임상시험을 생각하자. 참가자를 무작위로 두 집단에 배정하여 한쪽은 실제 약을, 다른 쪽은 위약을 받는다. 몇 달 뒤 약 집단이 위약 집단보다 혈압이 유의하게 떨어졌다. 이중 눈가림 설계 덕분에 이 감소가 기대감이나 다른 교란요인이 아니라 약 때문임을 확신할 수 있다.


보기 3. 신약 개발의 단계와 인과적 증거. 신약 개발은 1상부터 4상까지 단계를 나누어 표본을 키워 가며 진행된다. 단계별 설계와 규제의 요구는 1.2절 통제실험 \(\S 7\) 이 자세히 다루므로, 여기서는 인과적 지위만 본다. 인과추론의 관점에서 중요한 것은 단계마다 묻는 질문이 다르고, 따라서 인과적 지위도 다르다는 점이다.

풀이
  • 1상: 건강한 자원자 20–80명을 대상으로 안전성, 용량 범위, 체내동태를 본다. 대조군이 없으므로 인과 비교를 하는 단계가 아니다.
  • 2상: 대상 질환 환자 100–200명에게 투여하여 약리효과를 확인하고 적정 용량을 정한다. 이 단계부터 무작위화와 눈가림이 들어온다.
  • 3상: 수백에서 수천 명 규모의 무작위 대조 시험으로 효능을 확증한다. 허가의 근거가 되는 인과적 증거는 여기서 나온다.
  • 4상: 시판 후 장기 안전성을 감시한다. 대개 무작위화가 없으므로 관찰연구의 한계를 그대로 안는다.

예시: 새 백신의 3상 시험은 참가자를 무작위로 백신군과 위약군에 배정한다. 백신군의 감염 발생이 유의하게 낮으면, 그 차이는 무작위화 덕분에 백신 때문이라고 말할 수 있다. 같은 백신을 접종 희망자와 비희망자로 나누어 비교했다면 두 집단이 애초에 다른 사람들이므로 같은 말을 할 수 없다.

더 자세한 내용

각 단계의 설계가 왜 그렇게 다른지, 규제기관이 왜 확증시험을 두 건 요구하는지, 3상 표본크기가 볼 수 있는 위해의 한계를 어떻게 정하는지는 1장의 통제실험 절에서 다룬다.


5. 무작위 실험의 한계

강점에도 불구하고 RCT에는 중요한 한계가 있다.

  1. 윤리적 제약. 어떤 처치는 무작위로 배정할 수 없다(예: 흡연, 빈곤). 해로운 노출에 사람을 배정하는 것은 비윤리적이다.

  2. 외적 타당도. RCT에 등록된 모집단이 관심 있는 더 넓은 모집단을 대표하지 않을 수 있다. 엄격한 적격 기준은 일반화 가능성을 제한한다.

  3. 비용과 실행 가능성. 크고 잘 설계된 RCT는 비용과 시간이 많이 든다.

  4. 순응 문제. 참가자가 배정된 처치를 지키지 않아 처치 효과가 희석될 수 있다.

  5. 호손 효과. 연구에 참여한다는 사실만으로 처치와 무관하게 행동이 달라질 수 있다.

RCT가 어려우면 교란요인을 신중하게 조정한 관찰 방법, 자연실험, 도구변수로 눈을 돌린다.


6. 자연실험

자연실험은 연구자가 무작위화하지 않았는데도 어떤 외부 사건이나 정책이 처치에 마치 무작위인 것 같은 변동을 만들 때 일어난다. 그런 보기가 셋이다.

  • 징집 추첨: 생일에 따라 병역이 무작위로 배정된다.
  • 지리적 경계: 학군 경계 양쪽의 학생들이 서로 다른 교육적 개입을 받는다.
  • 정책 변화: 임의의 임계값을 기준으로 한 집단에는 새 규제가 적용되고 다른 집단에는 적용되지 않는다.

자연실험은 준무작위 변동을 활용하여 RCT의 논리를 근사한다. 그 변동이 (개인의 선택에 이끌리지 않고) 진정으로 외생적인 만큼 인과추론이 타당해진다.


연습문제

연습문제 1. 실험에서 무작위 배정이 관측되지 않은 변수로부터의 교란까지 제거하는 이유를 설명하라.

풀이

무작위 배정은 처치를 적용하기 전에 처치군과 대조군이 관측되든 관측되지 않든 모든 특성에서 평균적으로 동일하도록 보장한다. 배정이 무작위 기제(동전 던지기, 난수 생성기)로 결정되므로 모든 처치 전 변수와 독립이기 때문이다.

임의의 교란요인 \(U\)는 (관측 여부와 무관하게) \(T\)가 처치 지시변수일 때 \(U \perp T\)를 만족한다. 그러면 \(T\)에서 \(Y\)로 가는 뒷문 경로가 없으므로(무작위화가 그런 경로를 모두 "잘라낸다") \(E[Y \mid T=1] - E[Y \mid T=0] = E[Y(1)] - E[Y(0)]\), 즉 참 평균처치효과가 된다.

표본이 충분히 크면 큰 수의 법칙에 의해 모든 변수에서 집단이 균형을 이룬다. 표본이 작으면 우연히 불균형이 생길 수 있으며, 그래서 여전히 가설검정과 신뢰구간을 쓴다.

연습문제 2. 어떤 무작위 실험에서 개인교습 프로그램이 시험 점수를 8점 올린다는 결과(\(p = 0.02\))를 얻었다. 한 동료가 "상관은 인과를 함의하지 않는다"며 이것이 인과를 증명하지 못한다고 주장한다. 이 동료가 옳은가?

풀이

이 맥락에서 동료는 틀렸다. "상관은 인과를 함의하지 않는다"는 말은 교란요인이 연관을 설명할 수 있는 관찰연구에 적용된다. 제대로 무작위화된 실험에서는 인과 해석이 타당하다. 이유는 이렇다.

  1. 무작위 배정이 교란을 제거한다.
  2. 연구자가 시점을 통제하여(처치가 결과보다 앞선다) 시간적 선행이 확립된다.
  3. 비교 집단(대조군)이 반사실을 제공한다.

8점 상승은 인과효과의 타당한 추정값이며, 통계적 추론의 통상적인 유보 조건(표집 변동, \(p = 0.02\)가 반영)만 따른다. 실험에서 인과추론을 위협하는 주된 요소는 교란이 아니라 실무적 문제(비순응, 탈락, 파급효과)이다.

연습문제 3. 무작위 실험의 내적 타당도와 외적 타당도를 정의하라. 내적 타당도는 높지만 외적 타당도가 의심스러운 실험의 예를 들어라.

풀이

내적 타당도: 연구 내부에서 인과효과를 올바르게 측정하는 정도. 적절한 무작위화, 탈락 편향 없음, 파급효과 없음, 처치 지침의 준수가 필요하다.

외적 타당도: 결과가 다른 모집단, 상황, 시기로 일반화되는 정도.

예: 부유한 교외 학군 한 곳에서 수행한 수학 앱 무작위 시험이 시험 점수 12점 향상을 보였다(적절한 무작위화와 낮은 탈락률로 내적 타당도가 높다). 그러나 인터넷 접근이 제한적이고 기초 학력과 동기 구조가 다른 자원이 부족한 도시 학교에는 결과가 일반화되지 않을 수 있다(외적 타당도가 의심스럽다).

연습문제 4. 잠재결과 틀에서 평균처치효과(ATE)를 정의하고 "인과추론의 근본 문제"를 설명하라.

풀이

개인 \(i\)에 대해 \(Y_i(1)\)을 처치 아래의 잠재결과, \(Y_i(0)\)을 대조 아래의 잠재결과라 하자. 개인 처치효과는 \(\tau_i = Y_i(1) - Y_i(0)\)이다.

평균처치효과는

\[ \text{ATE} = E[Y(1) - Y(0)] = E[Y(1)] - E[Y(0)] \]

이다.

인과추론의 근본 문제는 각 개인에 대해 잠재결과 중 하나만, 즉 처치를 받았으면 \(Y_i(1)\)을, 받지 않았으면 \(Y_i(0)\)을 관측할 뿐 둘 다는 결코 관측할 수 없다는 것이다. 따라서 개인 인과효과 \(\tau_i\)는 관측 불가능하다.

무작위화는 이를 집단 수준에서 해결한다. \(T \perp (Y(1), Y(0))\)이므로 \(E[Y \mid T=1] = E[Y(1)]\)이고 \(E[Y \mid T=0] = E[Y(0)]\)이 되어, 개인 효과는 알 수 없어도 집단 평균의 차이가 ATE를 추정한다.

연습문제 5. 보기 1의 표를 그대로 쓴다(약 \(n=100\), 평균 \(-12.3\), 표준편차 \(8.5\) / 위약 \(n=100\), 평균 \(-3.1\), 표준편차 \(7.9\)).

(a) 두 평균 차이의 표준오차와 이표본 t 통계량을 구하라.

(b) ATE의 95% 신뢰구간을 구하라. 등분산을 가정하고 \(t_{0.975,\,198} = 1.972\)를 쓴다.

(c) 똑같은 표가 무작위 배정이 아니라 "환자가 약과 위약 중 원하는 쪽을 골랐다"는 설계에서 나왔다면 (a)와 (b)의 수치 중 무엇이 달라지는가. 달라지지 않는다면, 그렇다면 무작위화는 이 분석의 어느 대목을 책임지고 있는 것인가.

풀이

(a) 차이의 표준오차는

\[ \text{SE} = \sqrt{\frac{8.5^2}{100} + \frac{7.9^2}{100}} = \sqrt{0.7225 + 0.6241} = \sqrt{1.3466} = 1.1604 \]

추정된 ATE는 보기 1에서 \(-12.3 - (-3.1) = -9.2\) mmHg였으므로

\[ t = \frac{-9.2}{1.1604} = -7.93 \]

\(\text{df} = 198\)에서 양쪽 \(p\) 값은 \(1.6 \times 10^{-13}\)으로, 어떤 통상적 유의수준으로도 압도적이다.

(b) \(-9.2 \pm 1.972 \times 1.1604 = -9.2 \pm 2.29\), 즉

\[ (-11.49,\ -6.91) \ \text{mmHg} \]

(c) 아무 수치도 달라지지 않는다. 표준오차, \(t\), \(p\), 신뢰구간은 네 숫자 \((n, \bar{y}, s)\) 두 벌만 먹는 함수이므로 배정이 동전이었는지 환자의 선택이었는지를 전혀 모른다. 1절의 모의실험이 바로 이 사실을 수치로 보여 주었다. 자기선택 분포와 무작위배정 분포의 폭이 \(0.64\)와 \(0.67\)로 거의 같았고, 두 설계를 가른 것은 중심의 위치(\(9.77\) 대 \(5.03\))였다.

따라서 분업은 이렇다. t-검정은 "\(-9.2\)라는 차이가 표집 변동만으로 나올 만한 크기인가"만 답한다. "그 차이를 약의 탓으로 돌려도 되는가"는 t-검정이 손대지 않는 질문이고, 1절의 독립 조건 \(T \perp\!\!\!\perp (Y(0), Y(1))\)(무시가능성), 즉 무작위 배정이 책임진다. 자기선택 설계에서도 \(p\) 값은 똑같이 작게 나오며, 작은 \(p\) 값은 편향에 대해 아무 보호도 해 주지 않는다.

한 가지 더. 이 구간은 평균처치효과의 구간이다. 연습문제 4의 근본 문제 때문에 어떤 환자 한 명의 \(\tau_i\)가 \(-11.49\)와 \(-6.91\) 사이에 있다는 말로는 읽을 수 없다.

연습문제 6. 3절은 단순 무작위화가 "간단하지만 작은 시험에서는 집단 크기가 불균형해질 수 있다"고 말한다. 참가자 20명을 각각 독립적으로 확률 \(1/2\)씩 처치군·대조군에 배정한다고 하자.

(a) 두 집단이 정확히 10:10이 될 확률을 구하라.

(b) 집단 크기의 차이가 6 이상(즉 13:7보다 더 치우친 경우까지 포함)일 확률을 구하라.

(c) 같은 20명을 블록 크기 4의 블록 무작위화로 배정하면 (a)의 확률은 얼마가 되는가.

(d) 13:7이 나왔다면 ATE 추정값에 편향이 생기는가? 등분산 \(\sigma\)를 가정하고 차이의 표준오차 \(\sigma\sqrt{1/n_1 + 1/n_2}\)를 10:10과 비교해 불균형의 대가를 수치로 말하라.

풀이

처치군 크기를 \(N \sim \text{B}(20, 1/2)\)라 하면 \(2^{20} = 1{,}048{,}576\)가지 배정이 모두 같은 확률이다.

(a)

\[ P(N = 10) = \frac{\binom{20}{10}}{2^{20}} = \frac{184{,}756}{1{,}048{,}576} = 0.1762 \]

균형이 가장 그럴듯한 한 가지 결과이지만 그래도 여섯 번 중 한 번밖에 나오지 않는다.

(b) 차이가 6 이상이라는 것은 \(N \ge 13\) 또는 \(N \le 7\)이다. 대칭이므로

\[ P = 2 \cdot \frac{1}{2^{20}} \sum_{k=13}^{20} \binom{20}{k} = 2 \cdot \frac{137{,}980}{1{,}048{,}576} = 0.2632 \]

네 번 중 한 번 넘게 13:7 이상으로 치우친다. 이것이 3절의 경고가 말하는 크기다.

(c) \(20 = 5 \times 4\)이므로 블록 크기 4의 블록 다섯 개가 되고, 각 블록이 2:2를 보장하므로 전체는 반드시 10:10이다. 확률은 \(1\)이다. 대신 배정의 자유도가 줄어 블록 안의 순서를 알면 블록의 마지막 한두 명을 예측할 수 있게 되므로, 눈가림을 지키려면 블록 크기를 숨기거나 무작위로 바꾸어야 한다.

(d) 편향은 생기지 않는다. 불균형한 배정도 여전히 무작위 기제의 산물이므로 \(T \perp\!\!\!\perp (Y(0), Y(1))\)이 그대로 성립하고, 두 집단 평균의 차이는 어떤 \((n_1, n_2)\)에서도 ATE의 불편추정값이다. 대가는 정밀도 쪽에서만 나온다.

\[ \frac{\sqrt{1/13 + 1/7}}{\sqrt{1/10 + 1/10}} = \frac{\sqrt{0.2198}}{\sqrt{0.2000}} = 1.048 \]

표준오차가 4.8% 커진다. 즉 불균형은 편향이 아니라 검정력의 문제다. 1절에서 자기선택 설계가 폭은 그대로 둔 채 중심을 옮겼던 것과 정확히 반대쪽 고장이다.

연습문제 7. 1절 모의실험의 측정되지 않은 변수 "유전 위험"을 저위험·고위험 두 층으로 거칠게 나누고, 자기선택 설계에서 참가자 400명이 다음과 같이 나왔다고 하자. 결과 \(Y\)는 클수록 좋은 점수다.

층 \(s\) 처치군 \(n\) 처치군 평균 대조군 \(n\) 대조군 평균
저위험 \(160\) \(75\) \(40\) \(70\)
고위험 \(40\) \(55\) \(160\) \(50\)

(a) 처치군 전체 평균, 대조군 전체 평균, 그리고 둘의 차이(거친 차이)를 구하라.

(b) 층별 처치효과 \(\tau_s = \bar{y}_{1s} - \bar{y}_{0s}\)를 구하고 참 ATE를 말하라.

(c) 처치군·대조군의 층 구성비를 \(w^T_s, w^C_s\)라 할 때 거친 차이가

\[ \underbrace{\sum_s w^C_s \tau_s}_{\text{층별 효과의 가중평균}} + \underbrace{\sum_s \bigl(w^T_s - w^C_s\bigr) \bar{y}_{1s}}_{\text{구성 차이}} \]

로 분해됨을 확인하고 두 항의 값을 구하라.

(d) 이 400명을 그대로 두고 배정만 무작위로 바꾸어 두 집단의 층 구성비가 모두 \(0.5\)씩이 되었다면 거친 차이는 얼마인가. (a)–(d)의 결과를 1절 오른쪽 그림의 세 수치(\(9.77\), \(5.03\), 참값 \(5\))와 짝지어라.

풀이

(a) 구성비는 \(w^T = (0.8,\ 0.2)\), \(w^C = (0.2,\ 0.8)\)이다.

\[ \bar{y}_1 = 0.8 \times 75 + 0.2 \times 55 = 60 + 11 = 71, \qquad \bar{y}_0 = 0.2 \times 70 + 0.8 \times 50 = 14 + 40 = 54 \]

거친 차이는 \(71 - 54 = 17\)이다.

(b) \(\tau_{\text{저}} = 75 - 70 = 5\), \(\tau_{\text{고}} = 55 - 50 = 5\). 두 층에서 효과가 같으므로 모집단의 층 구성이 무엇이든 ATE \(= 5\)다. 거친 차이 \(17\)은 참값의 세 배가 넘는다.

(c) 항등식은 단순한 더하고 빼기다.

\[ \bar{y}_1 - \bar{y}_0 = \sum_s w^T_s \bar{y}_{1s} - \sum_s w^C_s \bar{y}_{0s} = \sum_s w^C_s (\bar{y}_{1s} - \bar{y}_{0s}) + \sum_s (w^T_s - w^C_s) \bar{y}_{1s} \]

값을 넣으면

\[ \sum_s w^C_s \tau_s = 0.2 \times 5 + 0.8 \times 5 = 5, \qquad \sum_s (w^T_s - w^C_s)\bar{y}_{1s} = 0.6 \times 75 + (-0.6) \times 55 = 45 - 33 = 12 \]

이고 \(5 + 12 = 17\)로 (a)와 맞는다. 거친 차이 \(17\) 가운데 참 효과는 \(5\)뿐이고 \(12\)는 순전히 구성 차이다. 처치군에 유전 위험이 낮은(따라서 점수가 애초에 높은) 사람이 몰렸기 때문이다.

(d) \(w^T = w^C = (0.5, 0.5)\)이면 구성 차이 항의 계수가 모두 \(0\)이 되어 둘째 항이 사라진다.

\[ \bar{y}_1 - \bar{y}_0 = (0.5 \times 75 + 0.5 \times 55) - (0.5 \times 70 + 0.5 \times 50) = 65 - 60 = 5 \]

거친 차이가 ATE와 정확히 일치한다. 짝지으면 이렇다. 자기선택의 \(17\)은 그림 오른쪽의 \(9.77\)에, 무작위배정의 \(5\)는 \(5.03\)에, 그리고 \(\sum_s w^C_s \tau_s = 5\)는 검은 선 참값 \(5\)에 대응한다. 1절의 편향 \(9.77 - 5 = 4.77\)도 (크기는 이 두 층 모형의 \(12\)와 다르지만) 바로 이 구성 차이 항이 만든 것이며, 무작위화는 \(\tau_s\)를 건드리는 것이 아니라 \(w^T_s - w^C_s\)를 \(0\)으로 만들어 그 항을 지운다. 회귀로 조정한다는 것은 \(\bar{y}_{1s}\)를 층별로 다시 가중한다는 뜻인데, 층을 정의하는 변수를 측정하지 못했다면(여기서는 "유전 위험") 그 가중을 할 수가 없다.

연습문제 8. 4절은 비순응이 있어도 ITT가 무작위화의 이점을 지켜 준다고 했다. 다음 시험을 보자. 참가자 2,000명을 1,000:1,000으로 무작위 배정했는데 처치군 중 60%만 실제로 약을 먹었다. 순응 여부는 사람의 성향이므로 대조군에도 같은 비율(60%)로 숨어 있다. 모형은 이렇다. 약을 먹지 않으면 결과가 전혀 바뀌지 않고(배정 자체에는 효과가 없다), 처치 없을 때 평균 결과는 순응 성향자가 \(50\), 비순응 성향자가 \(40\)이며, 약은 순응자의 결과를 \(10\) 올린다.

(a) 두 팔의 관측 평균과 ITT 추정값을 구하라.

(b) 순응자 평균 인과효과(complier average causal effect, CACE) \(= 10\)과 ITT 사이의 관계식을 쓰고 (a)로 확인하라.

(c) "실제로 약을 먹은 사람 대 대조군 전체"로 비교하는 프로토콜 준수 분석(per-protocol analysis)의 값을 구하고, 편향의 크기와 그 출처를 수식으로 짚어라.

(d) 순응률이 \(c\)로 떨어지면 (a)와 (c)의 값은 각각 어떻게 되는가. \(c \to 0\)의 극단에서 두 분석이 하는 말을 비교하라.

풀이

순응 성향자를 \(C\), 비순응 성향자를 \(N\)이라 하고 순응률을 \(c = 0.6\)이라 하자.

(a) 처치군에서는 \(C\)만 약을 먹어 \(50 + 10 = 60\)이 되고 \(N\)은 \(40\)에 머문다.

\[ \bar{y}_1 = 0.6 \times 60 + 0.4 \times 40 = 36 + 16 = 52 \]

대조군은 아무도 약을 먹지 않으므로

\[ \bar{y}_0 = 0.6 \times 50 + 0.4 \times 40 = 30 + 16 = 46 \]

\(\text{ITT} = 52 - 46 = 6\)이다.

(b) 배정은 \(N\)의 결과를 전혀 바꾸지 않으므로 ITT는 효과 \(10\)을 받은 비율 \(c\)만큼으로 희석된다.

\[ \text{ITT} = c \cdot \text{CACE} + (1-c) \cdot 0 = c \cdot \text{CACE} \quad \Longrightarrow \quad \text{CACE} = \frac{\text{ITT}}{c} = \frac{6}{0.6} = 10 \]

맞는다. ITT는 배정의 효과를 편향 없이 재고, \(c\)로 나누는 추가 가정(비순응자에게는 효과가 없다)을 얹으면 순응자에 대한 효과를 복원할 수 있다.

(c) 약을 먹은 사람은 처치군의 \(C\)뿐이므로 평균 \(60\)이고, 대조군 전체는 \(46\)이다.

\[ 60 - 46 = 14 \]

참값 \(10\)을 \(4\)만큼 부풀렸다. 출처는

\[ 60 - \bar{y}_0 = \underbrace{(50 + 10)}_{\text{순응자의 처치 결과}} - \bigl[c \cdot 50 + (1-c) \cdot 40\bigr] = 10 + (1-c)(50 - 40) = 10 + 0.4 \times 10 = 14 \]

즉 편향 \((1-c)(50-40) = 4\)는 순응자가 애초에 결과가 좋은 사람들이라는 데서 온다. 약을 먹은 사람만 골라내는 순간 무작위화로 지웠던 선택을 손으로 되살린 것이고, 이는 연습문제 7의 구성 차이 항과 같은 고장이다.

(d) 일반 \(c\)에 대해 \(\bar{y}_1 = c(50+10) + (1-c)40 = 40 + 20c\), \(\bar{y}_0 = 40 + 10c\)이므로

\[ \text{ITT} = 10c, \qquad \text{프로토콜 준수} = 60 - (40 + 10c) = 20 - 10c \]

\(c \to 0\)이면 \(\text{ITT} \to 0\)으로, "거의 아무도 약을 먹지 않았으니 배정은 결과를 거의 바꾸지 못했다"는 참말을 한다. 반면 프로토콜 준수 분석은 \(20 - 10c \to 20\)으로 치솟아 참 효과 \(10\)의 두 배를 보고한다. 순응자가 점점 희귀하고 특별한 사람이 될수록 그들을 대조군 전체와 맞대는 비교가 더 크게 틀어지기 때문이다. ITT는 \(c\)를 몰라도 틀리지 않고, CACE 복원에만 \(c\)가 필요하다는 점이 4절이 ITT를 기본으로 두는 이유다.

연습문제 9. 1절 오른쪽 그림의 네 수치를 쓴다. 참가자 \(n = 400\)에서 자기선택 설계의 추정값은 평균 \(9.77\), 표준편차 \(0.64\)였고 무작위배정 설계는 평균 \(5.03\), 표준편차 \(0.67\)이었으며 참값은 \(5\)다. 편향은 자기선택에서 \(4.77\), 무작위배정에서 \(0\)으로 보고(관측된 \(0.03\)은 3,000번 반복의 몬테카를로(Monte Carlo) 잡음이다) 답하라.

(a) 두 설계의 평균제곱오차(mean squared error)의 제곱근 \(\text{RMSE} = \sqrt{\text{편향}^2 + \text{표준편차}^2}\)를 구하고 비를 내라.

(b) 표본을 100배인 40,000명으로 키우면 (a)의 두 수와 비는 어떻게 되는가. 표준편차는 \(1/\sqrt{n}\)로 줄고 편향은 \(n\)에 의존하지 않는다.

(c) 자기선택 설계의 표본을 아무리 키워도 무작위배정 설계의 \(n = 400\) 성능(\(\text{RMSE} = 0.67\))에 도달할 수 없음을 보여라.

(d) 참값 \(5\)가 자기선택 분포의 "평균 \(\pm\, 1.96 \times\) 표준편차" 구간에 들어오려면 \(n\)이 어떠해야 하는가.

풀이

(a) 자기선택:

\[ \sqrt{4.77^2 + 0.64^2} = \sqrt{22.75 + 0.41} = \sqrt{23.16} = 4.81 \]

무작위배정은 편향이 \(0\)이므로 \(\text{RMSE} = 0.67\)이다. 비는 \(4.81 / 0.67 = 7.2\)배다.

(b) 표준편차는 \(0.64 \to 0.64/10 = 0.064\), \(0.67 \to 0.067\)이 되고 편향은 \(4.77\) 그대로다.

\[ \sqrt{4.77^2 + 0.064^2} = 4.77, \qquad 0.067 \]

비는 \(4.77/0.067 = 71\)배로 열 배 더 벌어진다. 표본을 키우는 일이 좋은 설계에는 온전히 이득이지만 치우친 설계에는 거의 이득이 되지 않기 때문이다. 자기선택 쪽 RMSE는 \(4.81\)에서 \(4.77\)로 1% 줄었을 뿐이다.

(c) 모든 \(n\)에 대해

\[ \text{RMSE} = \sqrt{4.77^2 + \sigma_n^2} \ \ge \ 4.77 > 0.67 \]

이다. 표준편차 항을 \(0\)으로 보내더라도 RMSE는 편향 \(4.77\) 아래로 내려가지 않는다. 즉 아무리 큰 표본으로도 메울 수 없다. 1절의 "표본을 아무리 키워도 붉은 분포는 좁아질 뿐 참값 쪽으로 옮겨가지 않는다"가 이 부등식이다.

(d) 구간이 참값을 덮으려면 \(4.77 \le 1.96 \,\sigma_n = 1.96 \times 0.64 \sqrt{400/n}\), 즉

\[ \sqrt{\frac{400}{n}} \ge \frac{4.77}{1.254} = 3.80 \quad \Longrightarrow \quad n \le \frac{400}{3.80^2} = 27.7 \]

\(n = 400\)에서는 이미 \(4.77 / 0.64 = 7.45\) 표준편차만큼 벗어나 있고, \(n = 40{,}000\)에서는 \(4.77/0.064 = 74.5\) 표준편차로 더 멀어진다. 조건을 만족시키는 길은 표본을 키우는 것이 아니라 스물일곱 명 남짓으로 줄여 구간을 참값까지 넓히는 것뿐이다. 치우친 추정량에서는 표본이 커질수록 틀린 값을 더 자신 있게 가리킨다.

연습문제 10. 4절의 간섭 없음 가정(SUTVA)이 깨지는 경우를 수치로 만든다. 어떤 학교의 학생 1,000명을 500:500으로 백신과 위약에 무작위 배정했다. 역학 모형은 다음과 같다. 접종한 학생의 감염 위험은 학교 접종률과 무관하게 \(10\%\)이고, 접종하지 않은 학생의 감염 위험은 학교 접종률 \(\pi\)에 따라 \(40\% - 30\% \times \pi\)로 떨어진다(집단면역).

(a) 이 시험에서 관측되는 두 집단의 감염률과 그 차이를 구하라.

(b) "전원 접종한 학교 대 아무도 접종하지 않은 학교"를 비교하는 정책적 관심량(전체효과)은 얼마인가.

(c) (a)는 (b)를 얼마나 어긋나게 재는가. 무작위화가 완벽했는데도 왜 이런 일이 생기는지 잠재결과 \(Y_i(0)\)의 표기로 설명하라.

(d) 1,000명이라는 예산을 유지하면서 (b)를 추정하려면 설계를 어떻게 바꾸어야 하는가. 바뀐 설계에서 추정값이 실제로 (b)와 같아지는지 확인하고, 그 설계가 새로 치르는 대가를 하나 말하라.

풀이

(a) 접종률은 \(\pi = 0.5\)다. 접종군은 \(10\%\), 위약군은 \(40\% - 30\% \times 0.5 = 25\%\)다. 차이는

\[ 10\% - 25\% = -15\ \text{퍼센트포인트} \]

(b) 전원 접종이면 모두 \(10\%\), 아무도 접종하지 않으면 \(\pi = 0\)이므로 모두 \(40\%\)다. 전체효과는

\[ 10\% - 40\% = -30\ \text{퍼센트포인트} \]

(c) 이 시험은 관심량의 절반만 잡는다. 무작위화 자체에는 흠이 없다. 깨진 것은 잠재결과가 애초에 잘 정의되어 있다는 가정이다. 간섭이 없다면 학생 \(i\)의 \(Y_i(0)\)은 숫자 하나여야 하는데 여기서는 \(Y_i(0)\)이 남들의 배정 벡터에 의존한다. 같은 미접종 학생이 \(\pi = 0\)인 세상에서는 \(40\%\), \(\pi = 0.5\)에서는 \(25\%\), \(\pi = 1\)에 가까우면 \(10\%\)의 위험을 갖는다.

그 결과 대조군이 처치군의 접종으로 덕을 보아 기준선이 \(40\%\)에서 \(25\%\)로 내려앉고, 두 집단의 차이는 "\(\pi = 0.5\)인 환경에서 한 사람이 더 접종할 때의 직접효과"가 된다. 이것은 참값이 아닌 것이 아니라 다른 질문의 참값이며, 정책이 묻는 전체효과(직접효과 + 집단면역)보다 체계적으로 작다. 간섭 아래에서는 무작위화가 편향을 없애 주더라도 추정량이 가리키는 양 자체가 바뀐다.

(d) 무작위화의 단위를 개인에서 집단으로 올린다. 학생 1,000명을 간섭이 서로 통하지 않는 집단(예: 서로 떨어진 학교나 기숙사 동) 여러 개로 나누고, 집단 단위로 "전원 접종" 또는 "전원 위약"을 무작위 배정한다. 그러면 접종 집단은 \(\pi = 1\)이므로 \(10\%\), 위약 집단은 \(\pi = 0\)이므로 \(40\%\)가 되어 추정값이

\[ 10\% - 40\% = -30\ \text{퍼센트포인트} \]

로 (b)와 정확히 일치한다. 간섭이 집단 안에 갇히면 집단을 하나의 단위로 보아 간섭 없음 가정이 되살아나기 때문이다.

대가는 유효 표본수다. 무작위화된 단위가 1,000명이 아니라 집단의 개수이므로, 두 집단만 쓰면 사실상 배정이 한 번뿐이어서 집단 사이의 모든 차이가 처치와 뒤섞인다. 집단 간 무작위화는 표준오차를 키우며, 같은 검정력을 얻으려면 작은 집단을 여러 개 모아야 한다.

연습문제 11. 역인과를 예를 들어 설명하라. 무작위 대조 시험(RCT)은 역인과의 가능성을 어떻게 제거하는가?

풀이

역인과는 원인이라고 가정한 것이 실제로는 결과일 때 일어난다. 예를 들어 어떤 연구가 비타민을 먹는 사람이 더 건강하다고 보고한다. 가정된 방향은 비타민이 건강을 만든다는 것이지만, 반대일 수도 있다. 건강한 사람이 건강을 더 의식해서 비타민을 먹을 가능성이 높은 것이다.

RCT는 결과를 측정하기 전에 참가자를 무작위로 처치군과 대조군에 배정하여 역인과를 제거한다. 처치가 참가자의 선택이 아니라 연구자에 의해 배정되므로 결과가 처치 배정의 원인이 될 수 없다. 시간 순서가 설계로 보장된다.


연습문제 12. 새 개인교습 프로그램이 시험 점수 향상을 일으키는지 검정하는 연구를 설계하라. 처치, 대조, 무작위화 절차, 잠재적 교란요인에 대한 대처를 명시하라.

풀이
  1. 처치군: 개인교습 프로그램을 받도록 무작위 배정된 학생들.
  2. 대조군: 교습 없음(또는 구조화되지 않은 자습 시간 같은 위약 조건)에 무작위 배정된 학생들.
  3. 무작위화: 난수 생성기로 각 학생을 같은 확률로 처치군이나 대조군에 배정한다. 기저 시험 점수로 층화 무작위화하면 균형이 개선된다.
  4. 무작위화로 다루어지는 교란요인: 사회경제적 지위, 이전 학업 성취, 동기, 부모의 관여가 기댓값 수준에서 두 집단에 균형 있게 배분된다.
  5. 측정: 연구 기간이 끝난 뒤 두 집단에 같은 표준화 시험을 시행한다.
  6. 분석: 이표본 \(t\)-검정이나 분산분석(analysis of variance)으로 평균 점수를 비교한다. 인과효과는 \(\bar{Y}_{\text{처치}} - \bar{Y}_{\text{대조}}\)로 추정한다.

연습문제 13. 보기 3 의 4 상(시판 후 감시) 자료에서, 어떤 심부전 약을 처방받은 환자의 1 년 사망률이 처방받지 않은 환자보다 높게 나왔다. 같은 약의 3 상 무작위 대조 시험에서는 사망률이 유의하게 낮았다.

(a) 12.4절 인과 추론의 기준 §1 의 고전적 다섯 기준 중, 이 4 상 관찰 자료만으로 뒷받침된다고 말할 수 있는 것을 고르라.

(b) 무너진 기준은 무엇이며 교란변수는 무엇인가? 이것이 12.4절 인과 추론의 기준 연습문제 11 에서 본 교란과 같은 꼴임을 밝히라.

(c) 같은 약인데 3 상에서는 왜 이 문제가 생기지 않는가? 1.1절 상관관계와 인과관계 정리 1 의 교란항을 써서 답하라.

(d) 그렇다면 4 상의 결과를 버리고 3 상만 믿으면 되는가? 보기 3 이 4 상을 따로 두는 이유와 연결해 답하라.

풀이

(a) 두 가지다. 시간적 선행 — 처방이 사망보다 앞서 기록되므로 순서는 맞다. 원인과 결과의 공변 — 처방 여부와 사망률이 함께 움직이는 것은 관측되었다. 다만 둘은 인과의 필요조건일 뿐이다.

(b) 무너진 것은 셋째 기준인 교란변수의 배제다. 교란변수는 질병의 중증도다. 심부전이 중한 환자일수록 약을 처방받을 가능성이 높고, 동시에 중증도 자체가 사망률을 높인다. 즉 중증도가 처치와 결과 모두의 원인이다. 12.4절 인과 추론의 기준 연습문제 11 의 경찰–범죄 사례와 정확히 같은 꼴이다 — 거기서는 범죄 수준이 경찰 배치와 범죄율 모두를 일으켰고, 처치가 바로 그 처치가 바꾸려는 결과에 근거해 배정되었다. 이것이 배정 편향(적응증에 의한 교란)이며, 그래서 효과의 부호까지 뒤집혀 보일 수 있다.

(c) 3 상에서는 처치 \(T\) 를 동전으로 정한다. 그러면 \(T\) 가 중증도 \(Z\) 와 독립이어서 \(P(z \mid 1) = P(z \mid 0)\) 이고, 1.1절 상관관계와 인과관계 정리 1 의 교란항

\[ \sum_z E[Y \mid 0, z]\bigl[P(z \mid 1) - P(z \mid 0)\bigr] \]

의 괄호가 모든 \(z\) 에서 0 이 되어 항 전체가 사라진다. 남는 것은 층별 효과 \(\Delta_z\) 들의 가중평균이고, 가중치가 음이 아니고 합이 1 이므로 모든 \(\Delta_z\) 와 반대 부호를 가질 수 없다. 무작위화의 값어치는 측정하지 못한 \(Z\) 에 대해서까지 이 항을 0 으로 만든다는 데 있다.

(d) 아니다. 효능의 인과적 증거는 3 상에서 오지만, 3 상은 수백에서 수천 명 규모이므로 발생률이 아주 낮은 위해는 한 건도 관측되지 않을 수 있다. 4 상은 무작위화가 없어 효능 비교에는 쓸 수 없지만, 드문 부작용을 발견하는 데는 유일한 창이다. 올바른 독해는 "4 상의 사망률 비교를 효능 비교로 읽지 않는 것"이지 4 상을 버리는 것이 아니다.


연습문제 14. 보기 3 의 마지막 문장은 "같은 백신을 접종 희망자와 비희망자로 나누어 비교했다면 두 집단이 애초에 다른 사람들이므로 같은 말을 할 수 없다"고 말한다. 12.4절 인과 추론의 기준 보기 2 의 소아마비 백신이 실제로 그런 설계도 함께 썼다. 관찰 설계에서 \(T = 1\) 은 접종을 희망한 아이, \(T = 0\) 은 희망하지 않은 아이이고, 결과 \(Y\) 는 10 만 명당 소아마비 발생수다. 층 변수 \(Z\) 는 가정의 위생 수준 \(H\)(높음) / \(L\)(낮음)이다. 소아마비는 위생이 좋은 집 아이에게 더 흔했고(어릴 때 자연 면역을 얻지 못해서), 접종을 희망한 집도 바로 그런 집이었다. 수치는 설명을 위해 만든 것이다.

층 \(E[Y \mid T=0, Z=z]\) \(E[Y \mid T=1, Z=z]\) \(P(z \mid T=1)\) \(P(z \mid T=0)\)
\(z = H\) 60 24 0.75 0.25
\(z = L\) 20 8 0.25 0.75

(a) 각 층에서 백신이 발생률을 몇 % 줄였는지 구하라.

(b) 거친 차이 \(\Delta\) 를 구하고, 12.4절 인과 추론의 기준 연습문제 14 의 \((a-b)\,d\) 꼴로 층별 효과와 교란항으로 쪼개라.

(c) 거친 차이는 층별 효과의 가중평균의 몇 분의 1 인가?

(d) 두 층의 효과가 다르므로 층별 효과의 가중평균은 가중치 \(P(z \mid 1)\) 에 따라 달라진다. 가중평균을 \(-30\) 으로 묶어 두기 위해 \(P(H \mid 1) = 0.75\) 는 그대로 두고 \(P(H \mid 0)\) 만 바꿀 수 있다고 하자. 교란항이 백신의 효과를 완전히 가려 \(\Delta = 0\) 이 되려면 \(d\) 와 \(P(H \mid 0)\) 이 얼마여야 하는가? 그 값이 뜻하는 바를 한 줄로 쓰라.

(e) 12.4절 인과 추론의 기준 보기 2 가 말하는 무작위 대조 시험은 이 문제를 어떻게 없애는가? 12.4절 인과 추론의 기준 연습문제 13 의 교란과 방향이 어떻게 다른지도 한 줄로 적으라.

풀이

(a) \(H\) 층: \((60 - 24)/60 = 36/60 = 0.6\), 즉 60% 감소. \(L\) 층: \((20-8)/20 = 12/20 = 0.6\), 역시 60% 감소다. 층 안에서 백신은 두 층 모두 발생률을 60% 줄인다.

(b) 먼저 거친 차이를 직접 구한다.

\[ E[Y \mid T=1] = 0.75 \times 24 + 0.25 \times 8 = 18 + 2 = 20 \]
\[ E[Y \mid T=0] = 0.25 \times 60 + 0.75 \times 20 = 15 + 15 = 30 \]

따라서 \(\Delta = 20 - 30 = -10\) 이다. 분해하면 층별 효과가 \(\Delta_H = 24 - 60 = -36\), \(\Delta_L = 8 - 20 = -12\) 이므로 가중평균은

\[ \sum_z \Delta_z P(z \mid 1) = 0.75 \times (-36) + 0.25 \times (-12) = -27 - 3 = -30 \]

이고, \(a - b = 60 - 20 = 40\), \(d = 0.75 - 0.25 = 0.5\) 이므로 교란항은

\[ (a-b)\,d = 40 \times 0.5 = +20 \]

이다. 합이 \(-30 + 20 = -10 = \Delta\) 로 맞는다.

(c) \(\lvert -10 \rvert / \lvert -30 \rvert = 1/3\) 이다. 거친 차이는 참 효과의 3 분의 1 밖에 보여주지 않는다. 교란항의 부호가 효과와 반대여서 효과를 깎아먹기 때문이다.

(d) \(\Delta = -30 + 40\,d = 0\) 에서

\[ d = \frac{30}{40} = 0.75 \]

이고 \(P(H \mid 0) = 0.75 - 0.75 = 0\) 이다. 직접 확인하면 \(E[Y \mid T=0] = 0 \times 60 + 1 \times 20 = 20 = E[Y \mid T=1]\) 이므로 정말로 \(\Delta = 0\) 이다. 뜻은 이렇다 — 비희망자 집이 하나도 빠짐없이 위생이 낮은 집이어야 비로소 효과가 완전히 가려진다. 거꾸로 말하면 표의 \(d = 0.5\) 라는 덜 극단적인 쏠림만으로도 이미 효과가 3 분의 1 로 깎였으니, 완전한 은폐는 극단이 필요하지만 심한 왜곡은 극단이 필요하지 않다.

(가중평균까지 함께 움직이는 것을 허용하면 다른 답도 있다. 표처럼 \(P(H \mid 0) = 1 - P(H \mid 1)\) 로 묶어 두면 \(\Delta = -24 + 28\,d\) 이므로 \(d = 6/7\), 즉 \(P(H \mid 1) = 0.9286\), \(P(H \mid 0) = 0.0714\) 에서 \(\Delta = 0\) 이 된다.)

(e) 무작위 대조 시험은 접종 여부를 희망이 아니라 동전으로 정한다. 그러면 \(T\) 가 위생 수준 \(Z\) 와 독립이어서 기댓값 수준에서 \(P(H \mid 1) = P(H \mid 0)\), 즉 \(d = 0\) 이 되고 교란항 \((a-b)\,d\) 가 사라진다. 남는 거친 차이는 모집단의 위생 구성으로 가중한 층별 효과의 평균이고, 가중치가 음이 아니고 합이 1 이므로 그 값은 \(-36\) 과 \(-12\) 사이에 있다(위생이 높은 집이 \(3/4\) 인 모집단이라면 \(-30\)).

방향이 12.4절 인과 추론의 기준 연습문제 13 과 반대다. 거기서는 교란항(+600)이 참 효과(+400)와 같은 부호여서 효과를 부풀렸고, 여기서는 교란항(+20)이 참 효과(\(-30\))와 반대 부호여서 효과를 가렸다. 교란은 없는 효과를 만들어낼 뿐 아니라 있는 효과를 지우기도 한다. "유의한 차이가 없다"는 결론도 교란 앞에서는 똑같이 믿을 수 없다.


정리하며

무작위 실험은 무작위 배정이 측정된 교란과 측정되지 않은 교란을 모두 제거하므로 인과관계를 확립하는 표준이다. 핵심 설계 요소인 무작위화, 눈가림, 위약 대조는 집단 사이의 유일한 체계적 차이가 처치 그 자체가 되도록 보장한다. 윤리적·실무적·비용 제약으로 RCT가 어려울 때에는 자연실험과 준실험 설계가 무작위화의 이점을 근사할 수 있다. 무작위화가 왜 인과추론을 가능하게 하는지 이해하면 그 힘과 관찰연구의 한계가 함께 분명해진다.

다음 쪽 도구변수 (입문)로 넘어간다. 무작위화가 교란의 연결을 끊는다면, 무작위 실험을 할 수 없을 때 그 끊김을 자연에서 빌려 오는 길이 도구변수다.