통제실험¶

(1) 해석적으로. 두 독립 표본평균의 차이이므로

이다. 무작위 배정의 값어치는 이 한 줄에 있다. 배정이 결과와 독립이므로 단순 평균차가 인과효과의 불편추정이 되고, 그 흔들림의 크기도 \(\sigma\)와 \(n\)만으로 정해진다.

(2) 해석적으로. 교란된 배정에서는 단순 평균차가

로 갈린다. 둘째 항이 교란이 만든 몫이다.

\(S\)가 \(5\)를 중심으로 대칭이고 \(\sigma(s-5) + \sigma(5-s) = 1\)이므로 \(P(T=1) = 1/2\)이고 두 조건부 분포가 서로 거울상이다. 적분하면

로 차이가 \(4.3743\)이다. 따라서

부호가 뒤집힌다. 처리는 결과를 \(3\)만큼 좋게 하는데 자료는 \(5.75\)만큼 나쁘게 한다고 말한다. 중증 환자가 처리군에 몰려 있기 때문이고, 이 치우침은 표본을 아무리 늘려도 사라지지 않는다.

(1)(2) 수치적으로.

import numpy as np
from scipy import stats

np.random.seed(42)
n_per_group = 100
true_effect = 5.0        # 우리가 심어 놓은 참 처리효과. 실제로는 알 수 없는 값이다

# 무작위 배정된 실험을 모의생성한다.
# 두 집단을 같은 분포에서 뽑되 처리군에만 true_effect 만큼을 더한다.
# 이것이 곧 "무작위 배정"의 수학적 의미다.
# 배정이 결과와 무관하므로 두 집단은 처리 여부를 빼면 통계적으로 동일하다.
control = np.random.normal(50, 10, n_per_group)
treatment = np.random.normal(50 + true_effect, 10, n_per_group)

# 독립표본 t 검정: 두 집단의 평균이 같다는 귀무가설을 검정한다
t_stat, p_value = stats.ttest_ind(treatment, control)

# 처리효과의 추정값. 무작위 배정 덕분에 이 단순한 차이가 곧 인과효과의 추정이 된다.
diff = treatment.mean() - control.mean()
print(f"Control mean:   {control.mean():.2f}")
print(f"Treatment mean: {treatment.mean():.2f}")
print(f"Difference:     {diff:.2f} (true effect = {true_effect})")
print(f"t-statistic:    {t_stat:.3f}")
print(f"p-value:        {p_value:.4f}")

출력:

Control mean:   48.96
Treatment mean: 55.22
Difference:     6.26 (true effect = 5.0)
t-statistic:    4.755
p-value:        0.0000

같은 참 효과를 두고 무작위 배정과 비무작위(교란된) 배정을 나란히 돌려 보면, 배정 방식 하나가 추정값을 어떻게 바꾸는지 보인다.

"""참 효과는 같은데 배정 방식만 다르게 두 번 돌려 본다."""

import numpy as np
from scipy import stats

rng = np.random.default_rng(42)
n = 200
treatment_effect = 3.0     # 두 경우 모두 참 효과는 +3.0으로 같다

# === 경우 1: 제대로 무작위 배정한 실험 ===
# 배정이 환자의 어떤 특성과도 무관하다.
# 따라서 두 집단은 처리 여부를 빼면 평균적으로 동일하고,
# 단순한 평균 차이가 곧 인과효과의 불편추정이 된다.
control = rng.normal(50, 8, n)
treatment = rng.normal(50 + treatment_effect, 8, n)
t_stat, p_val = stats.ttest_ind(treatment, control)
print(f"[Randomized] estimated effect = {treatment.mean() - control.mean():+.2f} "
      f"(true = {treatment_effect}), p = {p_val:.4f}")

# === 경우 2: 교란된(무작위가 아닌) 배정 ===
# 중증도라는 교란요인을 넣는다. 0(가벼움)에서 10(심각함)까지.
severity = rng.uniform(0, 10, 2 * n)

# 의사가 중증 환자에게 처리를 더 많이 준다 — 현실에서 자연스러운 행동이다.
# 로지스틱 함수라 중증도 5를 기준으로 처리 확률이 50%를 넘어간다.
prob_treat = 1 / (1 + np.exp(-(severity - 5)))
assigned = rng.binomial(1, prob_treat).astype(bool)

# 결과는 두 힘이 겹쳐 결정된다.
#   -2 * severity      중증일수록 결과가 나쁘다 (교란요인의 직접 효과)
#   +3 * assigned      처리가 결과를 좋게 한다  (우리가 알고 싶은 참 효과)
outcome = 50 - 2 * severity + treatment_effect * assigned + rng.normal(0, 5, 2 * n)

# 이제 무작위 실험에서 하던 대로 단순 평균 차이를 내 본다.
# 처리군에 중증 환자가 몰려 있으므로 이 값은 인과효과가 아니다.
est = outcome[assigned].mean() - outcome[~assigned].mean()
print(f"[Confounded] estimated effect = {est:+.2f}  (severity confounds)")

# --- (2) 의 이론값과 맞추어 본다 ---
from scipy.integrate import quad

sig = lambda u: 1 / (1 + np.exp(-u))
den = quad(lambda s: sig(s - 5) / 10, 0, 10)[0]
num = quad(lambda s: s * sig(s - 5) / 10, 0, 10)[0]
E1, E0 = num / den, (5 - num) / (1 - den)
print(f"이론 P(T=1) = {den:.4f},  E[S|T=1] = {E1:.4f},  E[S|T=0] = {E0:.4f}")
print(f"이론 교란 추정값 = 3 - 2*({E1 - E0:.4f}) = {3 - 2 * (E1 - E0):+.4f}")
print(f"관측 E[S|T=1] = {severity[assigned].mean():.4f},  "
      f"E[S|T=0] = {severity[~assigned].mean():.4f}")
se = np.sqrt(outcome[assigned].var(ddof=1) / assigned.sum()
             + outcome[~assigned].var(ddof=1) / (~assigned).sum())
print(f"교란 추정값의 SE = {se:.4f};  무작위 쪽 이론 SE = 8*sqrt(2/200) = {8 * np.sqrt(2 / 200):.4f}")

출력:

[Randomized] estimated effect = +3.40 (true = 3.0), p = 0.0000
[Confounded] estimated effect = -5.06  (severity confounds)
이론 P(T=1) = 0.5000,  E[S|T=1] = 7.1871,  E[S|T=0] = 2.8129
이론 교란 추정값 = 3 - 2*(4.3743) = -5.7485
관측 E[S|T=1] = 7.2556,  E[S|T=0] = 2.8069
교란 추정값의 SE = 0.6766;  무작위 쪽 이론 SE = 8*sqrt(2/200) = 0.8000

두 예측이 모두 맞는다. 무작위 쪽 추정값 \(+3.40\)은 참값 \(3\)에서 \(0.50\) 표준오차(\(0.80\)) 떨어져 있다. 교란 쪽 추정값 \(-5.06\)은 이론이 말하는 극한 \(-5.7485\)에서 \(1.02\) 표준오차(\(0.6766\)) 안이다.

조건부 중증도도 이론 \(7.1871\) / \(2.8129\)에 관측 \(7.2556\) / \(2.8069\)로 맞는다. 처리군과 대조군의 평균 중증도가 \(4.4\)만큼 벌어져 있고, 그것에 \(-2\)를 곱한 \(-8.7\)이 참 효과 \(+3\)을 눌러 부호를 뒤집었다.

위쪽 블록의 첫 실험도 같은 자로 읽는다. 참 효과 \(5\)에 대해 추정값이 \(6.26\)인데, \(\sigma = 10\), \(n = 100\)이므로 표준오차가 \(10\sqrt{2/100} = 1.414\)다. \(0.89\) 표준오차 차이이고, \(t = 4.755\)는 그 추정값을 표준오차로 나눈 값 그대로다.

무작위 배정이 사는 것은 정확도가 아니라 해석이다. 두 설계 모두 \(n\)이 \(200\)으로 같고 교란된 쪽의 표준오차(\(0.68\))가 오히려 작다. 그런데 한쪽은 참값을 맞히고 다른 쪽은 부호까지 틀린다. 정밀한 오답은 부정확한 정답보다 위험하다.

핵심 결함은 자기선택 편향(무작위 배정의 부재)이다. 신청한 자원자는 신청하지 않은 사람과 체계적으로 다를 수 있다 — 건강에 더 신경 쓰거나, 증상이 더 심하거나, 약이 효과가 있으리라는 믿음이 더 강할 수 있다. 두 집단 사이에서 관측된 어떤 차이든 약 자체보다는 이런 기존 차이 때문일 수 있다. 제대로 된 무작위 대조시험이라면 200명 전원을 처리군 또는 대조군에 무작위 배정하여, 관측된 특성과 관측되지 않은 특성 모두에서 두 집단이 비교 가능하도록 만든다.

무작위 대조시험에서는 연구자가 무작위 기제(동전 던지기, 난수 발생기 등)를 사용해 대상을 처리군과 대조군에 능동적으로 배정한다. 예: 환자를 신약군과 위약군에 무작위로 배정하는 것.

자연실험에서는 외부 사건이나 정책이 연구자의 개입 없이 "마치 무작위 배정인 것처럼" 처리군과 대조군을 만들어낸다. 예: 학교 바우처 추첨제에서 당첨자(처리군)와 탈락자(대조군)가 연구자가 아니라 우연에 의해 결정되는 경우.

핵심 차이는 통제권이다. RCT에서는 연구자가 배정을 통제하고, 자연실험에서는 자연이나 정책이 변동을 제공한다. RCT가 비윤리적이거나 비현실적일 때 자연실험은 가치가 있지만, 그 타당성은 "무작위나 다름없다"는 가정이 얼마나 그럴듯한지에 달려 있다.

인과효과 없이도 이 연관성을 설명할 수 있는 교란요인이 여럿 있다.

• 동기: 개인지도에 참석하는 학생은 성공하려는 동기가 더 강해서, 참석하지 않았더라도 더 높은 점수를 받았을 수 있다.
• 기존 능력: 개인지도는 이미 기초가 탄탄한 학생을 끌어들일 수 있다.
• 공부 시간: 개인지도에 참석하는 학생은 혼자서도 더 오래 공부할 수 있다.
• 부모의 관여: 개인지도를 마련해 주는 가정의 학생은 집에서도 다른 학업 지원을 받을 수 있다.
• 교사의 추천: 교사가 이미 성적이 오르고 있는 학생에게 개인지도를 권할 수 있다.

개인지도에 대한 무작위 배정(또는 설득력 있는 도구변수나 자연실험)이 없다면, 15점 차이는 개인지도의 인과효과와 선택효과를 함께 반영한다.

내적 타당도는 연구 모집단 안에서 처리와 결과 사이의 인과관계를 실험이 얼마나 잘 확립하는지를 나타낸다. 적절한 무작위화, 교란요인의 부재, 체계적 편향의 부재에 달려 있다.

외적 타당도(일반화 가능성)는 그 결과가 연구 범위를 넘어선 모집단·상황·조건에 얼마나 적용되는지를 나타낸다.

그렇다. 내적 타당도는 높지만 외적 타당도는 낮은 실험이 있을 수 있다. 예를 들어 대학생을 대상으로 세심하게 무작위화한 실험실 실험은 인과효과를 입증하지만(높은 내적 타당도), 대학생이 나이·교육·사회경제적 지위에서 대표성이 없기 때문에 그 효과가 더 넓은 모집단으로 일반화되지 않을 수 있다(낮은 외적 타당도). 이 긴장은 실험 설계의 근본적인 문제다. 엄격히 통제된 환경은 내적 타당도를 높이지만 일반화 가능성을 제한할 수 있다.

요인설계로는 다음을 추정할 수 있다.

• A와 B의 주효과(다른 요인의 수준에 걸쳐 평균) — 이것은 단일요인 설계로도 얻을 수 있다.
• 상호작용 효과 A × B: A의 효과가 B의 수준에 의존하는지 여부. 예를 들어 약물 + 식단 연구에서 그 약이 고단백 식단에서만 효과가 있음을 발견할 수 있는데, 이런 상호작용은 별도의 단일요인 실험으로는 탐지할 수 없다.
• 같은 총 \(n\)에서 주효과의 정밀도 향상: 각 주효과 대비는 단일요인 설계의 50명(25 대 25)이 아니라 100명 전원(50 대 50)을 사용한다.

요인설계에 대한 피셔의 논거(그의 기초 저작 Design of Experiments, 1935)는, 상호작용이 자연에서 흔하고 종종 과학적으로 가장 흥미로운 발견인데도 "한 번에 한 요인씩" 실험해서는 보이지 않는다는 것이다.

(a) 무작위 배정은 알려진 교란요인(나이, 체중, 기저 통증)과 알려지지 않은 교란요인을 기댓값 차원에서 처리군 사이에 고르게 분산시킨다. 그 결과 평균 결과의 차이는 인과적 처리효과의 불편추정량이 되며, 귀무가설 아래 분포가 무작위화 자체로 결정되는 타당한 \(p\)-값을 갖는다.

(b) 단일눈가림: 대상자가 모른다. 이중눈가림: 대상자와 치료 임상의가 모두 모른다. 삼중눈가림: 대상자, 임상의, 분석자가 모두 모른다. 위약효과(대상자의 기대)와 관찰자 편향(임상의가 통증 평가에서 무의식적으로 새 약을 유리하게 볼 가능성)을 모두 통제하려면 최소한 이중눈가림을 추천한다.

(c) 투여 경로가 다르면 눈가림이 깨진다. 대상자는 자신이 알약을 삼켰는지 주사를 맞았는지 안다. 표준적인 해법은 이중위약(double-dummy) 이다. 모든 대상자가 두 가지를 각각 하나씩 받되 그중 하나는 위약이다. 신약군은 진짜 알약과 생리식염수 주사를 받고, 기존약군은 위약 알약과 진짜 주사를 받는다.

이 시험은 무효가 아니다. 무작위화는 올바르게 수행되었고, 이런 차이는 특히 중간 규모 표본에서 우연히 생길 수 있는 종류의 불균형이다.

올바른 대응(선호 순):

• 사전 지정된 공변량 보정: 나이를 분석의 공변량으로 포함한다(공분산분석 또는 회귀). 이는 흔히 정밀도를 높이고 우연한 불균형을 보정한다.
• 보정 전과 보정 후 결과를 모두 보고: 결론이 일치한다면 그 불균형이 결과를 좌우하고 있을 가능성은 낮다.
• 층화 무작위화(향후 설계를 위한 개선): 다음 시험에서는 나이로 층화하여 우연한 불균형이 생기지 않도록 한다.

해서는 안 되는 일: 불균형을 확인한 뒤 다시 무작위화하거나, 기저 불균형에 대한 \(p\)-값을 비교해 보정 여부를 결정하는 것. 둘 다 설계를 무효로 만든다.

단순 무작위화는 기관 내에서 처리군 인원이 불균형해질 수 있다. 우연히 어떤 기관은 대부분 처리군 환자를 등록하고 다른 기관은 대부분 대조군을 등록할 수 있다. 기관마다 환자 구성이나 추적관찰의 질도 다르다면, 이 불균형은 기관 효과와 처리효과를 뒤섞는다.

층화 무작위화는 각 기관 안에서 무작위화한다(보통 크기 4나 6의 고정 블록: TTCC, TCTC, CTCT 등). 그러면 각 기관은 거의 1:1 비율을 보장받아 기관이 잠재적 교란요인이 되지 않는다. 대가는 무작위화 절차가 다소 복잡해지는 것이고, 이득은 더 효율적인 추정과 해석하기 쉬운 분석이다.

집도의는 의식적이든 아니든 시험군에 따라 기술, 주의, 수술 후 관리를 달리할 수 있다. 대상자 또한 부수적인 단서로 자신의 배정을 짐작하게 되어 대상자 눈가림이 훼손될 수 있다.

부분적 완화책:

• 결과평가자 눈가림이 핵심이다. 배정을 모르는 독립 평가자가 결과(통증, 관절 가동범위, 눈가림된 영상)를 채점하게 한다.
• 활성 비교군 설계: "수술 대 수술 없음" 대신 두 수술 절차를 비교하여 두 군 모두 겉보기에 비슷한 시술을 받게 한다. 윤리적으로 허용되는 경우 일부 개입에 대해서는 가짜 수술 시험(마취와 절개는 하되 실제 시술은 하지 않음)이 쓰이기도 했다.
• 사전 지정된 수술 프로토콜: 군에 따라 달라질 수 있는 재량을 최소화한다.
• 감사 기록: 시술을 영상으로 기록하거나 수술실에 독립 관찰자를 둔다.

이런 장치를 갖추더라도 수술 시험의 잔여 편향은 일반적으로 약물 시험보다 크다. 이를 상쇄하려면 효과가 강해야 한다.

부작용은 환자의 눈가림을 간접적으로 "푼다". 구강건조와 메스꺼움을 느낀 환자는 자신이 활성약을 복용 중임을 정확히 짐작하고, 위약군은 부작용이 없다는 사실로 마찬가지로 자신의 상태를 알게 된다. 이를 기능적 눈가림 해제라 한다.

결과:

• 위약효과가 더 이상 균형을 이루지 않는다. 한쪽 집단만 이익을 기대한다.
• 대상자가 짐작한 배정에 따라 결과(특히 피로나 기분 같은 주관적 결과)를 다르게 보고할 수 있다.
• 순응도가 갈릴 수 있다. 자신이 위약군이라고 믿는 대상자는 중도 탈락하거나 다른 치료를 찾을 수 있다.

완화책: 치료 효과 없이 부작용 양상만 흉내 내는 활성 위약(예: 항콜린성 약물 연구에서 저용량 아트로핀)을 쓰고, 기대 효과에 덜 민감한 객관적 결과 지표를 사용한다.

무작위화가 보장하는 것은 배정된 집단 사이의 비교 가능성이지, 실제로 처치를 받은 집단 사이의 비교 가능성이 아니다. 순응 자체가 예후와 상관될 수 있는 하나의 행동이다. 더 아픈 환자는 부작용 때문에 약을 끊을 수 있고, 더 건강한 환자는 복용을 잊을 수 있으며, 동기가 강한 환자는 더 잘 따를 수 있다. 프로토콜 준수 분석은 비순응이 정보를 담고 있는 바로 그 환자들을 버림으로써 무작위화를 깨뜨리고 교란을 다시 불러들인다.

ITT는 원래의 무작위 집단을 보존하며, 처치에 배정되는 것의 효과, 즉 분자의 효과가 아니라 정책의 인과효과를 추정한다. 이것이 규제당국과 정책결정자가 실제로 필요로 하는 바다. 약이 승인되면 현실의 환자들도 비슷한 순응 양상을 보일 것이기 때문이다. ITT 추정값은 보통 더 보수적이지만(귀무가설에 더 가깝지만) 불편이고 외적 타당도를 갖는다.

흔히 함께 쓰이는 것이 도구변수 방법으로 추정하는 순응자 평균 인과효과(CACE) 다. 무작위 배정을 실제 처치 수령에 대한 도구변수로 사용한다. CACE는 무작위화를 위반하지 않으면서 순응자들 사이에서의 효과를 제공한다.

무작위화는 결과를 측정하기 전에 수행된다. 우연 기제로 대상을 처리군에 실제로 배정하는 행위이며, 이를 통해 배정과 기존 특성 사이에 통계적 독립성이 만들어진다. 인과추론은 이 독립성 위에 서 있다.

부트스트랩 재표집은 결과를 측정한 후에 수행된다. 관측된 자료를 반복 재표집하여 통계량의 표집 변동성을 추정하는 분석 기법이다. 자료생성 과정을 바꾸지 않으며, 관측된 연관성이 인과적인지에 대해 아무 정보도 주지 않는다.

부트스트랩은 관찰자료로 추정한 회귀계수의 불확실성을 정량화할 수 있지만, 그 계수가 미측정 교란으로 편향되어 있다면 부트스트랩 신뢰구간은 편향된 값 주변의 불확실성을 보여줄 뿐이다. 아무리 재표집해도 비무작위 표본은 고쳐지지 않는다. 인과성에는 (설계에서의) 개입이나 (분석에서의) 강한 식별 가정이 필요하며, 정밀한 추정만으로는 얻어지지 않는다.

(a) 각 시험을 단측 \(\alpha = 0.025\)로 수행할 때 효과 없는 약이 두 시험을 모두 통과할 확률은 두 시험이 독립이라면 \(0.025^2 = 6.25 \times 10^{-4}\)이다. 제약사는 단일 시험의 유의수준을 이 값으로 잡으면 전체 1종오류 확률이 같아진다고 주장하는 것이다.

(b) 1종오류 확률이 같다고 해서 증거가 같지 않다. \(\alpha\)는 귀무가설이 참이고 모형 가정이 모두 맞을 때의 우연한 오류만 통제한다. 시험 2건이 추가로 걸러 내는 것은 그 밖의 실패 양식이다.

• 분석의 자유도. 한 시험 안에서 이루어진 자료 의존적 선택(제외 기준, 결측 처리, 하위집단 강조)은 그 시험의 \(p\)-값을 낙관적으로 만든다. 유의수준을 조여도 이 편향은 함께 조여지지 않는다. 독립적인 두 번째 시험은 다른 사람이 다른 선택을 하고도 같은 결론에 이르는지를 묻는다.
• 단일 실패점. 한 기관의 측정 습관, 한 배치의 약, 한 하위 인구에 특유한 효과는 한 시험을 통째로 왜곡할 수 있다. 이것들은 \(\alpha\)가 모형화하는 대상이 아니다.
• 일반화 가능성. 서로 다른 환자 구성과 기관에서 반복되었다는 사실 자체가 허가 대상 인구에 대한 정보다.

요컨대 \(\alpha\)를 조이는 것은 우연에 대한 방어이고, 반복은 우연과 절차 모두에 대한 방어다.

(c) 두 가지가 있다.

• 독립성이 실제로는 성립하지 않는다. 같은 회사가 같은 프로토콜로 겹치는 기관에서 수행하는 두 시험은 공통의 설계 결함을 공유하므로 \(0.025^2\)은 낙관적인 계산이다. 실제 규제 판단은 두 \(p\)-값을 곱하는 절차가 아니다.
• 윤리적·현실적 비용. 희귀질환처럼 환자가 부족하거나 대조군 배정이 윤리적으로 어려운 경우 시험 2건은 불가능할 수 있다. 1997년 FDAMA가 시험 1건과 확증증거의 조합을 허용한 이유가 여기에 있다. 이때도 논리는 유지된다. 두 번째 시험이 하던 역할(독립적 증거의 수렴)을 기전 자료, 약력학 지표, 관련 적응증의 결과 같은 다른 종류의 증거가 대신하는 것이다.

(a) \(n\)명에서 사건이 0건 관측되었을 때 참 발생률 \(p\)의 근사적 95% 상한은 \(3/n\)이다. \(n = 3{,}000\)이므로 상한은

이다. 즉 3상 자료로 배제할 수 있는 것은 1,000명에 한 명보다 흔한 간독성뿐이다. 그보다 드문 위해에 대해서는 이 시험이 사실상 아무 말도 하지 않는다. "이상반응이 관찰되지 않았다"는 문장이 "안전하다"를 뜻하지 않는 이유다.

(b) 참 발생률 \(p = 1/20{,}000\)일 때 기대 사례 수는 \(np\)이다.

• 3상: \(3{,}000 \times \dfrac{1}{20{,}000} = 0.15\)건. 한 건도 보지 못할 확률이 약 \(e^{-0.15} \approx 86\)%이다. 아무것도 못 보는 것이 정상적인 결과다.
• 시판 후: \(2{,}000{,}000 \times \dfrac{1}{20{,}000} = 100\)건. 이제는 확실히 보인다.

표본크기가 볼 수 있는 것의 한계를 정한다. 4상과 시판 후 감시는 3상의 부실함 때문에 존재하는 것이 아니라, 어떤 표본크기로도 볼 수 없는 영역이 원리적으로 남기 때문에 존재한다.

(c) 시판 후 자료에는 무작위화가 없다. 누가 이 약을 복용하는지는 의사와 환자가 정하며, 대개 더 아프거나 다른 약을 이미 여러 개 복용 중인 환자가 새 약을 받는다(적응증에 의한 교란). 따라서 복용자에게서 간독성이 더 많이 관찰되어도 그것이 약 때문인지, 애초에 간이 나쁜 환자가 이 약을 받았기 때문인지 자료만으로는 구분되지 않는다.

여기에 보고 편향이 더해진다. 자발적 이상사례 보고는 심한 사례, 언론에 오르내린 위해, 최근에 허가된 약에 치우쳐 수집된다. 분모(실제 노출자 수)도 정확히 알기 어렵다.

정리하면 3상은 정밀하지만 근시안이고, 시판 후 감시는 시야가 넓지만 편향되어 있다. 둘은 서로를 대체하지 않으며, 규제 체계가 두 단계를 모두 두는 이유가 바로 이 상보성이다.