편향과 무응답¶

(1) 해석적으로. 응답자 집단에서 \(Y\)의 평균은 응답확률로 가중한 평균이다.

분자에 공분산의 정의 \(E[Yp(Y)] = \operatorname{Cov}(Y, p(Y)) + \mu\,E[p(Y)]\)를 넣으면

이다. 무응답 편향은 응답확률과 결과의 공분산을 응답률로 나눈 값이다. 이 한 줄이 모든 것을 말한다. 응답확률이 \(Y\)와 무관하면 공분산이 0이라 편향이 없고, 응답률이 낮을수록 같은 공분산이 더 크게 증폭된다.

응답확률이 \(p(y) = a + by\)로 직선이면 \(\operatorname{Cov}(Y, a+bY) = b\operatorname{Var}(Y)\)이고 \(E[p(Y)] = a + b\mu\)가 곧 응답률 \(r\)이므로

가 된다. 여기서는 \(p(y) = 0.02 + 0.08y\)라 \(b = 0.08\)이다. 편향이 결과의 분산에 비례한다는 점을 눈여겨볼 만하다. 모두가 비슷하게 만족한 집단이라면 누가 답하든 상관없지만, 의견이 갈릴수록 누가 답하느냐가 결정적이 된다.

(2) 수치적으로. 아래 코드가 만든 모집단에서 \(\operatorname{Var}(Y) = 3.8523\), \(E[p(Y)] = 0.4584\)이므로 예측 편향은

이다. 모의실험이 내놓은 편향은 \(+0.65\)다. 둘의 차이 \(0.027\)은 응답 여부를 동전으로 정한 데서 오는 몬테카를로 오차다. 응답자가 \(4{,}566\)명이고 그들의 만족도 표준편차가 대략 \(1.8\)이므로 응답자 평균의 표준오차가 \(1.8/\sqrt{4566} = 0.027\)이고, 어긋남이 정확히 그 한 칸이다.

응답확률을 그대로 가중치로 써서 "무한히 많이 설문했을 때의 응답자 평균"을 계산하면 \(6.1524\)가 나오는데, 이는 참값 \(5.4801\)에 예측 편향 \(0.6723\)을 더한 값과 정확히 같다. 유도한 식이 맞는다.

응답률 \(45.7\%\)는 나쁘지 않은 숫자처럼 들린다. 그런데 그 응답이 만족도와 엮여 있으므로 \(10\)점 만점에 \(0.67\)점, 곧 참값의 \(12\%\)가 부풀려졌다. 표본을 \(10\)만 명으로 늘려도 이 편향은 그대로 남는다. 표본크기는 편향을 줄이지 않는다.

"""응답 여부가 결과와 상관되면 추정값이 왜곡된다."""

import numpy as np

rng = np.random.default_rng(42)
n_pop = 10_000

# 1단계: 모집단 전체의 참 만족도. 평균 5.5의 정규분포를 1~10점으로 자른다.
# 이 값은 우리가 모의실험에서만 알 수 있다. 현실에서는 관측되지 않는다.
satisfaction = np.clip(rng.normal(5.5, 2.0, n_pop), 1, 10)

# 2단계: 무응답 편향의 핵심 — 응답 확률이 만족도에 따라 달라진다.
#   만족도 1점: 0.1 + 0.08*0  = 10% 응답
#   만족도 10점: 0.1 + 0.08*9 = 82% 응답
# 만족한 사람일수록 설문에 답할 확률이 높다. 실제 고객 설문에서 흔한 양상이다.
response_prob = 0.1 + 0.08 * (satisfaction - 1)

# 각자 자기 확률로 동전을 던져 응답 여부를 정한다
responded = rng.binomial(1, response_prob).astype(bool)

# 3단계: 진실과 우리가 보게 될 값을 비교한다.
#   true_mean   모집단 전체의 평균 (알 수 없는 참값)
#   biased_mean 응답자만의 평균   (설문 보고서에 실릴 값)
true_mean = satisfaction.mean()
biased_mean = satisfaction[responded].mean()
print(f"True population mean:    {true_mean:.2f}")
print(f"Biased survey mean:      {biased_mean:.2f}")
print(f"Bias (overestimate):     {biased_mean - true_mean:+.2f}")
print(f"Response rate:           {responded.mean():.1%}")

# --- (1) 의 공식과 맞추어 본다 ---
mu = satisfaction.mean()
var = satisfaction.var(ddof=0)
r = response_prob.mean()
print(f"Var(Y) = {var:.4f},  E[p(Y)] = {r:.4f}")
print(f"예측 편향 = b*Var(Y)/E[p] = {0.08 * var / r:.4f}")
print(f"공분산 항등식 Cov(Y,p)/E[p] = {np.cov(satisfaction, response_prob, ddof=0)[0, 1] / r:.4f}")
print(f"무한표본 응답자 평균 = {(satisfaction * response_prob).sum() / response_prob.sum():.4f}")

출력:

True population mean:    5.48
Biased survey mean:      6.13
Bias (overestimate):     +0.65
Response rate:           45.7%
Var(Y) = 3.8523,  E[p(Y)] = 0.4584
예측 편향 = b*Var(Y)/E[p] = 0.6723
공분산 항등식 Cov(Y,p)/E[p] = 0.6723
무한표본 응답자 평균 = 6.1524

(a) 무응답 편향 — 85%의 무응답자가 체계적으로 다르다. (b) 생존자(선택) 편향 — 실패한 펀드가 평균에서 제외되었다. (c) 표집(포괄) 편향 — 통화 시간대에 표집틀이 근무 중인 사람을 배제한다. (d) 응답 편향 — 사회적 바람직성이 보고된 음주량을 낮춘다. (e) 복합적이다. 누가 설문을 보게 되는지에 대한 선택 편향(트위터에서 활발한 링크드인 사용자)과, 누가 응답하기로 선택하는지에 대한 무응답 편향(가장 목소리 큰 사람이 과다 응답)이 함께 있다.

방향에 대해 확정적으로 말할 수 있는 것은 없다. 분포의 양쪽 꼬리 어느 쪽이든 과다 또는 과소 응답할 수 있다.

• 통증이 아주 심한 환자는 너무 힘들어서 설문지를 작성하지 못할 수 있다 → 아래쪽으로 편향.
• 통증이 아주 심한 환자가 임상의에게 알리려는 동기가 가장 클 수도 있다 → 위쪽으로 편향.
• 통증이 약한 환자는 중요하지 않다고 여겨 설문을 건너뛸 수 있다 → 위쪽으로 편향.

보조 정보(차트에 기록된 진통제, 관찰된 찡그림, 후속 접촉)가 없으면 방향을 식별할 수 없다. 점추정값은 어느 방향으로든 편향되어 있지만, 통계 밖의 모형 없이는 어느 쪽인지 말할 수 없다.

방향은 몰라도 크기는 셀 수 있다. 본문의 공식에 응답률 \(r = 0.6\)을 넣으면

이다. 무응답자가 응답자보다 평균 \(1\)점 더 아팠다면 보고된 \(4.3\)은 참값을 \(0.4\)점 과소평가한 것이고, \(2\)점 더 아팠다면 \(0.8\)점이다.

척도가 \(0\)–\(10\)으로 유계이므로 아무 가정 없이도 경계를 그을 수 있다. \(\mu_{NR} \in [0, 10]\)을 그대로 대입하면

로, 폭이 \(0.4 \times 10 = 4\)점이다. 연습문제 8의 만스키 경계를 이 진료소 자료에 그대로 적용한 것이다. 응답률 \(60\%\)는 요즘 기준으로 나쁘지 않은데도 무가정 구간이 척도의 \(40\%\)를 덮는다.

현실적인 해법: 응답률을 80% 이상으로 끌어올리거나, 차트 자료로 응답 성향을 추정해 그에 따라 가중한다.

정확도를 참값으로부터의 총오차가 작은 것으로 정의하자: \(\mathrm{MSE} = \mathrm{bias}^2 + \mathrm{variance}\). 크지만 편향된 조사는 분산이 아주 작지만(신뢰구간이 좁지만) 총오차를 편향 항이 지배한다. 작지만 불편인 조사는 분산이 크고 편향이 0이다.

편향을 측정하지 않는 한 어느 쪽이 명확히 더 "정확하다"고 할 수 없지만, 크고 편향된 조사는 더 자신 있게 틀린 답을 준다. 같은 편향된 과정을 여러 번 반복하면 50,000명 조사는 자신이 보고한 신뢰구간 밖의 추정값을 일상적으로 내놓게 되는데, 이는 그 신뢰구간이 오도한다는 증거다.

편향된 조사들의 메타분석은 더 나쁘다. 편향된 조사를 평균 내면 참값이 아니라 편향의 점근값으로 수렴한다. 해법은 조사를 더 하는 것이 아니라 표집틀을 고치는 것이다.

응답을 결정하는 변수가 사후층화에 쓰는 변수와 같을 때 편향을 줄인다. 젊은 사람이 응답을 덜 하는데 연령 자료가 있다면, 주어진 연령의 응답자가 그 연령의 모든 사람을 대표한다는 가정 아래 연령별 사후층화가 편향을 보정한다.

층 내부에 잔여 무응답이 있으면 편향을 줄이지 못한다. 도시에 사는 30세 남성 응답자는 도시에 사는 30세 남성 무응답자와 결과 변수에서 여전히 다를 수 있다. 인구학적 특성이 같다고 해서 서로 대체 가능한 것은 아니다. 관측되지 않은 어떤 특성(소득, 생활양식, 의견의 강도)이 응답과 결과 모두와 상관되어 있을 수 있다.

사후층화의 밑바탕에 있는 가정은 "사후층화 변수를 조건부로 한 무작위 결측"이다. 이것은 자료로부터 검증할 수 없다. 가중 변수를 강화하면(공변량을 늘리고 칸을 잘게 쪼개면) 일반적으로 편향은 줄지만 분산은 커진다 — 편향–분산 절충이 조사 가중에서 다시 나타나는 것이다.

기제 1 — 차별적 무응답("수줍은 트럼프 지지자"): 트럼프 지지자는 여론조사에 응하거나 선호를 밝히기를 꺼렸을 수 있으며, 특히 트럼프 지지가 사회적으로 낙인찍힌 지역에서 그랬다. 객관적 지표가 없으니 여론조사는 낮게 표현된 선호를 그대로 참값으로 다루었다.

기제 2 — 교육수준 가중: 러스트벨트 여론조사는 대학 미진학 유권자에게 낮은 가중치를 주었다(이들은 전화 조사 응답률이 낮았고 표준적인 인구학적 가중 후에도 과소대표되었다). 대학 미진학 유권자 사이의 트럼프 지지는 역사적으로 높은 수준이었으므로, 이들에게 낮은 가중치를 주면 과소추정이 생긴다.

왜 포착되지 않았는가: 2016년 선거는 이 특정한 역학이 대규모로 나타난 첫 사례였다. 여론조사는 민주–공화 응답률과 인구학적 상관이 달랐던 2012년 양상에 맞춰 보정되어 있었다. 2016년 이후 대부분의 주요 여론조사 기관이 교육수준 가중을 추가하고 응답 편향을 보정했다. 2020년 조사는 나아졌지만 여전히 여러 주에서 바이든의 격차를 과대평가했으며, 잔여 문제가 남아 있음을 시사한다.

중도 탈락한 환자는 "완료자" 표본에서 제외된다. 탈락은 무작위가 아니다. 부작용(약물 불내성), 효과가 없다고 느낌, 건강 악화가 모두 흔한 이유다. 완료자는 선택된 부분집합이며, 대체로 약이 듣거나 약을 견딜 수 있는 사람들이다. 완료자의 호전만 보고하면 그 약이 처방될 일반 모집단에 대한 효과를 과대평가하게 된다.

배정대로 분석(ITT) 은 순응이나 완료 여부와 무관하게 모든 환자를 원래 배정된 집단에 넣어 분석한다. 중도 탈락한 환자는 마지막으로 관측된 결과(또는 지정된 결측 자료 모형 아래에서 대체한 값)와 함께 분석에 남는다. 이 추정값은 처치를 온전히 받지 않은 환자를 포함하므로 효과가 희석되어 보수적이지만, "이 약을 견디며 12주를 채운 사람에게 약이 얼마나 잘 듣는가?"가 아니라 "이 약을 환자 모집단에 처방했을 때 기대되는 이익은 무엇인가?"라는 정책 질문에 답한다.

선택 편향이 보고된 효과를 부풀리는 것을 막아주기 때문에 ITT가 규제 제출의 표준인 것이다.

import numpy as np

rng = np.random.default_rng(0)
n = 200_000
age = rng.normal(50, 15, n)
y = 30 + 0.5 * age + rng.normal(0, 10, n)          # 결과변수
truth = y.mean()

bins = np.digitize(age, np.quantile(age, np.linspace(0, 1, 21)[1:-1]))

def poststratify(resp):
    est = 0.0
    for b in range(21):
        cell = bins == b
        if cell.sum() and (cell & resp).sum():
            est += cell.mean() * y[cell & resp].mean()
    return est

mechanisms = [
    ("MCAR", rng.random(n) < 0.5),                                  # 응답이 무관
    ("MAR",  rng.random(n) < 1 / (1 + np.exp(-(age - 50) / 10))),   # 나이에 의존
    ("MNAR", rng.random(n) < 1 / (1 + np.exp(-(y - truth) / 10))),  # y 자체에 의존
]

print(f"참 평균 {truth:.4f}\n")
print(f"{'기제':>6}{'단순평균':>11}{'편향':>9}{'사후층화':>11}{'편향':>9}")
for label, resp in mechanisms:
    adj = poststratify(resp)
    print(f"{label:>6}{y[resp].mean():>11.4f}{y[resp].mean() - truth:>+9.4f}"
          f"{adj:>11.4f}{adj - truth:>+9.4f}")

출력:

참 평균 55.0028

    기제       단순평균       편향       사후층화       편향
  MCAR    55.0205  +0.0177    55.0209  +0.0181
   MAR    58.9392  +3.9364    55.0472  +0.0444
  MNAR    60.9772  +5.9744    59.2198  +4.2170

결과가 세 기제의 성격을 그대로 보여 준다.

세 기제의 정의.

• MCAR: 응답 여부가 관측값·미관측값 어느 것과도 무관하다. 응답자는 그냥 작은 무작위 표본이라 편향이 없다. 표본이 줄어드는 손해만 있다.
• MAR: 응답 여부가 관측된 변수(여기서는 나이)에만 의존한다. 그 변수로 가중하면 편향이 사라진다. 이름이 오해를 부르는데, "무작위 결측"이 아니라 "관측값을 조건부로 하면 무작위" 라는 뜻이다.
• MNAR: 응답 여부가 관측되지 않은 결과값 자체에 의존한다. 소득이 높은 사람이 소득을 밝히지 않는 경우가 전형이다. 나이로 아무리 가중해도 각 나이 층 안에서 여전히 높은 \(y\)를 가진 사람이 빠져 있으므로 편향이 남는다.

핵심은 MAR과 MNAR을 자료로 구별할 수 없다는 것이다. 응답자만 보고서는 무응답자가 어떤 값을 가졌을지 알 방법이 없다. 위 모의실험에서 두 경우의 응답률은 모두 \(0.50\)이고 응답자 자료도 겉보기에 비슷하다.

그러므로 "MAR을 가정한다"는 말은 검증된 사실이 아니라 선언이다. 다중대체, 역확률가중, 최대가능도 결측 처리 등 표준적인 방법이 모두 MAR을 전제한다. MNAR이 의심되면 민감도 분석으로 "MNAR이 얼마나 심해야 결론이 뒤집히는가"를 따져야 한다. \(\square\)

모집단 비율 \(p\)를 전체 기댓값의 법칙으로 쪼개면

이다. 모르는 항은 \([0, 1]\) 안에 있다는 것밖에 말할 수 없으므로

이고, 구간의 폭은 정확히 \(1-r\), 곧 무응답률이다.

import numpy as np

rng = np.random.default_rng(0)
n, p_true = 200_000, 0.40
y = rng.random(n) < p_true

print(f"참 비율 {p_true}\n")
print(f"{'응답률':>8}{'응답자 비율':>13}{'무가정 하한':>13}{'무가정 상한':>13}{'폭':>8}")
for r in (0.9, 0.7, 0.5, 0.25):
    resp = rng.random(n) < r
    p_r, rate = y[resp].mean(), resp.mean()
    lo, hi = p_r * rate, p_r * rate + (1 - rate)
    print(f"{rate:>8.2f}{p_r:>13.4f}{lo:>13.4f}{hi:>13.4f}{hi - lo:>8.4f}")

출력:

참 비율 0.4

     응답률       응답자 비율       무가정 하한       무가정 상한       폭
    0.90       0.4008       0.3605       0.4612  0.1008
    0.70       0.3989       0.2790       0.5797  0.3007
    0.50       0.3982       0.1990       0.6992  0.5001
    0.25       0.4020       0.1007       0.8502  0.7495

여기서는 결측이 MCAR이라 응답자 비율이 언제나 \(0.40\) 근처인데도 경계는 응답률에 따라 이렇게 넓어진다.

응답률 \(25\%\)면 경계가 \([0.10, 0.85]\)로 사실상 아무 말도 하지 못한다. 오늘날 전화 조사의 응답률이 대개 \(10\%\) 이하라는 점을 생각하면 이것이 무엇을 뜻하는지 분명하다.

이 계산의 의의. 만스키의 논점은 "그러니 조사를 믿지 말라"가 아니다. 가정 없이 얻을 수 있는 것이 얼마나 적은지를 보여 줌으로써, 발표되는 좁은 신뢰구간이 전적으로 가정에서 나온 것임을 드러내는 것이다.

발표된 \(\pm 3\%\)포인트는 응답자가 무응답자를 대표한다는(또는 가중 변수를 조건부로 그렇다는) 가정 아래에서만 성립한다. 표집 오차만 보고하고 무응답 가정을 밝히지 않는 것이 문제다.

실무에서는 두 극단 사이의 중간 가정을 쓴다. 예컨대 "무응답자의 비율이 응답자와 \(10\)%포인트 이상 다르지는 않을 것"이라고 두면 훨씬 좁은 구간을 얻는다. 요점은 가정을 명시하고, 그것을 바꾸면 결론이 얼마나 달라지는지 보이는 것이다. \(\square\)

import numpy as np

rng = np.random.default_rng(1)
n = 200_000

complier = rng.random(n) < 0.6          # 60% 만 실제로 복용한다
Z = rng.random(n) < 0.5                 # 무작위 배정
D = Z & complier                        # 실제 복용 여부

baseline = np.where(complier, 0.0, -3.0)   # 순응자가 원래 상태가 더 좋다
tau = 5.0                                   # 순응자에 대한 참 효과
Y = 50 + baseline + tau * D + rng.normal(0, 10, n)

itt = Y[Z].mean() - Y[~Z].mean()
per_protocol = Y[D].mean() - Y[~Z].mean()
as_treated = Y[D].mean() - Y[~D].mean()
compliance = D[Z].mean() - D[~Z].mean()

print(f"순응자에 대한 참 효과 {tau}")
print(f"  ITT              {itt:.4f}   (= {tau} x 0.6 = {tau * 0.6:.2f})")
print(f"  프로토콜 준수     {per_protocol:.4f}   ← 위로 편향")
print(f"  실제 복용 기준    {as_treated:.4f}   ← 위로 편향")
print(f"  CACE = ITT/순응률 {itt / compliance:.4f}   ← 참값 회복")
print(f"  순응률 {compliance:.4f}")

출력:

순응자에 대한 참 효과 5.0
  ITT              2.9529   (= 5.0 x 0.6 = 3.00)
  프로토콜 준수     6.1279   ← 위로 편향
  실제 복용 기준    6.6512   ← 위로 편향
  CACE = ITT/순응률 4.9126   ← 참값 회복
  순응률 0.6011

세 추정값이 서로 다른 것을 추정한다.

ITT \(= 2.95\). 배정대로 분석한 값이다. 참 효과 \(5.0\)의 \(60\%\)인데, 배정된 사람의 \(60\%\)만 실제로 복용했기 때문이다. 이것은 편향이 아니라 다른 질문에 대한 정답이다. "이 약을 처방하면 무슨 일이 일어나는가"에 답한다. 순응이 완벽하지 않은 현실 세계의 정책 효과다.

프로토콜 준수 분석 \(= 6.13\). 위로 편향되어 있다. 복용한 사람은 무작위 배정으로 정해진 집단이 아니라 스스로 순응을 택한 사람들이고, 여기서는 그들이 원래 건강 상태도 좋았다. 무작위화의 이점을 통째로 버린 분석이다.

CACE \(= 4.91\). ITT를 순응률로 나누면 순응자에 대한 인과효과가 복원된다. 이는 사실 도구변수 추정과 같은 계산이며, 배정 \(Z\)를 도구로 쓴 것이다.

어느 것을 보고해야 하는가.

규제 당국이 ITT를 기본으로 요구하는 이유는 두 가지다. 보수적이고(효과를 과대평가하지 않는다), 무작위화를 온전히 보존한다. 프로토콜 준수 분석은 좋아 보이는 결과를 만들어 내기 쉬워서 특히 경계 대상이다.

CACE의 한계도 분명하다. 이는 순응자라는 관측 불가능한 부분모집단에 대한 효과이며, 그들이 누구인지 알 수 없고 다른 상황에서 순응자 집단은 달라진다. \(\square\)

절차. 응답자가 혼자 동전을 던진다.

• 앞면이면 → 민감한 질문에 진실을 답한다.
• 뒷면이면 → 동전을 한 번 더 던져 앞면이면 "예", 뒷면이면 "아니오"라고 답한다.

조사자는 동전 결과를 볼 수 없다. 따라서 어떤 개인의 "예"도 그 사람이 실제로 해당한다는 증거가 되지 못한다. 개인의 부인 가능성이 보장되므로 정직하게 답할 유인이 생긴다.

추정. "예"라고 답할 확률은

이므로 \(\hat p = 2\hat P(\text{예}) - \tfrac{1}{2}\)로 되돌린다.

import numpy as np

rng = np.random.default_rng(2)
N = 100_000

print(f"{'참 비율':>8}{'예 응답률':>11}{'추정':>9}{'SE':>9}{'직접질문 SE':>13}{'배수':>7}")
for p_true in (0.05, 0.20, 0.40):
    truth = rng.random(N) < p_true
    first = rng.random(N) < 0.5              # 첫 동전: 앞면이면 진실
    second = rng.random(N) < 0.5             # 둘째 동전
    answer = np.where(first, truth, second)

    p_hat = 2 * answer.mean() - 0.5
    se = 2 * np.sqrt(answer.mean() * (1 - answer.mean()) / N)
    se_direct = np.sqrt(p_true * (1 - p_true) / N)
    print(f"{p_true:>8.2f}{answer.mean():>11.4f}{p_hat:>9.4f}{se:>9.5f}"
          f"{se_direct:>13.5f}{se / se_direct:>7.1f}배")

출력:

    참 비율      예 응답률       추정       SE      직접질문 SE     배수
    0.05     0.2739   0.0479  0.00282      0.00069    4.1배
    0.20     0.3507   0.2014  0.00302      0.00126    2.4배
    0.40     0.4518   0.4037  0.00315      0.00155    2.0배

추정값이 참값을 정확히 되찾는다.

대가는 분산이다. 표준오차가 직접 질문의 \(2\)–\(4\)배로 커지며, 참 비율이 작을수록 손해가 크다. 같은 정밀도를 얻으려면 표본이 \(4\)–\(16\)배 필요하다.

그럼에도 쓰는 이유. 직접 질문의 답이 편향되어 있다면 아무리 표본을 키워도 소용이 없다. 앞서 여러 번 본 구조 그대로다. 분산은 표본으로 살 수 있지만 편향은 살 수 없다. 마약 사용, 탈세, 시험 부정행위, 낙인찍힌 질병처럼 축소 보고가 심한 주제에서는 이 맞바꿈이 명백히 유리하다.

한계.

• 응답자가 절차를 이해하고 믿어야 한다. 실제 조사에서 "이게 정말 익명이 맞나" 하고 의심해 그냥 "아니오"를 택하는 경우가 보고된다.
• 집단 수준 비율만 얻는다. 개인 수준 자료가 없으므로 다른 변수와의 관계를 분석하기 어렵다.
• \(\hat p\)가 \(0\)보다 작거나 \(1\)보다 큰 값으로 나올 수 있다. 참 비율이 아주 작고 표본이 작으면 실제로 일어난다.

같은 착상의 변형으로 목록 실험(민감 항목을 넣은 목록과 뺀 목록의 "해당 개수" 평균을 비교)이 있으며, 정치학과 사회학에서 널리 쓰인다. \(\square\)