비율의 대응 구간 (McNemar)¶
개요¶
들어가는 이야기 — \(2\) 퍼센트포인트를 두고 말을 아끼는 까닭
지지율이 지난달 \(47\%\) 에서 이번 달 \(49\%\) 가 되었다고 하자. 올랐다고 말해도 되는가. 두 조사가 매번 새로 \(600\) 명씩 뽑아 물은 것이라면 말을 아낄 수밖에 없다. 그 \(2\) 퍼센트포인트에 구간을 붙이면 \((-3.65,\ 7.65)\) 퍼센트포인트로 \(0\) 을 넉넉히 담는다. 이 설계에서 \(0\) 을 비키려면 차가 \(5.65\) 퍼센트포인트를 넘어야 하는데, 선거 기간에 실제로 움직이는 폭은 그보다 작은 때가 많다.
왼쪽 두 표는 가장자리 합이 똑같다 — 지난달 찬성 \(282\) 명, 이번 달 \(294\) 명. 매번 새 사람을 뽑는 조사가 보는 것이 그 가장자리 합뿐이므로, 두 세상을 구별하지 못한다. 같은 사람에게 다시 물으면 주황 두 칸이 보인다 — 한쪽은 \(38\) 명만 마음을 바꾸었고 다른 쪽은 \(348\) 명이 바꾸었다. 오른쪽이 그 차이가 구간에 하는 일이다. 다만 패널이 늘 이기는 것은 아니다. 적게 바뀐 세상에서는 구간이 \((-0.01,\ 4.01)\) 로 새 표본의 \(0.36\) 배까지 좁아지지만, 절반 넘게 바뀐 세상에서는 \((-4.09,\ 8.09)\) 로 오히려 조금 넓다. 어디서 뒤집히는지는 아래 상자가 짚는다.
그런데 두 조사가 같은 \(600\) 명에게 물은 것이라면 손에 든 것이 달라진다. 「\(47\) 에서 \(49\) 로 올랐다」가 아니라 「누가 마음을 바꾸었는가」를 알게 된다. 지난번에 지지하던 사람 가운데 몇이 돌아섰고 반대쪽에서 몇이 넘어왔는지가 그대로 보인다. 같은 사람을 거듭 찾아가 묻는 이런 조사를 패널 조사라 부른다. 대가는 비싸다 — 이사를 가거나 응하지 않아 사람을 놓치고, 찾아가는 비용이 들고, 같은 것을 거듭 물으면 대답이 물들 수도 있다. 그 돈으로 사는 것이 정확히 무엇인지, 그리고 이 설계가 어디서 왔는지는 아래 상자가 수와 함께 따라간다.
통계로 옮기면 차이는 한 가지다. 8.3절 p₁−p₂의 신뢰구간은 다른 사람들에게 물었다 — 두 지역에서 각각 \(600\) 명. 이 절은 묻는 사람이 같다. 그 한 가지가 구간의 폭을 정하고, 짝을 지었다는 사실이 식의 어디로 들어가는지가 이 절의 주제다.
토론회 전에 어떤 후보의 지지 여부를 물어 \(1000\) 명 가운데 \(420\) 명이 지지한다고 답했다. 토론회가 끝난 뒤 바로 그 \(1000\) 명에게 다시 물었더니 \(450\) 명이 지지한다. \(42\%\) 에서 \(45\%\) 로 \(3\) 퍼센트포인트 올랐다. 올랐다고 말해도 되는가.
| 뒤: 지지 | 뒤: 반대 | |
|---|---|---|
| 앞: 지지 | \(390\) | \(30\) |
| 앞: 반대 | \(60\) | \(520\) |
여기서 놀라운 일이 벌어진다. \(1000\) 명 가운데 \(910\) 명은 이 물음에 아무것도 말해 주지 않는다. 두 번 다 지지한 \(390\) 명과 두 번 다 반대한 \(520\) 명은 앞뒤 어느 쪽이 높은지에 대해 입을 다문다 — 그들은 양쪽 비율에 똑같이 들어가므로 차를 만들 때 대수적으로 상쇄된다. \(3\) 퍼센트포인트를 만든 것은 마음을 바꾼 \(90\) 명뿐이고, 그중 \(60\) 명이 반대에서 지지로, \(30\) 명이 지지에서 반대로 갔다.
그렇다면 표본이 \(1000\) 인가 \(90\) 인가. 이것이 이 절의 물음이고, 답이 구간의 폭을 정한다. 아래 \(\S 2\) 의 식으로 재면 \(95\%\) 구간이 \((0.0115,\ 0.0485)\) 로 \(0\) 을 담지 않는다. 지지율이 올랐다고 말해도 된다.
그런데 같은 표를 8.3절의 식에 넣으면 — 곧 두 번의 \(1000\) 명이 서로 다른 사람인 척하면 — \((-0.0134,\ 0.0734)\) 가 나온다. 폭이 \(2.35\) 배로 벌어지고 \(0\) 을 담는다. 같은 자료에서 「올랐다」가 「모르겠다」로 바뀐다.
짝을 지은 것이 그만큼을 벌어 준 것이다. 마음을 바꾸지 않은 \(910\) 명은 차에 기여하지 않지만 사람마다 다른 바탕 성향을 상쇄해 주고, 그 상쇄가 폭에서 돌아온다 — 5.9절 대응표본 차의 평균 표집분포가 연속형에서 \(\rho\) 로 적어 둔 것과 같은 일이 이진 자료에서 일어난다.
이 절은 그 구간을 세운다.
같은 표에 검정을 거는 것은 11.2절 McNemar 검정 (대응된 이진 자료)이다. 둘은 짝처럼 보이지만 표준오차가 다르다 — 아래 \(\S 4\) 가 그 자리를 짚어 두고, 수로 재는 것은 McNemar 검정 \(\S 4\) 다.
1. 일치–불일치 표¶
\(n\)명의 피험자를 각각 두 조건에서 관측하여 피험자 \(i\)마다 이진 결과의 쌍 \((Y_{i1}, Y_{i2})\)을 얻는다고 하자. \(n\)개의 쌍을 네 칸으로 분류한다.
| 조건 2: 성공 | 조건 2: 실패 | |
|---|---|---|
| 조건 1: 성공 | \(a\) | \(b\) |
| 조건 1: 실패 | \(c\) | \(d\) |
여기서 \(a + b + c + d = n\)이다. 칸 \(a\)와 \(d\)는 결과가 바뀌지 않은 일치 짝이고, 칸 \(b\)와 \(c\)는 조건 사이에서 결과가 다른 불일치 짝이다.
각 조건에서 성공의 주변비율은
이므로 주변비율의 차이는 불일치 개수에만 의존한다.
이것이 핵심 통찰이다: 일치 짝(\(a\)와 \(d\))은 대수적으로 상쇄된다. 같은 사실이 검정 쪽에서는 통계량에 \(a\) 와 \(d\) 가 아예 나타나지 않는 것으로 드러나고, 조건이 셋 이상이면 모두 성공·모두 실패한 피험자가 통계량에 기여하지 않는 것으로 드러난다. 두 조건 모두에서 성공하거나 모두에서 실패한 피험자는 어느 조건이 더 나은지에 대해 아무것도 말해 주지 않는다. 차이에 관한 모든 정보는 결과가 바뀐 \(b + c\)명에게 있다.
2. McNemar 신뢰구간¶
모집단 차이 \(p_1 - p_2\)의 신뢰구간을 만들려면 \((b - c)/n\)의 표준오차가 필요하다. 불일치 짝의 총수를 \(m = b + c\) 라 하면, \(m\) 이 주어졌을 때 귀무가설(null hypothesis) \(p_1 = p_2\) 아래에서 \(b \sim \text{Binomial}(m, 1/2)\)이다.
주변비율 차이에 대한 왈드 형태의 표준오차는
이다. 쌍 하나가 \(b\) 칸에 들면 \(+1\), \(c\) 칸에 들면 \(-1\), 일치 칸에 들면 \(0\) 을 주는 변수를 \(n\) 개 더한 것이 \(b - c\) 이므로, 두 불일치 칸의 확률을 \(p_b\), \(p_c\) 라 하면 \(\operatorname{Var}(b - c) = n\left[(p_b + p_c) - (p_b - p_c)^2\right]\) 이고, 여기에 \(p_b\), \(p_c\) 대신 \(b/n\), \(c/n\) 을 넣고 \(n^2\) 으로 나눈 것의 제곱근이 위 식이다. \((1 - \alpha)\) 신뢰구간은
여기서 \(z_{1-\alpha/2}\)는 누적확률 \(1-\alpha/2\) 의 표준정규 분위수다(\(95\%\) 면 \(1.96\)).
대안적인 표준오차
더 단순하고 흔히 쓰이는 형태는 \(b\)와 \(c\)를 독립인 이항 개수로 취급한다.
위의 왈드 형태보다 구간이 약간 넓어지지만 단순해서 실무에서 흔히 선호된다. 이때 신뢰구간은 이렇게 된다.
이 구간이 기대는 것은 둘이다. 설계가 진짜 대응이어야 하고(조건 1 의 각 관측이 같은 피험자나 짝지은 쌍에서 얻은 조건 2 의 관측과 맞물려야 한다), 결과가 이진이어야 한다. 짝이 아니면 8.3절 p₁−p₂의 신뢰구간으로 가고, 범주가 셋 이상이면 11장의 대응 자료 검정으로 간다.
기본값은 왈드가 아니다
위 두 꼴은 \(b+c\) 가 넉넉하고 비율이 중간일 때만 안전하다. \(b\) 나 \(c\) 가 작으면 표준오차가 0 으로 가 구간이 퇴화하고(\(b = c = 0\) 이면 한 점 \(\{0\}\) 이다), 비율이 경계 가까이 가면 구간이 \([-1,\,1]\) 을 벗어난다. 윌슨을 바탕으로 짠 뉴컴의 구간에는 둘 다 구조적으로 일어나지 않고, 모의실험 연구에서 포함확률과 폭의 균형이 가장 낫다고 보고된다 — 연습문제 9 가 같은 자료에서 둘을 나란히 놓는다. 독립인 두 비율에서도 사정이 같아 8.3절 p₁−p₂의 신뢰구간은 아예 뉴컴을 기본값으로 둔다.
그런데도 이 쪽이 왈드를 앞세우는 까닭이 있다. \(a\) 와 \(d\) 가 식에서 사라지는 것이 왈드에서 한눈에 보이기 때문이다. \(\S 3\) 과 \(\S 4\) 가 읽어 내는 것이 바로 그 사실이고, 뉴컴의 꼴에서는 그 구조가 가려진다.
개요의 패널을 수로
개요의 표(\(n = 1000\), \(a = 390\), \(b = 30\), \(c = 60\), \(d = 520\))를 두 식에 넣어 본다. 아래 블록이 개요가 적은 네 수를 모두 낸다.
import numpy as np
from scipy import stats
# 개요의 토론회 패널: 1000 명에게 두 번 물었다
n, a, b, c, d = 1000, 390, 30, 60, 520
z = stats.norm.ppf(0.975)
p1, p2 = (a + b) / n, (a + c) / n # 앞, 뒤 지지율
diff = (c - b) / n # 뒤 - 앞 = 3 퍼센트포인트
# 대응 구간 — a 와 d 가 식에 없다
se_paired = np.sqrt(b + c - (b - c) ** 2 / n) / n
# 두 번의 1000 명이 서로 다른 사람인 척하면 (8.3 의 식)
se_indep = np.sqrt(p1 * (1 - p1) / n + p2 * (1 - p2) / n)
print(f"일치 {a + d} 명 · 불일치 {b + c} 명")
print(f"앞 {p1:.3f} 뒤 {p2:.3f} 차 {diff:+.3f}")
# 한글은 고정폭에서 두 칸을 차지하므로 f-string 자리맞춤이 보이는 열과 어긋난다.
# 꼬리표의 공백을 직접 적는다.
for name, se in (("대응(McNemar) ", se_paired), ("독립이라 치면", se_indep)):
lo, hi = diff - z * se, diff + z * se
print(f"{name} SE {se:.6f} 95% CI ({lo:+.4f}, {hi:+.4f})"
f" 폭 {hi - lo:.4f} 0 을 담는가 {lo < 0 < hi}")
print(f"폭의 비 {(2 * z * se_indep) / (2 * z * se_paired):.2f} 배")
출력:
일치 910 명 · 불일치 90 명
앞 0.420 뒤 0.450 차 +0.030
대응(McNemar) SE 0.009439 95% CI (+0.0115, +0.0485) 폭 0.0370 0 을 담는가 False
독립이라 치면 SE 0.022161 95% CI (-0.0134, +0.0734) 폭 0.0869 0 을 담는가 True
폭의 비 2.35 배
같은 자료가 두 답을 준다. 짝을 살린 구간은 \(0\) 을 빼고 — 지지율이 올랐다고 말할 수 있고 — 짝을 버린 구간은 \(0\) 을 담아 「모르겠다」가 된다. 폭의 비 \(2.35\) 배가 그 대가이고, 그것을 벌어 준 것이 차에 기여하지 않는 \(910\) 명이다.
3. 일치한 짝은 분모로만 들어간다¶
\(\S 2\) 의 식에 들어가는 것은 \(b\), \(c\), \(n\) 뿐이고 \(a\) 와 \(d\) 는 \(n\) 을 통해서만 들어간다. 그래서 둘이 서로 구별되지 않는다 — 전후가 둘 다 완화였던 환자와 둘 다 미완화였던 환자를 어떻게 나누든, 합이 같으면 구간이 같다. 차이에 대한 증거는 오직 \(b\) 와 \(c\) 가 어느 쪽으로 기울었는지에서 오고, 일치한 짝은 그 증거를 무엇에 대한 비율로 읽을지만 정한다.
한 제약회사가 새 알레르기 약을 환자 \(n = 200\) 명에게 시험하고 각 환자의 증상 완화 여부를 치료 전후로 평가했다. 결과가 이렇다.
| 치료 후: 완화 | 치료 후: 미완화 | |
|---|---|---|
| 치료 전: 완화 | \(a = 20\) | \(b = 50\) |
| 치료 전: 미완화 | \(c = 30\) | \(d = 100\) |
1단계. 비율의 차이를 계산한다.
완화된 비율이 치료 전에 10 퍼센트포인트 더 높았다(즉 \(\hat{p}_{\text{before}} = 70/200 = 0.35\) 대 \(\hat{p}_{\text{after}} = 50/200 = 0.25\)).
2단계. 표준오차를 계산한다.
3단계. 95% 신뢰구간을 구성한다(\(z_{0.975} = 1.96\)).
구간이 0을 포함하지 않으므로 95% 수준에서 두 조건의 주변비율이 다르다는 증거가 있다.
결과의 해석
신뢰구간 \((0.014, 0.187)\)은 모비율(population proportion)의 참 차이(치료 전 빼기 치료 후)가 1.4 퍼센트포인트와 18.7 퍼센트포인트 사이에 있다고 95% 신뢰한다는 뜻이다. 치료 후 완화율이 통계적으로 유의하게, 그러나 크기는 크지 않을 수 있는 정도로 줄었음을 시사한다.

왼쪽 그림은 위 보기의 네 칸이다. 색이 들어간 두 칸 \(b = 50\)과 \(c = 30\)만 계산에 쓰이고, 회색 두 칸 \(a = 20\)과 \(d = 100\)은 분자에 나타나지 않는다 — 다만 분모의 \(n = 200\) 에는 들어 있다. 처음 보면 정보를 버리는 것 같지만 그렇지 않다. 치료 전후 모두 완화된 환자는 "치료 전이 더 나았는가"라는 질문에 아무 답도 하지 않는다. 답을 아는 사람은 상태가 바뀐 80명뿐이고, 그중 50명은 나빠진 쪽, 30명은 좋아진 쪽이다.
오른쪽 그림은 그래서 무엇이 달라지는지 보여 준다. 다섯 줄 모두 \(n = 200\)이고 \(b - c = 20\)이라 점추정값이 \(0.10\)으로 같다. 그런데 불일치 짝의 총수 \(m = b + c\)가 20에서 200까지 커지면 오차한계가 \(\pm 0.0416\)에서 \(\pm 0.1379\)로 3배 넘게 벌어진다. 위쪽 두 줄은 0을 담지 않아 "차이가 있다"고 말할 수 있고, 아래 두 줄은 0을 담아 같은 말을 할 수 없다. 똑같은 10 퍼센트포인트인데 결론이 갈린다.
왜 그런지는 표준오차 식 \(\sqrt{b + c - (b-c)^2/n}\,/\,n\)에서 \(b+c\)가 지배한다는 데 있다. \((20, 0)\)은 상태가 바뀐 20명이 전원 같은 방향으로 바뀐 경우다. 아주 강한 증거다. \((110, 90)\)은 200명이 양방향으로 어지럽게 바뀌었고 그 와중에 한쪽이 20명 많았을 뿐이다. 동전 200번 던져 앞면이 110번 나온 것과 같은 상황이니 증거가 약할 수밖에 없다.
이 그림은 \(\S 4\) 가 말하는 \(b + c \ge 10\) 기준의 뜻도 분명히 해 준다. McNemar 구간의 실효 표본크기는 \(n\)이 아니라 \(m = b + c\)다. 환자를 아무리 많이 모아도 상태가 바뀌는 사람이 없으면 정밀도는 늘지 않는다. 반대로 말하면, 대응 설계의 정밀도를 높이려면 변화가 잘 일어나는 대상을 고르는 것이 표본을 늘리는 것만큼 중요하다.
그림으로 보는 통계학 1. 마음을 바꾸지 않은 사람들이 해 준 일
\(\S 1\) 의 「일치 짝은 상쇄된다」를 읽고 나면 아까운 마음이 든다. \(600\) 명을 두 번씩 찾아가 놓고 정작 쓰는 것은 마음을 바꾼 몇십 명뿐인가. 그런데 그 반대다.
\(1940\) 년 라자스펠드·버렐슨·고데가 오하이오주 에리 카운티에서 대통령 선거를 두고 조사를 했다. 설계가 그때까지의 조사와 달랐다. 약 \(2{,}400\) 명을 \(600\) 명씩 네 무리로 나눈 다음, 그 가운데 한 무리를 \(5\) 월부터 \(11\) 월까지 달마다 일곱 번 다시 찾아갔다. 자료 보관소가 적어 둔 목적이 이것이다 — 「여론과 정치적 태도의 형성·변화·발전의 동역학을 연구하는 것」, 그리고 「투표 의향의 변화를 따라가는 데 특별한 노력을 기울였다」.
같은 사람을 다시 찾아가는 일은 비싸다. 사람을 놓치고, 찾아가는 비용이 들고, 반복해 물으면 응답이 물들 수도 있다. 그런데도 그렇게 할 값어치가 있다. 바탕 비율이 \(0.5\) 근처, 참 변화가 \(2\) 퍼센트포인트인 자리에서 재어 보았다.

- ① 가로축은 두 시점 사이에 마음을 바꾼 사람의 비율이다. 빨간 선은 매번 새로 \(600\) 명씩 뽑아 묻는 설계인데, 바꾼 비율과 무관하게 반폭이 \(0.0565\) 로 납작하다. 파란 선이 같은 \(600\) 명을 두 번 찾아간 설계다. \(5\%\) 만 마음을 바꾸면 반폭이 \(0.0177\) 로 \(3.2\) 배 좁고, \(2\%\) 면 \(0.0111\) 로 \(5.1\) 배 좁다. 적게 바꿀수록 좁아진다.
- ② 두 설계가 뒤집히는 자리가 정확히 절반이다. 대응 쪽 표준오차가 대략 \(\sqrt{\pi/n}\)(\(\pi\) 는 바꾼 비율), 독립 쪽이 \(\sqrt{2p(1-p)/n}\) 인데 \(p = 0.5\) 에서 \(2p(1-p) = 0.5\) 이므로 \(\pi = 0.5\) 에서 같아진다. 사람들이 동전 던지듯 마음을 바꾸는 세상이라면 다시 찾아갈 까닭이 없고, 그렇지 않은 세상에서는 언제나 패널이 이긴다.
- ③ \(\S 4\) 가 말하는 \(b + c \ge 10\) 지침을 재어 보았다. 불일치 짝이 \(4\) 개면 왈드 구간의 실제 포함률이 \(0.931\) 로 처지고, \(6\) 개부터는 \(0.946\) 언저리로 올라온다. 지침은 대체로 맞는다. 다만 불일치 짝을 \(50\) 개까지 늘려도 \(0.947\) 에 머물러 이름값 \(0.95\) 를 살짝 밑돈다. 정확 이항 구간은 반대로 \(0.96\)–\(0.99\) 로 넉넉한 쪽으로 빗나간다. 둘 중 하나를 고르는 일은 어느 쪽으로 틀릴지를 고르는 일이다.
일치 짝은 버려지는 것이 아니다. 그들이 분모에 남아 \((b-c)/n\) 의 \(n\) 을 키우고, 「이 사람들은 움직이지 않았다」는 사실 자체로 변화의 크기를 못 박는다. 바뀐 사람만 세는 것이 아니라 바뀌지 않았음을 아는 것이 패널이 사는 방법이다. 선거 때마다 새 표본을 뽑는 여론조사가 \(2\) 퍼센트포인트의 움직임을 두고 말을 아끼는 까닭도 같다 — 그들에게는 지난번에 누가 무어라 했는지가 없다.
확인한 곳 — ICPSR 7204 Erie County Study, 1940 의 연구 설명. 책임연구자가 Paul F. Lazarsfeld, Bernard R. Berelson, Hazel Gaudet 이고, \(1940\) 년 오하이오주 에리 카운티에서 약 \(600\) 명씩 네 무리 약 \(2{,}400\) 명을 조사했으며, 그중 \(600\) 명이 패널의 핵심으로 \(5\) 월부터 \(11\) 월까지 달마다 일곱 차례 면접되었다는 것, 그리고 인용한 목적 두 구절이 모두 거기 있다. 그림과 표의 수는 모두 직접 계산한 값이며 그 조사의 측정값이 아니다
4. 표본크기는 n 이 아니라 b+c 다¶
세어야 할 표본크기가 \(n\) 이 아니다. \(\S 2\) 의 식에 \(a\) 와 \(d\) 가 없으므로 정규근사를 받쳐 주는 것은 전체 \(n\) 이 아니라 불일치 짝의 수 \(b+c\) 다. \(n = 1000\) 이어도 \(b + c = 6\) 이면 표본이 여섯인 것과 같다. 흔한 지침이 \(b+c \ge 10\) 이고, 그 아래에서는 \(b+c\) 를 고정한 채 \(b\) 의 이항분포(binomial distribution)를 그대로 뒤집는 정확 구간이 낫다.
이 구간과 검정은 정확한 짝이 아니다
위 표준오차는 \(b - c\) 의 분산을 자료에서 추정한 것이다. 11.2절 McNemar 검정은 \(H_0: p_1 = p_2\) 를 참이라 놓고 분모를 만들므로 \(\sqrt{b+c}\,/n\) 을 쓴다. \((b-c)^2/n \ge 0\) 이니 이 구간의 표준오차가 언제나 더 작거나 같고, 구간이 검정보다 덜 보수적이다. 대개는 결론이 같지만, \(z\) 가 \(1.96\) 근처이면 「구간은 \(0\) 을 빼는데 검정은 기각하지 못하는」 자리가 생긴다. 다만 그 차이를 내는 것은 이 분모 차이가 아니라 연속성 보정이다 — \(n = 200\), \(b = 114\), \(c = 86\) 에서 구간은 \((0.0028,\ 0.2772)\) 로 \(0\) 을 빼고 보정 없는 통계량도 \(784/200 = 3.92 > 3.8415\) 로 함께 기각하는데, 예이츠 보정을 쓴 \(27^2/200 = 3.645\) 만 기각하지 못한다. 구간과 검정이 같은 사건이라는 일반 규칙은 9.1절 신뢰구간과 검정의 쌍대성에 있고, 그것이 정확한 동치가 아닌 까닭과 그때 무엇을 믿을지는 McNemar 검정 \(\S 4\) 가 수로 따진다.
불일치 개수가 적을 때
\(b + c\)가 작으면(가령 10 미만이면) 왈드 신뢰구간의 바탕이 되는 정규근사를 믿을 수 없다. 이런 경우에는 \(b + c\)가 주어졌을 때 \(b\)의 이항분포에 기반한 정확한 신뢰구간을 쓰라.
연습문제¶
연습문제 1. 새 약을 쓰기 전후로 검사한 환자 150명의 연구에서 결과는 다음과 같다: \(a = 60\)(두 번 모두 양성), \(b = 25\)(양성 후 음성), \(c = 15\)(음성 후 양성), \(d = 50\)(두 번 모두 음성). 주변비율 차이 \(p_1 - p_2\)의 95% 신뢰구간을 구성하라.
풀이
점추정값은 이렇게 된다.
표준오차는 이렇게 된다.
95% 신뢰구간은 이렇게 된다.
구간이 0을 포함하므로 95% 수준에서 주변비율이 다르다고 결론지을 충분한 증거가 없다.
연습문제 2. 연습문제 1의 자료에서 대표본 조건(\(b + c \geq 10\))이 만족되는지 확인하라.
풀이
불일치 짝의 개수는 \(b + c = 25 + 15 = 40\)으로 최소 기준 10을 훨씬 넘는다. 따라서 McNemar 신뢰구간의 정규근사가 적절하다.
연습문제 3. McNemar 신뢰구간에 불일치 짝(\(b\)와 \(c\))만 관련되고 일치 짝(\(a\)와 \(d\))은 주변비율 차이에 대해 아무 정보도 주지 않는 이유를 설명하라.
풀이
일치 짝(\(a\)와 \(d\))은 두 조건에서 결과가 같으므로 변화의 증거를 주지 않는다. 두 번 모두 양성이거나 두 번 모두 음성인 피험자는 어느 조건이 더 높은 양성 비율을 내는지 가려내는 데 도움이 되지 않는다.
조건 사이에서 결과가 바뀐 불일치 짝만이 차이에 관한 정보를 담는다. \(b > c\)이면 양성에서 음성으로 바뀐 피험자가 그 반대보다 많다는 뜻이므로 \(p_1 > p_2\)를 시사한다. McNemar 검정과 신뢰구간은 오직 비 \(b/(b+c)\)와 그것이 0.5와 다른지에 집중하여 이를 형식화한다.
연습문제 4. 피험자 \(n = 100\)명의 연구에서 \(b = 3\), \(c = 2\)라면 왈드 형태의 McNemar 신뢰구간을 쓰지 말아야 하는 이유를 설명하라. 어떤 대안을 권하겠는가?
풀이
불일치 짝의 개수가 \(b + c = 3 + 2 = 5\)로, 정규근사에 권장되는 최소 기준 10에 못 미친다. 불일치 짝이 이렇게 적으면 왈드 신뢰구간을 믿을 수 없다 — 개수가 작을 때 이항분포에 대한 정규근사가 나쁘기 때문이다.
권장되는 대안은 확률 \(\pi = P(\text{불일치 짝이 } b \text{ 유형})\)(추정값은 \(b/(b+c)\))에 대한 정확한 이항 신뢰구간이다. \(H_0\): \(p_1 = p_2\) 아래에서 \(b\) 유형 불일치 짝의 개수는 Binomial\((b+c, 0.5)\)을 따른다. \(\pi\)에 대한 정확한 신뢰구간을 구한 뒤 \(p_1 - p_2\)의 신뢰구간으로 되돌릴 수 있다.
연습문제 5. 불일치 짝만 보면 맥니마 문제는 동전 던지기가 된다. 이를 이용해 정확 검정과 정확 구간을 만들고, 연습문제 1의 자료(\(b=25\), \(c=15\))에 적용하라.
풀이
조건부 논증. 불일치 짝의 총수 \(m=b+c\)를 주어진 것으로 보면, \(H_0\)(주변동질성(marginal homogeneity), 곧 \(p_1 = p_2\)) 아래에서
다. 일치 짝 \(a\), \(d\)는 이 조건부 분포에 전혀 들어오지 않는다. 따라서 맥니마 문제는 "\(m\)번 던진 동전이 공정한가"로 환원된다.
import numpy as np
from scipy import stats
b, c, n = 25, 15, 150
m = b + c
print(f"정확 이항 양측 p = {2 * stats.binom.cdf(min(b, c), m, 0.5):.4f}")
chi = (b - c)**2 / m
print(f"맥니마 X² = {chi:.3f} p = {stats.chi2.sf(chi, 1):.4f}")
chi_cc = (abs(b - c) - 1)**2 / m
print(f"연속성 수정 X² = {chi_cc:.3f} p = {stats.chi2.sf(chi_cc, 1):.4f}")
# π = b/(b+c) 의 클로퍼-피어슨 구간 → 차이의 구간으로 변환
lo = stats.beta.ppf(0.025, b, m - b + 1)
hi = stats.beta.ppf(0.975, b + 1, m - b)
print(f"π = b/(b+c) 구간 ({lo:.4f}, {hi:.4f})")
print(f"p1 - p2 구간 ({(2 * lo - 1) * m / n:.4f}, {(2 * hi - 1) * m / n:.4f})")
정확 이항 양측 p = 0.1539
맥니마 X² = 2.500 p = 0.1138
연속성 수정 X² = 2.025 p = 0.1547
π = b/(b+c) 구간 (0.4580, 0.7727)
p1 - p2 구간 (-0.0224, 0.1455)
변환의 근거. \(\pi=P(B\text{쪽}\mid\text{불일치})\)라 두면
이므로 \(\pi\)의 구간에 이 단조변환을 적용하면 된다. 다만 \(m/n\)을 고정으로 취급하는 근사가 들어 있다.
세 \(p\) 값의 관계.
| 방법 | \(p\) | 성격 |
|---|---|---|
| 정확 이항 | 0.1539 | 보장 있음, 보수적 |
| 맥니마 \(X^2\) | 0.1138 | 근사, 관대 |
| 연속성 수정 | 0.1547 | 정확값에 가까움 |
이 책은 도수에서 계산한 피어슨 꼴 통계량을 \(X^2\) 으로, 그것을 대어 보는 분포를 \(\chi^2\) 으로 갈라 적는다 — 까닭과 자유도는 11.1절 피어슨 통계량은 어디서 오는가에 있다.
연속성 수정(continuity correction)이 정확값을 잘 흉내 낸다. 이것이 수정을 넣는 이유다. 다만 8.2절 p의 신뢰구간의 비율 구간에서 보았듯, 수정이 항상 좋은 것은 아니다.
언제 정확 방법이 필수인가. \(m=b+c<20\)이면 카이제곱 근사를 믿을 수 없다. 이 예는 \(m=40\)이라 근사가 쓸 만하지만, 정확 방법의 계산 비용이 0이므로 그냥 정확 방법을 쓰는 것이 낫다.
연습문제 6. 대응 자료에서 조건부 오즈비 \(b/c\)를 정의하고, 그 구간을 구하라. 주변비율 차이와 무엇이 다른가?
풀이
정의. 불일치 짝 중 "\(+\to-\)"의 오즈다.
\(\pi=b/(b+c)\)와는 \(\text{OR}=\pi/(1-\pi)\)의 관계에 있다.
import numpy as np
from scipy import stats
b, c = 25, 15
m = b + c
z = stats.norm.ppf(0.975)
OR = b / c
print(f"조건부 오즈비 {OR:.4f}")
# 정확 구간: π의 CP 구간을 오즈로 변환
lo = stats.beta.ppf(0.025, b, m - b + 1)
hi = stats.beta.ppf(0.975, b + 1, m - b)
print(f"정확(CP 기반) ({lo / (1 - lo):.4f}, {hi / (1 - hi):.4f})")
# 로그 척도 왈드
se = np.sqrt(1 / b + 1 / c)
print(f"로그 왈드 ({OR * np.exp(-z * se):.4f}, {OR * np.exp(z * se):.4f})")
조건부 오즈비 1.6667
정확(CP 기반) (0.8451, 3.4002)
로그 왈드 (0.8787, 3.1612)
두 구간 모두 1을 담는다. 주변비율 차이의 구간이 0을 담았던 것과 일관된다.
차이 대 오즈비 — 무엇이 다른가.
| 주변비율 차이 | 조건부 오즈비 | |
|---|---|---|
| 정의 | \((b-c)/n\) | \(b/c\) |
| 척도 | 절대(퍼센트포인트) | 상대(배수) |
| \(n\) 의존 | 일치 짝 수에 영향받음 | 불일치 짝만으로 결정 |
| 해석 | "전체의 6.7%포인트가 바뀌었다" | "바뀐 사람 중 \(+\to-\)가 \(-\to+\)의 1.67배" |
핵심 차이 — 일치 짝의 역할. 오즈비는 \(a\)와 \(d\)를 완전히 무시한다. 같은 \(b=25\), \(c=15\)라도
- \(n=150\)(\(a+d=110\))이면 차이는 \(10/150=0.067\),
- \(n=1000\)(\(a+d=960\))이면 차이는 \(10/1000=0.010\)
으로 차이는 크게 달라지지만 오즈비는 1.667로 같다.
어느 것을 보고할 것인가.
- 공중보건이나 정책에서는 절대 차이가 중요하다. "전체 인구의 몇 %가 영향을 받는가"가 관심사다.
- 기전이나 개별 위험에서는 오즈비가 유용하다. 기저율이 다른 집단 간 비교에 안정적이다.
- 둘 다 보고하는 것이 가장 좋다. 하나만 보면 오해가 생긴다.
조건부 논리의 다른 예. 이 구조는 조건부 로지스틱회귀로 일반화된다. 짝마다 층을 만들고 개체효과를 조건부로 소거하면, 정확히 이 오즈비가 최대가능도추정값으로 나온다.
연습문제 7. 주변동질성과 일치도(카파) 가 서로 다른 질문임을 연습문제 1의 자료로 보여라.
풀이
두 질문.
- 주변동질성: \(p_1=p_2\)인가? 즉 전체 양성률이 두 시점에서 같은가. 맥니마가 답한다.
- 일치도: 개별 환자의 두 결과가 얼마나 잘 맞는가. 카파가 답한다.
import numpy as np
a, b, c, d = 60, 25, 15, 50
n = a + b + c + d
po = (a + d) / n # 관측 일치율
pe = ((a + b) * (a + c) + (c + d) * (b + d)) / n**2 # 우연 일치율
kappa = (po - pe) / (1 - pe)
print(f"관측 일치율 {po:.4f} 우연 일치율 {pe:.4f} 카파 {kappa:.4f}")
print(f"주변비율 p1 = {(a + b) / n:.4f} p2 = {(a + c) / n:.4f} "
f"차이 {(b - c) / n:.4f}")
관측 일치율 0.7333 우연 일치율 0.5000 카파 0.4667
주변비율 p1 = 0.5667 p2 = 0.5000 차이 0.0667
두 값이 전혀 다른 것을 말한다.
- 주변비율 차이 0.067은 작고 유의하지 않다. 전체 양성률은 거의 그대로다.
- 카파 0.47은 "보통" 수준의 일치다. 개별 환자 40명(27%)의 결과가 바뀌었다.
극단적인 예로 명확히 하자.
| 표 | \(a,b,c,d\) | 주변차이 | 카파 |
|---|---|---|---|
| A | 50, 0, 0, 50 | 0 | 1.00 |
| B | 0, 50, 50, 0 | 0 | \(-1.00\) |
| C | 25, 25, 25, 25 | 0 | 0.00 |
셋 다 주변동질성이 완벽히 성립하지만(\(b=c\)), 일치도는 완전 일치에서 완전 불일치까지 걸쳐 있다. 맥니마 검정은 이 셋을 구별하지 못한다.
반대 방향. \(a=90\), \(b=10\), \(c=0\), \(d=0\)이면 일치율이 0.9로 높지만 주변비율이 \(1.0\) 대 \(0.9\)로 다르고 맥니마가 유의하다.
실무적 함의.
-
검사법 비교에서는 둘 다 봐야 한다. "새 검사가 기존 검사와 같은 비율로 양성을 낸다"와 "같은 사람을 같게 판정한다"는 다른 요구다.
-
진단 일치도 연구에서 카파만 보고하고 주변 차이를 무시하면, 한 평가자가 체계적으로 후하게 주는 경향을 놓친다.
-
카파의 역설. 유병률이 극단적이면(\(p\)가 0이나 1 근처) 일치율이 높아도 카파가 낮게 나온다. 우연 일치율 \(p_e\)가 커지기 때문이다. 카파를 해석할 때 주변분포를 함께 제시해야 한다.
연습문제 8. 대응 비율 연구의 표본크기를 정하는 법을 설명하라. 무엇을 미리 알아야 하는가?
풀이
핵심 — 검정력을 결정하는 것은 불일치 짝의 수다. 연습문제 5 에서 보았듯 맥니마 검정은 \(B\mid m\sim\text{Bin}(m,\pi)\)에 대한 검정이므로, \(m=b+c\)가 실질적인 표본크기다.
두 단계.
1단계. \(H_0:\pi=1/2\)를 대립 \(\pi_1\)에서 검정하는 데 필요한 불일치 짝 수
2단계. 불일치 비율 \(p_{\text{disc}}=(b+c)/n\)으로 나누어 총 쌍 수를 얻는다.
import numpy as np
from scipy import stats
za, zb = stats.norm.ppf(0.975), stats.norm.ppf(0.80)
print(f"{'불일치율':>8s} {'π1':>6s} {'불일치 짝':>10s} {'총 쌍':>8s}")
for p_disc, pi1 in [(0.20, 0.70), (0.30, 0.65), (0.40, 0.625), (0.10, 0.70)]:
m = (za + zb)**2 / (4 * (pi1 - 0.5)**2)
print(f"{p_disc:8.2f} {pi1:6.3f} {np.ceil(m):10.0f} "
f"{np.ceil(m / p_disc):8.0f}")
불일치율 π1 불일치 짝 총 쌍
0.20 0.700 50 246
0.30 0.650 88 291
0.40 0.625 126 314
0.10 0.700 50 491
미리 알아야 할 두 가지.
-
불일치 비율 \(p_{\text{disc}}\). 두 측정이 얼마나 일치하는지. 예비연구나 문헌에서 얻어야 한다. 이것을 모르면 표본크기를 정할 수 없다.
-
불일치의 방향 비 \(\pi_1\). 탐지하고자 하는 효과의 크기. "불일치 중 70%가 한 방향"이 대립가설(alternative hypothesis)이다.
직관적 함의.
- 일치도가 높을수록 더 많은 쌍이 필요하다. 불일치율 0.10이면 491쌍, 0.40이면 314쌍이다. 역설적이지만 정보는 불일치 짝에서만 나오기 때문이다.
- 다만 일치도가 높으면 대체로 \(\pi_1\)을 크게 잡을 수 있어, 실제로는 상쇄되는 경우가 많다.
주변 차이로 환산. \(p_1-p_2=p_{\text{disc}}(2\pi_1-1)\)이다. 위 첫 줄은 \(0.20\times0.40=0.08\), 즉 8%포인트 차이를 탐지하는 설계다.
독립표본(independent samples)과 비교. 같은 8%포인트 차이를 \(p\approx0.5\)인 두 독립집단에서 탐지하려면 집단당 약 613명, 총 1,226명이 필요하다. 대응 설계가 246쌍(492 관측)으로 해결한다. 절반 이하다.
놓치기 쉬운 것. 계획 단계에서 \(p_{\text{disc}}\)를 과대추정하면 표본이 모자라게 된다. 중간분석에서 관측된 불일치 수를 확인하고 필요하면 표본을 늘리는 설계(내부 예비추정)를 고려한다. 다만 이 경우 \(\alpha\) 보정이 필요하다.
연습문제 9. 대응 비율 차이에 대한 뉴컴의 구간을 설명하고, 연습문제 1의 자료에서 왈드 구간과 비교하라.
풀이
착안. 두 주변비율 각각에 윌슨 구간을 만들고, 둘을 상관 \(\phi\)로 결합한다. 왈드의 경계 문제를 피하면서 대응 구조를 반영한다.
여기서 \((l_j,u_j)\)는 \(\hat p_j\)의 윌슨 구간, \(\hat\phi\)는 \(2\times2\) 표의 파이 계수(phi coefficient) — 두 이진 변수를 \(0\)/\(1\) 로 적었을 때의 상관계수 — 다.
import numpy as np
from scipy import stats
a, b, c, d = 60, 25, 15, 50
n = a + b + c + d
z = stats.norm.ppf(0.975)
def wilson(k, nn):
ph = k / nn
dd = 1 + z**2 / nn
cc = (ph + z**2 / (2 * nn)) / dd
h = z / dd * np.sqrt(ph * (1 - ph) / nn + z**2 / (4 * nn**2))
return cc - h, cc + h
p1, p2 = (a + b) / n, (a + c) / n
l1, u1 = wilson(a + b, n)
l2, u2 = wilson(a + c, n)
phi = (a * d - b * c) / np.sqrt((a + b) * (c + d) * (a + c) * (b + d))
D = p1 - p2
lo_n = D - np.sqrt((p1 - l1)**2 - 2 * phi * (p1 - l1) * (u2 - p2) + (u2 - p2)**2)
hi_n = D + np.sqrt((u1 - p1)**2 - 2 * phi * (u1 - p1) * (p2 - l2) + (p2 - l2)**2)
se = np.sqrt(b + c - (b - c)**2 / n) / n
print(f"p1 = {p1:.4f} p2 = {p2:.4f} 차이 {D:.4f} φ = {phi:.4f}")
print(f"왈드 ({D - z * se:.4f}, {D + z * se:.4f}) 폭 {2 * z * se:.4f}")
print(f"뉴컴 ({lo_n:.4f}, {hi_n:.4f}) 폭 {hi_n - lo_n:.4f}")
p1 = 0.5667 p2 = 0.5000 차이 0.0667 φ = 0.4709
왈드 (-0.0153, 0.1486) 폭 0.1639
뉴컴 (-0.0151, 0.1468) 폭 0.1619
이 자료에서는 거의 같다. \(n=150\)이고 비율이 0.5 근처라 근사가 잘 듣는 영역이기 때문이다.
뉴컴이 빛나는 곳. \(b\)나 \(c\)가 아주 작거나 0일 때다.
- \(b=c=0\)이면 왈드의 표준오차가 0이 되어 구간이 점 \(\{0\}\)으로 퇴화한다. 뉴컴은 유한한 폭을 준다.
- \(b=5\), \(c=0\)이면 왈드는 여전히 작동하지만 하한이 경계를 넘을 수 있다.
- \(p_1\)이나 \(p_2\)가 0이나 1 근처면 왈드 구간이 \([-1,1]\)을 벗어난다. 뉴컴은 윌슨을 바탕으로 하므로 구조적으로 그럴 수 없다.
\(\phi\)의 역할. 상관이 클수록 두 윌슨 구간의 변동이 연동되어 차이의 불확실성이 줄어든다. 여기서 \(\phi=0.47\)이다. \(\phi=0\)이면 독립표본 구간과 같아지고, \(\phi\to1\)이면 구간이 좁아진다.
권고. 모의실험 연구에서 뉴컴의 방법이 포함확률과 폭의 균형에서 가장 낫다고 보고된다. 왈드는 \(b+c\)가 크고 비율이 중간일 때만 안전하다.
연습문제 10. 결과가 세 범주 이상인 대응 자료에서 주변동질성을 어떻게 검정하는가? \(3\times3\) 예로 설명하라.
풀이
문제. \(k\times k\) 표에서 \(H_0:\ p_{i\cdot}=p_{\cdot i}\)(\(i=1,\dots,k\))를 검정한다. 제약이 \(k-1\)개이므로 자유도가 \(k-1\)이다.
스튜어트–맥스웰 검정. 주변도수 차이 벡터 \(\mathbf d=(d_1,\dots,d_{k-1})^\top\), \(d_i=n_{i\cdot}-n_{\cdot i}\)에 대해
import numpy as np
from scipy import stats
# 세 등급(개선/유지/악화)으로 두 번 평가한 120명
N = np.array([[30, 12, 6],
[ 8, 25, 10],
[ 4, 9, 16]], dtype=float)
k = N.shape[0]
n = N.sum()
row, col = N.sum(1), N.sum(0)
print("행 주변", row, " 열 주변", col)
d = (row - col)[:k - 1]
V = np.zeros((k - 1, k - 1))
for i in range(k - 1):
V[i, i] = row[i] + col[i] - 2 * N[i, i]
for j in range(k - 1):
if i != j:
V[i, j] = -(N[i, j] + N[j, i])
chi = d @ np.linalg.solve(V, d)
print(f"스튜어트-맥스웰 X² = {chi:.4f} df = {k - 1} "
f"p = {stats.chi2.sf(chi, k - 1):.4f}")
# 쌍별 맥니마 (참고용, 다중비교 보정 필요)
for i in range(k):
for j in range(i + 1, k):
bb, cc = N[i, j], N[j, i]
if bb + cc > 0:
pv = 2 * stats.binom.cdf(min(bb, cc), int(bb + cc), 0.5)
print(f" ({i+1},{j+1}) b={bb:.0f} c={cc:.0f} 정확 p = {min(pv, 1):.4f}")
행 주변 [48. 43. 29.] 열 주변 [42. 46. 32.]
스튜어트-맥스웰 X² = 1.2390 df = 2 p = 0.5382
(1,2) b=12 c=8 정확 p = 0.5034
(1,3) b=6 c=4 정확 p = 0.7539
(2,3) b=10 c=9 정확 p = 1.0000
주변동질성을 기각하지 못한다(\(p=0.538\)). 쌍별 맥니마도 모두 유의하지 않아 결론이 일관된다.
주의할 점.
-
\(V\)가 특이할 수 있다. 어떤 범주의 불일치가 전혀 없으면 역행렬이 없다. 그 범주를 합치거나 일반화역행렬을 쓴다.
-
쌍별 맥니마를 그냥 여러 번 하면 안 된다. \(k=3\)이면 비교가 3개이므로 다중비교(multiple comparisons) 보정이 필요하고, 게다가 서로 독립이 아니다. 전체 검정을 먼저 하고, 유의하면 사후비교(post hoc comparison)로 넘어간다.
-
순서형 범주라면 순서를 활용하는 검정이 훨씬 강력하다. 주변동질성의 대립가설을 "한쪽으로 이동"으로 좁히면 자유도가 1로 줄어 검정력이 오른다.
-
보와커 검정과 구별. 보와커는 대칭성(모든 \(i,j\) 에서 \(p_{ij}=p_{ji}\))을 검정하며, 자유도가 \(k(k-1)/2\)다. 대칭성은 주변동질성보다 강한 조건이다. \(2\times2\)에서는 둘이 같아진다.
구간은? \(k>2\)에서 "차이"가 벡터이므로 신뢰영역이 된다. 실무에서는 각 범주별 주변 차이에 개별 구간을 만들고 본페로니로 보정하는 것이 보통이다.
정리하며¶
대응 이진 자료에서는 불일치 짝만이 정보를 담는다.
- \(2\times2\) 표의 네 칸 중 \(b\) 와 \(c\) 만 쓴다. 두 조건에서 결과가 같았던 \(a\) 와 \(d\) 는 비율 차이에 아무 정보도 주지 않는다. 주변비율의 차가 \((b-c)/n\) 으로 적히기 때문이다.
- 독립 이표본 공식을 쓰면 안 된다. 같은 피험자에서 나온 두 결과가 종속이므로 표준오차가 틀린다. 대개 과대평가되어 구간이 지나치게 넓어진다.
- 맥니마 방식이 그 종속성을 반영한다. 표준오차의 분자가 \(b\) 와 \(c\) 로만 만들어지고, 일치 짝은 \(\S 3\) 이 적은 대로 분모 \(n\) 을 통해서만 들어온다.
- \(b+c\) 가 작으면 근사가 나빠진다. 불일치 짝이 몇 개뿐이면 정규근사 대신 정확 이항 방법을 써야 한다.
- 11.2절 McNemar 검정과 짝을 이룬다. 다만 \(\S 4\) 가 적은 대로 정확한 짝은 아니다 — 분모를 자료에서 추정하는지 귀무가설에서 만드는지가 달라, 구간이 \(0\) 을 빼면서 검정이 기각하지 못하는 자리가 생길 수 있다.
다음 절 표본크기 계산부터 8.5절은 방향을 뒤집는다. 여기까지는 자료를 받아 구간을 만들었는데, 거기서는 원하는 구간 폭을 먼저 정하고 그러려면 \(n\) 이 얼마여야 하는지를 푼다.