대응자료에 대한 Wilcoxon 부호순위검정¶

대응 부호검정은 대응차이의 중앙값이 0인지 검정하지만 각 차이가 얼마나 큰지는 무시한다. 차이가 의미 있는 수치 척도로 측정되고 그 분포가 근사적으로 대칭이라면, 대응자료에 대한 Wilcoxon 부호순위검정이 각 절대차이의 부호와 순위를 모두 반영하여 더 강력한 대안을 제공한다. 이는 Wilcoxon 부호순위 절차를 차이 \(D_i = X_i - Y_i\)에 그대로 적용한 것이다.

가정¶

1. 쌍 \((X_i, Y_i)\)들이 독립이다.
2. 각 차이 \(D_i = X_i - Y_i\)가 연속분포에서 나온다.
3. \(H_0\) 아래에서 \(D_i\)의 분포가 중앙값을 중심으로 대칭이다.

대칭성 요구가 대응 부호검정에 비해 추가되는 핵심 가정이다. 차이가 눈에 띄게 치우쳐 있다면 대응 부호검정이나 대응 순열검정이 더 적절할 수 있다.

가설¶

단측 대립가설(\(H_a \colon \text{중앙값} > 0\) 또는 \(< 0\))도 마찬가지이다.

절차¶

1단계. 대응차이 \(D_i = X_i - Y_i\)를 계산한다.

2단계. \(D_i = 0\)인 쌍을 제외한다. 남은 쌍의 개수를 \(n\)이라 하자.

3단계. 절대차이 \(|D_1|, |D_2|, \ldots, |D_n|\)을 작은 값부터 순위를 매기고 동점에는 중간순위를 배정한다.

4단계. 부호순위합을 계산한다.

\(W^+ + W^- = n(n+1)/2\)임에 유의하라.

5단계. 양측검정의 검정통계량은 \(T = \min(W^+, W^-)\)이다. 동치로 \(W^+\)를 그 귀무분포와 비교해도 된다.

귀무분포¶

차이가 대칭인 \(H_0\) 아래에서 모든 부호 배정이 동등하게 가능하다. \(W^+\)의 귀무분포는

을 갖는다. \(n\)이 클 때의 정규근사는

이다. 절대차이의 동점 집단이 \(g\)개이고 크기가 \(t_1, \ldots, t_g\)일 때 보정된 분산은

이다.

import numpy as np
from scipy import stats
D = np.array([7, 3, -2, 7, 5, 5, 9, -8, 11, 11, 12, 13])
print(stats.wilcoxon(D, method='exact').pvalue)   # 0.012207
print(stats.wilcoxon(D, method='approx', correction=False).pvalue)  # 0.014906

0.01220703125
0.014906162657892297

절차의 3단계와 4단계가 실제로 무슨 일을 하는지 한 줄로 펼쳐 보자. 맨 윗줄이 절대차이 \(|D|\)를 작은 것부터 세운 것이고, 파란 칸은 원래 차이가 양수였던 것, 빨간 칸은 음수였던 것이다.

두 번째 줄의 "자리"와 세 번째 줄의 "중간순위"가 다른 지점을 보라. \(|D| = 5\)가 두 개 있어 자리 \(3\)과 \(4\)를 차지하는데, 어느 쪽에 \(3\)을 주고 어느 쪽에 \(4\)를 줄 이유가 없으므로 둘 다 \((3+4)/2 = 3.5\)를 받는다. \(|D| = 7\)인 두 개는 \(5.5\), \(|D| = 11\)인 두 개는 \(9.5\)를 받는다. 이렇게 배정해도 순위의 총합은 \(78 = 12 \cdot 13 / 2\)로 변하지 않는다. \(W^+ = 70\), \(W^- = 8\)이고 합이 정확히 \(78\)인 것이 검산이다.

이 그림에서 부호순위검정이 크기를 쓰는 방식이 얼마나 완곡한지도 드러난다. 가장 큰 차이 \(13\)이 받는 것은 \(13\)이 아니라 순위 \(12\)이고, 음의 차이 \(-8\)이 깎아내리는 것은 \(8\)이 아니라 순위 \(7\)이다. 그래서 \(W^-\)가 \(1 + 7 = 8\)에 그친다. 이 완곡함 덕에 이상치가 통계량을 끌고 가지 못하는 동시에, 순위 \(1\)과 순위 \(12\)를 구별하므로 부호만 세는 것보다는 훨씬 많은 정보를 쓴다. 단측 \(p\)값이 부호검정 \(0.0193\), 부호순위검정 \(0.0061\), 대응 \(t\) 검정 \(0.0028\)로 늘어서는 것이 그 순서이다.

동점 보정은 이 자료에서 거의 하는 일이 없다. 크기 \(2\)인 동점 집단이 셋뿐이라 보정항이 \(\frac{1}{48}\sum (t_j^3 - t_j) = \frac{3 \times 6}{48} = 0.375\)에 불과하여, 분산이 \(162.500\)에서 \(162.125\)로 \(0.2\%\) 줄고 단측 \(p\)값은 \(0.00751\)에서 \(0.00745\)로 바뀔 뿐이다. 보정이 문제가 되는 것은 동점 집단이 크거나 많을 때이며, Likert 척도처럼 값이 몇 개뿐인 자료가 전형적인 경우이다.

왜 대응 부호검정보다 강력한가¶

같은 자료에서 대응 부호검정은 \(n_+ = 10\), \(n_- = 2\)를 셀 뿐이다. 음의 차이(\(-2\)와 \(-8\))가 양의 차이보다 대체로 작다는 사실을 무시한다. Wilcoxon 부호순위검정은 음의 차이에 낮은 순위(1과 7)를 배정하고 양의 차이가 높은 순위를 쌓아 가게 함으로써 이 사실을 포착한다. 크기를 반영한 이 가중치가 증거를 훨씬 효과적으로 모은다.

연습문제¶

import numpy as np, itertools
from scipy import stats
D = np.array([7, 3, -2, 7, 5, 5, 9, -8, 11, 11, 12, 13])

print(stats.binomtest(10, 12).pvalue)                      # 0.03857
print(stats.wilcoxon(D, method='exact').pvalue)            # 0.01221
print(stats.ttest_1samp(D, 0).pvalue)                      # 0.00569

a = np.abs(D); T = D.sum()
allT = np.array([np.dot(s, a) for s in itertools.product([-1, 1], repeat=12)])
print((np.abs(allT) >= abs(T)).mean())                     # 0.01074

0.03857421875
0.01220703125
0.00569322392504434
0.0107421875

import numpy as np, itertools
n = 12
ranks = np.arange(1, n + 1)
Wplus = np.array([np.dot(s, ranks)
                  for s in itertools.product([0, 1], repeat=n)])
print(len(Wplus))                       # 4096 = 2^12
print(Wplus.mean(), Wplus.var())        # 39.0, 162.5
p = 2 * min((Wplus >= 70).mean(), (Wplus <= 70).mean())
print(p)                                # 0.012207

4096
39.0 162.5
0.01220703125

import numpy as np
from scipy import stats
rng = np.random.default_rng(4)

def sim(n, B=2000):
    pw = np.empty(B); ps = np.empty(B)
    for b in range(B):
        responder = rng.random(n) < 0.3
        d = rng.normal(0, 1, n) + responder * 3.0
        pw[b] = stats.wilcoxon(d).pvalue
        nz = d[d != 0]
        ps[b] = stats.binomtest(int((nz > 0).sum()), len(nz)).pvalue
    return (pw < .05).mean(), (ps < .05).mean()

for n in (10, 20, 40):
    print(n, sim(n))

10 (0.2445, 0.0875)
20 (0.486, 0.246)
40 (0.811, 0.432)

import numpy as np, itertools
from scipy import stats
D = np.array([7, 3, -2, 7, 5, 5, 9, -8, 11, 11, 12, 13])
n = len(D)

walsh = np.sort([(D[i] + D[j]) / 2 for i in range(n) for j in range(i, n)])
ranks = np.arange(1, n + 1)
Wplus = np.array([np.dot(s, ranks) for s in itertools.product([0, 1], repeat=n)])
k = max(c for c in range(30) if 2 * (Wplus <= c).mean() <= 0.05)
print(k, len(walsh), walsh[k], walsh[-(k + 1)])   # 13 78 1.5 10.0

Ds = np.sort(D)
m = max(c for c in range(n) if 2 * stats.binom.cdf(c, n, 0.5) <= 0.05)
print(m, Ds[m + 1], Ds[n - m - 1])                # 2 5 11
print(stats.ttest_1samp(D, 0).confidence_interval())

13 78 1.5 10.0
2 5 11
ConfidenceInterval(low=2.1717302734032677, high=9.994936393263398)

정리하며¶

대응자료에 대한 Wilcoxon 부호순위검정은 절대 대응차이에 순위를 매기고 각 부호에 그 순위만큼 가중치를 준다. 대칭성 가정이 성립하면 대응 부호검정보다 강력한 검정이 된다. 절차는 차이 \(D_i = X_i - Y_i\)에 일표본 Wilcoxon 부호순위검정을 적용한 것과 동일하다. 소표본에서는 정확 임계값을 쓸 수 있고, 표본이 크면 동점 보정을 적용한 정규근사가 신뢰할 만한 \(p\)값을 준다.