Wilcoxon 순위합검정¶

Wilcoxon 순위합검정은 독립인 두 표본을 비교하는 가장 널리 쓰이는 비모수 검정이다. 두 모집단이 같은 분포를 갖는지 --- 더 구체적으로는 한 집단이 다른 집단보다 체계적으로 큰 값을 내는 경향이 있는지 --- 를 검정한다. 두 표본을 합쳐 모든 관측값에 함께 순위를 매기고, 각 집단에 배정된 순위의 합을 비교하는 방식이다.

Wilcoxon 순위합검정은 Mann-Whitney U 검정과 수학적으로 동치이다. 둘은 같은 절차의 서로 다른 표현이다.

가정¶

1. 두 표본이 서로 독립이다.
2. 관측값이 연속분포에서 추출된다.
3. 두 모집단이 같은 모양을 갖는다(\(H_0\) 아래에서 같은 분포를 공유한다).

가설¶

단측 대립가설: \(H_a \colon X\)가 \(Y\)보다 큰 경향이 있다, 또는 그 반대.

검정통계량¶

1단계. 크기 \(n_1\)과 \(n_2\)인 두 표본을 합쳐 크기 \(N = n_1 + n_2\)인 하나의 표본을 만든다.

2단계. \(N\)개 관측값 전체에 작은 값부터 순위를 매기고 동점에는 중간순위를 배정한다.

3단계. 집단 1의 순위합을 계산한다.

여기서 \(R_i\)는 합친 표본에서 집단 1의 \(i\)번째 관측값의 순위이다.

전체 순위합이 \(N(N+1)/2\)로 고정되므로 집단 2의 순위합은 \(W_2 = N(N+1)/2 - W\)이다.

귀무분포¶

\(H_0\) 아래에서 두 집단에 대한 순위 배정이 모두 동등하게 가능하다. \(\{1, 2, \ldots, N\}\)에서 \(n_1\)개를 고르는 방법은 \(\binom{N}{n_1}\)가지이다.

\(H_0\) 아래 \(W\)의 평균과 분산:

동점 보정: 크기가 \(t_1, \ldots, t_g\)인 동점 집단이 \(g\)개 있으면

정규근사¶

표본이 크면(보통 \(n_1, n_2 \ge 10\)) 표준화된 통계량

은 \(H_0\) 아래 근사적으로 \(\mathcal{N}(0, 1)\)을 따른다.

from scipy import stats
A = [78, 64, 85, 72, 91, 80]; B = [55, 68, 61, 70, 66, 58]
print(stats.mannwhitneyu(A, B, method='exact').pvalue)    # 0.015152
print(stats.ranksums(A, B).pvalue)                        # 0.016309

0.015151515151515152
0.016309171877754974

Mann-Whitney U 검정과의 관계¶

Mann-Whitney \(U\) 통계량은 \(W\)의 단순한 선형변환이다.

두 검정은 언제나 같은 \(p\)값을 낸다. \(U\) 통계량 표현과 그 확률적 해석은 Mann-Whitney U 검정을 보라.

위에서 쓴 \(\mu_W = 39\)와 \(\sigma_W = 6.245\)가 어디에서 왔는지는 귀무분포를 통째로 그려 보면 분명해진다.

(가)는 보기 1의 자료 \(12\)개를 크기순으로 한 줄로 세운 것이다. 집단 B(주황)가 앞쪽을 거의 차지하고 집단 A(파랑)가 뒤쪽에 몰려 있다. 눈에 띄는 예외는 순위 \(4\)를 받은 \(64\) 하나뿐이다. 이 그림에서 값 자체는 이미 쓸모가 없다. \(91\)이 \(85\)보다 얼마나 큰지는 순위 \(12\)와 \(11\)이라는 사실로 대체되었고, 검정은 여기서부터 값을 다시 보지 않는다. 집단 A의 순위합은 \(W = 4 + 8 + 9 + 10 + 11 + 12 = 54\)이다.

(나)가 귀무분포이다. \(H_0\)이 참이면 어느 여섯 자리가 A에게 갈지는 순전히 우연이므로, \(\{1, \ldots, 12\}\)에서 여섯 개를 고르는 \(\binom{12}{6} = 924\)가지 배정이 모두 확률 \(1/924\)로 똑같이 가능하다. 그 \(924\)가지의 순위합을 전부 세면 막대그림이 되고, 이것이 \(W\)의 정확 귀무분포이다. 점수가 정규인지 치우쳤는지는 한 번도 쓰이지 않았다. 이것이 "분포무관"의 구체적인 의미이다.

관측값 \(W = 54\) 이상이 나오는 배정은 \(924\)가지 중 \(7\)가지뿐이어서 정확 양측 \(p\)값이 \(0.01515\)이다. 검은 곡선으로 겹쳐 놓은 정규근사 \(\mathcal{N}(39,\,39)\)는 \(p = 0.01631\)을 주는데, \(n_1 = n_2 = 6\)이라는 매우 작은 표본에서도 오차가 \(0.001\) 남짓이다. 순위합은 서로 다른 순위 여러 개의 합이라 중심극한정리가 빠르게 작동하기 때문이며, 실무에서 \(n_1, n_2 \ge 10\)이면 근사를 써도 좋다는 권고가 여기에서 나온다.

정확표와 소프트웨어¶

소표본(\(n_1, n_2 \le 20\))에서는 출간된 표나 소프트웨어(파이썬의 scipy.stats.ranksums, scipy.stats.mannwhitneyu 등)로 정확 임계값을 얻을 수 있다. 정확분포는 동등하게 가능한 \(\binom{N}{n_1}\)가지 순위 배정을 모두 열거하여 구한다.

연습문제¶

a = [3, 5, 7, 9]; b = [6, 8, 10, 12, 14]
print(sum(1 for x in a for y in b if x > y))   # 3
print(sum(1 for x in a for y in b if x < y))   # 17

3
17

import numpy as np
from scipy import stats
rng = np.random.default_rng(0)
x = rng.exponential(1, 200000) - np.log(2)
y = -(rng.exponential(1, 200000) - np.log(2))
print(np.median(x), np.median(y))     # 약 0.000, 0.000
print((x > y).mean())                 # 0.596  ← 0.5가 아니다

-0.00482088991645685 0.0007391176296889235
0.59587

from scipy import stats
A = [78, 64, 85, 72, 91, 80]; B = [55, 68, 61, 70, 66, 58]
print(stats.mannwhitneyu(A, B, method='exact').pvalue)              # 0.015152
print(stats.mannwhitneyu(A, B, method='asymptotic',
                         use_continuity=False).pvalue)              # 0.016309
print(stats.mannwhitneyu(A, B, method='asymptotic',
                         use_continuity=True).pvalue)               # 0.020241

0.015151515151515152
0.016309171877754974
0.020240570577077482

정리하며¶

Wilcoxon 순위합검정은 두 독립표본의 관측값을 합쳐 순위를 매기고 한 집단의 순위합을 계산하여 비교한다. 귀무가설 아래에서 순위합이 너무 크거나 너무 작을 확률이 낮으므로, 한 집단이 체계적으로 큰 값을 내는 경향을 탐지한다. 중간 이상의 표본에서는 정규근사가 신뢰할 만하고, 소표본은 정확표로 다룬다. 순위합검정은 Mann-Whitney \(U\) 검정과 동치이며, 정규성 아래에서 이표본 \(t\) 검정 대비 ARE \(3/\pi \approx 0.955\)를 달성한다.