Mann-Whitney U 검정¶

1단계. \(7 \times 6 = 42\)개의 쌍을 만들어 주식 A의 수익률이 주식 B의 수익률을 넘어서는 횟수를 센다.

정렬한 주식 A: \(-0.3, 0.1, 0.5, 0.8, 1.2, 1.5, 2.1\)

정렬한 주식 B: \(-1.0, -0.5, -0.2, 0.3, 0.6, 0.9\)

주식 A의 각 값에 대해 그보다 작은 주식 B 값의 개수를 센다.

2단계. 확률 추정: \(\hat{P}(X > Y) = 32/42 \approx 0.762\).

3단계. 정규근사:

\(\alpha = 0.05\)에서 \(H_0\)을 기각하지 못한다. 주식 A의 수익률이 높은 경향이 있지만(쌍별 비교의 76.2%), 표본이 작아 5% 수준에서 충분한 증거가 되지 못한다.

from scipy import stats
A = [1.2, 0.5, -0.3, 2.1, 0.8, 1.5, 0.1]
B = [-0.5, 0.3, -1.0, 0.6, -0.2, 0.9]
print(stats.mannwhitneyu(A, B, method='exact').pvalue)   # 0.13753
print(stats.ttest_ind(A, B).pvalue)                      # 0.08286

0.13752913752913754
0.08286060062100548

(a) 합쳐서 정렬하면

(b) \(n_A = 5\), \(n_B = 6\)이고 \(R_A = 1 + 2 + 3 + 4 + 6 = 16\)이다.

\(U_A\)가 작다는 것은 집단 A의 관측값이 낮은 순위(빠른 반응시간)에 몰려 있다는 뜻이다.

(c)

양측 \(p\)값은

정확 \(p\)값은 \(0.00866\)으로 근사값보다 조금 작다.

from scipy import stats
a = [210, 230, 215, 240, 225]; b = [250, 260, 235, 270, 245, 255]
print(stats.mannwhitneyu(a, b, method='exact').pvalue)   # 0.008658
print(stats.ttest_ind(a, b).pvalue)                      # 0.003593

출력:

0.008658008658008658
0.0035925372674007546

(d) \(p \approx 0.009 < 0.05\)이므로 5% 수준에서 \(H_0\)을 기각한다. 카페인군과 위약군의 반응시간 분포가 다르다는 통계적으로 유의한 증거가 있다. 카페인군의 반응시간이 더 빠른 경향을 보이며 이는 카페인의 각성 효과와 일관된다.

다만 \(U_A = 1\)이라는 것은 \(30\)개의 쌍별 비교 중 단 하나에서만 A가 B보다 느렸다는 뜻이다(\(240 > 235\)). 거의 완전한 분리이며, 이런 자료에서는 \(n = 5, 6\)이라는 작은 표본으로도 유의성에 도달한다. \(U_A = 0\)(완전 분리)이면 정확 \(p\)값이 \(2/462 = 0.0043\)으로 이 표본크기의 최솟값이 된다.

집단 A의 관측값 \(X_{(1)} < X_{(2)} < \cdots < X_{(n_1)}\)을 정렬했다고 하자(동점 없음 가정). 합친 표본에서 \(X_{(k)}\)의 순위 \(R_{(k)}\)는 \(X_{(k)}\)보다 작거나 같은 관측값의 개수이다. 이 개수는 두 부분으로 나뉜다.

• 집단 A 안에서 \(X_{(k)}\) 이하인 것: 정확히 \(k\)개(자신 포함).
• 집단 B 안에서 \(X_{(k)}\)보다 작은 것: 이를 \(c_k\)라 하자.

따라서 \(R_{(k)} = k + c_k\)이고

이다. 그런데 \(\sum_k c_k\)는 정확히 \(X_i > Y_j\)인 쌍 \((i, j)\)의 개수이다. 각 \(X_{(k)}\)에 대해 그보다 작은 \(Y_j\)를 모두 센 뒤 더한 것이기 때문이다. 그러므로

본문 보기로 확인해 보자. 표에서 "넘어선 개수" 열이 바로 \(c_k = (2, 3, 4, 5, 6, 6, 6)\)이고 합이 \(32\)이다. 한편 정렬한 주식 A의 순위는 \((3, 5, 7, 9, 11, 12, 13)\)이고 \(W_A = 60\)이며, \(60 - 7 \times 8/2 = 60 - 28 = 32\)로 일치한다.

이 항등식이 \(\sum_k k = n_1(n_1+1)/2\)라는 "집단 A가 자기 자신에게 이긴 횟수"를 빼는 조작임에 주목하라. 순위합에는 A 내부의 순서 정보가 섞여 있는데, 그것은 두 집단 비교와 무관하므로 제거하는 것이다.

장점. \(\hat{P}(X > Y)\)는 단위가 없고 해석이 직관적이다. "무작위로 고른 A가 무작위로 고른 B보다 클 확률"이라는 문장은 통계 훈련이 없는 사람에게도 통한다. 또 순위 기반이므로 이상치에 로버스트하고 임의의 단조변환에 불변이다.

함정 1: 분포가 다르면 오도할 수 있다. \(P(X > Y) = 0.5\)가 "두 분포가 같다"를 뜻하지는 않는다.

import numpy as np
rng = np.random.default_rng(0)
x = rng.normal(0, 1, 200000)
y = rng.normal(0, 5, 200000)
print((x > y).mean())      # 0.5006  ← 분산이 25배 다른데도 0.5

출력:

0.499485

함정 2: Cohen의 \(d\)와 단조 대응하지 않는다. 두 분포가 정규이고 등분산이면

라는 정확한 대응이 있다.

그러나 이 대응은 정규성과 등분산성에 의존한다. 분포가 다르면 같은 \(d\)가 전혀 다른 \(P(X > Y)\)에 대응한다.

함정 3: 비추이성. \(P(X > Y) > 0.5\)이고 \(P(Y > Z) > 0.5\)여도 \(P(X > Z) > 0.5\)가 보장되지 않는다. 이는 세 집단 이상을 쌍별로 비교할 때 순환적 결론이 나올 수 있음을 뜻한다(비이행적 주사위 현상).

권고: \(\hat{P}(X > Y)\)를 보고하되 반드시 두 집단의 상자그림이나 ECDF를 함께 제시한다. 효과크기 하나가 분포의 차이를 요약할 수 있다는 생각 자체가 위험하다.

구간은 모든 쌍별 차이 \(X_i - Y_j\)(\(n_1 n_2 = 42\)개)에 기반한다. 정렬한 뒤 양 끝에서 \(k\)개씩 잘라내며, \(k\)는 정확 Mann-Whitney 임계값이다.

import numpy as np
from scipy import stats
A = np.array([1.2, 0.5, -0.3, 2.1, 0.8, 1.5, 0.1])
B = np.array([-0.5, 0.3, -1.0, 0.6, -0.2, 0.9])
n1, n2 = len(A), len(B)

diffs = np.sort((A[:, None] - B[None, :]).ravel())
print(len(diffs), np.median(diffs))        # 42, 0.80

# U 의 정확 귀무분포를 열거로 구한다
import itertools
ranks = np.arange(1, n1 + n2 + 1)
Us = np.array([ranks[list(c)].sum() - n1 * (n1 + 1) / 2
               for c in itertools.combinations(range(n1 + n2), n1)])
k = max(c for c in range(20) if (Us <= c - 1).mean() <= 0.025)
print(k, (Us <= k - 1).mean(), diffs[k - 1], diffs[-k])
# 7  0.01748  -0.2  1.8

출력:

42 0.7999999999999999
7 0.017482517482517484 -0.19999999999999998 1.8

구간이 \(0\)을 포함하므로 앞의 검정 결과(\(p = 0.1375\), 기각 못 함)와 일관된다.

Hodges-Lehmann 추정값 \(0.80\)은 "\(X - Y\)의 전형적인 값"이며, 위치이동 모형 \(F_Y(x) = F_X(x - \Delta)\)의 \(\Delta\)에 대한 로버스트 추정이다. 표본평균 차이 \(0.826\)과 매우 가까운데, 이 자료에는 극단적인 이상치가 없어 두 추정량이 크게 갈리지 않기 때문이다.

구간의 폭이 \(2.0\)으로 매우 넓다는 점에 주목하라. \(n_1 = 7\), \(n_2 = 6\)에서는 쌍별 차이가 42개뿐이라 양 끝에서 \(k\)개씩 잘라내는 해상도가 거칠고, 실제 포함확률도 \(0.965\)로 명목값을 넘어 보수적이다. 표본이 커지면 구간이 빠르게 좁아진다.