이항검정¶

이항검정은 독립인 베르누이 시행열에서 "성공" 확률이 가설값 \(p_0\)과 같은지를 검정하는 정확 비모수 검정이다. 부호검정 계열에서 가장 일반적인 구성원으로, 부호검정은 \(p_0 = 0.5\)인 특수한 경우이고 이항검정은 임의의 비율을 검정할 수 있다.

이 검정은 이항분포에 직접 기반하므로 정규근사에 기대지 않고 정확 \(p\)값을 산출한다. 그래서 소표본에 특히 적합하다.

가설¶

\(X_1, X_2, \ldots, X_n\)을 성공확률 \(p\)인 독립 베르누이 시행이라 하자. 가설값은 \(p_0\)이다.

검정통계량¶

검정통계량은 관측된 성공 횟수이다.

\(H_0\) 아래에서

정확분포를 완전히 알고 있으므로 추가적인 변환이나 표준화가 필요 없다.

정확 p값¶

오른쪽 꼬리 검정 (\(H_a \colon p > p_0\)):

왼쪽 꼬리 검정 (\(H_a \colon p < p_0\)):

양측검정 (\(H_a \colon p \ne p_0\)):

이며 1을 넘으면 1로 자른다. 관측값만큼 또는 그보다 더 가능성이 낮은 모든 결과의 확률을 더하는 정의도 쓰인다.

다만 "정확"이라는 이름이 약속하지 않는 것이 하나 있다. 위 그림은 \(n = 5\)부터 \(100\)까지 각각에 대해, 유의수준 \(0.05\)의 정확 양측 이항검정이 \(H_0\)이 참일 때 실제로 기각하는 확률을 계산한 것이다. 빨간 점선이 명목 \(\alpha = 0.05\)이다.

어느 \(n\)에서도 선이 빨간 점선에 닿지 않는다. 그것도 매끄럽게 접근하는 것이 아니라 톱니처럼 오르내린다. \(p_0 = 0.5\)(부호검정)의 파란 선은 \(n = 20\)에서 \(0.0414\)까지 올라갔다가 \(n = 26\) 근처에서 \(0.024\)로 떨어지고 다시 올라간다. \(p_0 = 0.3\)의 주황 선은 \(n = 20\)에서 \(0.0248\)로 명목수준의 절반이다. 가장 극단적인 자리는 파란 선의 왼쪽 끝이다. \(p_0 = 0.5\), \(n = 5\)에서 크기가 정확히 \(0\)인데, 가장 극단적인 결과인 \(S = 0\)이나 \(S = 5\)조차 양측 \(p\)값이 \(2 \times (1/32) = 0.0625\)라서 무엇을 관측하든 기각할 수 없기 때문이다.

톱니가 생기는 이유는 검정통계량 \(S\)가 정수만 취하기 때문이다. 기각역은 \(\{S \le c\} \cup \{S \ge c'\}\) 꼴이라 확률질량 덩어리 단위로만 넓힐 수 있고, \(\alpha\)를 넘지 않는 가장 큰 덩어리를 고르면 남는 자리가 버려진다. \(n\)이 하나 늘 때마다 이항분포의 질량이 재배치되므로 버려지는 양도 널뛴다. 두 선을 비교하면 비대칭한 \(p_0 = 0.3\) 쪽이 더 크게 출렁인다는 것도 보인다. 한쪽 꼬리의 질량 덩어리가 굵어 촘촘히 채우기가 더 어렵기 때문이다.

실무적 결론은 두 가지이다. 첫째, 정확검정은 보수적이다. 크기가 \(\alpha\)를 넘지 않는다는 보장을 사는 대가로 검정력을 내준다. 둘째, 소표본 설계에서는 검정력 계산 전에 그 표본크기에서 기각이 가능하기는 한지부터 확인해야 한다. \(n = 5\), \(p_0 = 0.3\)처럼 크기가 \(0\)인 조합이 실제로 존재한다.

부호검정과의 관계¶

중앙값에 대한 부호검정은 \(p_0 = 0.5\)인 이항검정이다. \(H_0 \colon \text{중앙값} = m_0\)을 검정할 때 각 관측값을 성공(\(X_i > m_0\)) 또는 실패(\(X_i < m_0\))로 부호화하고 동점은 제외한다. \(H_0\) 아래에서 성공 횟수는 \(\text{Binomial}(n, 0.5)\)를 따른다.

이항검정은 임의의 \(p_0\)을 허용하여 이를 일반화한다. 다음 상황에서 유용하다.

• 처치가 특정한(반드시 50%는 아닌) 성공률을 갖는지 검정할 때.
• 어떤 임계값을 넘는 값의 비율이 알려진 기준선과 일치하는지 검정할 때.

대표본 정규근사¶

\(n\)이 크면 정확 이항 계산을 정규근사로 대체할 수 있다. 표준화된 통계량은

이며 \(\hat{p} = S/n\)은 표본비율이다. 검정에 쓸 참이라면 \(np_0 \ge 10\)이고 \(n(1 - p_0) \ge 10\)인 보수적 기준을 본다. 문턱값 \(5\)인 느슨한 기준은 분포가 종 모양에 가까워져 확률 하나를 어림해도 될 수준까지만 보장하는데, 검정에서 지켜야 하는 것은 실제 제1종 오류율이 명목 \(\alpha\)에 가깝다는 것이기 때문이다.

p에 대한 신뢰구간¶

이항검정에서 참인 비율 \(p\)에 대한 신뢰구간이 자연스럽게 따라 나온다. Clopper-Pearson 정확 신뢰구간은 두 개의 단측 이항검정을 역전시켜 얻는다.

여기서 \(p_L\)과 \(p_U\)는 관측된 결과가 유의성의 경계에 놓이게 하는 \(p\)의 값이다. 이 구간은 최소 \(1 - \alpha\)의 포함확률을 보장하지만 보수적일 수 있다.

연습문제¶

from scipy import stats
lo = stats.binom.cdf(10, 20, 0.7)     # P(S <= 10) = 0.04796
hi = stats.binom.sf(9, 20, 0.7)       # P(S >= 10) = 0.98320
print(2 * min(lo, hi))                # 0.09592
print(stats.binomtest(10, 20, 0.7).pvalue)   # 0.08345

0.09592379466268705
0.08344502962981218

import numpy as np
from scipy import stats
for n in (20, 50, 100):
    pv = np.array([stats.binomtest(k, n, 0.3).pvalue for k in range(n + 1)])
    pmf = stats.binom.pmf(np.arange(n + 1), n, 0.3)
    print(n, round(pmf[pv <= 0.05].sum(), 4))

20 0.0248
50 0.0433
100 0.0498

import numpy as np
from scipy import stats

def coverage(n, p):
    out = []
    for method in ("exact", "wilson", "wald"):
        c = 0.0
        for k in range(n + 1):
            pr = stats.binom.pmf(k, n, p)
            if method == "wald":
                ph = k / n; se = np.sqrt(ph * (1 - ph) / n)
                lo, hi = ph - 1.96 * se, ph + 1.96 * se
            else:
                lo, hi = stats.binomtest(k, n, 0.5).proportion_ci(method=method)
            c += pr * (lo <= p <= hi)
        out.append(c)
    return out

for p in (0.1, 0.3, 0.5, 0.7, 0.9):
    print(p, ["%.4f" % v for v in coverage(20, p)])

0.1 ['0.9887', '0.9568', '0.8760']
0.3 ['0.9752', '0.9752', '0.9474']
0.5 ['0.9586', '0.9586', '0.9586']
0.7 ['0.9752', '0.9752', '0.9474']
0.9 ['0.9887', '0.9568', '0.8760']

import numpy as np
from scipy import stats
n, p0 = 20, 0.5
for s in range(n + 1):
    pe = stats.binomtest(s, n, p0).pvalue
    z = (s / n - p0) / np.sqrt(p0 * (1 - p0) / n)
    pn = 2 * stats.norm.sf(abs(z))
    zc = (abs(s - n * p0) - 0.5) / np.sqrt(n * p0 * (1 - p0))
    pc = 2 * stats.norm.sf(max(zc, 0))
    print(s, round(pe, 4), round(pn, 4), round(pc, 4))

0 0.0 0.0 0.0
1 0.0 0.0001 0.0001
2 0.0004 0.0003 0.0008
3 0.0026 0.0017 0.0037
4 0.0118 0.0073 0.0139
5 0.0414 0.0253 0.0442
6 0.1153 0.0736 0.1175
7 0.2632 0.1797 0.2636
8 0.5034 0.3711 0.5023
9 0.8238 0.6547 0.8231
10 1.0 1.0 1.0
11 0.8238 0.6547 0.8231
12 0.5034 0.3711 0.5023
13 0.2632 0.1797 0.2636
14 0.1153 0.0736 0.1175
15 0.0414 0.0253 0.0442
16 0.0118 0.0073 0.0139
17 0.0026 0.0017 0.0037
18 0.0004 0.0003 0.0008
19 0.0 0.0001 0.0001
20 0.0 0.0 0.0

정리하며¶

이항검정은 독립성 외에 분포 가정 없이 모비율에 대한 정확 추론을 제공한다. 부호검정을 \(p_0 = 0.5\)에서 임의의 가설 비율로 일반화하며, 정규근사가 믿을 수 없는 소표본에서 특히 가치가 있다. 대표본에서는 이항분포의 표준정규근사가 계산이 더 간단하면서도 같은 결론을 주는 대안이 된다.