본페로니와 홀름 보정¶
개요¶
들어가는 이야기 — 다섯을 견주면 셋에 하나는 헛것이 보인다
광고 시안 다섯 개를 만들어 어느 것이 나은지 서로 견준다고 하자. 두 개씩 짝지으면 비교가 열 번이다. 그 열 번을 하나하나 \(\alpha = 0.05\) 로 판정하면, 시안들 사이에 아무 차이가 없어도 적어도 하나가 「유의하다」로 나올 확률이 \(0.2893\) 이다. 열 연구에 셋쯤은 없는 차이를 보게 되는 셈이다.
열 번이 서로 독립이라면 그 확률이 \(1 - 0.95^{10} = 0.4013\) 까지 오른다. 실제가 그보다 낮은 것은 비교끼리 같은 시안을 나눠 쓰기 때문인데(시안 \(1\) 의 평균이 우연히 크면 그것이 든 비교 넷이 함께 커진다), 낮다 해도 약속한 \(0.05\) 의 여섯 배다. 약속과 실제의 그 차이를 집단 수 \(k\) 를 바꿔 가며 잰 표가 10.1절 모형과 가정에 있다.
왼쪽. 시안이 다섯이면 두 개씩 짝짓는 길이 열 가지다 — 비교의 수는 시안 수보다 빨리 는다. 오른쪽. 다섯이 모두 같은 자료에서 \(2\) 만 번 반복했다. 아무것도 나오지 않은 연구가 \(0.7107\) 이고 하나라도 나온 연구가 \(0.2893\) 이다. 둘 셋씩 나오는 연구도 드물지 않다. 열 번을 서로 독립이라 치면 \(0.4013\) 인데 실제가 그보다 낮은 것은 비교끼리 같은 시안을 나눠 쓰기 때문이다.
그래서 유의수준을 나눈다. 가장 널리 쓰는 것이 본페로니(Bonferroni) 보정 — \(\alpha\) 를 검정 횟수로 나누어 \(0.05/10 = 0.005\) 를 쓰는 방법이다. 간단하고 어떤 상황에서도 보장이 선다. 그런데 같은 보장을 지키면서 더 많이 기각할 수 있는 방법이 있다.
「더 강력하다」가 수로는 이렇다. 가설 넷을 검정해 \(p\) 값 \(0.003\), \(0.013\), \(0.042\), \(0.130\) 을 얻었다. \(\alpha = 0.05\) 를 넷으로 나눈 임계값 \(0.0125\) 로 자르면 기각되는 것은 첫째뿐이고, 둘째 \(0.013\) 은 그 임계값을 간발의 차로 넘지 못한다. 같은 네 값에 홀름(Holm)의 절차를 걸면 둘째가 마주하는 임계값이 \(0.0167\) 로 느슨해져 둘이 함께 기각되는데, 가족단위 오류율의 보장은 그대로다 — 검정 넷 가운데 하나라도 잘못 기각할 확률이 \(0.05\) 를 넘지 않는다는 그 보장이다.
공짜로 하나를 더 얻은 것처럼 보인다. 임계값을 느슨하게 풀면서 보장을 잃지 않는 일이 어떻게 가능한가. 둘은 유의수준을 나누어 쓴다는 점에서 같고 나누는 방식에서 갈린다. 이 쪽은 두 절차를 나란히 세우고, 홀름이 무엇을 더 쓰고 그 대가로 무엇을 얻는지를 밝힌다.
한 연구가 여러 가설을 동시에 검정하면 적어도 하나를 잘못 기각할 확률이 빠르게 커진다. 예를 들어 독립인 가설 \(m = 20\)개를 수준 \(\alpha = 0.05\)에서 검정하면 참인 귀무가설(null hypothesis)을 적어도 하나 잘못 기각할 확률이 대략 \(1 - (1 - 0.05)^{20} \approx 0.64\)이다. 다중검정 보정은 유의수준이나 p 값을 조정하여 전체 오류율이 통제되도록 이 팽창을 다룬다. 이 절에서는 가족단위 오류율(FWER)을 통제하는 널리 쓰이는 두 보정, 본페로니와 홀름을 소개한다.
가족단위 오류율 (FWER)
귀무가설 \(H_1, H_2, \ldots, H_m\)을 동시에 검정한다고 하자. \(V\)를 잘못 기각된 참인 귀무가설의 개수(거짓 양성)라 하면 가족단위 오류율(familywise error rate, FWER)은 다음으로 정의된다.
어느 가설이 참이고 어느 가설이 거짓이든 \(\text{FWER} \leq \alpha\)이면 그 다중검정 절차가 수준 \(\alpha\)에서 FWER을 통제한다고 한다.
1. 본페로니 보정¶
FWER을 통제하는 가장 단순한 접근은 본페로니의 것이다. 핵심 발상은 전체 유의수준 \(\alpha\)를 \(m\)개 검정에 균등하게 나누어 각 검정이 더 엄격한 임계값을 쓰게 하는 것이다. 그러면 최악의 경우에도 잘못된 기각이 하나라도 생길 전체 확률이 \(\alpha\) 아래에 머문다.
기각 규칙¶
\(p_1, p_2, \ldots, p_m\)을 \(m\)개 가설검정의 p 값, \(\alpha\)를 원하는 FWER이라 하자. 본페로니 보정은 다음일 때 \(H_i\)를 기각한다.
FWER을 통제하는 이유¶
정당화는 부울 부등식(Boole's inequality), 곧 합집합 한계(union bound) \(P(\bigcup_i A_i) \le \sum_i P(A_i)\) 에서 곧바로 나온다. 3.1절 확률의 공리 연습문제 6 이 「본페로니 부등식」이라는 이름으로 증명한 그 부등식이다. \(\mathcal{M}_0 \subseteq \{1, \ldots, m\}\)을 \(H_i\)가 참인 지표의 집합이라 하자. 그러면
첫 부등식이 합집합 한계이고, 둘째는 참인 귀무가설 아래에서 \(p\) 값이 \(P(p_i \le u) \le u\) 를 만족한다는 사실(\(p\) 값이 균등분포를 따르면 등호다)이며, 마지막 부등식은 \(|\mathcal{M}_0| \leq m\)을 쓴다. 이 한계는 검정 사이의 종속 구조에 대한 어떤 가정도 없이 성립하며, 이것이 본페로니 보정의 강점이자 한계이다.
본페로니의 보수성
본페로니 보정은 보수적이다: 특히 \(m\)이 크거나 검정통계량(test statistic)이 양의 상관을 가질 때 실제 FWER이 \(\alpha\)보다 훨씬 낮은 경우가 많다. 이 보수성이 통계적 검정력을 떨어뜨린다 — 검정당 임계값 \(\alpha/m\)이 너무 엄격해서 실제로 거짓인 귀무가설을 기각하지 못할 수 있다.
2. 홀름의 단계적 하강 절차¶
본페로니는 모든 검정에 같은 엄격한 임계값 \(\alpha/m\)을 적용하지만, 홀름(Holm, 1979)은 가장 유의한 가설들을 기각하고 나면 남은 검정에는 덜 엄격한 임계값을 쓸 수 있음을 관찰했다. 이 단계적 하강(step-down) 접근은 FWER을 여전히 수준 \(\alpha\)로 통제하면서 본페로니보다 균일하게 더 강력하다(uniformly more powerful) — 가능한 모든 배열에서 적어도 같은 수의 가설을 기각한다.
알고리즘¶
- p 값을 정렬한다: \(p_{(1)} \leq p_{(2)} \leq \cdots \leq p_{(m)}\), 대응하는 가설은 \(H_{(1)}, H_{(2)}, \ldots, H_{(m)}\).
- \(i = 1\)에서 시작한다. \(p_{(i)}\)를 보정된 임계값 \(\alpha / (m - i + 1)\)과 비교한다.
- \(p_{(i)} \leq \alpha / (m - i + 1)\)이면 \(H_{(i)}\)를 기각하고 \(i\)를 1 늘린다.
- \(p_{(i)} > \alpha / (m - i + 1)\)이면 멈춘다. \(H_{(i)}, H_{(i+1)}, \ldots, H_{(m)}\)(남은 가설 전부)을 유지한다.
보정된 임계값은 증가하는 수열을 이룬다.
뒤의 임계값이 \(\alpha/m\)보다 덜 엄격하므로 홀름은 본페로니만큼 또는 그보다 많이 기각한다. 동시에 단계적 하강 구조가 FWER을 수준 \(\alpha\)로 유지해 준다.
홀름이 본페로니를 지배하는 이유¶
본페로니에서는 모든 가설이 임계값 \(\alpha/m\)을 마주한다. 홀름에서는 가장 유의한 p 값만 이 임계값을 마주하고, 두 번째로 유의한 것은 \(\alpha/(m-1)\)을, 이런 식으로 이어진다. 모든 \(i \geq 1\)에 대해 \(\alpha/(m-i+1) \geq \alpha/m\)이므로 본페로니가 기각하는 가설은 홀름도 기각하지만 그 역은 반드시 성립하지 않는다. 그래서 홀름이 균일하게 더 강력하다.
수치 보기
FWER \(\alpha = 0.05\)에서 가설 \(m = 4\)개를 검정하여 다음 p 값을 얻었다고 하자.
| 가설 | p 값 |
|---|---|
| \(H_A\) | 0.003 |
| \(H_B\) | 0.013 |
| \(H_C\) | 0.042 |
| \(H_D\) | 0.130 |
본페로니: 보정된 임계값은 \(0.05/4 = 0.0125\)이다. \(H_A\)(\(p = 0.003\))만 기각된다. \(H_B\)는 \(p = 0.013 > 0.0125\)이므로 기각되지 않는다.
홀름: p 값을 정렬하여 차례로 비교한다.
| 단계 \(i\) | \(H_{(i)}\) | \(p_{(i)}\) | 임계값 \(\alpha/(m-i+1)\) | 판정 |
|---|---|---|---|---|
| 1 | \(H_A\) | 0.003 | \(0.05/4 = 0.0125\) | 기각 |
| 2 | \(H_B\) | 0.013 | \(0.05/3 = 0.0167\) | 기각 |
| 3 | \(H_C\) | 0.042 | \(0.05/2 = 0.025\) | 멈춤(유지) |
| 4 | \(H_D\) | 0.130 | \(0.05/1 = 0.05\) | 유지 |
홀름은 \(H_A\)와 \(H_B\)를 모두 기각하지만 본페로니는 \(H_A\)만 기각한다. 홀름이 FWER 통제를 희생하지 않고 검정력을 되찾는 모습을 보여준다.

위 표를 그대로 그린 것이다. 붉은 파선은 평평하고 초록 계단은 오른쪽으로 갈수록 올라간다. 본페로니는 네 가설 모두에 \(\alpha/4\)를 요구하지만, 홀름은 첫 번째에만 그 임계값을 요구하고 두 번째부터는 \(\alpha/3\), \(\alpha/2\), \(\alpha\)로 느슨해진다.
\(H_B\)가 그 차이가 드러나는 자리다. \(p = 0.013\)은 \(\alpha/4 = 0.0125\)보다 크지만 \(\alpha/3 = 0.0167\)보다는 작다. 본페로니는 놓치고 홀름은 잡아낸다.
다만 계단이 느슨해지는 것은 앞의 가설들을 모두 기각한 뒤에만 허락된다. \(H_C\)에서 멈춘 것이 그 규칙이며, 뒤의 임계값이 아무리 느슨해도 한 번 멈추면 남은 가설은 모두 유지된다. 이 "멈춤" 규칙이 없으면 FWER 통제가 깨진다.
3. 비교 — 홀름이 본페로니를 엄밀히 이긴다¶
| 성질 | 본페로니 | 홀름 |
|---|---|---|
| FWER 통제 | 예 (임의의 종속성) | 예 (임의의 종속성) |
| 검정력 | 보수적 | 균일하게 더 강력 |
| 단순함 | 매우 단순 | 조금 더 복잡 |
| 종속성에 대한 가정 | 필요 없음 | 필요 없음 |
| 알맞은 용도 | 빠른 조정, 적은 수의 검정 | 본페로니보다 기본으로 삼을 선택 |
실무에서 본페로니를 홀름보다 선호할 이유는 거의 없다. 홀름이 같은 FWER 보장을 주면서 검정력은 언제나 같거나 더 높기 때문이다. 본페로니가 남는 자리는 동시 신뢰구간이 필요할 때다(연습문제 6).
그림으로 보는 통계학 1. 자기 방법에 남의 이름을 붙였다
바로 위 문장이 맞다면 이상한 일이 하나 남는다. 오늘도 논문에 적히는 말은 거의 언제나 「본페로니 보정」이다. 더 강력하고, 가정이 똑같고, 줄 하나만 더 쓰면 되는 방법이 \(1979\) 년부터 있었는데 왜 이름은 밀려난 쪽이 가져갔는가. 까닭의 한 조각을 홀름 본인이 만들었다.
스투레 홀름(Sture Holm)이 『Scandinavian Journal of Statistics』 \(6\) 권 \(2\) 호 \(65\)–\(70\) 쪽에 낸 논문은 여섯 쪽이고, 제목은 「단순한 순차 기각 다중검정 절차」다. 「홀름」도 「본페로니」도 제목에 없다. 그런데 그는 본문에서 자기 검정의 이름을 이렇게 정했다.
다중추론 이론에서 부울 부등식을 쓰는 것을 보통 본페로니 기법이라 부르므로, 그런 까닭에 우리는 우리 검정을 순차 기각 본페로니 검정이라 부르겠다.
역설이 겹겹이다. 첫째, 그가 실제로 쓴 부등식은 불의 것이다. 둘째, 「본페로니 보정」이라는 이름 자체가 본페로니가 만든 것이 아니다 — 16.5절 사후 던 검정의 상자가 그 내력을 다룬다. 셋째, 그래서 본페로니를 밀어낸 방법에까지 본페로니의 이름이 붙었다. 오늘 소프트웨어가 holm 이라고 적는 것은 그 이름을 뒤늦게 절반쯤 되돌려 놓은 것이다.
홀름의 절차가 하늘에서 떨어진 것도 아니다. 세 해 앞서 마커스·페리츠·가브리엘(Marcus, Peritz, Gabriel, \(1976\))이 닫힌 검정 원리(closed testing principle)를 내놓았고, 홀름의 절차는 그 원리에서 각 교집합 가설을 본페로니로 검정한 특수한 경우다. 일반 이론이 먼저 있었고 홀름이 한 일은 실제로 쓸 수 있는 한 가지를 여섯 쪽으로 또렷이 적은 것이었다. 위 §2 의 알고리즘이 네 줄로 끝나는 것이 그 논문의 공헌이다.
그러니 §3 표의 마지막 줄은 통계학의 문장이라기보다 거의 사회학의 문장이다. 어느 것이 기본값이 되는가는 증명이 정하지 않는다. 이름이 정한다.
확인한 곳 — 논문이 Sture Holm 의 「A simple sequentially rejective multiple test procedure」이고 『Scandinavian Journal of Statistics』 \(6\) 권 \(2\) 호 \(65\)–\(70\) 쪽(\(1979\))이라는 것, 그가 처음 붙인 이름이 「sequentially rejective Bonferroni test」였다는 것, 그리고 인용한 문장(「다중추론 이론에서 부울 부등식을 쓰는 것을 보통 본페로니 기법이라 부르므로 …」)은 Wikipedia 「Holm–Bonferroni method」 가 그의 논문에서 인용해 둔 것을 옮겼다 · 홀름의 절차가 Marcus, Peritz, Gabriel(\(1976\))의 닫힌 검정 원리에서 각 교집합 가설을 본페로니로 검정한 특수한 경우라는 것도 같은 쪽. 이 상자에는 내가 계산한 수가 없다
4. 가족에 구조가 있으면 더 할 수 있다¶
본페로니와 홀름의 미덕은 가족에 대해 아무것도 묻지 않는다는 것이다. 가설들이 어떻게 얽혀 있든 \(m\)만 알면 쓸 수 있다. 그 대가가 합집합 한계의 느슨함이고, 검정통계량이 양의 상관을 가질 때 실제 FWER이 \(\alpha\)보다 훨씬 낮아지는 현상(연습문제 7)이 그 느슨함의 정체다. 구조를 모르니 최악의 경우에 맞추는 것이다.
그 느슨함을 실자료에서 수로 잰 것이 9.6절 절단점을 고르면: 상관된 후보와 유효 후보 수이다. 거기서는 가족이 절단점 \(64\) 개이고 이웃끼리 상관이 \(0.88\) 인데, 순열로 재면 본페로니의 실제 FWER 이 \(0.0169\) 로 명목의 3분의 1이다. 그 쪽은 느슨함의 크기를 유효 후보 수 \(k_{\text{eff}} = \log(1-\text{FWER})/\log(1-\alpha)\) 로 적는데, \(64\) 개를 시도해도 \(k_{\text{eff}} = 14.35\) — 독립인 검정 열넷 값만 치르는 것이다. \(m\) 을 세는 본페로니는 \(64\) 를 치르게 한다. 연습문제 7 이 같은 일을 등상관 모형에서 하고(\(\rho = 0.9\) 에서 \(0.017\)), 그때도 최대통계량 방법이 명목에 맞는다.
그러나 가족의 종속 구조를 아는 경우가 있다. 10.3절 본페로니와 셰페 방법을 비롯한 사후비교(post hoc comparison)가 대표적이다. 분산분석(analysis of variance) 뒤에 \(k\)개 집단의 평균을 견주는 비교들은 하나의 합동 평균제곱 \(\text{MS}_W\)(집단 안 변동으로 잰 오차분산의 추정값)와 하나의 오차 자유도 \(N - k\)를 공유하고, 같은 집단 평균을 함께 쓴다. 균형 설계에서 한 집단을 나눠 쓰는 두 쌍별 비교(이를테면 \(\bar X_1 - \bar X_2\) 와 \(\bar X_1 - \bar X_3\))의 상관은 정확히 \(1/2\)이고, 겹치는 집단이 없는 두 비교의 상관은 \(0\) 이다. 종속을 모르는 것이 아니라 정확히 아는 형편이며, 아는 만큼 정확한 방법이 있다.
- 투키 정직유의차는 쌍별 비교 전체에 대해 정확하다. 스튜던트화 범위분포가 "\(k\)개 평균의 최대 차이"의 참 귀무분포이기 때문이다.
- 더닛 검정 (대조군과의 비교)은 대조군과의 \(k-1\)개 비교에 대해 정확하다. 상관을 반영한 다변량 \(t\)-분포를 쓴다.
- 셰페 방법(본페로니와 셰페 방법)은 가능한 모든 선형 대비에 대해 정확하다. 그래서 쌍별 비교만 볼 때는 오히려 지나치게 보수적이다.
세 방법 모두 자기가 겨냥한 가족에서는 본페로니보다 임계값이 작다. 같은 논리가 두 장에서 반복되는 것이 아니라, 9.6절이 포기한 정보를 10.3절이 되찾는 것이다. 구조를 모르면 합집합 한계밖에 없고, 구조를 알면 정확한 분포를 쓸 수 있다. 이 절의 방법들이 여전히 쓰이는 이유는 그 구조가 없는 가족 — 서로 무관한 평가변수, 하위집단, 유전 변이 — 이 훨씬 흔하기 때문이다.
5. 네 방법을 같은 자료에 걸면¶
절 \(3\) 의 비교를 한 자료에서 수로 잰다. 가설 \(m = 2{,}000\) 개 가운데 앞의 \(200\) 개만 참 신호인 설계이므로 거짓 양성과 놓친 신호를 동시에 셀 수 있다.
보기 1. 보정을 적용한 다중검정. 가설 \(m = 2000\)개 가운데 앞의 \(200\)개만 참 신호(\(d = 0.5\), \(n = 50\)인 일표본 \(t\) 검정)이고 나머지 \(1800\)개는 귀무가 참이다. \(\alpha = 0.05\)에서 세 보정을 적용한다.
(1) 본페로니의 원 \(p\) 값 임계값을 구하고, 그 임계값에서 참 신호 하나가 기각될 확률(비중심 \(t\))을 계산해 기대 TP와 기대 FP를 구하시오. 여기서 TP(true positive, 참 양성)는 기각한 것 가운데 참 신호의 수이고 FP(false positive, 거짓 양성)는 기각한 것 가운데 귀무가 참인 것의 수다.
(2) 코드의 결과와 맞추시오. BH가 기각한 개수 \(R\)을 알고 나면 BH의 유효 임계값이 정해지는데, 그 임계값으로 TP와 FP를 다시 예측해 보시오.
풀이
(1) 해석적으로. 본페로니는 보정 \(p\) 값 \(\min(1,\ m p)\)를 \(\alpha\)와 견주므로 원 \(p\) 값 임계값이
다. 귀무가 참인 검정의 \(p\) 값이 이 임계값 이하로 떨어질 확률은 정의상 \(2.5\times10^{-5}\)이므로
이다. 거짓 양성이 하나라도 나올 확률은 \(1-(1-2.5\times10^{-5})^{1800} = 0.0440\), 곧 22번에 한 번쯤이다.
참 신호 쪽은 비중심 \(t\)를 쓴다. \(d = 0.5\), \(n = 50\)이므로 비중심모수가 \(\lambda = d\sqrt n = 0.5\sqrt{50} = 3.5355\)이고 자유도는 \(49\)다. 양측 검정이므로 \(t\) 통계량의 임계값 \(t_{\text{crit}}\) 은 \(t_{49}\)의 상위 \(2.5\times10^{-5}/2 = 1.25\times10^{-5}\) 분위수(quantile)다. 자유도 \(49\), 비중심모수 \(3.5355\) 인 비중심 \(t\) 확률변수를 \(T'_{49,\,3.5355}\) 로 적으면 검정력은
이다. 따라서
다.
(2) 수치적으로.
import numpy as np
from scipy import stats
from statsmodels.stats.multitest import multipletests
np.random.seed(42)
n_tests = 2000
n_true_alt = 200
n_obs = 50
effect_size = 0.5
p_values = np.zeros(n_tests)
truth = np.zeros(n_tests, dtype=int)
truth[:n_true_alt] = 1 # 앞의 200개만 참 신호, 나머지 1800개는 귀무
for i in range(n_tests):
# 모의실험이라 정답을 알고 있다. 그래서 TP와 FP를 직접 셀 수 있다.
# 실제 자료에서는 이 정보가 없으므로 FDR을 추정해야 한다.
mu = effect_size if i < n_true_alt else 0.0
data = np.random.normal(mu, 1.0, n_obs)
_, p_values[i] = stats.ttest_1samp(data, 0)
# 세 보정 방법을 같은 p 값 그룹에 적용한다.
_, p_bonf, _, _ = multipletests(p_values, method="bonferroni")
_, p_holm, _, _ = multipletests(p_values, method="holm")
_, p_bh, _, _ = multipletests(p_values, method="fdr_bh")
alpha = 0.05
for name, adj_p in [("Bonferroni", p_bonf), ("Holm", p_holm), ("BH", p_bh)]:
rejected = adj_p < alpha
tp = np.sum(rejected & (truth == 1))
fp = np.sum(rejected & (truth == 0))
fdr = fp / max(np.sum(rejected), 1)
power = tp / np.sum(truth == 1)
print(f"{name:12s}: TP={tp}, FP={fp}, FDR={fdr:.3f}, Power={power:.3f}")
출력:
Bonferroni : TP=28, FP=1, FDR=0.034, Power=0.140
Holm : TP=28, FP=1, FDR=0.034, Power=0.140
BH : TP=133, FP=9, FDR=0.063, Power=0.665
BH가 참 신호 200개 중 133개를 찾아내는 동안 본페로니는 28개만 찾는다. 검정력이 0.14 대 0.67로 다섯 배 가까이 차이가 난다.
(1)의 예측과 맞춘다. 본페로니의 TP \(= 28\) 은 예측 \(32.13\) 에서 표준편차 \(5.19\) 의 \(0.8\) 배쯤 아래이니 예측 범위 안이다. FP \(= 1\) 은 기댓값 \(0.045\) 에 견주면 드문 쪽 — (1)에서 구한 대로 확률 \(0.0440\) 으로 일어나는 일 — 이지만 모순은 아니다. BH 쪽은 기각 수 \(R = 133 + 9 = 142\) 를 알고 나면 유효 임계값이 \(R\alpha/m = 142 \times 0.05/2000 = 0.00355\) 로 정해진다. 그 임계값에서 (1)과 같은 방식으로 셈하면(이 책이 따로 계산한 값이다) 참 신호 하나의 검정력이 \(0.6795\) 여서 기대 TP 가 \(200 \times 0.6795 = 135.9\), 기대 FP 가 \(1800 \times 0.00355 = 6.39\) 다. 출력의 \(133\) 과 \(9\) 가 각각 그 언저리에 있다. 다만 \(R\) 자체가 자료에서 정해진 값이므로 이 셈은 어림이다.
그 대가는 거짓 양성 9개다. 기각한 142개 중 6.3%가 거짓 양성이라는 뜻이며, 목표로 삼은 \(\alpha = 0.05\) 근처다(BH는 FDR의 기댓값을 통제하므로 한 번의 실현에서는 이보다 크거나 작을 수 있다).
거짓 양성 9개를 받아들이고 진짜 신호 105개를 더 얻는 거래다. 후속 실험으로 검증할 후보를 추리는 상황이라면 분명히 남는 장사다. 반면 규제 승인처럼 거짓 양성 하나가 치명적인 상황이라면 본페로니가 맞다.
홀름이 본페로니와 결과가 같다는 점도 눈에 띈다. 홀름은 이론적으로 언제나 본페로니 이상으로 강력하지만, 기각 수가 \(m\) 에 견주어 적을 때는 실질적인 차이가 나타나지 않는다. 여기서는 \(2{,}000\) 개 가운데 \(29\) 개를 기각한 뒤에도 홀름의 임계값이 \(\alpha/2000\) 에서 \(\alpha/1971\) 로 거의 움직이지 않는다.

그림의 설계는 \(\S 5\) 의 보기와 다르다 — 가설 \(m = 100\) 개 가운데 앞의 \(20\) 개만 참 신호이고 검정은 \(z\) 검정이다(보기 1 은 \(m = 2{,}000\), 참 신호 \(200\), 일표본 \(t\)). 왼쪽에서 보정 없음은 평균 21개를 기각하는데 그중 4개가 거짓이다. 기각 다섯 중 하나가 거짓 발견인 셈이다(오른쪽의 FDR \(0.19\)). 오른쪽에서 보듯 FWER이 \(0.98\)이다. 거의 매번 거짓 발견이 적어도 하나 섞인다.
본페로니와 홀름은 FWER을 각각 \(0.04\)와 \(0.05\)로 지켜 낸다. 대가는 왼쪽 막대에 있다. 실제 효과 20개 중 6개 남짓밖에 찾지 못한다. 거짓을 하나도 허용하지 않겠다는 요구가 이만큼 비싸다.
BH가 그 사이에 선다. FDR이 \(0.04\) 로 겨눈 \(0.05\) 아래에 머물고(참인 귀무가설의 비율 \(80/100\) 을 곱한 \(0.8 \times 0.05 = 0.04\) 가 이론값이다 — 9.7절 거짓발견율 (Benjamini-Hochberg) \(\S 5\)), 기각은 평균 12.8개(참 발견 12.2개)로 본페로니의 두 배다. FWER은 \(0.41\)까지 오르지만, 그것이 BH가 통제하기로 한 양이 아니다. "거짓이 하나도 없어야 한다"에서 "거짓의 비율이 5%를 넘지 않으면 된다"로 요구를 바꾼 대가로 검정력을 되찾은 것이며, 어느 쪽이 옳은 요구인지는 통계학이 아니라 문제가 정한다.
연습문제¶
연습문제 1. 어떤 연구자가 가설검정 5개를 수행하여 p 값 0.008, 0.025, 0.040, 0.060, 0.120을 얻었다. \(\alpha = 0.05\)에서 본페로니 보정을 적용하고 어느 가설이 기각되는지 말하라.
풀이
본페로니 보정 임계값은 \(\alpha/m = 0.05/5 = 0.01\)이다.
각 p 값을 0.01과 비교한다.
| 검정 | p 값 | \(\le 0.01\)? | 판정 |
|---|---|---|---|
| 1 | 0.008 | 예 | 기각 |
| 2 | 0.025 | 아니오 | 기각 못함 |
| 3 | 0.040 | 아니오 | 기각 못함 |
| 4 | 0.060 | 아니오 | 기각 못함 |
| 5 | 0.120 | 아니오 | 기각 못함 |
검정 1만 기각된다. 본페로니는 보수적이다: 보정하지 않은 수준에서는 유의한 \(p = 0.025\)의 검정 2가 기각되지 않는다.
연습문제 2. 연습문제 1과 같은 p 값에 \(\alpha = 0.05\)에서 홀름(단계적 하강) 절차를 적용하라. 결과를 본페로니와 비교하라.
풀이
p 값을 정렬한다: \(p_{(1)} = 0.008, p_{(2)} = 0.025, p_{(3)} = 0.040, p_{(4)} = 0.060, p_{(5)} = 0.120\).
\(j\)번째 정렬된 검정의 홀름 임계값은 \(\alpha/(m - j + 1)\)이다.
| 단계 \(j\) | \(p_{(j)}\) | 임계값 \(\alpha/(m-j+1)\) | \(p_{(j)} \le\) 임계값? | 판정 |
|---|---|---|---|---|
| 1 | 0.008 | 0.05/5 = 0.010 | 예 | 기각 |
| 2 | 0.025 | 0.05/4 = 0.0125 | 아니오 | 멈춤 |
2단계에서 기각하지 못하면 거기서 멈추고 남은 검정은 기각하지 않는다.
결과: 이 경우에는 본페로니와 마찬가지로 검정 1만 기각된다. 그러나 홀름은 본페로니보다 균일하게 더 강력하며(결코 더 적게 기각하지 않으며), p 값 배열이 다르면 더 많이 기각할 수 있다.
연습문제 3. 본페로니 보정이 가족단위 오류율(FWER)을 수준 \(\alpha\)로 통제함을 증명하라. 합집합 한계를 쓰라.
풀이
\(\mathcal{H}_0\)을 참인 귀무가설의 집합이라 하고 \(|\mathcal{H}_0| = m_0 \leq m\)이라 하자. FWER은 이렇게 된다.
첫 부등식은 부울 부등식(합집합 한계)이다. 그다음 등식은 참인 귀무가설 아래에서 p 값이 \((0,1)\) 위의 균등분포를 따르므로 \(P(p_i \leq \alpha/m) = \alpha/m\)이라는 사실을 쓴다(\(\S 1\) 의 본문은 이 자리를 \(\le\) 로 적었다 — 이산형 검정처럼 \(p\) 값이 정확히 균등하지 않을 때에도 성립하게 하려는 것이다). 마지막 부등식은 \(m_0 \leq m\)을 쓴다.
이 증명은 검정의 종속 구조에 대해 아무 가정도 하지 않는다. 그래서 본페로니가 임의의 종속성에서 타당하지만 보수적일 수 있는 것이다. \(\square\)
연습문제 4. 참인 귀무가설의 수 \(m_0\)이 \(m\)보다 훨씬 작을 때, 또는 검정이 양의 상관을 가질 때 본페로니가 보수적인(FWER \(\ll \alpha\)인) 이유를 설명하라.
풀이
\(m_0 \ll m\)일 때: 증명에서 \(m_0 \leq m\)을 썼으므로 실제 FWER은 최대 \(m_0 \alpha/m\)이다. 1000개 귀무가설 중 10개만 참이면(\(m_0 = 10\)) 참 FWER은 최대 \(10 \times 0.05/1000 = 0.0005\)로 명목 \(\alpha = 0.05\)보다 훨씬 낮다. 본페로니 임계값은 최악의 경우(\(m_0 = m\))에 맞추어져 있다.
양의 상관이 있을 때: 합집합 한계 \(P(\cup A_i) \leq \sum P(A_i)\)는 사건들이 서로 배반일 때(겹치지 않을 때)만 등호가 되고, 겹칠수록 오른쪽이 왼쪽보다 커진다. 검정이 양의 상관을 가지면(검정통계량이 자료를 공유할 때 흔하다) 사건 \(\{p_i \leq \alpha/m\}\)이 함께 일어나는 경향이 있어 합집합이 합보다 훨씬 작아진다. 실제 FWER이 \(\alpha\)보다 훨씬 작을 수 있다.
두 보수성의 원천 모두 검정력을 떨어뜨려 참 효과를 탐지하기 어렵게 만든다. 홀름 절차가 첫 번째 문제를 부분적으로 다루고, 재표집(resampling) 기반 방법(예: 순열 FWER)이 두 번째를 다룬다.
연습문제 5. 보정된 \(p\) 값의 개념을 설명하고, 여섯 가지 방법(본페로니·시닥(Šidák)·홀름·호크버그(Hochberg)·BH·BY)을 같은 자료에 모두 적용해 비교하라.
풀이
보정된 \(p\) 값. "이 값을 \(\alpha\)와 직접 비교하면 해당 절차의 결론이 나오는 수"다. 절차마다 정의가 다르다.
import numpy as np
p = np.array([0.001, 0.008, 0.039, 0.041, 0.23, 0.76])
m = len(p)
ps = np.sort(p)
i = np.arange(1, m + 1)
bonf = np.minimum(ps * m, 1)
sidak = 1 - (1 - ps)**m
holm = np.maximum.accumulate(np.minimum((m - i + 1) * ps, 1))
hoch = np.minimum.accumulate(((m - i + 1) * ps)[::-1])[::-1]
bh = np.minimum.accumulate((m / i * ps)[::-1])[::-1]
c_m = np.sum(1 / i)
by = np.minimum(np.minimum.accumulate((c_m * m / i * ps)[::-1])[::-1], 1)
print(f"{'p':>8s} {'본페로니':>9s} {'시닥':>8s} {'홀름':>8s} "
f"{'호크버그':>9s} {'BH':>8s} {'BY':>8s}")
for j in range(m):
print(f"{ps[j]:8.3f} {bonf[j]:9.4f} {sidak[j]:8.4f} {holm[j]:8.4f} "
f"{hoch[j]:9.4f} {bh[j]:8.4f} {by[j]:8.4f}")
print("\nq = 0.10 에서 기각 수:",
f"본페로니 {(bonf <= 0.10).sum()}, 홀름 {(holm <= 0.10).sum()}, "
f"호크버그 {(hoch <= 0.10).sum()}, BH {(bh <= 0.10).sum()}, "
f"BY {(by <= 0.10).sum()}")
p 본페로니 시닥 홀름 호크버그 BH BY
0.001 0.0060 0.0060 0.0060 0.0060 0.0060 0.0147
0.008 0.0480 0.0471 0.0400 0.0400 0.0240 0.0588
0.039 0.2340 0.2123 0.1560 0.1230 0.0615 0.1507
0.041 0.2460 0.2221 0.1560 0.1230 0.0615 0.1507
0.230 1.0000 0.7916 0.4600 0.4600 0.2760 0.6762
0.760 1.0000 0.9998 0.7600 0.7600 0.7600 1.0000
q = 0.10 에서 기각 수: 본페로니 2, 홀름 2, 호크버그 2, BH 4, BY 2
여섯 방법의 성격.
| 방법 | 통제 대상 | 가정 | 강도 |
|---|---|---|---|
| 본페로니 | FWER | 없음 | 가장 약함 |
| 시닥 | FWER | 독립 | 본페로니보다 약간 강함 |
| 홀름 | FWER | 없음 | 본페로니를 항상 지배 |
| 호크버그 | FWER | 양의 종속(PRDS) | 홀름보다 강함 |
| BH | FDR | 독립 또는 PRDS | 훨씬 강함 |
| BY | FDR | 임의의 종속 | BH보다 약함 |
표의 「강도」는 검정력을 가리킨다 — 강할수록 같은 자료에서 더 많이 기각한다. PRDS 는 「부분집합 각각에 대한 양의 회귀 종속성」(positive regression dependency on each one from a subset)의 약어로, 통계량 하나가 커지면 나머지도 함께 커지는 쪽으로 움직인다는 조건이다. 9.7절 거짓발견율 (Benjamini-Hochberg) \(\S 5\) 가 설명한다.
읽기.
-
홀름이 본페로니를 지배한다. 모든 \(p\)에서 홀름의 보정값이 본페로니 이하다. 검정만 할 것이라면 본페로니를 쓸 이유가 없다(동시 신뢰구간이 필요한 경우는 연습문제 6).
-
호크버그가 홀름보다 강하다. 셋째·넷째에서 0.156 대 0.123이다. 다만 양의 종속 가정이 필요하다.
-
시닥의 이득이 미미하다. 기각 여부가 걸린 위의 두 줄에서는 본페로니와 소수 셋째 자리에서야 갈리고(\(0.0480\) 대 \(0.0471\)), 차이가 벌어지는 아래 줄들은 어차피 기각과 거리가 멀다. 독립 가정을 추가로 지불할 가치가 없다.
-
BH가 훨씬 많이 기각한다. 4개 대 2개다. 통제 대상이 FWER이 아니라 FDR이기 때문이다. 공정한 비교가 아니다 — 목표가 다르다.
-
BY는 BH보다 훨씬 보수적이다. \(c(m)=\sum_{i=1}^m1/i\)배 만큼 임계값을 낮추며, \(m=6\)에서 \(c(6)=2.45\)다. \(m\)이 크면 \(c(m)\approx\log m\)으로 커져 대가가 크다.
선택 지침.
- FWER이 필요하면 홀름(가정 없음) 또는 호크버그(양의 종속이 그럴듯할 때).
- FDR로 충분하면 BH. 탐색적 대규모 검정의 표준이다.
- 종속 구조를 전혀 모르면 BY. 다만 대가가 크므로, 순열 기반 방법을 먼저 고려한다.
- 검정만 보고한다면 본페로니와 시닥을 고를 까닭이 없다. 본페로니가 남는 자리는 동시 신뢰구간이다(연습문제 6).
연습문제 6. 홀름 절차가 본페로니를 항상 지배함을 증명하고, 그런데도 본페로니가 여전히 쓰이는 이유를 논하라.
풀이
홀름 절차. \(p_{(1)}\le\cdots\le p_{(m)}\)에 대해 \(k=1,2,\dots\) 순서로
를 확인하고, 처음 실패하는 곳에서 멈춘다. 그 앞까지 기각한다.
지배의 증명. 본페로니는 \(p_{(k)}\le\alpha/m\)를 요구한다. 홀름의 임계값 \(\alpha/(m-k+1)\)은 \(k\ge1\)에서
이므로 모든 단계에서 홀름의 임계값이 더 느슨하다. 따라서 본페로니가 기각하는 것은 홀름도 기각한다. \(\square\)
엄밀하게는 순차성을 확인해야 한다. 본페로니가 \(H_{(j)}\)를 기각하면 \(p_{(j)}\le\alpha/m\)이고, \(k\le j\)인 모든 \(k\)에 대해 \(p_{(k)}\le p_{(j)}\le\alpha/m\le\alpha/(m-k+1)\)이므로 홀름의 단계가 \(j\)까지 끊기지 않는다. 따라서 홀름도 기각한다.
FWER 통제의 증명 개요. 참인 귀무가설의 집합을 \(\mathcal I_0\)(\(|\mathcal I_0|=m_0\))라 하고, 그중 가장 작은 \(p\) 값을 \(p_{\min}\)이라 하자. 홀름이 참인 가설을 하나라도 기각했다면, 참인 가설이 처음으로 기각된 단계를 \(k^*\) 라 하자. 그 가설의 \(p\) 값이 \(\alpha/(m-k^*+1)\) 이하이고 \(p_{\min}\) 은 그보다 크지 않으므로 \(p_{\min}\le\alpha/(m-k^*+1)\)이다. 그 단계 이전에 기각된 \(k^*-1\)개는 모두 거짓 귀무가설이므로 \(k^*-1\le m-m_0\), 즉 \(m-k^*+1\ge m_0\)이다. 따라서
합집합 한계로 \(P(p_{\min}\le\alpha/m_0)\le m_0\cdot\alpha/m_0=\alpha\)다. \(\square\)
그런데 왜 본페로니가 여전히 쓰이는가.
-
단순함. "\(\alpha\)를 \(m\)으로 나눈다"는 한 줄로 설명된다. 홀름은 순차 절차라 설명이 길다.
-
신뢰구간으로 곧장 확장된다. 본페로니는 \(1-\alpha/m\) 수준의 구간을 만들면 끝이다. 홀름에 대응하는 동시 신뢰구간은 만들기 어렵다 — 이것이 실무적으로 가장 큰 이유다.
-
계획 단계에서 쓰기 쉽다. 표본크기 계산에 \(\alpha/m\)을 넣으면 된다. 홀름은 기각 순서에 의존해 사전 계산이 어렵다.
-
차이가 작은 경우가 많다. 가장 작은 \(p\) 값에서는 두 절차가 동일하다. 주 결과 하나만 중요하다면 차이가 없다.
권고. 검정만 보고한다면 홀름을 쓴다. 이유 없이 검정력을 버릴 필요가 없다. 동시 신뢰구간이 필요하면 본페로니가 현실적인 선택이다.
연습문제 7. 검정들이 상관되어 있을 때 본페로니가 얼마나 보수적이 되는지 모의실험으로 확인하고, 대안을 제시하라.
풀이
import numpy as np
from scipy import stats
rng = np.random.default_rng(19)
M, m = 40_000, 10
print(f"{'ρ':>5s} {'무보정 FWER':>12s} {'본페로니 FWER':>14s} "
f"{'홀름 FWER':>11s} {'최대통계량 FWER':>16s}")
for rho in [0.0, 0.3, 0.6, 0.9, 0.99]:
S = rho * np.ones((m, m)) + (1 - rho) * np.eye(m)
L = np.linalg.cholesky(S)
z = rng.standard_normal((M, m)) @ L.T
p = 2 * stats.norm.sf(np.abs(z))
ps = np.sort(p, axis=1)
raw = (p < 0.05).any(1).mean()
bonf = (p < 0.05 / m).any(1).mean()
thr = 0.05 / (m - np.arange(m))
holm = (ps <= thr).any(1).mean() # 근사(첫 실패까지 보는 대신)
# 최대통계량의 귀무분포를 몬테카를로로 구해 임계값을 잡는 방법
zz = rng.standard_normal((M, m)) @ L.T
cmax = np.percentile(np.abs(zz).max(1), 95)
step = (np.abs(z).max(1) > cmax).mean()
print(f"{rho:5.2f} {raw:12.4f} {bonf:14.4f} {holm:11.4f} {step:16.4f}")
ρ 무보정 FWER 본페로니 FWER 홀름 FWER 최대통계량 FWER
0.00 0.3985 0.0492 0.0492 0.0487
0.30 0.3548 0.0451 0.0452 0.0501
0.60 0.2462 0.0329 0.0330 0.0476
0.90 0.1268 0.0169 0.0185 0.0467
0.99 0.0693 0.0077 0.0352 0.0495
상관이 커질수록 본페로니가 보수적이 된다. \(\rho=0.9\)에서 0.017, \(\rho=0.99\)에서 0.008로 명목의 6분의 1이다.
왜 그런가. 본페로니는 합집합 한계 \(P(\cup A_i)\le\sum P(A_i)\)를 쓰는데, 사건들이 겹칠수록 이 한계가 느슨해진다. \(\rho=1\)이면 모든 검정이 같은 사건이라 실제 FWER이 \(\alpha/m=0.005\)가 된다. 위 표의 \(\rho=0.99\) 값 0.0077이 그 극한에 가깝다.
최대통계량 방법(순열/부트스트랩(bootstrap))이 정확하다. 모든 \(\rho\)에서 0.047~0.050이다. 상관 구조를 자료에서 반영하기 때문이다. 위 코드의 홀름 값은 첫 실패에서 멈추지 않은 근사라 \(\rho\)가 매우 클 때 부풀려지는데(\(\rho=0.99\) 에서 \(0.0352\)), 정식 홀름은 본페로니와 마찬가지로 보수적이 된다.
대안들.
| 방법 | 원리 | 장단점 |
|---|---|---|
| 순열 기반 최대통계량 | 귀무분포를 재표본으로 구성 | 정확하지만 계산 무거움. 교환가능성 필요 |
| 웨스트폴–영(Westfall–Young) 단계적 하강 | 순열 + 단계적 절차 | 가장 강력한 FWER 방법 |
| 다변량 \(t\) 분포 | 상관행렬을 모형으로 | 상관을 알아야 함 |
| 유효 검정 수 | \(m_{\text{eff}}<m\)을 추정해 나눔 | 근사이지만 간단 |
| 호크버그·호멜 | 양의 종속 가정 | 계산이 가볍고 개선이 있음 |
유효 검정 수의 예. 검정통계량의 상관행렬의 고유값을 \(\lambda_1,\dots,\lambda_m\) 이라 할 때, 고유값 기반 근사로
를 쓰면, \(\rho=0.9\), \(m=10\)에서 고유값이 \(1+9\times0.9=9.1\) 하나와 \(0.1\) 아홉 개이므로 \(m_{\text{eff}}=10^2/(9.1^2+9\times0.1^2)=1.21\)이다. 사실상 하나의 검정임을 반영한다.
실무 권고. 유전체처럼 상관이 강한 대규모 검정에서는 순열 기반 방법이나 FDR을 쓴다. 본페로니를 그대로 쓰면 검정력을 크게 잃는다.
연습문제 8. 계층적(순차) 검정 절차가 보정 없이 FWER을 유지하는 원리를 설명하고, 설계 시 주의점을 적어라.
풀이
고정 순서 절차. 가설을 \(H_1,H_2,\dots,H_m\) 순서로 미리 정하고, 순서대로 각각 수준 \(\alpha\)로 검정하되 처음 기각에 실패하면 멈춘다.
왜 보정이 필요 없는가. \(H_1\)이 참이라면 그것을 기각할 확률이 \(\alpha\)이고, 그때만 오류가 시작된다. \(H_1\)이 거짓이고 \(H_2\)가 참이면, 오류는 \(H_1\)을 기각한 뒤에 \(H_2\)를 기각할 때 생기는데 그 확률도 \(\alpha\) 이하다. 일반적으로
핵심은 "멈춤"이다. 앞에서 막히면 뒤를 볼 수 없으므로, 여러 번 기회를 얻지 못한다.
import numpy as np
from scipy import stats
rng = np.random.default_rng(27)
M, m = 40_000, 4
# H1, H2 는 거짓(효과 있음), H3, H4 는 참
shift = np.array([3.0, 2.5, 0.0, 0.0])
z = rng.standard_normal((M, m)) + shift
p = 2 * stats.norm.sf(np.abs(z))
# 고정 순서 절차
err = 0
for row in p:
for j in range(m):
if row[j] > 0.05:
break
if shift[j] == 0: # 참인 가설을 기각
err += 1
break
print(f"고정 순서 절차의 FWER = {err / M:.4f}")
print(f"보정 없이 모두 검정할 때 FWER = "
f"{(p[:, 2:] < 0.05).any(1).mean():.4f}")
고정 순서 절차의 FWER = 0.0314
보정 없이 모두 검정할 때 FWER = 0.0984
보정 없이도 FWER이 0.031로 유지된다. 모두 검정하면 0.098이다.
설계 시 주의점 다섯.
-
순서를 자료를 보기 전에 정한다. 이것이 전부다. 결과를 보고 순서를 바꾸면 보장이 사라진다.
-
중요한 것을 앞에. 앞에서 막히면 뒤를 아예 못 본다. 주 결과 → 핵심 부수 결과 → 그 밖 순서가 자연스럽다.
-
앞의 가설이 기각될 가능성이 높아야 한다. 첫 가설의 검정력이 낮으면 전체가 막힌다. 검정력이 높은 것을 앞에 두는 전략과 중요도 순서가 충돌할 수 있다.
-
분기 구조도 가능하다. 고정 순서가 너무 경직되면 그래프 기반 절차를 쓴다. 가설들을 노드로 두고, 기각 시 \(\alpha\)를 다른 노드로 "물려주는" 규칙을 미리 정한다. 유연하면서 FWER이 보장된다.
-
부분적 실패의 처리. \(H_1\)은 기각, \(H_2\)는 실패, \(H_3\)는 \(p=0.001\)인 상황에서 \(H_3\)을 보고할 수 없다. 이것이 답답하지만 규칙을 지켜야 보장이 유지된다. 탐색적 결과로 따로 보고한다.
실무 사례. 임상시험에서 "주 평가변수 → 주요 부 평가변수 1 → 2 → 3" 순서를 계획서에 명시하는 것이 표준이 되었다. 규제기관이 이 구조를 권장한다.
연습문제 9. 다중검정 보정을 언제 해야 하고 언제 하지 말아야 하는지 판단 기준을 세워라.
풀이
핵심 질문 — "무엇이 하나의 가족인가." 보정의 범위를 정하는 것이 가장 어렵고 가장 임의적인 부분이다.
보정해야 하는 경우.
-
하나의 결론을 여러 검정으로 뒷받침할 때. "어느 하나라도 유의하면 효과가 있다"는 논리를 쓴다면 FWER 통제가 필요하다.
-
여러 결과변수·시점·하위집단을 훑고 유의한 것을 보고할 때. 9.1절 귀무가설과 대립가설 연습문제 9 가 다루는 HARKing(결과를 본 뒤에 가설을 세우는 것)의 구조다.
-
규제 제출. 확증적 시험에서 여러 주 평가변수나 용량군이 있으면 보정이 요구된다.
-
대규모 탐색. 유전체, 뇌영상, 대규모 A/B 시험. 다만 FWER보다 FDR이 적절한 경우가 많다.
보정하지 말아야 하는(또는 불필요한) 경우.
-
각 검정이 독립적인 연구 질문일 때. 한 논문에 서로 무관한 세 연구가 실렸다고 보정하지 않는다.
-
모든 결과를 빠짐없이 보고하고, 독자가 스스로 판단할 수 있을 때. 로스먼(Rothman, \(1990\))·페르네거(Perneger, \(1998\)) 등이 주장하는 입장이다.
-
주 결과가 하나로 사전에 정해져 있고 나머지는 탐색적이라고 명시할 때.
-
추정이 목적일 때. 여러 모수의 크기를 보고하는 것이 목적이면, 각각의 구간을 보고하고 "동시 보장은 없다"고 밝히면 된다.
애매한 회색지대.
| 상황 | 논쟁점 |
|---|---|
| 한 논문의 여러 검정 | 논문이 가족의 단위인가 |
| 한 연구자의 평생 검정 | 극단적으로 밀면 보정이 무한해진다 |
| 하위집단 분석 | 사전 정의면 보정, 사후면? |
| 여러 시점 | 반복측정 모형으로 다루면 보정 불필요 |
널리 받아들여지는 원칙 셋.
-
"하나의 결론"이 기준이다. 여러 검정이 같은 주장을 뒷받침하면 한 가족이다.
-
투명성이 보정을 대체할 수 있다. 몇 개의 검정을 했고 무엇이 유의했는지 전부 보고하면, 보정하지 않아도 독자가 할인해 읽을 수 있다. 숨기는 것이 진짜 문제다.
-
사전등록이 가족을 정의한다. 계획서에 "주 결과 하나, 부수 결과 다섯, 보정 방법 X"라고 적으면 논쟁이 사라진다.
베이즈 관점. 계층모형으로 여러 모수를 함께 추정하면 축소(shrinkage)가 다중성을 자동으로 처리한다. 별도의 보정이 필요 없다는 것이 겔먼(Gelman) 등의 주장이다. 다만 모형 가정이 필요하다.
연습문제 10. 다중검정 보정 결과를 어떻게 보고해야 하는지 정리하라.
풀이
보고할 것 일곱.
- 검정의 총 개수 \(m\). 보정의 분모다.
- 가족의 정의. 무엇을 한 가족으로 묶었고 왜인지.
- 통제 대상. FWER인가 FDR인가. 수준은 얼마인가.
- 방법 이름. 본페로니/홀름/BH/순열 기반 등. 순열이면 횟수도.
- 원 \(p\) 값과 보정된 \(p\) 값을 모두. 독자가 다른 보정을 적용해 볼 수 있어야 한다.
- 효과크기(effect size)와 구간. 보정된 동시 구간이면 그렇다고 밝힌다.
- 사전 계획 여부. 보정 방법을 미리 정했는가.
좋은 표의 형태.
| 가설 | 효과크기 (95% CI) | 원 \(p\) | 보정 \(p\) (홀름) | 결론 |
|---|---|---|---|---|
| \(H_1\) | 3.2 (1.1, 5.3) | 0.004 | 0.016 | 기각 |
| \(H_2\) | 2.1 (0.2, 4.0) | 0.031 | 0.093 | 비기각 |
| \(H_3\) | 1.4 (\(-\)0.5, 3.3) | 0.148 | 0.296 | 비기각 |
| \(H_4\) | 0.3 (\(-\)1.6, 2.2) | 0.756 | 0.756 | 비기각 |
보정 \(p\) 는 \(m = 4\) 의 홀름 값이다 — 작은 것부터 \(4 \times 0.004 = 0.016\), \(3 \times 0.031 = 0.093\), \(2 \times 0.148 = 0.296\), \(1 \times 0.756 = 0.756\) 이고, 앞의 값보다 작아지지 않게 누적 최댓값을 취한다(여기서는 이미 늘어나는 순서다).
이 표가 좋은 이유. 원 \(p\)와 보정 \(p\)를 나란히 두어 보정의 영향이 한눈에 보이고, 효과크기와 구간이 있어 실무적 판단이 가능하다.
흔한 잘못.
- 보정 후 결과만 싣기. 독자가 다른 보정이나 메타분석에 쓸 수 없다.
- \(m\)을 밝히지 않기. 보정을 재현할 수 없다.
- 유의한 것만 표에 넣기. 선택적 보고다.
- "BH 보정했다"만 적고 \(q\) 수준을 안 밝히기.
- 구간은 보정하지 않고 \(p\)만 보정하기. 검정과 구간이 서로 다른 수준을 쓰게 되어 9.1절 신뢰구간과 검정의 쌍대성이 깨진다.
- 사후에 보정 방법을 바꾸기. 유의해지는 방법을 고르면 보정의 의미가 사라진다.
FDR을 쓸 때의 추가 사항.
- \(q\)-값을 보고한다. "이 가설을 기각할 때 예상되는 FDR"로 해석된다.
- 기각된 가설 수와 예상 거짓발견 수를 함께 적는다. "\(q=0.05\)에서 200개를 기각했으며, 이 중 약 10개가 거짓발견으로 예상된다."
- 독립성(independence) 가정이 그럴듯한지 논한다. 아니면 BY나 순열 기반을 쓴다.
한 문장. 보정은 결론을 바꾸는 절차이므로, 그 절차 자체가 검증 가능해야 한다. 원 \(p\) 값, \(m\), 방법을 모두 적으면 그것이 가능해진다.
연습문제 11. 검정 2,000개 중 참 대립가설(alternative hypothesis)이 200개인 모의실험에서 보정 없이 검정할 때와 본페로니를 적용할 때 거짓 양성 수의 기댓값을 계산하라. 모의실험 출력과 대조해 확인하라.
풀이
\(\alpha = 0.05\)에서 보정 없이 검정하면 귀무가설 1,800개에서 나오는 거짓 양성의 기댓값은
본페로니에서는 각 검정을 \(\alpha/m = 0.05/2000 = 0.000025\)와 비교한다. 귀무가설(평균 0, \(n=50\))에서 일표본 \(t\)-통계량이 본페로니 임계값을 넘을 확률은 극도로 작으므로 \(E[V] \approx 1800 \times 0.000025 = 0.045\), 즉 평균적으로 거짓 양성이 거의 없다. 보기 1 의 출력과 대조하면 본페로니의 FP 가 \(1\) 이다. 기댓값 \(0.045\) 보다 크지만 거짓 양성의 수는 \(0, 1, 2, \ldots\) 로만 나오므로 모순이 아니다 — 하나라도 나올 확률이 \(1-(1-0.000025)^{1800} = 0.0440\) 인 드문 일이 이 한 번의 실현에서 일어난 것이다. 보정 없는 쪽은 보기 1 의 코드가 찍지 않았는데, np.sum((p_values < 0.05) & (truth == 0)) 한 줄을 덧붙여 \(90\) 언저리(표준편차 \(\sqrt{1800 \times 0.05 \times 0.95} = 9.2\))가 나오는지 확인하면 된다. \(\square\)
연습문제 12. 순열·부트스트랩 같은 재표집 방법에서 재표집 횟수 \(B\)가 결과에 미치는 영향을 정량화하고, 몇 번이 적당한지 정하라.
풀이
\(B\)가 제한하는 것 셋.
1 — \(p\) 값의 해상도. 최소 가능한 \(p\) 값이 \(1/(B+1)\)이다.
다중검정에서 이것이 결정적이다. \(m=1000\)이고 본페로니 임계값이 \(5\times10^{-5}\)라면, \(B\ge20{,}000\)이어야 그 임계값에 도달할 수 있다.
2 — 몬테카를로(Monte Carlo) 오차. 참 \(p\) 값이 \(p\)일 때
import numpy as np
print(f"{'B':>8s} {'p=0.05 의 SE':>13s} {'p=0.01 의 SE':>13s} "
f"{'최소 p':>10s}")
for B in [99, 999, 9_999, 99_999]:
print(f"{B:8d} {np.sqrt(0.05 * 0.95 / B):13.5f} "
f"{np.sqrt(0.01 * 0.99 / B):13.5f} {1 / (B + 1):10.2e}")
B p=0.05 의 SE p=0.01 의 SE 최소 p
99 0.02190 0.01000 1.00e-02
999 0.00690 0.00315 1.00e-03
9999 0.00218 0.00100 1.00e-04
99999 0.00069 0.00031 1.00e-05
\(B=99\)면 \(p=0.05\)의 표준오차가 0.022다. 0.05와 0.10을 구별하기 어렵다.
3 — 결론의 안정성. 같은 자료를 두 번 분석하면 다른 답이 나올 수 있다. 경계 근처에서 특히 그렇다.
권장 \(B\).
| 목적 | 권장 \(B\) |
|---|---|
| 대략적 탐색 | 999 |
| 단일 검정의 \(p\) 값 보고 | 9,999 |
| 다중검정(본페로니) | \(\ge10\,m/\alpha\) |
| FDR 추정 | 1,000~10,000 |
| 신뢰구간의 꼬리 분위수 | 9,999 이상 |
\(10^k-1\) 꼴로 잡는 이유. \(p\) 값을 \((b+1)/(B+1)\) 로 셈할 때(\(b\) 는 관측값 이상으로 극단적인 재표본의 수 — 9.1절 검정통계량과 p 값 연습문제 19) \(B+1\) 이 \(10^k\) 이면 \((B+1)\alpha\) 가 정수가 되어 \(\alpha\)를 정확히 맞추기 때문이다.
순차적 절약. \(p\)가 크다는 것이 일찍 분명해지면 그 검정의 재표집을 중단한다. 다중검정에서 대부분의 검정이 일찍 끝나므로 전체 계산이 크게 준다.
재현성. \(B\)가 얼마든 씨앗을 고정하고 보고한다. 그러면 남이 정확히 같은 결과를 얻을 수 있다.
연습문제 13. \(\alpha = 0.05\)와 \(\alpha = 0.10\)에서 BH를 비교하도록 보기 1 의 모의실험을 고쳐라. 기각 수, FDR, 검정력은 어떻게 달라지는가? 트레이드오프(trade-off)을 설명하라.
풀이
for alpha in [0.05, 0.10]:
_, p_bh, _, _ = multipletests(p_values, alpha=alpha, method="fdr_bh")
rejected = p_bh < alpha
tp = np.sum(rejected & (truth == 1))
fp = np.sum(rejected & (truth == 0))
fdr = fp / max(np.sum(rejected), 1)
power = tp / np.sum(truth == 1)
print(f"alpha={alpha}: Rejections={np.sum(rejected)}, "
f"FDR={fdr:.3f}, Power={power:.3f}")
출력:
alpha=0.05: Rejections=142, FDR=0.063, Power=0.665
alpha=0.1: Rejections=179, FDR=0.128, Power=0.780
\(\alpha\)를 두 배로 올리면 기각이 142개에서 179개로 늘고 검정력이 0.665에서 0.780으로 오른다. 대신 FDR이 0.063에서 0.128로 함께 오른다.
늘어난 기각 37개의 내역을 보면 참 신호가 23개, 거짓 양성이 14개다. 즉 수준 \(\alpha\) 를 올릴수록 새로 걸리는 것 중 거짓 양성의 비율이 높아진다(\(14/37 = 38\%\)). 신호가 강한 것부터 먼저 걸리기 때문이다.
트레이드오프는 발견율과 신뢰성 사이에 있다. 후속 검증이 싸다면 \(\alpha = 0.10\)이, 비싸다면 0.05나 그보다 낮은 값이 맞다. \(\square\)
연습문제 14. 다중검정에 대한 실무 의사결정 흐름을 하나의 절차로 정리하라.
풀이
1단계 — 질문을 명확히 한다.
- 결정 규칙이 무엇인가. "무엇을 보고 무엇을 결정하는가."
- 주 결과를 하나로 좁힐 수 있는가. 가능하다면 여기서 문제의 대부분이 사라진다.
2단계 — 가족을 정의한다.
- 같은 결론을 뒷받침하는 검정들을 한 가족으로 묶는다.
- 사전등록 문서에 명시한다. 이 단계가 가장 중요하다.
3단계 — 통제할 오류를 고른다.
| 상황 | 선택 |
|---|---|
| 확증적, \(m\)이 작음, 결정이 되돌릴 수 없음 | FWER |
| 탐색적, \(m\)이 큼, 후속 검증 있음 | FDR |
| 각 검정이 독립적 질문 | 보정 없음 + 전체 보고 |
| 계층적 중요도가 있음 | 게이트키핑(gatekeeping — 연습문제 8 의 고정 순서 절차처럼 앞 가설을 기각해야 뒤 가설을 검정하는 방식) |
4단계 — 절차를 고른다.
| 오류 | 종속 구조 | 절차 |
|---|---|---|
| FWER | 임의 | 홀름 |
| FWER | 양의 종속 | 호크버그·호멜 |
| FWER | 교환가능, \(m\) 중간 | 웨스트폴–영 |
| FWER | 계층적 | 게이트키핑·그래프 절차 |
| FDR | 독립·양의 종속 | BH |
| FDR | 임의 | BY 또는 순열 |
| FDR | \(\pi_0\)가 작을 것으로 예상 | 적응형 BH(스토리) |
5단계 — 검정력을 확인한다.
- 보정 후의 임계값으로 검정력을 다시 계산한다.
- 부족하면 표본을 늘리거나 가설 수를 줄인다. 보정을 포기하는 것이 아니라.
6단계 — 분석하고 보고한다.
- 원 \(p\) 값, 보정 \(p\) 값, 효과크기, 구간을 모두 싣는다.
- \(m\), 가족의 정의, 방법을 명시한다.
- 사전 계획과 달라진 점이 있으면 밝힌다.
7단계 — 해석한다.
- 보정 후 유의하지 않은 것을 "효과 없음"으로 읽지 않는다.
- FDR을 썼다면 예상 거짓발견 수를 명시하고 후속 검증 계획을 적는다.
가장 흔한 실패 지점 셋.
- 2단계를 건너뛴다. 가족을 정의하지 않고 분석부터 시작하면, 나중에 편리한 대로 정하게 된다.
- 5단계를 건너뛴다. 보정만 하고 검정력을 확인하지 않으면 연구가 무력해진다.
- 6단계에서 일부만 보고한다. 이것이 모든 보정을 무의미하게 만든다.
한 문장 요약. 다중검정 보정은 계산 기법이 아니라 연구 설계의 일부다. 자료를 모으기 전에 결정되어야 한다.
정리하며¶
FWER 을 통제하는 두 가지 표준 방법이다.
| 규칙 | 성격 | |
|---|---|---|
| 본페로니 | \(p_i\le\alpha/m\) 이면 \(H_i\) 를 기각 | 단순, 보수적 |
| 홀름 | \(p\) 값을 정렬해 단계적으로 비교 | 언제나 본페로니 이상 |
- 본페로니는 \(\alpha\) 를 균등하게 나눈다. 증명이 한 줄(부울 부등식, 곧 합집합 한계)이고 독립성을 가정하지 않는다는 것이 큰 장점이다. 3.1절 확률의 공리 연습문제 6 이 증명한 \(P(\cup A_i)\le\sum P(A_i)\) 가 근거다.
- 홀름은 본페로니를 개선한다. 정렬한 \(p\) 값을 \(\alpha/m\), \(\alpha/(m-1)\), … 과 차례로 비교하며, 본페로니가 기각하는 것은 홀름도 반드시 기각한다. 같은 FWER 보장에 검정력이 같거나 더 높으므로 검정만 한다면 홀름을 쓰지 않을 이유가 없다.
- 대가는 검정력이다. \(m\) 이 커지면 임계값이 너무 엄격해져 실제 효과를 대거 놓친다.
- 보정된 \(p\) 값으로 보고하는 편이 편하다. \(\min(1,\,m\,p_i)\) 처럼 조정해 두면 독자가 익숙한 \(0.05\) 와 비교할 수 있다.
다음 절 거짓발견율로 넘어간다. 검정이 수만 개일 때는 FWER 통제 자체가 비현실적이 된다.