가족단위 오류율¶

순전한 우연으로 적어도 하나의 비료가 효과 있어 보일 확률이 약 23%이다. FWER을 0.05로 통제하려면 Bonferroni 보정으로 각 가설을 \(\alpha / 5 = 0.01\)에서 검정한다. 그러면 독립일 때 FWER은:

로 목표 0.05 아래가 된다.

Bonferroni 한계가 1을 넘으므로 여기서는 정보가 되지 못하지만, 독립일 때의 정확한 FWER은 사실상 1.0이다. FWER을 0.05로 통제하려면 Bonferroni 보정 문턱이:

이 된다. 유전체 연구가 "전장유전체 유의성"을 \(p < 5 \times 10^{-8}\)로 보고하는 이유가 이 극도로 엄격한 문턱이다(연관 불평형을 감안한 유효 독립 검정 수 약 100만 개를 반영한다). 이런 보수성 때문에 덜 엄격한 대안인 거짓발견율이 등장한다.

FWER은 \(m\)개 검정 전체에서 제1종 오류를 적어도 한 번 범할 확률이다:

독립인 검정이 \(m = 10\)개이고 각각 \(P(\text{reject} \mid H_0) = 0.05\)이면:

거짓 양성이 적어도 하나 나올 확률이 40%로, 검정당 명목 수준 5%를 훨씬 넘는다.

약한 통제는 완전 귀무가설 아래에서만(즉 \(m\)개 귀무가설이 모두 동시에 참일 때만) FWER \(\leq \alpha\)를 보장한다. 일부 귀무가설이 거짓일 때의 거짓 양성은 막아 주지 않는다.

강한 통제는 어떤 귀무가설이 몇 개나 참이든, 참·거짓의 어떤 배열에서도 FWER \(\leq \alpha\)를 보장한다. 훨씬 강한 보장이며 다중검정 절차의 표준 요건이다.

예를 들어 약한 통제만 갖춘 절차는 모든 귀무가설이 참일 때 FWER이 5%이지만 10개 중 5개가 거짓일 때 FWER이 30%일 수 있다. 강한 통제를 갖춘 절차는 두 경우 모두 FWER \(\leq 5\%\)를 유지한다. Bonferroni와 Holm은 둘 다 강한 통제를 제공한다.

독립이고 모든 귀무가설이 참일 때:

\(m \to \infty\)이면:

따라서 \(\text{FWER} \to 1\)이다. 예를 들어 \(\alpha = 0.05\)이면:

• \(m = 10\): FWER \(\approx 0.40\)
• \(m = 50\): FWER \(\approx 0.92\)
• \(m = 100\): FWER \(\approx 0.994\)

독립인 검정 100개만으로도 거짓 양성이 적어도 하나 생기는 것이 사실상 확실하다. 그래서 대규모 검정에서는 FWER 통제가 필수적이다.

약이 어느 평가변수에도 효과가 없고(세 귀무가설이 모두 참이고) 검정이 독립이면:

회사가 우연히 성공을 주장할 확률이 14.3%로, 의도한 5%의 거의 세 배이다. 평가변수가 5개면 FWER \(\approx 0.226\), 10개면 \(\approx 0.401\)이다.

규제기관(예: FDA, EMA)이 다중검정 보정을 요구하는 이유는, 보정 없이 여러 평가변수 중 하나에 근거해 약을 승인하면 잘못된 승인 비율이 부풀기 때문이다. 흔한 접근으로 Bonferroni 보정, 게이트키핑 절차(미리 정한 순서대로 평가변수를 계층적으로 검정), 분할-알파 전략(합이 0.05가 되도록 평가변수마다 다른 \(\alpha\)를 배분)이 있다.

닫힌 검정 원리(마르쿠스·페리츠·가브리엘). 가설족 \(\{H_1,\dots,H_m\}\)에 대해 모든 교집합 가설

을 각각 수준 \(\alpha\)로 검정한다. 그리고

\(H_i\)를 기각한다 \(\iff\) \(i\)를 포함하는 모든 \(H_I\)가 수준 \(\alpha\)에서 기각된다

로 정한다. 이 절차는 FWER을 강하게 통제한다.

증명. 참인 가설의 집합을 \(I_0\)라 하자. \(H_{I_0}\)는 참이므로 그것을 기각할 확률이 \(\alpha\) 이하다. 그런데 참인 \(H_i\)(\(i\in I_0\))를 하나라도 기각하려면 \(H_{I_0}\)도 기각해야 한다(\(I_0\ni i\)이므로). 따라서

놀랍도록 단순한 논증이며, 개별 검정에 아무 보정도 요구하지 않는다는 점이 핵심이다.

홀름과의 연결. 교집합 가설 \(H_I\)를 본페로니로 검정한다고 하자. 즉 \(\min_{i\in I}p_i\le\alpha/|I|\)이면 \(H_I\)를 기각한다. 그러면 닫힌 절차가 정확히 홀름 절차가 된다.

왜인가. \(p_{(1)}\le\cdots\le p_{(m)}\)에서 \(H_{(k)}\)를 기각하려면, \((k)\)를 포함하는 모든 \(I\)에 대해 \(\min_{i\in I}p_i\le\alpha/|I|\)여야 한다. 가장 까다로운 \(I\)는 \(\{(k),(k+1),\dots,(m)\}\)이며 크기가 \(m-k+1\)이다. 그 조건이

로, 홀름의 문턱과 같다. 게다가 \((k)\)보다 작은 \(p\)들도 각자의 조건을 만족해야 하므로 "순차적으로 멈춤"이 나온다.

이 틀이 주는 것.

더 강한 교집합 검정을 쓰면 더 강력한 절차가 나온다. 이것이 닫힌 원리의 실용적 가치다.

계산의 문제. \(2^m-1\)개의 교집합 가설이 있어 \(m\)이 크면 불가능하다. 다행히 위의 방법들은 단축 알고리즘이 있어 \(O(m\log m)\)에 계산된다. 일반적인 경우에는 \(m\le20\) 정도가 한계다.

import numpy as np
from scipy import stats

zb = stats.norm.ppf(0.80)
base = None
print(f"{'m':>6s} {'보정 α':>10s} {'집단당 n':>9s} {'배율':>7s} "
      f"{'n 증가율':>9s}")
for m in [1, 2, 5, 10, 100, 10_000, 10**6]:
    za = stats.norm.ppf(1 - 0.05 / (2 * m))
    n = 2 * (za + zb)**2 / 0.5**2          # d = 0.5
    if base is None:
        base = n
    print(f"{m:6d} {0.05 / m:10.2e} {np.ceil(n):9.0f} {n / base:7.2f} "
          f"{(n / base - 1):9.1%}")

     m       보정 α     집단당 n      배율     n 증가율
     1   5.00e-02        63    1.00      0.0%
     2   2.50e-02        77    1.21     21.1%
     5   1.00e-02        94    1.49     48.8%
    10   5.00e-03       107    1.70     69.6%
   100   5.00e-04       150    2.38    138.0%
 10000   5.00e-06       234    3.72    272.4%
1000000   5.00e-08       317    5.05    404.5%

\(m\)이 \(10^6\)배 늘어도 표본은 5배면 된다. 매우 완만하다.

왜 그런가. \(n\propto(z_{1-\alpha/(2m)}+z_{1-\beta})^2\)이고, 정규분포의 꼬리에서

이므로 \(z\)가 \(\sqrt{\log m}\)으로 자란다. 따라서 \(n\)이 \(\log m\) 정도로만 는다. 검정 수가 지수적으로 늘어도 표본은 선형으로만 늘리면 된다.

이것이 유전체 연구가 가능한 이유다. \(m=10^6\)에서 \(\alpha=5\times10^{-8}\)이라는 극단적 문턱을 쓰면서도, 표본은 단일 검정의 5배면 된다. 실제 GWAS가 수만~수십만 명 규모인 것은 효과크기가 매우 작기 때문이지 보정 때문이 아니다.

다만 주의할 점 셋.

1. 검정력을 80%로 유지한다는 전제다. 표본을 늘리지 않으면 검정력이 급격히 떨어진다. \(m=100\)에서 \(n=64\)를 유지하면 검정력이

za = stats.norm.ppf(1 - 0.05 / 200)
print(f"m=100, n=64, d=0.5 의 검정력: "
      f"{stats.norm.sf(za - 0.5 * np.sqrt(64 / 2)):.4f}")

m=100, n=64, d=0.5 의 검정력: 0.2571

0.80에서 0.26으로 3분의 1 아래로 떨어진다.

1. 작은 효과에서는 비용이 절대적으로 크다. \(d=0.1\)이면 \(m=10^6\)에서 집단당 7,921명이 필요하다.

2. FDR을 쓰면 훨씬 싸다. 앞서 본 대로 BH는 신호가 많으면 문턱이 느슨해진다.

상황. 주 평가변수 \(H_1\)과 부 평가변수 \(H_2,H_3,H_4\)가 있다. 주 평가변수가 유의하지 않으면 부 평가변수의 결과는 의미가 없다.

직렬 게이트키핑. \(H_1\)을 수준 \(\alpha\)로 검정하고,

• 기각되지 않으면 거기서 끝,
• 기각되면 \(H_2,H_3,H_4\)를 수준 \(\alpha\)의 FWER 절차(홀름 등)로 검정한다.

전체 FWER이 \(\alpha\)로 유지된다. 닫힌 검정 원리로 증명된다.

병렬 게이트키핑. 주 평가변수가 여럿(\(H_1,H_2\))이고 적어도 하나가 유의하면 다음 단계로 넘어간다. 이때는 \(\alpha\)의 일부만 물려줄 수 있다.

import numpy as np
from scipy import stats

rng = np.random.default_rng(55)
M, alpha = 40_000, 0.05

# H1(주) 은 참, H2~H4(부) 도 참인 최악의 경우로 FWER 확인
p = rng.random((M, 4))

# ① 직렬 게이트키핑
gate = p[:, 0] < alpha
thr = alpha / (3 - np.arange(3))                  # 홀름 문턱
sub = np.sort(p[:, 1:], axis=1) <= thr
serial = gate & (sub.any(1))
print(f"직렬 게이트키핑 FWER = {(gate | serial).mean():.4f}")

# ② 보정 없이 네 개 모두 검정
print(f"보정 없음 FWER      = {(p < alpha).any(1).mean():.4f}")

# ③ 본페로니
print(f"본페로니 FWER       = {(p < alpha / 4).any(1).mean():.4f}")

직렬 게이트키핑 FWER = 0.0503
보정 없음 FWER      = 0.1862
본페로니 FWER       = 0.0503

직렬 게이트키핑이 FWER을 0.05로 유지한다. 본페로니와 같은 보장을 주면서, 주 평가변수에는 \(\alpha\)를 온전히 쓴다.

이것이 결정적인 장점이다. 본페로니라면 주 평가변수도 \(\alpha/4=0.0125\)로 검정해야 해서 주 결과의 검정력을 크게 잃는다. 게이트키핑은 가장 중요한 가설에 자원을 집중한다.

그래프 기반 절차로의 일반화. 브레치넥·마우러·브란트가 제안한 방법이다.

• 가설을 노드로, \(\alpha\)의 초기 배분을 가중치로 둔다.
• 노드를 기각하면 그 노드의 \(\alpha\)를 정해진 비율로 다른 노드에 물려준다.
• 물려주는 규칙(그래프의 간선)을 사전에 명시한다.

이 틀이 직렬·병렬 게이트키핑, 홀름, 고정 순서를 모두 특수한 경우로 포함한다.

설계 시 고려.

1. 순서를 임상적 중요도로 정한다. 통계적 검정력이 아니라.
2. 앞이 막히면 뒤를 못 본다는 점을 이해관계자에게 미리 알린다.
3. 탐색적 분석은 게이트키핑 밖에 두고 그렇게 표시한다.

원리. 귀무가설 아래에서 최소 \(p\)-값의 분포를 순열로 구한다. 상관 구조가 자동으로 반영된다.

단일 단계 판.

를 순열로 추정하고, \(\tilde p_j\le\alpha\)이면 기각한다.

단계적 하강 판. 이미 기각된 가설을 빼고 최솟값을 다시 계산해 검정력을 높인다.

import numpy as np
from scipy import stats

rng = np.random.default_rng(91)
n, m, B = 40, 20, 2_000

# 상관이 강한 결과변수 20개, 그중 3개에 참 효과
rho = 0.7
S = rho * np.ones((m, m)) + (1 - rho) * np.eye(m)
L = np.linalg.cholesky(S)
g = np.repeat([0, 1], n // 2)
y = rng.standard_normal((n, m)) @ L.T
y[g == 1, :3] += 1.2

def tstats(y, g):
    a, b = y[g == 0], y[g == 1]
    se = np.sqrt(a.var(0, ddof=1) / len(a) + b.var(0, ddof=1) / len(b))
    return (b.mean(0) - a.mean(0)) / se

t_obs = np.abs(tstats(y, g))
mx = np.empty(B)
for i in range(B):
    gp = rng.permutation(g)
    mx[i] = np.abs(tstats(y, gp)).max()

p_wy = np.array([(np.sum(mx >= t) + 1) / (B + 1) for t in t_obs])
p_raw = 2 * stats.t.sf(t_obs, n - 2)
p_bonf = np.minimum(p_raw * m, 1)

print(f"{'변수':>5s} {'원 p':>9s} {'본페로니':>10s} {'웨스트폴-영':>12s}")
for j in list(range(5)) + [m - 1]:
    print(f"{j:5d} {p_raw[j]:9.4f} {p_bonf[j]:10.4f} {p_wy[j]:12.4f}")
print(f"\nα=0.05 기각 수: 본페로니 {(p_bonf <= 0.05).sum()}, "
      f"웨스트폴-영 {(p_wy <= 0.05).sum()}")

   변수       원 p       본페로니       웨스트폴-영
    0    0.0005     0.0100       0.0075
    1    0.0008     0.0168       0.0105
    2    0.0001     0.0020       0.0025
    3    0.9677     1.0000       1.0000
    4    0.6760     1.0000       1.0000
   19    0.8373     1.0000       1.0000

α=0.05 기각 수: 본페로니 3, 웨스트폴-영 3

참 신호에서 웨스트폴-영의 보정 \(p\)가 본페로니보다 작다(0.0075 대 0.0100, 0.0105 대 0.0168). 상관을 반영해 "최소 \(p\)-값이 그만큼 작을 확률"을 실제로 계산하기 때문이다. 여기서는 세 신호가 모두 강해 기각 수가 같지만, 경계 근처에서는 차이가 결론을 가른다.

장점.

1. 상관 구조를 자료에서 가져온다. 가정이 필요 없다.
2. 분포가정이 없다. 순열이 \(H_0\) 분포를 만든다.
3. FWER을 강하게 통제한다(부분집합 축차성이 성립할 때).

한계.

1. 교환가능성이 필요하다. 무작위 배정 실험에서 자연스럽지만 관측연구에서는 근거가 약하다.
2. 계산이 무겁다. \(B\times m\)번의 통계량 계산.
3. \(B\)가 해상도를 제한한다. 최소 보정 \(p\)가 \(1/(B+1)\)이다. \(m\)이 크면 \(B\)도 커야 한다.
4. 결측이나 불균형이 있으면 순열 구조를 설계하기 까다롭다.

언제 쓰는가. 상관이 강하고 \(m\)이 중간 규모(수십~수천)인 경우에 이득이 가장 크다. \(m\)이 아주 크면 FDR 쪽이 실용적이다.

판단의 핵심 질문 셋.

1. "하나라도 유의하면 ~라고 결론 내리는가?" 그렇다면 FWER이 필요하다.

2. 잘못된 결론 하나가 큰 손해인가? 규제 승인처럼 그렇다면 FWER, 후속 검증이 있으면 FDR.

3. 몇 개를 검정하는가? \(m\)이 수백을 넘으면 FWER이 비현실적이다.

애매한 사례 — A/B 시험.

• "주 지표(전환율)로 결정하고 나머지는 모니터링" → 보정 불필요. 주 지표 하나만 결정에 쓴다.
• "어느 지표든 개선되면 출시" → FWER 필요.
• "20개 지표 중 개선된 것을 찾아 다음 실험 설계" → FDR이나 탐색적 표시.

실무 권고.

1. 결정 규칙을 먼저 적는다. "무엇을 보고 무엇을 결정하는가." 이것이 정해지면 보정 필요성이 자동으로 따라온다.

2. 주 결과를 하나로 좁히려 노력한다. 가장 효과적인 해결책이다.

3. 보정하지 않기로 했다면 그 이유를 밝힌다. "각 가설을 독립적인 연구 질문으로 보았으며, 모든 검정 결과를 표 2에 보고한다"처럼.

가장 중요한 사실. 본페로니와 홀름은 어떤 종속 구조에서도 타당하다. 합집합 한계가 종속에 무관하기 때문이다. 이것이 두 절차의 가장 큰 장점이다.

그런데 더 근본적인 가정이 있다 — 개별 \(p\)-값의 타당성.

이것이 깨지면 어떤 보정도 소용없다. 깨지는 경우가 흔하다.

1. 정규성·등분산 위배. 앞서 본 분산 검정처럼 개별 \(p\)가 이미 부정확하면, 보정이 그 오차를 물려받는다.
2. 이산성. 개별 \(p\)가 초균등이면 보정이 지나치게 보수적이 된다.
3. 모형 오설정. 누락변수, 잘못된 연결함수.
4. 선택적 보고. 검정한 것 중 일부만 보정 대상에 넣으면 \(m\)이 과소평가된다.

가장 흔한 실패 — \(m\)의 과소평가.

실제로 30개를 검정했는데 논문에는 5개만 실으면서 "\(m=5\)로 본페로니 보정"을 한다면, 실제 FWER은 통제되지 않는다. 이것은 절차의 문제가 아니라 정직성의 문제다.

강건성을 높이는 방법.

한 문장. 보정 절차는 개별 \(p\)-값이 타당하다는 전제 위에 선다. 그 전제를 점검하지 않고 보정만 정교하게 하는 것은 기초가 부실한 집에 지붕을 올리는 일이다.